Книга
← К списку книгЗагрузка разделов…
активнаАктивные записи участвуют в каталоге и синках. Неактивная книга скрыта, но не удалена из базы.
Книга
ArtificialIntelligenceA Modern Approach
Second, edition
PrenticePrenticeHallHallStuart J. Russel and Peter Norvig
Prentice
Prentice
Hall
Hall
Prentice Hall
Upper Saddle River, New Jersey 07458
ИскусственныйинтеллектСовременный подходВторое издание
Стюарт Рассел, Питер Норвиг
Москва • Санкт-Петербург • Киев 2006
ББК 32.973.26-018.2.75
Р24
УДК 681.3.07
Издательский дом “Вильямс”
Зав. редакцией С.Н. Тригуб
Перевод с английского и редакция К.А. Птицына
По общим вопросам обращайтесь в Издательский дом “Вильямс” по адресу:info@williamspublishing.com, http://www.williamspublishing.com
115419, Москва, а/я 78 3; 03150, Киев, а/я 152
Рассел, Стюарт, Норвиг, Питер.
Р24 Искусственный интеллект: современный подход, 2-е изд..: Пер. с англ. — М.: Издательский дом “Вильямс”, 2006. — 1408 с.: ил. — Парал. тит. англ.
ISBN 5-8459-0887-6 (рус.)
В книге представлены все современные достижения и изложены идеи, которые были сформулированы в исследованиях, проводившихся в течение последних пятидесяти лет, а также собраны на протяжении двух тысячелетий в областях знаний, ставших стимулом к развитию искусственного интеллекта как науки проектирования рациональных агентов. Теоретическое описание иллюстрируется многочисленными алгоритмами, реализации которых в виде готовых программ на нескольких языках программирования находятся на сопровождающем книгу Web-узле.
Книга предназначена для использования в базовом университетском курсе или в последовательности курсов по специальности. Применима в качестве основного справочника для аспирантов, специализирующихся в области искусственного интеллекта, а также будет небезынтересна профессионалам, желающим выйти за пределы избранной ими специальности. Благодаря кристальной ясности и наглядности изложения вполне может быть отнесена к лучшим образцам научно-популярной литературы.
ББК 32.973.26-018.2.75
Все названия программных продуктов являются зарегистрированными торговыми марками соответствующих фирм.
Никакая часть настоящего издания ни в каких целях не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами, будь то электронные или механические, включая фотокопирование и запись на магнитный носитель, если на это нет письменного разрешения издательства Prentice Hall, Inc.
Authorized translation from the English language edition published by Prentice Hall, Copyright © 2003 by Pearson Education, Inc.
All rights reserved. No part of this book may be reproduced or transmitted in any form or by any means, electronic or mechanical, including photocopying, recording or by any information storage retrieval system, without permission from the Publisher.
Russian language edition was published by Williams Publishing House according to the Agreement with R&I Enterprises International, Copyright © 2006
ISBN 5-8459-0887-6 (рус.)© Издательский дом “Вильямс”, 2006
ISBN 0-13-790395-2 (англ.)© by Pearson Education, Inc., 2003
Оглавление
Предисловие24
Об авторах31
Часть I. Искусственный интеллект33
Глава 1. Введение34
Глава 2. Интеллектуальные агенты75
Часть II. Решение проблем109
Глава 3. Решение проблем посредством поиска110
Глава 4. Информированный поиск и исследование пространства состояний 153
Глава 5. Задачи удовлетворения ограничений209
Глава 6. Поиск в условиях противодействия240
Часть III. Знания и рассуждения281
Глава 7. Логические агенты282
Глава 8. Логика первого порядка341
Глава 9. Логический вывод в логике первого порядка380
Глава 10. Представление знаний440
Часть IV. Планирование511
Глава 11. Основы планирования512
Глава 12. Планирование и осуществление действий в реальном мире564
Часть V. Неопределенные знания и рассуждения в условиях НЕОПРЕДЕЛЕННОСТИ621
Глава 13. Неопределенность622
Глава 14. Вероятностные рассуждения*660
Глава 15. Вероятностные рассуждения во времени718
Глава 16. Принятие простых решений778
Глава 17. Принятие сложных решений815
Часть VI. Обучение863
Глава 18. Обучение на основе наблюдений864
Глава 19. Применение знаний в обучении902
Глава 20. Статистические методы обучения945
Глава 21. Обучение с подкреплением1010
Часть VII. Общение, восприятие и осуществление действий1045
Глава 22. Общение
Глава 23. Вероятностная обработка лингвистической информации
Глава 24. Восприятие
Глава 25. Робототехника
1046
1102
1141
1188
Часть VIII. Заключение
Глава 26. Философские основания
Глава 27. Настоящее и будущее искусственного интеллекта
1247
1248
1277
Приложение А. Математические основы
Приложение Б. Общие сведения о языках и алгоритмах, используемых в книге
Литература
Предметный указатель
1288
1297
1302
1373
Содержание
Предисловие24
Краткий обзор книги25
Отличия от первого издания26
Как использовать эту книгу27
Использование Web-узла28
Благодарности28
Об обложке30
Об авторах31
Часть L Искусственный интеллект33
Глава 1. Введение34
Общее определение искусственного интеллекта34
Проверка того, способен ли компьютер действовать подобно человеку: подход, основанный на использовании теста Тьюринга36
Как мыслить по-человечески: подход, основанный на когнитивном моделировании37
Как мыслить рационально: подход, основанный на использовании “законов мышления”38
Как мыслить рационально: подход, основанный на использовании рационального агента39
Предыстория искусственного интеллекта40
Философия (период с 428 года до н.э. по настоящее время)40
Математика (период примерно с 800 года по настоящее время)43
Экономика (период с 1776 года по настоящее время)45
Неврология (период с 1861 года по настоящее время)46
Психология (период с 1879 года по настоящее время)49
Вычислительная техника (период с 1940 года по настоящее время)51
Теория управления и кибернетика (период с 1948 года по настоящее время)52
Лингвистика (период с 1957 года по настоящее время)53
История искусственного интеллекта54
Появление предпосылок искусственного интеллекта (период с 1943 года по 1955 год)54
Рождение искусственного интеллекта (1956 год)55
Ранний энтузиазм, большие ожидания (период с 1952 года по 1969 год) 56 Столкновение с реальностью (период с 1966 года по1973 год)60
Системы, основанные на знаниях: могут ли они стать ключом к успеху (период с 1969 года по 1979 год)62
Превращение искусственного интеллекта в индустрию (период с 1980 года по настоящее время)65
Возвращение к нейронным сетям (период с 1986 года по настоящее время) 65
Превращение искусственного интеллекта в науку (период с 1987 года по настоящее время)66
Появление подхода, основанного на использовании интеллектуальных агентов (период с 1995 года по настоящее время)68
Современное состояние разработок69
Резюме71
Библиографические и исторические заметки72
Упражнения73
Глава 2. Интеллектуальные агенты75
Агенты и варианты среды75
Качественное поведение: концепция рациональности78
Показатели производительности78
Рациональность79
Всезнание, обучение и автономность80
Определение характера среды82
Определение проблемной среды83
Свойства проблемной среды86
Структура агентов90
Программы агентов91
Простые рефлексные агенты93
Рефлексные агенты, основанные на модели96
Агенты, основанные на цели97
Агенты, основанные на полезности99
Обучающиеся агенты100
Резюме103
Библиографические и исторические заметки104
Упражнения106
Часть II. Решение проблем109
Глава 3. Решение проблем посредством поиска110
Агенты, решающие задачи110
Хорошо структурированные задачи и решения113
Формулировка задачи115
Примеры задач116
Упрощенные задачи116
Реальные задачи120
Поиск решений122
Измерение производительности решения задачи126
Стратегии неинформированного поиска127
Поиск в ширину127
Поиск в глубину130
Поиск с ограничением глубины131
Поиск в глубину с итеративным углублением133
Двунаправленный поиск135
Сравнение стратегий неинформированного поиска136
Предотвращение формирования повторяющихся состояний136
Поиск с частичной информацией139
Проблемы отсутствия датчиков140
Проблемы непредвиденных ситуаций142
Резюме144
Библиографические и исторические заметки145
Упражнения147
Глава 4. Информированный поиск и исследование пространства состояний153
Стратегии информированного (эвристического) поиска154
Жадный поиск по первому наилучшему совпадению155
Поиск А*: минимизация суммарной оценки стоимости решения157
Эвристический поиск с ограничением объема памяти163
Обучение лучшим способам поиска166
Эвристические функции167
Зависимость производительности поиска от точности эвристической функции168
Составление допустимых эвристических функций170
Изучение эвристических функций на основе опыта173
Алгоритмы локального поиска и задачи оптимизации174
Поиск с восхождением к вершине175
Поиск с эмуляцией отжига180
Локальный лучевой поиск181
Генетические алгоритмы182
Локальный поиск в непрерывных пространствах187
Поисковые агенты, действующие в оперативном режиме, и неизвестные варианты среды189
Задачи поиска в оперативном режиме190
Агенты, выполняющие поиск в оперативном режиме193
Локальный поиск в оперативном режиме194
Обучение в ходе поиска в оперативном режиме‘197
Резюме198
Библиографические и исторические заметки199
Упражнения204
Глава 5. Задачи удовлетворения ограничений209
Задачи удовлетворения ограничений210
Применение поиска с возвратами для решения задач CSP214
Упорядочение переменных и значений217
Распространение информации с помощью ограничений219
Интеллектуальный поиск с возвратами: поиск в обратном направлении224
Применение локального поиска для решения задач удовлетворения ограничений226
Структура задач228
Резюме233
Библиографические и исторические заметки233
Упражнения236
Глава 6. Поиск в условиях противодействия240
Игры240
Принятие оптимальных решений в играх242
Оптимальные стратегии242
Минимаксный алгоритм245
Оптимальные решения в играх с несколькими игроками246
Альфа-бета-отсечение247
Неидеальные решения, принимаемые в реальном времени252
Функции оценки252
Прекращение поиска254
Игры, которые включают элемент случайности257
Оценка позиции в играх с узлами жеребьевки260
Сложность оценки ожидаемых минимаксных значений261
Карточные игры262
Современные игровые программы264
Обсуждение изложенных сведений268
Резюме270
Библиографические и исторические заметки271
Упражнения276
Часть III. Знания и рассуждения281
Глава 7. Логические агенты282
Агенты, основанные на знаниях284
Мир вампуса286
Логика290
Пропозициональная логика: очень простая логика294
Синтаксис295
Семантика296
Простая база знаний299
Логический вывод300
Эквивалентность, допустимость и выполнимость301
Шаблоны формирования рассуждений в пропозициональной логике303
Резолюция306
Прямой и обратный логический вывод311
Эффективный пропозициональный логический вывод316
Полный алгоритм поиска с возвратами316
Алгоритмы локального поиска318
Трудные задачи определения выполнимости320
1Л. Агенты, основанные на пропозициональной логике322
Поиск ям и вампусов с помощью логического вывода322
Слежение за местонахождением и ориентацией324
Агенты на основе логических схем325
Сопоставление двух описанных типов агентов330
Резюме332
Библиографические и исторические заметки333
Упражнения337
Глава 8. Логика первого порядка341
Дополнительные сведения о представлении341
Синтаксис и семантика логики первого порядка*347
Модели для логики первого порядка347
Символы и интерпретации349
Термы351
Атомарные высказывания351
Сложные высказывания352
Кванторы352
Равенство357
Использование логики первого порядка357
Утверждения и запросы в логике первого порядка358
Проблемная область родства358
Числа, множества и списки361
Мир вампуса363
Инженерия знаний с применением логики первого порядка366
Процесс инженерии знаний367
Проблемная область электронных схем369
Резюме374
Библиографические и исторические заметки374
Упражнения376
Глава 9. Логический вывод в логике первого порядка380
Сравнение методов логического вывода в пропозициональной логике и логике первого порядка.381
Правила логического вывода для кванторов381
Приведение к пропозициональному логическому выводу382
Унификация и поднятие384
Правило вывода в логике первого порядка384
Унификация386
Хранение и выборка388
Прямой логический вывод390
Определенные выражения в логике первого порядка390
Простой алгоритм прямого логического вывода392
Эффективный прямой логический вывод394
Обратный логический вывод399
Алгоритм обратного логического вывода399
Логическое программирование401
Эффективная реализация логических программ403
Избыточный логический вывод и бесконечные циклы406
Логическое программирование в ограничениях408
Резолюция409
Конъюнктивная нормальная форма для логики первого порядка410
Правило логического вывода с помощью резолюции412
Примеры доказательств413
Полнота резолюции416
Учет отношения равенства420
Стратегии резолюции421
Средства автоматического доказательства теорем423
Резюме428
Библиографические и исторические заметки429
Упражнения435
Глава 10. Представление знаний440
Онтологическая инженерия440
Категории и объекты443
Физическая композиция445
Меры448
Вещества и объекты449
Действия, ситуации и события451
Онтология ситуационного исчисления451
Описание действий в ситуационном исчислении453
Решение проблемы представительного окружения455
Решение проблемы выводимого окружения457
Исчисление времени и событий459
Обобщенные события460
Процессы462
Интервалы464
Флюентные высказывания и объекты465
Мыслительные события и мыслимые объекты466
Формальная теория убеждений467
Знания и убеждения469
Знания, время и действия470
Мир покупок в Internet471
Сравнение коммерческих предложений476
Системы формирования рассуждений о категориях477
Семантические сети478
Описательные логики482
Формирование рассуждений с использованием информации, заданной по умолчанию483
Открытые и закрытые миры484
Отрицание как недостижение цели и устойчивая семантика модели 486
Логика косвенного описания и логика умолчания488
Системы поддержки истинности491
Резюме494
Библиографические и исторические заметки495
Упражнения503
Часть IV. Планирование511
Глава 11. Основы планирования512
Задача планирования513
Язык задач планирования514
Выразительность и расширения языка516
Пример: воздушный грузовой транспорт518
Пример: задача с запасным колесом519
Пример: мир блоков520
Планирование с помощью поиска в пространстве состояний521
Прямой поиск в пространстве состояний522
Обратный поиск в пространстве состояний523
Эвристики для поиска в пространстве состояний525
Планирование с частичным упорядочением527
Пример планирования с частичным упорядочением532
Планирование с частичным упорядочением и несвязанными переменными534
Эвристики для планирования с частичным упорядочением535
Графы планирования536
Применение графов планирования для получения эвристической оценки 539
Алгоритм Graphplan541
Завершение работы алгоритма Graphp 1 an544
Планирование с помощью пропозициональной логики545
Описание задач планирования в пропозициональной логике546
Сложности, связанные с использованием пропозициональных кодировок549
Анализ различных подходов к планированию551
Резюме553
Библиографические и исторические заметки.554
Упражнения558
Глава 12. Планирование и осуществление действий в реальном мире564
Время, расписания и ресурсы564
Составление расписаний с ресурсными ограничениями567
Планирование иерархической сети задач570
Представление декомпозиций действий572
Модификация планировщика для его использования в сочетании с декомпозициями574
Обсуждение вопроса577
Планирование и осуществление действий в недетерминированных проблемных областях580
Условное планирование584
Условное планирование в полностью наблюдаемых вариантах среды584
Условное планирование в частично наблюдаемых вариантах среды589
Контроль выполнения и перепланирование594
Непрерывное планирование600
Мультиагентное планирование605
Кооперация: совместные цели и планы605
Многотельное планирование606
Механизмы координации608
Конкуренция610
Резюме611
Библиографические и исторические заметки612
Упражнения616
Часть V. Неопределенные знания и рассуждения в условиях НЕОПРЕДЕЛЕННОСТИ621
Глава 13. Неопределенность622
Действия в условиях неопределенности622
Учет наличия неопределенных знаний623
Неопределенность и рациональные решения626
Проект агента, действующего в соответствии с теорией решений627
Основная вероятностная система обозначений628
Высказывания628
Атомарные события629
Априорная вероятность630
Условная вероятность632
Аксиомы вероятностей635
Использование аксиом вероятностей635
Теоретическое обоснование аксиом вероятностей636
Логический вывод с использованием полных совместных распределений 638
Независимость642
Правило Байеса и его использование644
Применение правила Байеса: простой случай644
Использование правила Байеса: комбинирование свидетельств646
Еще одно возвращение в мир вампуса648
Резюме652
Библиографические и исторические заметки653
Упражнения656
Глава 14. Вероятностные рассуждения660
Представление знаний в неопределенной проблемной области660
Семантика байесовских сетей664
Представление полного совместного распределения664
Отношения условной независимости в байесовских сетях669
Эффективное представление распределений условных вероятностей 669
Точный вероятностный вывод в байесовских сетях675
Вероятностный вывод с помощью перебора676
Алгоритм устранения переменной678
Сложность точного вероятностного вывода681
Алгоритмы кластеризации682
Приближенный вероятностный вывод в байесовских сетях683
Методы непосредственной выборки684
Вероятностный вывод по методу моделирования цепи Маркова690
Распространение вероятностных методов на представления в логике первого порядка694
Другие подходы к формированию рассуждений в условиях неопределенности699
Методы на основе правил для формирования рассуждений в условиях неопределенности700
Представление незнания: теория Демпстера-Шефера703
Представление неосведомленности: нечеткие множества и нечеткая логика704
Резюме706
Библиографические и исторические заметки707
Упражнения712
Глава 15. Вероятностные рассуждения во времени718
Время и неопределенность719
Состояния и наблюдения719
Стационарные процессы и марковское предположение720
Вероятностный вывод во временнь/х моделях724
Фильтрация и предсказание725
Сглаживание728
Поиск наиболее вероятной последовательности731
Скрытые марковские модели734
Упрощенные матричные алгоритмы734
Фильтры Калмана737
Обновление гауссовых распределений738
Простой одномерный пример739
Общий случай743
Области применения калмановской фильтрации744
Динамические байесовские сети746
Процедура создания сетей DBN747
Точный вероятностный вывод в сетях DBN752
Приближенный вероятностный вывод в сетях DBN754
Распознавание речи758
Звуки речи760
Слова763
Предложения765
Разработка устройства распознавания речи769
Резюме770
Библиографические и исторические заметки771
Упражнения774
Глава 16. Принятие простых решений778
Совместный учет убеждений и желаний в условиях неопределенности778
Основы теории полезности780
Ограничения, налагаемые на рациональные предпочтения781
В начале была Полезность783
Функции полезности784
Полезность денег784
Шкалы полезности и оценка полезности788
Многоатрибутные функции полезности790
Доминирование790
Структура предпочтений и многоатрибутная полезность793
Сети принятия решений795
Способы представления задачи принятия решений с помощью сети принятия решений795
Вычисления с помощью сетей принятия решений798
Стоимость информации798
Простой пример799
Общая формула800
Свойства показателей стоимости информации802
Реализация агента, действующего на основе сбора информации802
Экспертные системы, основанные на использовании теории принятия решений803
Резюме807
Библиографические и исторические заметки808
Упражнения810
Глава 17. Принятие сложных решений815
Задачи последовательного принятия решений816
Пример816
Оптимальность в задачах последовательного принятия решений819
Итерация по значениям822
Полезности состояний823
Алгоритм итерации по значениям824
Сходимость итерации по значениям826
Итерация по стратегиям829
Марковские процессы принятия решений в частично наблюдаемых вариантах среды831
Агенты, действующие на основе теории решений836
Принятие решений при наличии нескольких агентов: теория игр839
Проектирование механизма851
Резюме855
Библиографические и исторические заметки856
Упражнения859
Часть VI. Обучение863
Глава 18. Обучение на основе наблюдений864
Формы обучения864
Индуктивное обучение867
Формирование деревьев решений на основе обучения870
Деревья решений, рассматриваемые как производительные элементы870
Выразительность деревьев решений872
Индуктивный вывод деревьев решений на основе примеров873
Выбор проверок атрибутов877
Оценка производительности обучающего алгоритма879
Шум и чрезмерно тщательная подгонка880
Расширение области применения деревьев решений883
Обучение ансамбля884
Принципы функционирования алгоритмов обучения: теория
вычислительного обучения889
Оценка количества необходимых примеров890
Обучение списков решений892
Обсуждение полученных результатов894
Резюме895
Библиографические и исторические заметки896
Упражнения899
Глава 19. Применение знаний в обучении902
Логическая формулировка задачи обучения902
Примеры и гипотезы903
Поиск текущей наилучшей гипотезы905
Поиск на основе оценки наименьшего вклада908
Применение знаний в обучении913
Некоторые простые примеры914
Некоторые общие схемы915
Обучение на основе объяснения917
Извлечение общих правил из примеров919
Повышение эффективности правила921
Обучение с использованием информации о релевантности923
Определение пространства гипотез923
Обучение и использование информации о релевантности924
Индуктивное логическое программирование927
Практический пример928
Нисходящие методы индуктивного обучения931
Индуктивное обучение с помощью обратной дедукции934
Совершение открытий с помощью индуктивного логического программирования937
Резюме939
Библиографические и исторические заметки940
Упражнения943
Глава 20. Статистические методы обучения945
Статистическое обучение946
Обучение с помощью полных данных950
Обучение параметрам с помощью метода максимального правдоподобия: дискретные модели950
Наивные байесовские модели953
Обучение параметрам с максимальным правдоподобием: непрерывные модели954
Обучение байесовским параметрам956
Определение путем обучения структур байесовских сетей959
Обучение с помощью скрытых переменных: алгоритм ЕМ961
Неконтролируемая кластеризация: определение в процессе обучения смешанных гауссовых распределений962
Обучение байесовских сетей со скрытыми переменными966
Обучение скрытых марковских моделей969
Общая форма алгоритма ЕМ970
Определение с помощью обучения структур байесовских сетей со скрытыми переменными971
Обучение на основе экземпляра972
Модели ближайшего соседа973
Ядерные модели975
Нейронные сети976
Элементы в нейронных сетях977
Структуры сетей979
Однослойные нейронные сети с прямым распространением (персептроны)980
Многослойные нейронные сети с прямым распространением985
Определение в процессе обучения структур нейронных сетей990
Ядерные машины991
Практический пример: распознавание рукописных цифр995
Резюме998
Библиографические и исторические заметки1000
Упражнения1005
Глава 21. Обучение с подкреплением1010
Введение1010
Пассивное обучение с подкреплением1012
Непосредственная оценка полезности1014
Адаптивное динамическое программирование1015
Обучение с учетом временной разницы1016
Активное обучение с подкреплением1020
Исследование среды1021
Определение функции “действие—стоимость” с помощью обучения1025
Обобщение в обучении с подкреплением1027
Приложения методов обучения к ведению игр1031
Применение к управлению роботами1032
Поиск стратегии1033
Резюме1037
Библиографические и исторические заметки1039
Упражнения1042
Часть VII. Общение, восприятие и осуществление действий 1045
Глава 22. Общение1046
Общение как действие1047
Основные понятия языка1048
Составные этапы общения1050
Формальная грамматика для подмножества английского языка1054
Словарь языка £01054
Грамматика языка £01055
Синтаксический анализ (синтаксический разбор)1056
Эффективный синтаксический анализ1058
Расширенные грамматики1065
Субкатегоризация глагола1068
Порождающая мощь расширенных грамматик1071
Семантическая интерпретация1071
Семантика небольшой части английского языка1072
Время события и времена глаголов1074
Введение кванторов1075
Прагматическая интерпретация1078
Применение грамматик DCG для производства языковых конструкций 1079
Неоднозначность и устранение неоднозначности1080
Устранение неоднозначности1083
Понимание речи1085
Разрешение ссылок*1085
Структура связной речи1087
Индуктивный вывод грамматики1089
Резюме1092
Библиографические и исторические заметки1093
Упражнения1097
Глава 23. Вероятностная обработка лингвистической информации1102
Вероятностные языковые модели1103
Вероятностные контекстно-свободные грамматики1106
Определение с помощью обучения вероятностей для грамматики PCFG 1108
Определение с помощью обучения структуры правил для
грамматики PCFG1110
Информационный поиск1110
Сравнительный анализ систем информационного поиска1114
Совершенствование информационного поиска1115
Способы представления результирующих наборов1117
Создание систем информационного поиска1119
Извлечение информации1121
Машинный перевод1124
Системы машинного перевода1127
Статистический машинный перевод1127
Определение с помощью обучения вероятностей для машинного перевода1132
Резюме1134
Библиографические и исторические заметки1135
Упражнения1138
Глава 24. Восприятие1141
Введение1141
Формирование изображения1143
Получение изображения без линз — камера-обскура1144
Системы линз1145
Свет: фотометрия формирования изображения1146
Цвет — спектрофотометрия формирования изображения1147
Операции, выполняемые на первом этапеобработки изображения1148
Обнаружение краев1150
Сегментация изображения1153
Извлечение трехмерной информации1154
Движение1156
Бинокулярные стереоданные1158
Градиенты текстуры1161
Затенение1162
Контуры1164
Распознавание объектов1168
Распознавание с учетом яркости1171
Распознавание с учетом характеристик1172
Оценка позы1175
Использование системы машинного зрения для манипулирования
и передвижения1177
Резюме1180
Библиографические и исторические заметки1181
Упражнения1184
Глава 25. Робототехника1188
Введение1188
Аппаратное обеспечение роботов1190
Датчики1190
Исполнительные механизмы1192
Восприятие, осуществляемое роботами1195
Локализация1197
Составление карты1203
Другие типы восприятия1206
Планирование движений1207
Пространство конфигураций1207
Методы декомпозиции ячеек1210
Методы скелетирования1214
Планирование движений в условиях неопределенности1215
Надежные методы1217
Осуществление движений1220
Динамика и управление1220
Управление на основе поля потенциалов1223
Реактивное управление1225
Архитектуры робототехнического программного обеспечения1227
Обобщающая архитектура1227
Трехуровневая архитектура1229
Робототехнические языки программирования1230
Прикладные области1231
Резюме1235
Библиографические и исторические заметки1237
Упражнения1241
Часть VIIL Заключение1247
Глава 26. Философские основания1248
Слабый искусственный интеллект: могут ли машины действовать интеллектуально?1249
Довод, исходящий из неспособности1250
Возражения, основанные на принципах математики1251
Довод, исходящий из неформализуемости1253
Сильный искусственный интеллект: могут ли машины по-настоящему мыслить?'1255
Проблема разума и тела1258
Эксперимент “мозг в колбе”1260
Эксперимент с протезом мозга1261
Китайская комната1263
Этические и моральные последствия разработки искусственного интеллекта1266
Резюме1271
Библиографические и исторические заметки1272
Упражнения1275
Глава 27. Настоящее и будущее искусственного интеллекта1277
Компоненты агента1278
Архитектуры агентов1281
Оценка правильности выбранного направления1283
Перспективы развития искусственного интеллекта1285
Приложение А. Математические основы1288
АЛ. Анализ сложности и система обозначений О()1288
Асимптотический анализ1288
Изначально сложные и недетерминированные полиномиальные задачи 1290
А.2. Векторы, матрицы и линейная алгебра1291
А.З. Распределения вероятностей1293
Библиографические и исторические заметки1295
Приложение Б. Общие сведения о языках и алгоритмах, используемых в книге1297
Б. 1. Определение языков с помощью формы Бэкуса—Наура1297
Б.2. Описание алгоритмов с помощью псевдокода1298
Б.З. Оперативная помощь1299
Литература1302
Предметный указатель1373
Посвящается Лой, Гордону и Люси С.Дж. Рассел
Посвящается Крису, Изабелле и Джульетте П. Норвиг
Предисловие
Искусственный интеллект (ИИ) — широкая область знаний; именно поэтому данная книга имеет такой большой объем. Авторы попытались достаточно полно описать теоретические основы искусственного интеллекта, включая математическую логику, теорию вероятностей и теорию непрерывных функций, раскрыть суть таких понятий, как восприятие, рассуждение, обучение и действие, а также описать все технические средства, созданные в рамках этого научного направления, начиная с микроэлектронных устройств и заканчивая межпланетными автоматическими зондами. Большой объем данной книги обусловлен также тем, что авторы стремились представить достигнутые результаты достаточно глубоко, хотя в основной части каждой главы они старались охватить только самые важные идеи, касающиеся рассматриваемой темы. Указания, позволяющие получить более полные сведения, приведены в библиографических заметках в конце каждой главы.
Эта книга имеет подзаголовок “Современный подход”. С помощью этого довольно-таки малосодержательного названия авторы хотели подчеркнуть, что пытались представить в ней в рамках единого способа изложения все современные достижения в области искусственного интеллекта, а не описать каждое отдельное его направление в его собственном историческом контексте. Авторы приносят свои извинения представителям тех направлений, которые стали выглядеть не столь значимыми, как они заслуживают, лишь из-за того, что для их описания принят такой подход.
Главной объединяющей темой этой книги является идея интеллектуального агента. Авторы определяют искусственный интеллект как науку об агентах, которые получают результаты актов восприятия из своей среды и выполняют действия, причем каждый такой агент реализует функцию, которая отображает последовательности актов восприятия в действия. В данной книге рассматриваются различные способы представления этих функций, в частности продукционные системы, реактивные агенты, условные планировщики в реальном масштабе времени, нейронные сети и системы, действующие на основе теории решений. Авторы трактуют роль обучения как распространения сферы деятельности проектировщика на неизвестную среду и показывают, какие ограничения налагает указанный подход к обучению на проект агента, способствуя применению явного представления знаний и таких же способов формирования рассуждений. Кроме того, авторы рассматривают робототехнику и системы технического зрения не как независимо определяемые научные направления, а как области знаний, позволяющие обеспечить более успешное достижение целей, стоящих перед агентами, и подчеркивают важность учета того, в какой среде агент решает поставленные перед ним задачи, при определении соответствующего проекта агента.
Основная цель авторов состояла в том, чтобы изложить идеи, которые были сформулированы в исследованиях по искусственному интеллекту, проводившихся в течение последних пятидесяти лет, а также собраны на протяжении последних двух тысячелетий в тех областях знаний, которые стали стимулом к развитию искусственного интеллекта. Мы старались избегать чрезмерного формализма при изложении этих идей, сохраняя при этом необходимую точность. При любой возможности мы приводили алгоритмы на псевдокоде, чтобы конкретизировать излагаемые идеи;
краткие сведения о применяемом нами псевдокоде содержатся в приложении Б. Реализации этих алгоритмов на нескольких языках программирования можно найти на сопровождающем Web-узле книги (aima. cs. berkeley. edu).
Настоящая книга прежде всего предназначена для использования в базовом университетском курсе или в последовательности курсов. Она может также использоваться в курсе по специальности (возможно, с добавлением материала из некоторых основных источников, предложенных в библиографических заметках). Кроме того, данная книга характеризуется всесторонним охватом тематики и большим количеством подробных алгоритмов, поэтому применима в качестве основного справочника для аспирантов, специализирующихся в области искусственного интеллекта, а также будет небезынтересна профессионалам, желающим выйти за пределы избранной ими специальности. При этом единственным требованием является знакомство с основными понятиями информатики (алгоритмы, структуры данных, классы сложности) на уровне студента-второкурсника. Для понимания материала по нейронным сетям и подробного ознакомления со сведениями о статистическом обучении полезно освоить исчисление на уровне студента первого курса. Часть необходимых сведений из области математики приведена в приложении А.
Краткий обзор книги
Данная книга разделена на восемь частей. В части I, “Искусственный интеллект”, предлагается общий обзор тематики искусственного интеллекта, базирующейся на идее интеллектуального агента — системы, которая способна принять решение о том, что делать, а затем выполнить это решение. В части II, “Решение проблем”, изложение сосредоточено на методах принятия решений по выбору оптимальных действий в тех условиях, когда необходимо продумывать наперед несколько этапов, например при поиске маршрута проезда через всю страну или при игре в шахматы. В части III, “Знания и рассуждения”, обсуждаются способы представления знаний о мире — как он функционирует, каковы его основные особенности в настоящее время и к чему могут привести те или иные действия, а также способы формирования логических рассуждений на основе этих знаний. В части IV, “Планирование”, описывается, как использовать эти способы формирования рассуждений для принятия решений по выбору дальнейших действий, особенно при составлении планов. Часть V, “Неопределенные знания и рассуждения в условиях неопределенности”, аналогична частям III и IV, но в ней изложение в основном сосредоточивается на способах формирования рассуждений и принятия решений в условиях неопределенности знаний о мире, с чем обычно приходится сталкиваться, например, в системах медицинской диагностики и лечения.
Части II-V, вместе взятые, содержат описание тех компонентов интеллектуального агента, которые отвечают за выработку решений. В части VI, “Обучение”, описаны методы выработки знаний, необходимых для этих компонентов, которые обеспечивают принятие решений. В части VII, “Общение, восприятие и осуществление действий”, описаны способы, с помощью которых интеллектуальные агенты могут получать результаты восприятия из своей среды, чтобы узнать, что в ней происходит, либо с помощью систем технического зрения, осязания, слуха, либо на основе понимания языка, а также способы, с помощью которых интеллектуальные агенты могут претворять свои планы в реальные действия, такие как выполнение движений
робота или произнесение фрагментов речи на естественном языке. Наконец, в части VIII, “Заключение”, анализируется прошлое и будущее искусственного интеллекта и рассматриваются философские и этические последствия его развития.
Отличия от первого издания
Со времени публикации первого издания этой книги в 1995 году в искусственном интеллекте многое изменилось, поэтому внесены значительные изменения и в саму книгу. Каждая глава была в значительной степени переработана, чтобы в ней можно было отразить новейшие достижения в рассматриваемой области, дать иное толкование старым работам с той точки зрения, которая более согласована с новыми результатами, а также улучшить качество изложения рассматриваемых идей в соответствии с принципами педагогики. Активных пользователей методов искусственного интеллекта должно порадовать то, что представленные в настоящем издании методы стали намного более эффективными по сравнению с теми, которые описывались в издании 1995 года; например, алгоритмы планирования, которые рассматривались в первом издании, позволяли формировать планы, состоящие всего лишь из нескольких шагов, тогда как масштабы применения алгоритмов, описанные в настоящем издании, увеличились до десятков тысяч шагов. Подобные усовершенствования, измеряемые несколькими порядками величин, достигнуты и в областях вероятностного вывода и обработки лингвистической информации, а также в других вспомогательных областях. Наиболее существенные изменения, внесенные во второе издание, описаны ниже.
В части I изложены факты, которые свидетельствуют о признании исторического вклада в развитие искусственного интеллекта со стороны теории управления, теории игр, экономики и неврологии. Это позволяет создать основу для более целостного описания идей, заимствованных из этих научных областей, в последующих главах.
В части II описаны алгоритмы оперативного поиска и введена новая глава по удовлетворению ограничений, которая позволяет установить естественную связь между вычислительными методами и приведенными в данной книге материалами по логике.
Теперь в части III пропозициональная логика, которая в первом издании была рекомендована читателям как промежуточная ступенька на пути к логике первого порядка, рассматривается как полезный сам по себе язык представления, для которого предусмотрены быстродействующие алгоритмы логического вывода и эффективные проекты агентов на основе схемы. Главы по логике первого порядка были реорганизованы для более наглядного изложения материала, а в качестве примера проблемной области приведено описание процесса осуществления покупок в Internet.
В части IV приведены сведения о более новых методах планирования, таких как Graphplan и планирование на основе выполнимости. Кроме того, увеличен объем изложения, касающегося составления расписаний, условного планирования, иерархического планирования и мультиагентского планирования.
В часть V включен дополнительный материал по байесовским сетям, в котором описаны новые алгоритмы, в частности алгоритмы устранения перемен-
ных и алгоритмы Монте-Карло на основе марковской цепи, а также введена новая глава по формированию неопределенных рассуждений с учетом времени и созданию покрытий скрытых марковских моделей, а также по применению фильтров Калмана и динамических байесовских сетей. Описание марковских процессов принятия решений стало еще более глубоким; введены новые разделы по теории игр и проектированию механизма.
В части VI связаны воедино все результаты, достигнутые в области статистического и символического обучения, а также обучения нейронных сетей; кроме того, введены разделы, содержащие сведения об увеличении производительности алгоритмов, алгоритме ЕМ, обучении на основе экземпляра и о ядерных методах (о машинах поддерживающих векторов).
В части VII к общему объему материала об обработке лингвистической информации добавлены разделы, касающиеся обработки речи и индуктивного вывода грамматики, а также глава по вероятностным языковым моделям, с учетом того, что областью применения этих сведений должны стать информационный поиск и машинный перевод. В ходе изложения вопросов робототехники подчеркнута необходимость применения методов обработки неопределенных сенсорных данных, а в главе по системам технического зрения приведены уточненные сведения по распознаванию объектов.
В части VIII предусмотрен дополнительный раздел, касающийся этических последствий развития искусственного интеллекта.
Как использовать эту книгу
Книга состоит из 27 глав, причем для изучения каждой из них требуется примерно недельный объем лекций. Таким образом, для учебной проработки всей книги требуется последовательность курсов лекций, рассчитанная на два семестра. Еще один вариант состоит в том, что может быть составлен выборочный курс, удовлетворяющий интересы преподавателя и студента. Благодаря тому что в ней охвачена широкая тематика, эта книга может использоваться в качестве основы для многих курсов, начиная с коротких, вводных циклов лекций для начинающих и заканчивая специализированными курсами с углубленным изучением избранной темы для студентов последних лет обучения. На Web-узле, находящемся по адресу aima.cs.berkeley.edu, приведены программы курсов лекций, проводимых более чем в 600 университетах и колледжей, в основу которых было положено первое издание настоящей книги, а также даны рекомендации, позволяющие читателю найти программу курсов лекций, в наибольшей степени соответствующую его потребностям.
Книга включает 385 упражнений. Упражнения, требующие существенного объема программирования, отмечены значком в виде клавиатуры ((wj). Проще всего эти упражнения можно выполнить, воспользовавшись архивом кода, который находится по адресу aima. cs. berkeley. edu. Некоторые из упражнений настолько велики, что их можно рассматривать как проекты с заданными сроками. Многие упражнения требуют проведения определенных исследований с помощью доступной литературы; они отмечены значком в виде книги (Ш). Важные примечания отмечены значком в виде “указующего перста” (^) и выделены курсивным шрифтом. В книгу
включен обширный предметный указатель, состоящий из нескольких тысяч элементов, который поможет читателю найти нужную тему. Кроме того, значком с изображением руки, держащей карандаш (^), и полужирным шрифтом отмечаются все новые термины, везде, где впервые приведено их определение.
Использование Web-узла
На Web-узле aima. cs. berkeley. edu приведено следующее:
реализации алгоритмов, описанных в книге, на нескольких языках программирования;
список более чем 600 учебных заведений, в которых используется данная книга, сопровождающийся многочисленными ссылками на материалы курсов, доступные в оперативном режиме;
аннотированный список более чем 800 ссылок на Web-узлы с полезными сведениями по искусственному интеллекту;
списки дополнительных материалов и ссылок, относящихся к каждой главе;
инструкции с описанием того, как присоединяться к дискуссионной группе, посвященной данной книге;
инструкции с описанием того, как обратиться к авторам, чтобы передать им свои вопросы или комментарии;
инструкции с описанием того, как сообщить об ошибках, обнаруженных в книге;
копии рисунков из оригинала книги, а также слайды и другие материалы для преподавателей.
Благодарности
Основная часть главы 24 (по системам технического зрения) написана Джитендрой Маликом (Jitendra Malik). Глава 25 (по робототехнике) в основном написана Себастьяном Траном (Sebastian Thran) для настоящего издания и Джоном Кэнни (John Саппу) для первого издания. Дуг Эдвардс (Doug Edwards) провел исследование, на основании которого написаны исторические заметки для первого издания. Тим Хуанг (Tim Huang), Марк Паскин (Mark Paskin) и Синтия Бруине (Cynthia Bruyns) оказали помощь при оформлении диаграмм и алгоритмов. Алан Апт (Alan Apt), Сондра Чавес (Sondra Chavez), Тони Хом (Toni Holm), Джейк Вард (Jake Warde), Ирвин За- кер (Irwin Zucker) и Камилла Трантакост (Camille Trentacoste), сотрудники издательства Prentice Hall, приложили большие усилия, чтобы помочь нам соблюсти намеченный график подготовки книги, и внесли много полезных предложений по оформлению и содержанию книги.
Стюарт хотел бы поблагодарить своих родителей за их постоянную помощь и поддержку, а также свою жену, Лой Шефлотт (Loy Sheflott), за ее бесконечное терпение и безграничную мудрость. Он надеется, что скоро эту книгу прочитают Гордон и Люси. Исключительно полезной для него была работа с RUGS (Russell's Unusual Group of Students — необыкновенная группа студентов Рассела).
Питер хотел бы поблагодарить своих родителей, Торстена и Герду, за то, что они очень помогли ему на первых порах, и свою жену Крис, детей и друзей за то, что
подбадривали его и терпели его отсутствие в течение тех долгих часов, когда он писал эту книгу, и тех еще более долгих часов, когда он снова ее переписывал.
Мы очень обязаны библиотекарям, работающим в университете г. Беркли, Стан- фордском университете, Массачусетсском технологическом институте и агентстве NASA, а также разработчикам узлов CiteSeer и Google, которые внесли революционные изменения в сам способ проведения исследований.
Мы буквально не с состоянии выразить свою признательность всем тем, кто использовал данную книгу и внес свои предложения, но хотели бы поблагодарить за особо полезные комментарии следующих: Кшиштофа Апта (Krzysztof Apt), Эллери Эзиела (Ellery Aziel), Джефа Ван Баалена (Jeff Van Baalen), Брайена Бейкера (Brian Baker), Дона Баркера (Don Barker), Тони Баррета (Tony Barrett), Джеймса Ньютона Баса (James Newton Bass), Дона Била (Don Beal), Говарда Бека (Howard Beck), Вольфганга Бибеля (Wolfgang Bibel), Джона Биндера (John Binder), Лэрри Букмана (Larry Bookman), Дэвида Р. Боксолла (David R. Boxall), Герхарда Бревку (Gerhard Brewka), Селмера Бринсйорда (Selmer Bringsjord), Карла Бродли (Carla Bradley), Криса Брауна (Chris Brown), Вильгельма Бургера (Wilhelm Burger), Лорен Берка (Lauren Burka), Жоао Кашпоро (Joao Cachopo), Мер- рея Кэмпбелла (Murray Campbell), Нормана Карвера (Norman Carver), Эммануеля Кастро (Emmanuel Castro), Анила Чакраварти (Anil Chakravarthy), Дэна Чизарика (Dan Chisarick), Роберто Сиполлу (Roberto Cipolla), Дэвида Коэна (David Cohen), Джеймса Коулмэна (James Coleman), Джули Энн Компарини (Julie Ann Comparing, Гэри Котрелла (Gary Cottrell), Эрнеста Дэвиса (Ernest Davis), Рину Дехтер (Rina Dechter), Тома Диттери- ка (Tom Dietterich), Чака Дийера (Chuck Dyer), Барбару Энгельхардт (Barbara Engelhardt), Дуга Эдвардса (Doug Edwards), Кутлухана Эрола (Kutluhan Erol), Орена Этциони (Oren Etzioni), Хану Филир (Hana Filip); Дугласа Фишера (Douglas Fisher), Джеффри Форбса (Jeffrey Forbes), Кена Форда (Ken Ford), Джона Фослера (John Fosler), Алекса Франца (Alex Franz), Боба Фатрелла (Bob Futrelle), Марека Галецки (Marek Galecki), Штефана Гербердинга (Stefan Gerberding), Стюарта Джилла (Stuart Gill), Сабину Глеснер (Sabine Glesner), Сета Голуба (Seth Golub), Гошту Гранье (Gosta Grahne), Расса Грейнера (Russ Greiner), Эрика Гримсона (Eric Crimson), Барбару Грош (Barbara Grosz), Лэрри Холла (Larry Hall), Стива Хэнкса (Steve Hanks), Отара Хэнссона (Othar Hansson), Эрнста Хайнца (Ernst Heinz), Джима Эндлера (Jim Hendler), Кристофа Херманна (Christoph Herrmann), Вазанта Хонавара (Vasant Honavar), Тима Хуанга (Tim Huang), Сета Хатчинсона (Seth Hutchinson), Джуста Джейкоба (Joost Jacob), Магнуса Йоханссона (Magnus Johansson), Дэна Джурафски (Dan Jurafsky), Лесли Кэлблинга (Leslie Kaelbling), Кейдзи Канадзава (Keiji Kanazawa), Сурекха Касибхатла (Surekha Kasibhatla), Саймона Казифа (Simon Kasif), Генри Каутца (Henry Kautz), Гернота Кершбаумера (Gernot Kerschbaumer), Ричарда Кирби (Richard Kirby), Кевина Найта (Kevin Knight), Свена Кёнига (Sven Koenig), Дафну Коллер (Daphne Koller), Рича Корфа (Rich Korf), Джеймса Керина (James Kurten), Джона Лафферти (John Lafferty), Гаса Ларссона (Gus Larsson), Джона Лаццаро (John Lazzaro), Джона Лебланка (Jon LeBlanc), Джейсона Литермана (Jason Leatherman), Фрэнка Ли (Frank Lee), Эдварда Лима (Edward Lim), Пьера Луво (Pierre Louveaux), Дона Лавленда (Don Loveland), Сридхара Махадевана (Sridhar Mahadevan), Джима Мартина (Jim Martin), Энди Мейера (Andy Mayer), Дэвида Мак-Грэйна (David McGrane), Джей Менделсон (Jay Mendelsohn), Брайена Милча (Brian Milch), Стива Майнтона (Steve Minton), Вибху Миттала (Vibhu Mittal), Леору Моргенстерн (Leora Morgenstern), Стивена Магглтона (Stephen Muggleton), Кевина Мэрфи (Kevin Murphy), Рона Мьюзика (Ron Musick), Санга Миаэнга (Sung Myaeng), Ли Нэйша (Lee Naish), Панду Найака (Pandu
Nayak), Бернхарда Небеля (Bernhard Nebel), Стюарта Нельсона (Stuart Nelson), Шуан- лонг Нгуэн (XuanLong Nguyen), Иллаха Нурбакша (Illah Nourbakhsh), Стива Омохандро (Steve Omohundro), Дэвида Пейджа (David Page), Дэвида Палмера (David Palmer), Дэвида Паркса (David Parkes), Рона Парра (Ron Parr), Марка Паскина (Mark Paskin), Тони Пас- сера (Tony Passera), Майкла Паззани (Michael Pazzani), Вима Пейлса (Wim Pijls), Иру Пол (Ira Pohl), Марту Поллак (Martha Pollack), Дэвида Пула (David Poole), Брюса Портера (Bruce Porter), Малкома Прадхана (Malcolm Pradhan), Билла Прингла (Bill Pringle), Лор- рэн Прайор (Lorraine Prior), Грэга Прована (Greg Provan), Уильяма Рапапорта (William Rapaport), Филипа Ресника (Philip Resnik), Франческу Росси (Francesca Rossi), Джонатана Шеффера (Jonathan Schaeffer), Ричарда Шерла (Richard Scherl), Ларса Шустера (Lars Schuster), Сохейль Шамс (Soheil Shams), Стюарта Шапиро (Stuart Shapiro), Джюд Шав- лик (Jude Shavlik), Сатиндера Сингха (Satinder Singh), Дэниела Слитора (Daniel Sleator), Дэвида Смита (David Smith), Брайена Coy (Bryan So), Роберта Спрула (Robert Sproull), Линн Стейн (Lynn Stein), Лэрри Стивенса (Larry Stephens), Андреаса Штолке (Andreas Stolcke), Пола Страддинга (Paul Stradling), Девику Субраманиан (Devika Subramanian), Рича Саттона (Rich Sutton), Джонатана Тэта (Jonathan Tash), Остина Тэйта (Austin Tate), Майкла Тилшера (Michael Thielscher), Уильяма Томпсона (William Thompson), Себастьяна Трана (Sebastian Thrun), Эрика Тидеманна (Eric Tiedemann), Марка Торранса (Mark Torrance), Рэндалла Уфама (Randall Upham), Пола Утгоффа (Paul Utgoff), Питера ван Бека (Peter van Beek), Хала Вариана (Hal Varian), Сунила Вемури (Sunil Vemuri), Джима Уолдо (Jim Waldo), Бонни Веббер (Bonnie Webber), Дэна Вэлда (Dan Weld), Майкла Веллмана (Michael Wellman), Майкла Дина Уайта (Michael Dean White), Камина Уайт- хауза (Karnin Whitehouse), Брайена Уильямса (Brian Williams), Дэвида Уолфа (David Wolfe), Билла Вудса (Bill Woods), Олдена Райта (Alden Wright), Ричарда Йэна (Richard Yen), Вейшионг Джанг (Webdong Zhang), Шломо Зильберштейна (Shlomo Zilberstein), а также анонимных рецензентов, привлеченных издательством Prentice Hall.
Об обложке
Изображение на обложке было спроектировано авторами и выполнено Лайзой Мэри Сарденья (Lisa Marie Sardegna) и Мэриэнн Симмонс (Maryann Simmons) с использованием программ SGI Inventor™ и Adobe Photoshop™. На обложке показаны перечисленные ниже предметы, иллюстрирующие историю искусственного интеллекта.
Алгоритм планирования Аристотеля из книги De Motu Animalium (ок. 400 до н.э.).
Генератор понятий Раймунда Луллия из книги Ars Magna (ок. 1300).
Разностная машина Чарльза Бэббиджа, прототип первого универсального компьютера (1848).
Система обозначений Готтлоба Фреге для логики первого порядка (1789).
Диаграммы Л ьюиса Кэрролла для формирования логических рассуждений (1886).
Система обозначений вероятностной сети Сьюэлла Райта (1921).
Алан Тьюринг (1912-1954).
Робот Shakey (1969-1973).
Современная диагностическая экспертная система (1993).
Об авторах
Стюарт Рассел родился в 1962 году в г. Портсмут, Англия. Он получил степень бакалавра искусств по физике с наградами первой степени в Оксфордском университете в 1982 году и степень доктора философии по информатике в Станфорде ком университете в 1986 году. Затем он перешел на факультет Калифорнийского университета в г. Беркли, где занял должность профессора компьютерных наук, директора предприятия Center for Intelligent Systems и заведующего кафедрой инженерного искусства Смита-Задэ. В 1990 году он получил от фонда National Science Foundation премию Presidential Young Investigator Award, а в 1995 разделил первое место в конкурсе Computers and Thought Award. В 1996 году он победил на конкурсе Miller Research Professor в Калифорнийском университете, а в 2000 году был выдвинут на премию Chancellor's Professorship. В 1998 году он прочитал мемориальные лекции в память Форсита в Станфордском университете. Рассел — член AAAI (American Association for Artificial Intelligence — Американская ассоциация специалистов по искусственному интеллекту) и бывший член исполнительного совета этой ассоциации. Им опубликовано больше 100 статей по широкому кругу проблем искусственного интеллекта. Он также является автором книг Use of Knowledge in Analogy and Induction и Do the Right Thing: Studies in Limited Rationality (написана в соавторстве с Эриком Вефолдом — Eric Wefald).
Питер Норвиг — директор подразделения Search Quality компании Google, а также член AAAI и член исполнительного совета этой ассоциации. Перед этим он возглавлял подразделение Computational Sciences Division в исследовательском центре NASA Ames Research Center, а также руководил проводимыми в комитете NASA (National Aeronautics and Space Administration — Национальный комитет no аэронавтике и исследованию космического пространства) исследованиями и разработками по искусственному интеллекту и робототехнике. Еще раньше он занимал должность руководителя исследовательских работ в компании Junglee, где под его руководством была разработана одна из первых служб извлечения информации в Internet, и должность старшего научного сотрудника в подразделении компании Sun Microsystems Laboratories, которое работало над интеллектуальным информационным поиском. Он получил степень бакалавра наук по прикладной математике в Университете Брауна и степень доктора философии по информатике в Калифорнийском университете, г. Беркли. Он занимал должность профессора в Университете Южной Калифорнии и работал на факультете научно-технических исследований в Беркли. Ему принадлежат больше 50 публикаций по компьютерным наукам, в том числе книги Case Studies in Common Lisp, Verbmobil: A Translation System for Face-to-Face Dialog и Intelligent Help Systems for UNIX.
Ждем ваших отзывов!
Вы, уважаемый читатель, и есть главный критик и комментатор этой книги. Мы ценим ваше мнение и хотим знать, что было сделано нами правильно, что можно было сделать лучше и что еще вы хотели бы увидеть изданным нами. Нам интересно услышать и любые другие замечания, которые вам хотелось бы высказать в наш адрес.
Мы ждем ваших комментариев и надеемся на них. Вы можете прислать нам бумажное или электронное письмо либо просто посетить наш Web-сервер и оставить свои замечания. Одним словом, любым удобным для вас способом дайте нам знать, нравится или нет вам эта книга, а также выскажите свое мнение о том, как сделать наши книги более интересными для вас.
Посылая письмо или сообщение, не забудьте указать название книги и ее авторов, а также ваш обратный адрес. Мы внимательно ознакомимся с вашим мнением и обязательно учтем его при отборе и подготовке к изданию последующих книг. Наши координаты:
E-mail:info@williamspublishing. com
WWW:http: //www.williamspublishing.com
Информация для писем:
из России:115419, Москва, а/я 783
из Украины:03150, Киев, а/я 152
Часть I
Искусственный интеллект
34753475Введение
34
75
34
75
Интеллектуальные агенты
1 Введение
В этой главе авторы пытаются объяснить, почему они рассматривают искусственный интеллект как тему, в наибольшей степени заслуживающую изучения, а также определить, в чем именно заключается данная тема; эти задачи необходимо решить, прежде чем приступать к дальнейшей работе.
Люди называют себя Homo sapiens (человек разумный), поскольку для них мыслительные способности имеют очень важное значение. В течение тысяч лет человек пытается понять, как он думает, т.е. разобраться в том, как именно ему, сравнительно небольшому материальному объекту, удается ощущать, понимать, предсказывать и управлять миром, намного более значительным по своим размерам и гораздо более сложным по сравнению с ним. В области ^ искусственного интеллекта (ИИ) решается еще более ответственная задача: специалисты в этой области пытаются не только понять природу интеллекта, но и создать интеллектуальные сущности.
Искусственный интеллект — это одна из новейших областей науки. Первые работы в этой области начались вскоре после Второй мировой войны, а само ее название было предложено в 1956 году. Ученые других специальностей чаще всего указывают искусственный интеллект, наряду с молекулярной биологией, как “область, в которой я больше всего хотел бы работать”. Студенты-физики вполне обоснованно считают, что все великие открытия в их области уже были сделаны Галилеем, Ньютоном, Эйнштейном и другими учеными. Искусственный интеллект, с другой стороны, все еще открывает возможности для проявления талантов нескольких настоящих Эйнштейнов.
В настоящее время тематика искусственного интеллекта охватывает огромный перечень научных направлений, начиная с таких задач общего характера, как обучение и восприятие, и заканчивая такими специальными задачами, как игра в шахматы, доказательство математических теорем, сочинение поэтических произведений и диагностика заболеваний. В искусственном интеллекте систематизируются и автоматизируются интеллектуальные задачи и поэтому эта область касается любой сферы интеллектуальной деятельности человека. В этом смысле искусственный интеллект является поистине универсальной научной областью.
Общее определение искусственного интеллекта
Из сказанного выше можно сделать вывод, что искусственный интеллект представляет собой чрезвычайно интересную научную область. Но определение этого научного направления в настоящей книге еще не было дано. В табл. 1.1 приведены определения искусственного интеллекта, взятые из восьми научных работ. Эти определения можно классифицировать по двум основным категориям. Грубо говоря, формулировки, приведенные в верхней части таблицы, касаются мыслительных процессов и способов рассуждения, а в нижней части таблицы находятся формулировки, касающиеся поведения. В определениях, приведенных слева, успех измеряется в терминах достоверного воспроизведения способностей человека, а формулировки, находящиеся справа, характеризуют конечные достижения в той области трактовки идеальной концепции интеллектуальности, которую авторы настоящей книги предпочитают называть ^ рациональностью. Система является рациональной, если она “все действия выполняет правильно”, при условии, что система обладает знаниями о том, что является правильным.
Таблица 1.1. Некоторые определения искусственного интеллекта, распределенные по четырем категориям
Системы, которые думают подобно людям
Системы, которые думают рационально
“Новое захватывающее направление работ по созданию компьютеров, способных думать, ...машин, обладающих разумом, в полном и буквальном смысле этого слова” [631 ]
“Изучение умственных способностей с помощью вычислительных моделей” [239]
“[Автоматизация] действий, которые мы ассоциируем с человеческим мышлением, т.е. таких действий, как принятие решений, решение задач, обучение...” [95]
“Изучение таких вычислений, которые позволяют чувствовать, рассуждать и действовать” [1603]
Системы, которые действуют подобно людям
Системы, которые действуют рационально
“Искусство создания машин, которые выполняют функции, требующие интеллектуальности при их выполнении людьми” [871]
“Вычислительный интеллект — это наука о проектировании интеллектуальных агентов” [1227]
“Наука о том, как научить компьютеры делать то, в чем люди в настоящее время их превосходят” [1285]
“Искусственный интеллект... — это наука, посвященная изучению интеллектуального поведения артефактов” [1146]
История развития искусственного интеллекта показывает, что интенсивные исследования проводились по всем четырем направлениям. Вполне можно предположить, что между теми учеными, которые в основном исходят из способностей людей, и теми, кто занимается главным образом решением проблема рациональности, существуют определенные разногласия. Подход, ориентированный на изучение человека, должен представлять собой эмпирическую научную область, развитие кото-
рой происходит по принципу выдвижения гипотез и их экспериментального подтверждения. С другой стороны, подход, основанный на понятии рациональности, представляет собой сочетание математики и техники. Каждые из этих групп ученых действуют разрозненно, но вместе с тем помогают друг другу. Ниже четыре указанных подхода рассматриваются более подробно.
Проверка того, способен ли компьютер действовать подобно человеку: подход, основанный на использовании теста Тьюринга
^ Тест Тьюринга, предложенный Аланом Тьюрингом [1520], был разработан в качестве удовлетворительного функционального определения интеллекта. Тьюринг решил, что нет смысла разрабатывать обширный список требований, необходимых для создания искусственного интеллекта, который к тому же может оказаться противоречивым, и предложил тест, основанный на том, что поведение объекта, обладающего искусственным интеллектом, в конечном итоге нельзя будет отличить от поведения таких бесспорно интеллектуальных сущностей, как человеческие существа. Компьютер успешно пройдет этот тест, если человек-экспериментатор, задавший ему в письменном виде определенные вопросы, не сможет определить, получены ли письменные ответы от другого человека или от некоторого устройства. В главе 26 подробно обсуждается этот тест и рассматривается вопрос о том, действительно ли можно считать интеллектуальным компьютер, который успешно прошел подобный тест. На данный момент просто отметим, что решение задачи по составлению программы для компьютера для того, чтобы он прошел этот тест, требует большого объема работы. Запрограммированный таким образом компьютер должен обладать перечисленными ниже возможностями.
Средства ^ обработки текстов на естественных языках (Natural Language Processing—NLP), позволяющие успешно общаться с компьютером, скажем на английском языке.
Средства ^ представления знаний, с помощью которых компьютер может записать в память то, что он узнает или прочитает.
Средства ^ автоматического формирования логических выводов, обеспечивающие возможность использовать хранимую информацию для поиска ответов на вопросы и вывода новых заключений.
Средства ^ машинного обучения, которые позволяют приспосабливаться к новым обстоятельствам, а также обнаруживать и экстраполировать признаки стандартных ситуаций.
В тесте Тьюринга сознательно исключено непосредственное физическое взаимодействие экспериментатора и компьютера, поскольку для создания искусственного интеллекта не требуется физическая имитация человека. Но в так называемом М полном тесте Тьюринга предусмотрено использование видеосигнала для того, чтобы экспериментатор мог проверить способности испытуемого объекта к восприятию, а также имел возможность представить физические объекты “в неполном виде” (пропустить их “через штриховку”). Чтобы пройти полный тест Тьюринга, компьютер должен обладать перечисленными ниже способностями.
^ Машинное зрение для восприятия объектов.
Средства М робототехники для манипулирования объектами и перемещения в пространстве.
Шесть направлений исследований, перечисленных в данном разделе, составляют основную часть искусственного интеллекта, а Тьюринг заслуживает нашей благодарности за то, что предложил такой тест, который не потерял своей значимости и через 50 лет. Тем не менее исследователи искусственного интеллекта практически не занимаются решением задачи прохождения теста Тьюринга, считая, что гораздо важнее изучить основополагающие принципы интеллекта, чем продублировать одного из носителей естественного интеллекта. В частности, проблему “искусственного полета” удалось успешно решить лишь после того, как братья Райт и другие исследователи перестали имитировать птиц и приступили к изучению аэродинамики. В научных и технических работах по воздухоплаванию цель этой области знаний не определяется как “создание машин, которые в своем полете настолько напоминают голубей, что даже могут обмануть настоящих птиц”.
Как мыслить по-человечески: подход, основанный на когнитивном моделировании
Прежде чем утверждать, что какая-то конкретная программа мыслит, как человек, требуется иметь некоторый способ определения того, как же мыслят люди. Необходимо проникнуть в сам фактически происходящий процесс работы человеческого разума. Для этого могут использоваться два способа: интроспекция (попытка проследить за ходом собственных мыслей) и психологические эксперименты. Только после создания достаточно точной теории мышления появится возможность представить формулы этой теории в виде компьютерной программы. И если входные и выходные данные программы, а также распределение выполняемых ею действий во времени будут точно соответствовать поведению человека, это может свидетельствовать о том, что некоторые механизмы данной программы могут также действовать в человеческом мозгу. Например, Аллен Ньюэлл (Allen Newell) и Герберт Саймон (Herbert Simon), которые разработали программу GPS (“General Problem Solver” —универсальный решатель задач) [1129], не стремились лишь к тому, чтобы эта программа правильно решала поставленные задачи. Их в большей степени заботило, чтобы запись этапов проводимых ею рассуждений совпадала с регистрацией рассуждений людей, решающих такие же задачи. В междисциплинарной области ^ когнитологии совместно используются компьютерные модели, взятые из искусственного интеллекта, и экспериментальные методы, взятые из психологии, для разработки точных и обоснованных теорий работы человеческого мозга.
Такая область знаний, как когнитология, является весьма увлекательной и настолько обширной, что ей вполне может быть посвящена отдельная энциклопедия [1599]. В данной книге авторы не пытаются описать все, что известно о человеческом познании. В ней лишь в некоторых местах комментируются аналогии или различия между методами искусственного интеллекта и человеческим познанием. Тем не менее настоящая научная когнитология обязательно должна быть основана на экспериментальном исследовании реальных людей или животных, а авторы данной книги предполагают, что ее читатель имеет доступ для экспериментирования только к компьютеру.
На начальных стадиях развития искусственного интеллекта часто возникала путаница между описанными выше подходами, например, иногда приходилось сталкиваться с такими утверждениями некоторых авторов, что предложенный ими алгоритм хорошо справляется с определенной задачей и поэтому является хорошей моделью способностей человека, или наоборот. Современные авторы излагают результаты своих исследований в этих двух областях отдельно; такое разделение позволяет развиваться быстрее как искусственному интеллекту, так и когнитологии. Но эти две научные области продолжают обогащать друг друга, особенно в таких направлениях, как зрительное восприятие и понимание естественного языка. В последнее время особенно значительные успехй достигнуты в области зрительного восприятия благодаря использованию интегрированного подхода, в котором применяются и нейрофизиологические экспериментальные данные, и вычислительные модели.
Как мыслить рационально: подход, основанный на использовании “законов мышления”
Греческий философ Аристотель был одним из первых, кто попытался определить законы “правильного мышления”, т.е. процессы формирования неопровержимых рассуждений. Его ^ силлогизмы стали образцом для создания процедур доказательства, которые всегда позволяют прийти к правильным заключениям, если даны правильные предпосылки, например “Сократ — человек; все люди смертны; следовательно, Сократ смертен”. В основе этих исследований лежало предположение, что такие законы мышления управляют работой ума; на их основе развилось научное направление, получившее название ^ логика.
В XIX столетии ученые, работавшие в области логики, создали точную систему логических обозначений для утверждений о предметах любого рода, которые встречаются в мире, и об отношениях между ними. (Сравните ее с обычной системой арифметических обозначений, которая предназначена в основном для формирования утверждений о равенстве и неравенстве чисел.) К 1965 году были уже разработаны программы, которые могли в принципе решить любую разрешимую проблему, описанную в системе логических обозначений. Исследователи в области искусственного интеллекта, придерживающиеся так называемых традиций ^ логицизма, надеются, что им удастся создать интеллектуальные системы на основе подобных программ.
Но при осуществлении указанного подхода возникают два серьезных препятствия. Во-первых, довольно сложно взять любые неформальные знания и выразить их в формальных терминах, требуемых для системы логических обозначений, особенно если эти знания не являются полностью достоверными. Во-вторых, возможность сравнительно легко решить проблему “в принципе” отнюдь не означает, что это действительно удастся сделать на практике. Даже такие задачи, в основе которых лежит несколько десятков фактов, могут исчерпать вычислительные ресурсы любого компьютера, если не используются определенные методы управления тем, какие этапы проведения рассуждений должны быть опробованы в первую очередь. Хотя с обоими этими препятствиями приходится сталкиваться при любой попытке создания вычислительных систем для автоматизации процесса проведения рассуждений, они были впервые обнаружены в рамках традиций логицизма.
Как мыслить рационально: подход, основанный на использовании рационального агента
^ Агентом считается все, что действует (слово агент произошло от из латинского слова agere — действовать). Но предполагается, что компьютерные агенты обладают некоторыми другими атрибутами, которые отличают их от обычных “программ”, такими как способность функционировать под автономным управлением, воспринимать свою среду, существовать в течение продолжительного периода времени, адаптироваться к изменениям и обладать способностью взять на себя достижение целей, поставленных другими. ^ Рациональным агентом называется агент, который действует таким образом, чтобы можно было достичь наилучшего результата или, в условиях неопределенности, наилучшего ожидаемого результата.
В подходе к созданию искусственного интеллекта на основе “законов мышления” акцент был сделан на формировании правильных логических выводов. Безусловно, иногда формирование правильных логических выводов становится и частью функционирования рационального агента, поскольку один из способов рациональной организации своих действий состоит в том, чтобы логическим путем прийти к заключению, что данное конкретное действие позволяет достичь указанных целей, а затем действовать в соответствии с принятым решением. С другой стороны, правильный логический вывод не исчерпывает понятия рациональности, поскольку часто возникают ситуации, в которых невозможно однозначно выбрать какие-либо правильные действия, но все равно надо что-то делать. Кроме того, существуют способы рациональной организации действий, в отношении которых нельзя утверждать, что в них используется логический вывод. Например, отдергивание пальца от горячей печи — это рефлекторное действие, которое обычно является более успешным по сравнению с более медленным движением, сделанным после тщательного обдумывания всех обстоятельств.
Таким образом, все навыки, требуемые для прохождения теста Тьюринга, позволяют также осуществлять рациональные действия. Итак, прежде всего необходимо иметь возможность представлять знания и проводить на основании них рассуждения, поскольку это позволяет вырабатывать приемлемые решения в самых различных ситуациях. Необходимо обладать способностью формировать понятные предложения на естественном языке, поскольку в сложный социум принимают только тех, кто способен правильно высказывать свои мысли. Необходимо учиться не только ради приобретения эрудиции, но и в связи с тем, что лучшее представление о том, как устроен мир, позволяет вырабатывать более эффективные стратегии действий в этом мире. Нужно обладать способностью к зрительному восприятию не только потому, что процесс визуального наблюдения позволяет получать удовольствие, но и потому, что зрение подсказывает, чего можно достичь с помощью определенного действия, например тот, кто сумеет быстрее всех разглядеть лакомый кусочек, получит шанс подобраться к нему раньше других.
По этим причинам подход к исследованию искусственного интеллекта как области проектирования рациональных агентов имеет, по меньшей мере, два преимущества. Во-первых, этот подход является более общим по сравнению с подходом, основанном на использовании “законов мышления”, поскольку правильный логический вывод — это просто один из нескольких возможных механизмов достижения рациональности. Во-вторых, он является более перспективным для научной разработки по
сравнению с подходами, основанными на изучении человеческого поведения или человеческого мышления, поскольку стандарт рациональности четко определен и полностью обобщен. Человеческое поведение, с другой стороны, хорошо приспособлено лишь для одной определенной среды и отчасти является продуктом сложного и в основном неизученного эволюционного процесса, который, как оказалось, отнюдь не позволяет формировать существа, идеальные во всех отношениях.
Поэтому данная книга в основном посвящена описанию общих принципов работы рациональных агентов и компонентов, необходимых для их создания. Из изложенного в ней станет очевидно, что несмотря на кажущуюся простоту формулировки этой проблемы, при попытке ее решения возникает невероятное количество трудностей. Некоторые из этих трудностей более подробно описываются в главе 2.
Следует всегда учитывать одно важное замечание: нужно неизменно исходить из того, что в сложной среде задача достижения идеальной рациональности, при которой всегда выполняются правильные действия, не осуществима. Дело в том, что при этом предъявляются слишком высокие требования к вычислительным ресурсам. Но в основной части данной книги применяется рабочая гипотеза, согласно которой идеальная рациональность является хорошей отправной точкой для анализа. Такой подход позволяет упростить задачу создания рационального агента и предоставляет подходящую основу для описания большей части теоретического материала в этой области. В главах 6 и 17 речь идет непосредственно о проблеме ограниченной рациональности — организации приемлемых действий в тех ситуациях, когда не хватает времени на выполнение всех вычислений, которые действительно могли бы потребоваться.
Предыстория искусственного интеллекта
В данном разделе кратко описана история развития научных дисциплин, которые внесли свой вклад в область искусственного интеллекта в виде конкретный идей, воззрений и методов. Как и в любом историческом очерке, поневоле приходится ограничиваться описанием небольшого круга людей, событий и открытий, игнорируя все остальные факты, которые были не менее важными. Авторы построили этот исторический экскурс вокруг ограниченного круга вопросов. Безусловно, они не хотели бы, чтобы у читателя создалось такое впечатление, будто эти вопросы являются единственными, которые рассматриваются в указанных научных дисциплинах, или что сами эти дисциплины развивались исключительно ради того, чтобы их конечным итогом стало создание искусственного интеллекта.
Философия (период с 428 года до н.э. по настоящее время)
Могут ли использоваться формальные правила для вывода правильных заключений?
Как такой идеальный объект, как мысль, рождается в таком физическом объекте, как мозг?
Каково происхождение знаний?
Каким образом знания ведут к действиям?
Точный свод законов, руководящих рациональной частью мышления, был впервые сформулирован Аристотелем (384—322 годы до н.э.). Он разработал неформализованную систему силлогизмов, предназначенную для проведения правильных рассуждений, которая позволяла любому вырабатывать логические заключения механически, при наличии начальных предпосылок. Гораздо позднее Раймунд Луллий (умер в 1315 году) выдвинул идею, что полезные рассуждения можно фактически проводить с помощью механического артефакта. Предложенные им “концептуальные колеса” показаны на обложке данной книги. Томас Гоббс (1588—1679) предположил, что рассуждения аналогичны числовым расчетам и что “в наших неслышимых мыслях мы поневоле складываем и вычитаем”. В то время автоматизация самих вычислений уже шла полным ходом; примерно в 1500 году Леонардо да Винчи (1452-1519) спроектировал, но не построил механический калькулятор; недавно проведенная реконструкция показала, что его проект является работоспособным. Первая известная вычислительная машина была создана примерно в 1623 году немецким ученым Вильгельмом Шиккардом (1592—1635), хотя более известна машина Паскалина, построенная в 1642 году Блезом Паскалем (1623-1662). Паскаль писал, что “арифметическая машина производит эффект, который кажется более близким к мышлению по сравнению с любыми действиями животных”. Готтфрид Вильгельм Лейбниц (1646-1716) создал механическое устройство, предназначенное для выполнения операций над понятиями, а не над числами, но область его действия была довольно ограниченной.
После того как человечество осознало, каким должен быть набор правил, способных описать формальную, рациональную часть мышления, следующим этапом оказалось то, что разум стал рассматриваться как физическая система. Рене Декарт (1596—1650) впервые опубликовал результаты обсуждения различий между разумом и материей, а также возникающих при этом проблем. Одна из проблем, связанных с чисто физическими представлениями о разуме, состоит в том, что они, по-видимому, почти не оставляют места для свободной воли: ведь если разум руководствуется исключительно физическими законами, то человек проявляет не больше свободной воли по сравнению с булыжником, “решившим” упасть в направлении к центру земли. Несмотря на то что Декарт был убежденным сторонником взглядов, признающих только власть разума, он был также приверженцем ^ дуализма. Декарт считал, что существует такая часть человеческого разума (душа, или дух), которая находится за пределами естества и не подчиняется физическим законам. С другой стороны, животные не обладают таким дуалистическим свойством, поэтому их можно рассматривать как своего рода машины. Альтернативой дуализму является М материализм, согласно которому разумное поведение складывается из операций, выполняемых мозгом в соответствии с законами физики. Свободная воля — это просто форма, в которую в процессе выбора преобразуется восприятие доступных вариантов.
Если предположить, что знаниями манипулирует физический разум, то возникает следующая проблема — установить источник знаний. Такое научное направление, как М эмпиризм, родоначальником которого был Фрэнсис Бекон (1561-1626), автор Нового Органона^, можно охарактеризовать высказыванием Джона Локка (1632— 1704): “В человеческом понимании нет ничего, что не проявлялось бы прежде всего в ощущениях”. Дэвид Юм (1711—1776) в своей книге A Treatise of Human Nature
Эта книга была выпущена как новая версия Органона (или инструмента мышления) Аристотеля.
(Трактат о человеческой природе) [705] предложил метод, известный теперь под названием А принципа индукции, который состоит в том, что общие правила вырабатываются путем изучения повторяющихся ассоциаций между элементами, которые рассматриваются в этих правилах. Основываясь на работе Людвига Виттгенштейна (1889—1951) и Бертрана Рассела (1872—1970), знаменитый Венский кружок, возглавляемый Рудольфом Карнапом (1891 — 1970), разработал доктрину Алогического позитивизма. Согласно этой доктрине все знания могут быть охарактеризованы с помощью логических теорий, связанных в конечном итоге с А констатирующими предложениями, которые соответствуют входным сенсорным данным. В А теории подтверждения Рудольфа Карнапа и Карла Хемпеля (1905-1997) предпринята попытка понять, как знания могут быть приобретены из опыта. В книге Карнапа The Logical Structure of the World [223] определена явно заданная вычислительная процедура для извлечения знаний из результатов элементарных опытов. По-видимому, это — первая теория мышления как вычислительного процесса.
Заключительным элементом в этой картине философских исследований проблемы разума является связь между знаниями и действиями. Данный вопрос для искусственного интеллекта является жизненно важным, поскольку интеллектуальность требует не только размышлений, но и действий. Кроме того, только поняв способы обоснования действий, можно понять, как создать агента, действия которого будут обоснованными (или рациональными). Аристотель утверждал, что действия обоснованы логической связью между целями и знаниями о результатах данного конкретного действия (последняя часть приведенной ниже цитаты Аристотеля на языке оригинала размещена также на обложке данной книги). Характерным примером рассуждений о рациональных действиях являются следующие.
Но почему происходит так, что размышления иногда сопровождаются действием, а иногда — нет, иногда за ними следует движение, а иногда — нет? Создается впечатление, как будто почти то же самое происходит и в случае построения рассуждений и формирования выводов о неизменных объектах. Но в таком случае целью умственной деятельности оказывается умозрительное суждение..., тогда как заключением, которое следует из данных двух предпосылок, является действие... Мне нужна защита от дождя; защитой может послужить плащ. Мне нужен плащ. Я должен сам изготовить то, в чем я нуждаюсь; я нуждаюсь в плаще. Я должен изготовить плащ. И заключение “я должен изготовить плащ” становится действием ([1151, с. 40]).
В книге Никомахова этика (том III. 3, 1112b) Аристотеля можно найти более подробные рассуждения на эту тему, где также предложен алгоритм.
Нам предоставляется право выбора не целей, а средств достижения цели, ведь врач рассуждает не о том, должен ли он лечить, а оратор — не о том, станет ли он убеждать... Поставив цель, он размышляет, как и какими средствами ее достичь; а если окажется несколько средств, то определяет, какое из них самое простое и наилучшее; если же достижению цели служит одно средство, думает, как ее достичь при помощи этого средства и что будет средством для этого средства, пока не дойдет до первой причины, которую находит последней... и то, что было последним в порядке анализа, обычно становится первым в порядке осуществления... Если же он приходит к выводу, что цель недостижима, отступает-
ся, например, если нужны деньги, а достать их нельзя; но если достижение цели кажется возможным, то пытается ее достичь.
Алгоритм Аристотеля был реализован через 2300 лет Ньюэллом и Саймоном в программе GPS. Теперь то, что создано на его базе, принято называть регрессивной системой планирования (см. главу 11).
Анализ на основе цели является полезным, но не дает ответа на то, что делать, если к цели ведет несколько вариантов действий или ни один вариант действий не позволяет достичь ее полностью. Антуан Арно (1612-1694) правильно описал количественную формулу для принятия решения о том, какое действие следует предпринять в подобных случаях (см. главу 16). В книге Utilitarianism приверженца утилитаризма Джона Стюарта Милла (1806-1873) [1050] провозглашена идея о том, что критерии принятия рациональных решений должны применяться во всех сферах человеческой деятельности. Более формальная теория принятия решений рассматривается в следующем разделе.
Математика (период примерно с 800 года по настоящее время)
Каковы формальные правила формирования правильных заключений?
Как определить пределы вычислимости?
Как проводить рассуждения с использованием недостоверной информации?
Философы сформулировали наиболее важные идеи искусственного интеллекта, но для преобразования его в формальную науку потребовалось достичь определенного уровня математической формализации в трех фундаментальных областях: логика, вычисления и вероятность.
Истоки идей формальной логики можно найти в работах философов древней Греции (см. главу 7), но ее становление как математической дисциплины фактически началась с трудов Джорджа Буля (1815-1864), который детально разработал логику высказываний, или булеву логику [149]. В 1879 году Готтлоб Фреге (1848—1925) расширил булеву логику для включения в нее объектов и отношений, создав логику первого порядка, которая в настоящее время используется как наиболее фундаментальная система представления знаний. Альфред Тарский (1902—1983) впервые ввел в научный обиход теорию ссылок, которая показывает, как связать логические объекты с объектами реального мира. Следующий этап состоял в определении пределов того, что может быть сделано с помощью логики и вычислений.
Первым нетривиальным М алгоритмом считается алгоритм вычисления наибольшего общего знаменателя, предложенный Евклидом. Исследование алгоритмов как самостоятельных объектов было начато аль-Хорезми, среднеазиатским математиком IX столетия, благодаря работам которого Европа познакомилась с арабскими цифрами и алгеброй. Буль и другие ученые широко обсуждали алгоритмы логического вывода, а к концу XIX столетия уже предпринимались усилия по формализации общих принципов проведения математических рассуждений как логического вывода. В 1900 году Давид Гильберт (1862—1943) представил список из 23 проблем и правильно предсказал, что эти проблемы будут занимать математиков почти до кон-
ца XX века. Последняя из этих проблем представляет собой вопрос о том, существует ли алгоритм для определения истинности любого логического высказывания, в состав которого входят натуральные числа. Это — так называемая знаменитая проблема поиска решения (Entscheidungsproblem). По сути, этот вопрос, заданный Гильбертом, сводился к определению того, есть ли фундаментальные пределы, ограничивающие мощь эффективных процедур доказательства. В 1930 году Курт Гёдель (1906-1978) показал, что существует эффективная процедура доказательства любого истинного высказывания в логике первого порядка Фреге и Рассела, но при этом логика первого порядка не позволяет выразить принцип математической индукции, необходимый для представления натуральных чисел. В 1931 году Гёдель показал, что действительно существуют реальные пределы вычислимости. Предложенная им теорема о неполноте показывает, что в любом языке, достаточно выразительном для описания свойств натуральных чисел, существуют истинные высказывания, которые являются недоказуемыми, в том смысле, что их истинность невозможно установить с помощью какого-либо алгоритма.
Этот фундаментальный результат может также рассматриваться как демонстрация того, что имеются некоторые функции от целых чисел, которые не могут быть представлены с помощью какого-либо алгоритма, т.е. они не могут быть вычислены. Это побудило Алана Тьюринга (1912—1954) попытаться точно охарактеризовать, какие функции способны быть вычисленными. Этот подход фактически немного проблематичен, поскольку в действительности понятию вычисления, или эффективной процедуры вычисления, не может быть дано формальное определение. Но общепризнано, что вполне удовлетворительное определение дано в тезисе Чёрча-Тьюринга, который указывает, что машина Тьюринга [1518] способна вычислить любую вычислимую функцию. Кроме того, Тьюринг показал, что существуют некоторые функции, которые не могут быть вычислены машиной Тьюринга. Например, вообще говоря, ни одна машина не способна определить, возвратит ли данная конкретная программа ответ на конкретные входные данные или будет работать до бесконечности.
Хотя для понимания возможностей вычисления очень важны понятия недоказуемости и невычислимости, гораздо большее влияние на развитие искусственного интеллекта оказало понятие ^ неразрешимости. Грубо говоря, задача называется неразрешимой, если время, требуемое для решения отдельных экземпляров этой задачи, растет экспоненциально с увеличением размеров этих экземпляров. Различие между полиномиальным и экспоненциальным ростом сложности было впервые подчеркнуто в середине 1960-х годов в работах Кобхэма [272] и Эдмондса [430]. Важность этого открытия состоит в следующем: экспоненциальный рост означает, что даже экземпляры задачи умеренной величины не могут быть решены за какое- либо приемлемое время. Поэтому, например, приходится заниматься разделением общей задачи выработки интеллектуального поведения на разрешимые подзадачи, а не пытаться решать неразрешимую задачу.
Как можно распознать неразрешимую проблему? Один из приемлемых методов такого распознавания представлен в виде теории М NP-полноты, впервые предложенной Стивеном Куком [289] и Ричардом Карпом [772]. Кук и Карп показали, что существуют большие классы канонических задач комбинаторного поиска и формирования рассуждений, которые являются NP-полными. Существует вероятность того, что любой класс задач, к которому сводится этот класс NP-полных задач, является неразрешимым. (Хотя еще не было доказано, что NP-полные задачи обязатель-
но являются неразрешимыми, большинство теоретиков считают, что дело обстоит именно так.) Эти результаты контрастируют с тем оптимизмом, с которым в популярных периодических изданиях приветствовалось появление первых компьютеров под такими заголовками, как “Электронные супермозги”, которые думают “быстрее Эйнштейна!” Несмотря на постоянное повышение быстродействия компьютеров, характерной особенностью интеллектуальных систем является экономное использование ресурсов. Грубо говоря, наш мир, в котором должны освоиться системы ИИ, — это чрезвычайно крупный экземпляр задачи. В последние годы методы искусственного интеллекта помогли разобраться в том, почему некоторые экземпляры NP-полных задач являются сложными, а другие простыми [244].
Кроме логики и теории вычислений, третий по величине вклад математиков в искусственный интеллект состоял в разработке ^ теории вероятностей. Идея вероятности была впервые сформулирована итальянским математиком Джероламо Кардано (1501 — 1576), который описал ее в терминах результатов событий с несколькими исходами, возникающих в азартных играх. Теория вероятностей быстро стала неотъемлемой частью всех количественных наук, помогая использовать недостоверные результаты измерений и неполные теории. Пьер Ферма (1601 — 1665), Блез Паскаль (1623-1662), Джеймс Бернулли (1654-1705), Пьер Лаплас (1749-1827) и другие ученые внесли большой вклад в эту теорию и ввели новые статистические методы. Томас Байес (1702-1761) предложил правило обновления вероятностей с учетом новых фактов. Правило Байеса и возникшее на его основе научное направление, называемое байесовским анализом, лежат в основе большинства современных подходов к проведению рассуждений с учетом неопределенности в системах искусственного интеллекта.
Экономика (период с 1776 года по настоящее время)
Как следует организовать принятие решений для максимизации вознаграждения?
Как действовать в таких условиях, когда другие могут препятствовать осуществлению намеченных действий?
Как действовать в таких условиях, когда вознаграждение может быть предоставлено лишь в отдаленном будущем?
Экономика как наука возникла в 1776 году, когда шотландский философ Адам Смит (1723—1790) опубликовал свою книгу An Inquiry into the Nature and Causes of the Wealth of Nations (Исследование о природе и причинах богатства народов). Важный вклад в экономику был сделан еще древнегреческими учеными и другими предшественниками Смита, но только Смит впервые сумел оформить эту область знаний как науку, используя идею, что любую экономику можно рассматривать как состоящую из отдельных агентов, стремящихся максимизировать свое собственное экономическое благосостояние. Большинство людей считают, что экономика посвящена изучению денежного оборота, но любой экономист ответит на это, что в действительности он изучает то, как люди делают выбор, который ведет к предпочтительным для них результатам. Математическая трактовка понятия “предпочтительных результатов”, или полезности, была впервые формализована Леоном Валрасом (1834-1910), уточнена Фрэнком Рамсеем [1265], а затем усовершенствована Джоном фон Нейманом и Оскаром Моргенштерном в книге The Theory of Games and Economic Behavior (Теория игр и экономического поведения) [1546].
М Теория решений, которая объединяет в себе теорию вероятностей и теорию полезности, предоставляет формальную и полную инфраструктуру для принятия решений (в области экономики или в другой области) в условиях неопределенности, т.е. в тех случаях, когда среда, в которой действует лицо, принимающее решение, наиболее адекватно может быть представлена лишь с помощью вероятностных описаний. Она хорошо подходит для “крупных” экономических образований, где каждый агент не обязан учитывать действия других агентов как индивидуумов. А в “небольших” экономических образованиях ситуация в большей степени напоминает игру, поскольку действия одного игрока могут существенно повлиять на полезность действий другого (или положительно, или отрицательно). М Теория игр, разработанная фон Нейманом и Моргенштерном (см. также [963]), позволяет сделать неожиданный вывод, что в некоторых играх рациональный агент должен действовать случайным образом или, по крайней мере, таким образом, который кажется случайным для соперников.
Экономисты чаще всего не стремятся найти ответ на третий вопрос, приведенный выше, т.е. не пытаются выработать способ принятия рациональных решений в тех условиях, когда вознаграждение в ответ на определенные действия не предоставляется немедленно, а становится результатом нескольких действий, выполненных в определенной последовательности. Изучению этой темы посвящена область М исследования операций, которая возникла во время Второй мировой войны в результате усилий, которые были предприняты в Британии по оптимизации работы радарных установок, а в дальнейшем нашла применение и в гражданском обществе при выработке сложных управленческих решений. В работе Ричарда Беллмана [97] формализован определенный класс последовательных задач выработки решений, называемых марковскими процессами принятия решений (Markov Decision Process — MDP), которые рассматриваются в главах 17 и 21.
Работы в области экономики и исследования операций оказали большое влияние на сформулированное в этой книге понятие рациональных агентов, но в течение многих лет исследования в области искусственного интеллекта проводились совсем по другим направлениям. Одной из причин этого была кажущаяся сложность задачи выработки рациональных решений. Тем не менее Герберт Саймон (1916-2001) в некоторых из своих ранних работ показал, что лучшее описание фактического поведения человека дают модели, основанные на М удовлетворении (принятии решений, которые являются “достаточно приемлемыми”), а не модели, предусматривающие трудоемкий расчет оптимального решения [1414], и стал одним из первых исследователей в области искусственного интеллекта, получившим Нобелевскую премию по экономике (это произошло в 1978 году). В 1990-х годах наблюдалось возрождение интереса к использованию методов теории решений для систем агентов [1576].
Неврология (период с 1861 года по настоящее время)
Как происходит обработка информации в мозгу?
^ Неврология — это наука, посвященная изучению нервной системы, в частности мозга. Одной из величайших загадок, не поддающихся научному описанию, остается определение того, как именно мозг обеспечивает мышление. Понимание того, что мышление каким-то образом связано с мозгом, существовало в течение тысяч лет, поскольку люди обнаружили, что сильные удары по голове могут привести к ум-
ственному расстройству. Кроме того, уже давно было известно, что человеческий мозг обладает какими-то важными особенностями; еще примерно в 335 до н.э. Аристотель писал: “Из всех животных только человек имеет самый крупный мозг по сравнению с его размерами”. Тем не менее широкое признание того, что мозг является вместилищем сознания, произошло только в середине XVIII столетия. До этого в качестве возможных источников сознания рассматривались сердце, селезенка и шишковидная железа (эпифиз).
Исследования афазии (нарушения речи) у пациентов с повреждением мозга, проведенные Полем Брока (1824-1880) в 1861 году, снова пробудили интерес к этой научной области и послужили для многих представителей медицины доказательством существования в мозгу локализованных участков, ответственных за конкретные познавательные функции. Например, этот ученый показал, что функции формирования речи сосредоточены в той части левого полушария, которая теперь называется зоной Брока\ К тому времени уже было известно, что мозг состоит из нервных клеток, или М нейронов, но только в 1873 году Камилло Гольджи (1843-1926) сумел разработать надежный метод, позволяющий наблюдать за отдельными нейронами в мозгу (рис. 1.1). Этот метод использовал Сантьяго Рамон и Кахал (1852—1934) в своих пионерских исследованиях нейронных структур мозга.
Теперь ученые располагают некоторыми данными о том, как связаны между собой отдельные области мозга и те части тела, которыми они управляют или от которых получают сенсорные данные. Оказалось, что подобная привязка может коренным образом измениться в течение нескольких недель, а у некоторых животных, по- видимому, имеется несколько вариантов такой привязки. Более того, еще не совсем понятно, как другие области могут взять на себя функции поврежденных областей. К тому же почти полностью отсутствуют обоснованные теории того, как осуществляется хранение информации в памяти индивидуума.
Измерение активности неповрежденного мозга началось в 1929 году с изобретения электроэнцефалографа (ЭЭГ) Гансом Бергером. Разработки в области получения изображений на основе функционального магнитного резонанса [1152] позволили неврологам получать исключительно подробные изображения активности мозга, что дает возможность проводить измерения характеристик физиологических процессов, которые связаны с происходящими познавательными процессами какими-то интересными способами. Эти возможности для исследований становятся еще более широкими благодаря прогрессу в области регистрации нейронной активности отдельной клетки. Но, несмотря на эти успехи, ученые еще очень далеки от понимания того, как действительно осуществляется любой из этих познавательных процессов. •
Тело клетки, или сома
Рис. 1.1. Части нервной клетки, или нейрона. Каждый нейрон состоит из тела клетки (или сомы), которое содержит ядро клетки. От тела клетки ответвляется множество коротких волокон, называемых дендритами, и одно длинное волокно, называемое аксоном. Аксон растягивается на большое расстояние, намного превышающее то, что показано в масштабе этого рисунка. Обычно аксоны имеют длину 1 см (что превышает в 100 раз диаметр тела клетки), но могут достигать 1 метра. Нейрон создает соединения с другими нейронами, количество которых может составлять от 10 до 100 000 в точках сопряжения, называемых синапсами. Сигналы распространяются от одного нейрона к другому с помощью сложной электрохимической реакции. Эти сигналы управляют активностью мозга в течение короткого интервала, а также становятся причиной долговременных изменений состояния самих нейронов и их соединений. Считается, что эти механизмы служат в мозгу основой для обучения. Обработка информации главным образом происходит в коре головного мозга, которая представляет собой самый внешний слой нейронов мозга. По-видимому, основной структурной единицей является столбец ткани, имеющий диаметр около 0,5 мм и протяженность на всю глубину коры, толщина которой в человеческом мозгу составляет около 4 мм. Каждый столбец содержит примерно 20 000 нейронов
Тем не менее работы в области неврологии позволяют сделать поистине удивительное заключение о том, что ^ совместная работа простых клеток может приводить к появлению мышления, действия и сознания или, другими словами, что мозг порождает разум [1379]. После этого открытия единственной реально существующей альтернативной теорией остается мистицизм, приверженцы которого провозглашают, что существует некое мистическое пространство, находящееся за пределами физического опыта, в котором функционирует разум.
Мозг и цифровой компьютер выполняют совершенно разные задачи и имеют различные свойства. В табл. 1.2 показано, что в типичном мозгу человека имеется в 1000 раз больше нейронов, чем логических элементов в процессоре типичного компьютера высокого класса. В соответствии с законом Мура может быть сделан про-
гноз, что количество логических элементов в процессоре станет равным количеству нейронов в мозгу примерно к 2020 году. Безусловно, эти прогнозы мало о чем говорят; кроме того, это различие в отношении количества элементов является незначительным по сравнению с различием в скорости переключения и степени распараллеливания. Микросхемы компьютера способны выполнить отдельную команду меньше чем за наносекунду, тогда как нейроны действуют в миллионы раз медленнее. Но мозг сторицей восполняет этот свой недостаток, поскольку все его нейроны и синапсы действуют одновременно, тогда как большинство современных компьютеров имеет только один процессор или небольшое количество процессоров. Таким образом, с^= даже несмотря на то, что компьютер обладает преимуществом более чем в миллион раз в физической скорости переключения, оказывается, что мозг по сравнению с ним выполняет все свои действия примерно в 100 000 раз быстрее.
Таблица 1.2. Грубое сравнение физических вычислительных ресурсов, имеющихся в компьютере (приблизительные оценки по состоянию на 2003 год) и в мозгу. Со времени выпуска первого издания данной книги показатели компьютера выросли, по меньшей мере, в 10 раз и будут, как ожидается, продолжать расти в течение текущего десятилетия. А показатели мозга за последние 10 000 лет не изменились
Компьютер Человеческий мозг
Вычислительные модули
Один центральный процессор, 108 логических элементов
10м нейронов
Модули памяти
Оперативная память на 1010 битов
10й нейронов
Диск емкостью 10й битов
1014 синапсов
Продолжительность цикла обработки
10'9 секунды
10"3 секунды
Пропускная способность
1010 бит/с
1014 бит/с
Количество обновлений памяти
109
1014
в секунду
Психология (период с 1879 года по настоящее время)
Как думают и действуют люди и животные?
Истоки научной психологии обычно прослеживаются до работ немецкого физика Германа фон Гельмгольца (1821-1894) и его студента Вильгельма Вундта (1832-1920). Гельмгольц применил научный метод для изучения зрения человека, и выпущенная им книга Handbook of Physiological Optics даже в наши дни характеризуется как “непревзойденный по своей важности вклад в изучение физики и физиологии зрения человека” [ 1111, с. 15]. В 1879 году Вундт открыл первую лабораторию по экспериментальной психологии в Лейпцигском университете. Вундт настаивал на проведении тщательно контролируемых экспериментов, в которых его сотрудники выполняли задачи по восприятию или формированию ассоциаций, проводя интроспективные наблюдения за своими мыслительными процессами. Такой тщательный контроль позволил ему сделать очень многое для превращения психологии в науку, но из-за субъективного характера данных вероятность того, что экспериментатор будет стремиться опровергнуть выдвинутые им теории, оставалась очень низкой. С другой стороны, биологи, изучающие поведение животных, не пользовались интроспективными данными и разработали объективную методологию, как показал Г.С. Дженнингс [733] в своей важной работе Behavior of the Lower Organisms. Распространяя этот подход на людей, сторонники ^бихевиористского движения, возглавляемые Джоном Уотсоном
(1878—1958), отвергали любую теорию, учитывающую мыслительные процессы, на том основании, что интроспекция не может предоставлять надежные свидетельства. Бихевиористы настаивали на том, что следует изучать только объективные меры восприятия (или стимулы), предъявленные животному, и вытекающие из этого действия (или отклики на стимулы). Такие мыслительные конструкции, как знания, убеждения, цели и последовательные рассуждения, отвергались как ненаучная “обывательская психология”. Бихевиоризм позволил многое узнать о крысах и голубях, но оказался менее успешным при изучении людей. Тем не менее это научное направление сохраняло за собой мощные позиции в области психологии (особенно в Соединенных Штатах Америки) в период примерно с 1920 по 1960 годы.
Взгляды, согласно которым мозг рассматривается как устройство обработки информации, характерные для представителей М когнитивной психологии, прослеживаются, по крайней мере, до работ Уильяма Джеймса (1842-1910). Гельмгольц также утверждал, что восприятие связано с определенной формой подсознательного логического вывода. В Соединенных Штатах такой подход к изучению познавательных процессов был в основном отвергнут из-за широкого распространения бихевиористских взглядов, но на факультете прикладной психологии Кембриджского университета, возглавляемом Фредериком Бартлеттом (1886-1969), удалось организовать проведение широкого спектра работ в области когнитивного моделирования. В своей книге The Nature of Explanation студент и последователь Бартлетта, Кеннет Крэг [306], привел весомые доводы в пользу допустимости применения таких “мыслительных” терминов, как убеждения и цели, доказав, что они являются не менее научными, чем, скажем, такие термины, применяемые в рассуждениях о газах, как давление и температура, несмотря на то, что речь в них идет о молекулах, которые сами не обладают этими характеристиками. Крэг обозначил следующие три этапа деятельности агента, основанного на знаниях: во-первых, действующий стимул должен быть преобразован во внутреннее представление, во-вторых, с этим представлением должны быть выполнены манипуляции с помощью познавательных процессов для выработки новых внутренних представлений, и, в-третьих, они должны быть, в свою очередь, снова преобразованы в действия. Он наглядно объяснил, почему такой проект является приемлемым для любого агента.
Если живой организм несет в своей голове “модель в уменьшенном масштабе” внешней реальности и своих возможных действий, то обладает способностью проверять различные варианты, приходить к заключению, какой из них является наилучшим, реагировать на будущие ситуации, прежде чем они возникнут, использовать знания о прошлых событиях, сталкиваясь с настоящим и будущим, и во всех отношениях реагировать на опасности, встречаясь с ними, гораздо полнее, безопаснее для себя, а также в более компетентной форме [306].
В 1945 году, после смерти Крэга в результате несчастного случая во время катания на велосипеде, его работа была продолжена Дональдом Броудбентом, книга Perception and Communication [188] которого включила некоторые из первых моделей информационной обработки психологических феноменов. Между тем в Соединенных Штатах работы в области компьютерного моделирования привели к созданию такого
научного направления, как М когнитология. Существует такое мнение, что зарождение этого направления произошло на одном из семинаров в Массачусетсском технологическом институте в сентябре 1956 года. (Ниже показано, что это событие произошло всего лишь через два месяца после проведения конференции, на которой “родился” сам искусственный интеллект.) На этом семинаре Джордж Миллер представил доклад The Magic Number Seven, Ноам Хомский прочитал доклад Three Models of Language, а Аллен Ньюэлл и Герберт Саймон представили свою работу The Logic Theory Machine. В этих трех работах, получивших широкую известность, было показано, как можно использовать компьютерные модели для решения задач в области психологии, запоминания, обработки естественного языка и логического мышления. В настоящее время среди психологов находят широкое признание взгляды на то, что “любая теория познания должна напоминать компьютерную программу” [30], т.е. она должна подробно описывать механизм обработки информации, с помощью которого может быть реализована некоторая познавательная функция.
Вычислительная техника (период с 1940 года по настоящее время)
Каким образом можно создать эффективный компьютер?
Для успешного создания искусственного интеллекта требуется, во-первых, интеллект и, во-вторых, артефакт. Наиболее предпочтительным артефактом в этой области всегда был компьютер. Современный цифровой электронный компьютер был изобретен независимо и почти одновременно учеными трех стран, участвующих во Второй мировой войне. Первым операционным компьютером было электромеханическое устройство Heath Robinson, созданное в 1940 году группой Алана Тьюринга для единственной цели — расшифровки сообщений, передаваемых немецкими войсками. В 1943 году та же группа разработала мощный компьютер общего назначения, получивший название Colossus, в конструкции которого применялись электронные лампы. Первым операционным программируемым компьютером был компьютер Z-3, изобретенный Конрадом Цузе в Германии в 1941 году. Цузе изобрел также числа с плавающей точкой и создал первый язык программирования высокого уровня, Plankalkiil. Первый электронный компьютер, АВС, был собран Джоном Атанасовым и его студентом Клиффордом Берри в период с 1940 по 1942 год в университете штата Айова. Исследования Атанасова почти не получили поддержки или признания; как оказалось, наибольшее влияние на развитие современных компьютеров оказал компьютер ENIAC, разработанный в составе секретного военного проекта в Пенсильванском университете группой специалистов, в состав которой входили Джон Мочли и Джон Экерт.
За прошедшее с тех пор полстолетие появилось несколько -поколений компьютерного аппаратного обеспечения, причем каждое из них характеризовалось увеличением скорости и производительности, а также снижением цены. Производительность компьютеров, созданных на основе кремниевых микросхем, удваивается примерно через каждые 18 месяцев, и такая скорость роста наблюдается уже в течение
двух десятилетий. После достижения пределов этого роста потребуется молекулярная инженерия или какая-то другая, новая технология.
Безусловно, вычислительные устройства существовали и до появления электронного компьютера. Одно из первых автоматизированных устройств, появившееся еще в XVII столетии, рассматривалось на с. 41. Первым программируемым устройством был ткацкий станок, изобретенный в 1805 году Жозефом Марией Жаккардом (1752— 1834), в котором использовались перфокарты для хранения инструкций по плетению узоров ткани. В середине XIX столетия Чарльз Бэббидж (1792-1871) разработал две машины, но ни одну из них не успел закончить. Его “разностная машина”, которая показана на обложке данной книги, предназначалась для вычисления математических таблиц, используемых в инженерных и научных проектах. В дальнейшем эта машина была построена и ее работа продемонстрирована в 1991 году в лондонском Музее науки [1481]. Другой замысел Бэббиджа, проект “аналитической машины”, был гораздо более амбициозным: в этой машине предусмотрено использование адресуемой памяти, хранимых программ и условных переходов, и она была первым артефактом, способным выполнять универсальные вычисления. Коллега Бэббиджа Ада Лавлейс, дочь поэта Лорда Байрона, была, возможно, первым в мире программистом. (В ее честь назван язык программирования Ada.) Она писала программы для незаконченной аналитической машины и даже размышляла над тем, что эта машина сможет играть в шахматы или сочинять музыку.
Искусственный интеллект во многом обязан также тем направлениям компьютерных наук, которые касаются программного обеспечения, поскольку именно в рамках этих направлений создаются операционные системы, языки программирования и инструментальные средства, необходимые для написания современных программ (и статей о них). Но эта область научной деятельности является также одной из тех, где искусственный интеллект в полной мере возмещает свои долг: работы в области искусственного интеллекта стали источником многих идей, которые затем были воплощены в основных направлениях развития компьютерных наук, включая разделение времени, интерактивные интерпретаторы, персональные компьютеры с оконными интерфейсами и поддержкой позиционирующих устройств, применение среды ускоренной обработки, создание типов данных в виде связных списков, автоматическое управление памятью и ключевые концепции символического, функционального, динамического и объектно-ориентированного программирования.
Теория управления и кибернетика (период с 1948 года по настоящее время)
Каким образом артефакты могут работать под своим собственным управлением?
Первое самоуправляемое устройство было построено Ктесибием из Александрии (примерно в 250 году до н.э.); это были водяные часы с регулятором, который поддерживал поток воды, текущий через эти часы с постоянным, предсказуемым расходом. Это изобретение изменило представление о том, на что могут быть способны устройства, созданные человеком. До его появления считалось, что только живые (ущества способны модифицировать свое поведение в ответ на изменения в окружающей среде. К другим примерам саморегулирующихся систем управления с обратной связью относятся регулятор паровой машины, созданный Джеймсом Уаттом (1736-1819), и термостат, изобретенный Корнелисом Дреббелем (1572—163 3), кото-
рый изобрел также подводную лодку. Математическая теория устойчивых систем с обратной связью была разработана в XIX веке.
Центральной фигурой в создании науки, которая теперь именуется ^теорией управления, был Норберт Винер (1894-1964). Винер был блестящим математиком, который совместно работал со многими учеными, включая Бертрана Рассела, под влиянием которых у него появился интерес к изучению биологических и механических систем управления и их связи с познанием. Как и Крэг (который также использовал системы управления в качестве психологических моделей), Винер и его коллеги Артуро Розенблют и Джулиан Бигелоу бросили вызов ортодоксальным бихевиористским взглядам [1306]. Они рассматривали целенаправленное поведение как обусловленное действием регуляторного механизма, пытающего минимизировать “ошибку” — различие между текущим и целевым состоянием. В конце 1940-х годов Винер совместно с Уорреном Мак-Каллоком, Уолтером Питтсом и Джоном фон Нейманом организовал ряд конференций, на которых рассматривались новые математические и вычислительные модели познания; эти конференции оказали большое влияние на взгляды многих других исследователей в области наук о поведении. Книга Винера Cybernetics [1589], в которой было впервые дано определение кибернетики как науки, стала бестселлером и убедила широкие круги общественности в том, что мечта о создании машин, обладающих искусственным интеллектом, воплотилась в реальность.
Предметом современной теории управления, особенно той ее ветви, которая получила название стохастического оптимального управления, является проектирование систем, которые максимизируют М целевую функцию во времени. Это примерно соответствует представлению авторов настоящей книги об искусственном интеллекте как о проектировании систем, которые действуют оптимальным образом. Почему же в таком случае искусственный интеллект и теория управления рассматриваются как две разные научные области, особенно если учесть, какие тесные взаимоотношения связывали их основателей? Ответ на этот вопрос состоит в том, что существует также тесная связь между математическими методами, которые были знакомы участникам этих разработок, и соответствующими множествами задач, которые были охвачены в каждом из этих подходов к описанию мира. Дифференциальное и интегральное исчисление, а также алгебра матриц, являющиеся инструментами теории управления, в наибольшей степени подходят для анализа систем, которые могут быть описаны с помощью фиксированных множеств непрерывно изменяющихся переменных; более того, точный анализ, как правило, осуществим только для линейных систем. Искусственный интеллект был отчасти основан как способ избежать ограничений математических средств, применявшихся в теории управления в 1950-х годах. Такие инструменты, как логический вывод и вычисления, позволили исследователям искусственного интеллекта успешно рассматривать некоторые проблемы (например, понимание естественного языка, зрение и планирование), полностью выходящие за рамки исследований, предпринимавшихся теоретиками управления.
Лингвистика (период с 1957 года по настоящее время)
Каким образом язык связан с мышлением?
В 1957 году Б.Ф. Скиннер опубликовал свою книгу Verbal Behavior. Это был всеобъемлющий, подробный отчет о результатах исследований по изучению языка, проведенных в рамках бихевиористского подхода, который был написан наиболее
выдающимся экспертом в этой области. Но весьма любопытно то, что рецензия к этой книге стала не менее известной, чем сама книга, и послужила причиной почти полного исчезновения интереса к бихевиоризму. Автором этой рецензии был Ноам Хомский, который сам только что опубликовал книгу с изложением своей собственной теории, Syntactic Structures. Хомский показал, что бихевиористская теория не позволяет понять истоки творческой деятельности, осуществляемой с помощью языка, — она не объясняет, почему ребенок способен понимать и складывать предложения, которые он до сих пор никогда еще не слышал. Теория Хомского, основанная на синтаксических моделях, восходящих к работам древнеиндийского лингвиста Панини (примерно 350 год до н.э.), позволяла объяснить этот феномен, и, в отличие от предыдущих теорий, оказалась достаточно формальной для того, чтобы ее можно было реализовать в виде программ.
Таким образом, современная лингвистика и искусственный интеллект, которые “родились” примерно в одно и то же время и продолжают вместе расти, пересекаются в гибридной области, называемой ^ вычислительной лингвистикой или обработкой естественного языка. Вскоре было обнаружено, что проблема понимания языка является гораздо более сложной, чем это казалось в 1957 году. Для понимания языка требуется понимание предмета и контекста речи, а не только анализ структуры предложений. Это утверждение теперь кажется очевидным, но сам данный факт не был широко признан до 1960-х годов. Основная часть ранних работ в области представления знаний (науки о том, как преобразовать знания в такую форму, с которой может оперировать компьютер) была привязана к языку и подпитывалась исследованиями в области лингвистики, которые, в свою очередь, основывались на результатах философского анализа языка, проводившегося в течение многих десятков лет.
История искусственного интеллекта
После ознакомления с изложенным выше материалом о предыстории искусственного интеллекта перейдем к изучению процесса развития самого искусственного интеллекта.
Появление предпосылок искусственного интеллекта (период с 1943 года по 1955 год)
Первая работа, которая теперь по общему признанию считается относящейся к искусственному интеллекту, была выполнена Уорреном Мак-Каллоком и Уолтером Питтсом [1017]. Они черпали вдохновение из трех источников: знание основ физиологии и назначения нейронов в мозгу; формальный анализ логики высказываний, взятый из работ Рассела и Уайтхеда; а также теория вычислений Тьюринга. Мак-Каллок и Питтс предложили модель, состоящую из искусственных нейронов, в которой каждый нейрон характеризовался как находящийся во “включенном” или “выключенном” состоянии, а переход во “включенное” состояние происходил в ответ на стимуляцию достаточного количества соседних нейронов. Состояние нейрона рассматривалось как “фактически эквивалентное высказыванию, в котором предлагается адекватное количество стимулов”. Работы этих ученых показали, например, что любая вычислимая функция может быть вычислена с по-
мощью некоторой сети из соединенных нейронов и что все логические связки (“И”, “ИЛИ”, “НЕ” и т.д.) могут быть реализованы с помощью простых сетевых структур. Кроме того, Мак-Калл ок и Питтс выдвинули предположение, что сети, структурированные соответствующим образом, способны к обучению. Дональд Хебб [638] продемонстрировал простое правило обновления для модификации количества соединений между нейронами. Предложенное им правило, называемое теперь правилом хеббовского обучения, продолжает служить основой для моделей, широко используемых и в наши дни.
Два аспиранта факультета математики Принстонского университета, Марвин Минский и Дин Эдмондс, в 1951 году создали первый сетевой компьютер на основе нейронной сети. В этом компьютере, получившем название Snare, использовалось 3000 электронных ламп и дополнительный механизм автопилота с бомбардировщика В-24 для моделирования сети из 40 нейронов. Аттестационная комиссия, перед которой Минский защищал диссертацию доктора философии, выразила сомнение в том, может ли работа такого рода рассматриваться как математическая, на что фон Нейман, по словам современников, возразил: “Сегодня — нет, но когда-то будет”. В дальнейшем Минский доказал очень важные теоремы, показывающие, с какими ограничениями должны столкнуться исследования в области нейронных сетей.
Кроме того, можно привести большое количество примеров других ранних работ, которые можно охарактеризовать как относящиеся к искусственному интеллекту, но именно Алан Тьюринг впервые выразил полное представление об искусственном интеллекте в своей статье Computing Machinery and Intelligence, которая была опубликована в 1950 году. В этой статье он описал тест Тьюринга, принципы машинного обучения, генетические алгоритмы и обучение с подкреплением.
Рождение искусственного интеллекта (1956 год)
В Принстонском университете проводил свои исследования еще один авторитетный специалист в области искусственного интеллекта, Джон Маккарти. После получения ученой степени Маккарти перешел в Дартмутский колледж, который и стал официальным местом рождения этой области знаний. Маккарти уговорил Марвина Минского, Клода Шеннона и Натаниэля Рочестера, чтобы они помогли ему собрать всех американских исследователей, проявляющих интерес к теории автоматов, нейронным сетям и исследованиям интеллекта. Они организовывали двухмесячный семинар в Дартмуте летом 1956 года. Всего на этом семинаре присутствовали 10 участников, включая Тренчарда Мура из Принстонского университета, Артура Самюэла из компании IBM, а также Рея Соломонова и Оливера Селфриджа из Массачусетсского технологического института (Massachussets Institute of Technlogies — MIT).
Два исследователя из технологического института Карнеги, Аллен Ньюэлл и Герберт Саймон, буквально монополизировали все это представление. Тогда как другие могли лишь поделиться своими идеями и в некоторых случаях показать программы для таких конкретных приложений, как шашки, Ньюэлл и Саймон уже мог-
ли продемонстрировать программу, проводящую рассуждения, Logic Theorist (LT), или логик-теоретик, в отношении которой Саймон заявил: “Мы изобрели компьютерную программу, способную мыслить в нечисловых терминах и поэтому решили почтенную проблему о соотношении духа и тела”. Вскоре после этого семинара программа показала свою способность доказать большинство теорем из главы 2 труда Рассела и Уайтхеда Principia Mathematica. Сообщали, что Рассел пришел в восторг, когда Саймон показал ему, что эта программа предложила доказательство одной теоремы, более короткое, чем в Principia. Редакторы Journal of Symbolic Logic оказались менее подверженными эмоциям; они отказались принимать статью, в качестве соавторов которой были указаны Ньюэлл, Саймон и программа Logic Theorist.
Дартмутский семинар не привел к появлению каких-либо новых крупных открытий, но позволил познакомиться всем наиболее важным деятелям в этой научной области. Они, а также их студенты и коллеги из Массачусетсского технологического института, Университета Карнеги—Меллона, Станфордского университета и компании IBM занимали ведущее положение в этой области в течение следующих 20 лет. Возможно, дольше всего сохранившимся результатом данного семинара было соглашение принять новое название для этой области, предложенное Маккарти, — искусственный интеллект. Возможно, лучше было бы назвать эту научную область “вычислительная рациональность”, но за ней закрепилось название “искусственный интеллект”.
Анализ предложений по тематике докладов для Дартмутского семинара [1014] позволяет понять, с чем связана необходимость преобразовать искусственный интеллект в отдельную область знаний. Почему нельзя было бы публиковать все работы, выполненные в рамках искусственного интеллекта, под флагом теории управления, или исследования операций, или теории решений, которые в конечном итоге имеют цели, аналогичные искусственному интеллекту? Или почему искусственный интеллект не рассматривается как область математики? Ответом на эти вопросы, во- первых, является то, что искусственный интеллект с самого начала впитал идею моделирования таких человеческих качеств, как творчество, самосовершенствование и использование естественного языка. Эти задачи не рассматриваются ни в одной из указанных областей. Во-вторых, еще одним ответом является методология. Искусственный интеллект — это единственная из перечисленных выше областей, которая, безусловно, является одним из направлений компьютерных наук (хотя в исследовании операций также придается большое значение компьютерному моделированию), кроме того, искусственный интеллект — это единственная область, в которой предпринимаются попытки создания машин, действующих автономно в сложной, изменяющейся среде.
Ранний энтузиазм, большие ожидания (период с 1952 года по 1969 год)
Первые годы развития искусственного интеллекта были полны успехов, хотя и достаточно скромных. Если учесть, какими примитивными были в то время компьютеры и инструментальные средства программирования, и тот факт, что лишь за несколько лет до этого компьютеры рассматривались как устройства, способные вы-
поднять только арифметические, а не какие-либо иные действия, можно лишь удивляться тому, как удалось заставить компьютер выполнять операции, хоть немного напоминающие разумные. Интеллектуальное сообщество в своем большинстве продолжало считать, что “ни одна машина не сможет выполнить действие X”. (Длинный список таких X, собранный Тьюрингом, приведен в главе 26.) Вполне естественно, что исследователи в области искусственного интеллекта отвечали на это, демонстрируя способность решать одну задачу X за другой. Джон Маккарти охарактеризовал этот период как эпоху восклицаний: “Гляди, мама, что я умею!”
За первыми успешными разработками Ньюэлла и Саймона последовало создание программы общего решателя задач (General Problem Solver — GPS). В отличие от программы Logic Theorist, эта программа с самого начала была предназначена для моделирования процедуры решения задач человеком. Как оказалось, в пределах того ограниченного класса головоломок, которые была способна решать эта программа, порядок, в котором она рассматривала подцели и возможные действия, был аналогичен тому подходу, который применяется людьми для решения таких же проблем. Поэтому программа GPS была, по-видимому, самой первой программой, в которой был воплощен подход к “организации мышления по такому же принципу, как и у человека”. Результаты успешного применения GPS и последующих программ в качестве модели познания позволили сформулировать знаменитую гипотезу ^физической символической системы ([1131]), в которой утверждается, что существует “физическая символическая система, которая имеет необходимые и достаточные средства для интеллектуальных действий общего вида”. Под этим подразумевается, что любая система, проявляющая интеллект (человек или машина), должна действовать по принципу манипулирования структурами данных, состоящими из символов. Ниже будет показано, что эта гипотеза во многих отношениях оказалась уязвимой для критики.
Работая в компании IBM, Натаниэль Рочестер и его коллеги создали некоторые из самых первых программ искусственного интеллекта. Герберт Гелернтер [532] сконструировал программу Geometry Theorem Prover (программа автоматического доказательства геометрических теорем), которая была способна доказывать такие теоремы, которые показались бы весьма сложными многим студентам-математикам. Начиная с 1952 года Артур Самюэл написал ряд программ для игры в шашки, которые в конечном итоге научились играть на уровне хорошо подготовленного любителя. В ходе этих исследований Самюэл опроверг утверждение, что компьютеры способны выполнять только то, чему их учили: одна из его программ быстро научилась играть лучше, чем ее создатель. Эта программа была продемонстрирована по телевидению в феврале 1956 года и произвела очень сильное впечатление на зрителей. Как и Тьюринг, Самюэл с трудом находил машинное время. Работая по ночам, он использовал компьютеры, которые все еще находились на испытательной площадке производственного предприятия компании IBM. Проблема ведения игр рассматривается в главе 6, а в главе 21 описаны и дополнены методы обучения, которые использовались Самюэлом.
Джон Маккарти перешел из Дартмутского университета в Массачусетсский технологический институт и здесь в течение одного исторического 1958 года внес три крайне важных вклада в развитие искусственного интеллекта. В документе MIT AI Lab Memo No. 1 Джон Маккарти привел определение нового языка высокого уровня ^ Lisp, которому суждено было стать доминирующим языком программирования для искусственного интеллекта. Lisp остается одним из главных языков высокого
уровня, применяемых в настоящее время, будучи вместе с тем вторым по очередности появления языком такого типа, который был создан всего на один год позже чем Fortran. Разработав язык Lisp, Маккарти получил необходимый для него инструмент, но доступ к ограниченным и дорогостоящим компьютерным ресурсам продолжал оставаться серьезной проблемой. В связи с этим он совместно с другими сотрудниками Массачусетсского технологического института изобрел режим разделения времени. В том же 1958 году Маккарти опубликовал статью под названием Programs 'with Common Sense, в которой он описал гипотетическую программу Advice Taker, которая может рассматриваться как первая полная система искусственного интеллекта. Как и программы Logic Theorist и Geometry Theorem Prover, данная программа Маккарти была предназначена для использования знаний при поиске решений задач. Но в отличие от других программ она была предназначена для включения общих знаний о мире. Например, Маккарти показал, что некоторые простые аксиомы позволяют этой программе разработать план оптимального маршрута автомобильной поездки в аэропорт, чтобы можно было успеть на самолет. Данная программа была также спроектирована таким образом, что могла принимать новые аксиомы в ходе обычной работы, а это позволяло ей приобретать компетентность в новых областях без перепрограммирования. Таким образом, в программе Advice Taker были воплощены центральные принципы представления знаний и проведения рассуждений, которые заключаются в том, что всегда полезно иметь формальное, явное представление о мире, а также о том, как действия агента влияют на этот мир и как приобрести способность манипулировать подобными представлениями с помощью дедуктивных процессов. Замечательной особенностью указанной статьи, которая вышла в 1958 году, является то, что значительная ее часть не потеряла своего значения и в наши дни.
Знаменитый 1958 год отмечен также тем, что именно в этот год Марвин Минский перешел в Массачусетсский технологический институт. Но успешно складывавшееся на первых порах его сотрудничество с Маккарти продолжалось недолго. Маккарти настаивал на том, что нужно изучать способы представления и проведения рассуждений в формальной логике, тогда как Минский в большей степени интересовался тем, как довести программы до рабочего состояния, и в конечном итоге у него сформировалось отрицательное отношение к логике. В 1963 году Маккарти открыл лабораторию искусственного интеллекта в Станфордском университете. Разработанный им план использования логики для создания окончательной версии программы Advice Taker выполнялся еще быстрее, чем было задумано, благодаря открытию Дж.А. Робинсоном метода резолюции (полного алгоритма доказательства теорем для логики первого порядка; см. главу 9). Работы, выполненные в Станфордском университете, подчеркнули важность применения методов общего назначения для проведения логических рассуждений. В число логических приложений вошли системы формирования ответов на вопросы и планирования Корделла Грина [592], а также робототехнический проект Shakey, разрабатываемый в новом Станфордском научно-исследовательском институте (Stanford Research Institute — SRI). Последний проект, который подробно рассматривается в главе 25, впервые продемонстрировал полную интеграцию логических рассуждений и физической активности.
Минский руководил работой ряда студентов, выбравших для себя задачи ограниченных масштабов, для решения которых, как в то время казалось, требовалась интеллектуальность. Эти ограниченные проблемные области получили название М микромиров.
Программа Saint Джеймса Слэгла [1426] оказалась способной решать задачи интеграции в исчислении замкнутой формы, типичные для первых курсов колледжей. Программа Analogy Тома Эванса [448] решала задачи выявления геометрических аналогий, применяемые при проверке показателя интеллекта, аналогичные приведенной на рис. 1.2. Программа Student Дэниэла Боброва [142] решала изложенные в виде рассказа алгебраические задачи, подобные приведенной ниже.
Рис. 1.2. Пример задачи, решаемой программой Analogy Эванса
Если количество заказов, полученных Томом, вдвое превышает квадратный корень из 20% опубликованных им рекламных объявлений, а количество этих рекламных объявлений равно 45, то каково количество заказов, полученных Томом?
Наиболее известным примером микромира был мир блоков, состоящий из множества цельных блоков, размещенных на поверхности стола (или, что более часто, на имитации стола), как показано на рис. 1.3. Типичной задачей в этом мире является изменение расположения блоков определенным образом с использованием манипулятора робота, который может захватывать по одному блоку одновременно. Мир блоков стал основой для проекта системы технического зрения Дэвида Хаффмена [702], работы по изучению зрения и распространения (удовлетворения) ограничений Дэвида Уолтса [1552], теории обучения Патрика Уинстона [1602], программы понимания естественного языка Тэрри Винограда [1601] и планировщика в мире блоков Скотта Фалмана [450].
Бурно продвигались также исследования, основанные на ранних работах по созданию нейронных сетей Мак-Каллока и Питтса. В работе Винограда и Коуэна [1600] было показано, как нужно представить отдельную концепцию с помощью коллекции, состоящей из большого количества элементов, соответственно увеличивая надежность и степень распараллеливания их работы. Методы обучения Хебба были усовершенствованы в работах Берни Видроу [1587], [1586], который называл свои сети адалинами, а также Френка Розенблатта [1304], создателя перцептронов. Розенблатт доказал теорему сходимости перцептрона, которая подтверждает, что предложенный им алгоритм обучения позволяет корректировать количество соединений перцептрона в соответствии с любыми входными данными, при условии, что такое соответствие существует. Эта тема рассматривается в главе 20.
Рис. 1.3. Сцена из мира блоков. Программа Shrdlu [1601] только что завершила выполнение команды “Найти блок, более высокий по сравнению с тем, который находится в манипуляторе, и поместить его в ящик ”
Столкновение с реальностью (период с 1966 года по 1973 год)
С самого начала исследователи искусственного интеллекта не отличались сдержанностью, высказывая прогнозы в отношении своих будущих успехов. Например, часто цитировалась приведенное ниже предсказание Герберта Саймона, опубликованное им в 1957 году.
Я не ставлю перед собой задачу удивить или шокировать вас, но проще всего я могу подвести итог, сказав, что теперь мы живем в таком мире, где машины могут думать, учиться и создавать. Болес того, их способность выполнять эти действия будет продолжать расти до тех пор, пока (в обозримом будущем) круг проблем, с которыми смогут справиться машины, будет сопоставим с тем кругом проблем, где до сих пор был нужен человеческий мозг.
Такие выражения, как “обозримое будущее”, могут интерпретироваться по- разному, но Саймон сделал также более конкретный прогноз, что через десять лет компьютер станет чемпионом мира по шахматам и что машиной будут доказаны все важные математические теоремы. Эти предсказания сбылись (или почти сбылись) не через десять лет, а через сорок. Чрезмерный оптимизм Саймона был обусловлен тем, что первые системы искусственного интеллекта демонстрировали многообещающую производительность, хотя и на простых примерах. Но почти во всех случаях эти ранние системы терпели сокрушительное поражение, сталкиваясь с более широким кругом проблем или с более трудными проблемами.
Сложности первого рода были связаны с тем, что основная часть ранних программ не содержала знаний или имела лишь небольшой объем знаний о своей предметной области; их временные успехи достигались за счет простых синтаксических манипуляций. Типичная для этого периода история произошла при проведении
первых работ по машинному переводу текста на естественном языке, которые щедро финансировались Национальным научно-исследовательским советом США (U.S. National Research Council) в попытке ускорить перевод советских научных статей во время того периода бурной деятельности, который начался вслед за запуском в СССР первого искусственного спутника Земли в 1957 году. Вначале считалось, что для сохранения точного смысла предложений достаточно провести простые синтаксические преобразования, основанные на грамматиках русского и английского языков, и замену слов с использованием электронного словаря. Но дело в том, что для устранения неоднозначности и определения смысла предложения в процессе перевода необходимо обладать общими знаниями о предметной области. Возникающие при этом сложности иллюстрируются знаменитым обратным переводом фразы “the spirit is willing but the flesh is weak” (дух полон желаний, но плоть слаба), в результате которого получилось следующее: “the vodka is good but the meat is rotten” (водка хороша, но мясо испорчено). В 1966 году в отчете одного консультативного комитета было отмечено, что “машинный перевод научного текста общего характера не осуществлен и не будет осуществлен в ближайшей перспективе”. Все финансирование академических проектов машинного перевода правительством США было свернуто. В настоящее время машинный перевод является несовершенным, но широко применяемым инструментальным средством обработки технических, коммерческих, правительственных документов, а также документов, опубликованных в Internet.
Сложности второго рода были связаны с неразрешимостью многих проблем, решение которых пытались найти с помощью искусственного интеллекта. В большинстве ранних программ искусственного интеллекта решение задач осуществлялось по принципу проверки различных комбинаций возможных шагов, которая проводилась до тех пор, пока не будет найдено решение. На первых порах такая стратегия приводила к успеху, поскольку микромиры содержали очень небольшое количество объектов, поэтому предусматривали лишь незначительный перечень возможных действий и позволяли находить очень короткие последовательности решения. До того как была разработана теория вычислительной сложности, было широко распространено такое мнение, что для “масштабирования” задач до уровня более крупных проблем достаточно просто применить более быстродействующие аппаратные средства с большим объемом памяти. Например, оптимизм, с которым были встречены сообщения о разработке метода доказательства теорем с помощью резолюции, быстро угас, когда исследователи не смогли доказать таким образом теоремы, которые включали чуть больше нескольких десятков фактов. Как оказалось, <^= то, что программа может найти решение в принципе, не означает, что эта программа действительно содержит все механизмы, позволяющие найти данное решение на практике.
Иллюзия неограниченной вычислительной мощи распространялась не только на программы решения задач. Ранние эксперименты в области ^ эволюции машин (которая теперь известна под названием разработка генетических алгоритмов) [502], [503] были основаны на уверенности в том, что внесение соответствующего ряда небольших изменений в машинный код программы позволяет создать программу решения любой конкретной простой задачи, обладающую высокой производительностью. Безусловно, что сам этот подход является вполне обоснованным. Поэтому общая идея состояла в том, что необходимо проверять случайные мутации (изменения в коде) с помощью процесса отбора для сохранения мутаций, которые кажутся полезными. На эти эксперименты было потрачено тысячи часов процессорного време-
ни, но никаких признаков прогресса не было обнаружено. В современных генетических алгоритмах используются лучшие способы представления, которые показывают более успешные результаты.
Одним из основных критических замечаний в адрес искусственного интеллекта, содержащихся в отчете Лайтхилла [930], который лег в основу решения британского правительства прекратить поддержку исследований в области искусственного интеллекта во всех университетах, кроме двух, была неспособность справиться с “комбинаторным взрывом” — стремительным увеличением сложности задачи. (Это — официальная версия событий, а в устном изложении рисуется немного иная и более красочная картина, в которой проявляются политические амбиции и личные интересы, описание которых выходит за рамки данного изложения.)
Сложности третьего рода возникли в связи с некоторыми фундаментальными ограничениями базовых структур, которые использовались для выработки интеллектуального поведения. Например, в книге Минского и Пейперта Perceptrons [1054] было доказано, что перцептроны (простая форма нейронной сети) могут продемонстрировать способность изучить все, что возможно представить с их помощью, но, к сожалению, они позволяют представить лишь очень немногое. В частности, перцептрон с двумя входами нельзя обучить распознаванию такой ситуации, при которой на два его входа подаются разные сигналы. Хотя полученные этими учеными результаты не распространяются на более сложные, многослойные сети, вскоре было обнаружено, что финансы, выделенные на поддержку исследований в области нейронных сетей, почти не приносят никакой отдачи. Любопытно отметить, что новые алгоритмы обучения путем обратного распространения для многослойных сетей, которые стали причиной возрождения необычайного интереса к исследованиям в области нейронных сетей в конце 1980-х годов, фактически были впервые открыты в 1969 году [201].
Системы, основанные на знаниях: могут ли они стать ключом к успеху (период с 1969 года по 1979 год)
Основной подход к решению задач, сформированный в течение первого десятилетия исследований в области искусственного интеллекта, представлял собой механизм поиска общего назначения, с помощью которого предпринимались попытки связать в единую цепочку элементарные этапы проведения рассуждений для формирования полных решений. Подобные подходы получили название М слабых методов, поскольку они не позволяли увеличить масштабы своего применения до уровня более крупных или более сложных экземпляров задач, несмотря на то, что были общими. Альтернативным по сравнению со слабыми методами стал подход, предусматривающий использование более содержательных знаний, относящихся к проблемной области, который позволяет создавать более длинные цепочки шагов логического вывода и дает возможность проще справиться с теми проблемными ситуациями, которые обычно возникают в специализированных областях знаний. Как известно, чтобы решить достаточно сложную задачу, необходимо уже почти полностью знать ответ.
Одним из первых примеров реализации такого подхода была программа Dendral [205]. Она была разработана в Станфордском университете группой ученых, в которую вошли Эд Фейгенбаум (бывший студент Герберта Саймона), Брюс Бьюкенен
(философ, который сменил специальность и стал заниматься компьютерными науками) и Джошуа Ледерберг (лауреат Нобелевской премии в области генетики). Эта группа занималась решением проблемы определения структуры молекул на основе информации, полученной от масс-спектрометра. Вход этой программы состоял из химической формулы соединения (например, СбН13МО2) и спектра масс, позволяющего определять массы различных фрагментов молекулы, который формировался при бомбардировке молекулы потоком электронов. Например, спектр масс может содержать пик в точке ш=15, соответствующий массе метилового фрагмента (СН3).
Первая, примитивная версия этой программы предусматривала выработку всех возможных структур, совместимых с данной формулой, после чего предсказывала, какой спектр масс должен наблюдаться для каждой из этих структур, сравнивая его с фактическим спектром. Вполне можно ожидать, что такая задача применительно к молекулам более крупных размеров становится неразрешимой. Поэтому разработчики программы Dendral проконсультировались с химиками-аналитиками и пришли к выводу, что следует попытаться организовать работу по принципу поиска широко известных картин расположения пиков в спектре, которые указывают на наличие общих подструктур в молекуле. Например, для распознавания кетоновых подгрупп (ОО) с атомными весами 28 может использоваться приведенное ниже правило.
if имеются два пика в точках xi и х2, такие, что:
xi + х2 = М + 2 8 (где м— масса всей молекулы);
в точке xi - 28 — высокий пик;
в точке х2 - 28 — высокий пик;
по меньшей мере в одной из точек xi и х2 — высокий пик, then существует кетоновая подгруппа.
Применение способа, предусматривающего распознавание того, что молекула содержит какие-то конкретные подструктуры, позволило весьма значительно сократить количество возможных кандидатов, подлежащих проверке. В конечном итоге программа Dendral оказалась очень мощной, и причины этого описаны ниже.
Все относящиеся к делу теоретические знания, требуемые для решения указанных проблем, были преобразованы в [компоненте предсказания спектра] из наиболее общей формы (из “исходных принципов”) в эффективные специальные формы (в “рецепты поваренной книги”) [458].
Значение программы Dendral состояло в том, что это была первая успешно созданная экспертная система, основанная на широком использовании знаний: ее способность справляться с поставленными задачами была обусловлена применением большого количества правил специального назначения. В более поздних системах также широко применялся основной принцип подхода, реализованного Маккарти в программе Advice Taker, — четкое отделение знаний (в форме правил) от компонента, обеспечивающего проведение рассуждений.
Руководствуясь этим опытом, Фейгенбаум и другие специалисты из Станфорд- ского университета приступили к разработке проекта эвристического программирования (Heuristic Programming Project — НРР), целью которого было исследование того, в какой степени созданная ими новая методология М экспертных систем может быть применена в других областях интеллектуальной деятельности человека. На очередном этапе основные усилия были сосредоточены в области медицинской диагностики. Фейгенбаум, Бьюкенен и доктор Эдвард Шортлифф разработали
программу Mycin для диагностики инфекционных заболеваний кровеносной системы. После ввода в нее примерно 450 правил программа Mycin приобрела способность работать на уровне некоторых экспертов, а также показала значительно более лучшие результаты по сравнению с врачами, имеющими не такой большой стаж. Она также обладала двумя важными отличительными особенностями по сравнению с программой Dendral. Во-первых, в отличие от правил Dendral не существовала общая теоретическая модель, на основании которой мог бы осуществляться логический вывод правил Mycin. Для выявления этих правил приходилось широко применять знания, полученные от экспертов, которые, в свою очередь, приобретали эти знания с помощью учебников, других экспертов и непосредственного опыта, накопленного путем изучения практических случаев. Во-вторых, в этих правилах приходилось учитывать ту степень неопределенности, которой характеризуются знания в области медицины. В программе Mycin применялось исчисление неопределенностей на основе так называемых коэффициентов уверенности (см. главу 13), которое (в то время) казалось вполне соответствующим тому, как врачи оценивают влияние объективных данных на диагноз.
Важность использования знаний в проблемной области стала также очевидной и для специалистов, которые занимались проблемами понимания естественного языка. Хотя система понимания естественного языка Shrdlu, разработанная Тэрри Виноградом, стала в свое время предметом всеобщего восхищения, ее зависимость от результатов синтаксического анализа вызвала появление примерно таких же проблем, которые обнаружились в ранних работах по машинному переводу. Эта система была способна преодолеть неоднозначность и правильно понимала ссылки, выраженные с помощью местоимений, но это в основном было связано с тем, что она специально предназначалась только для одной области — для мира блоков. Некоторые исследователи, включая Юджина Чарняка, коллегу и аспиранта Винограда в Массачусетсском технологическом институте, указывали, что для обеспечения надежного понимания языка потребуются общие знания о мире и общий метод использования этих знаний.
Работавший в Йельском университете Роджер Шенк, лингвист, ставший исследователем в области искусственного интеллекта, еще более ярко выразил эту мысль, заявив, что “такого понятия, как синтаксис, не существует”. Это заявление вызвало возмущение многих лингвистов, но послужило началом полезной дискуссии. Шенк со своими студентами создал ряд интересных программ [425], [1358], [1359], [1590]. Задача всех этих программ состояла в обеспечении понимания естественного языка. Но в них основной акцент был сделан в меньшей степени на языке как таковом и в большей степени на проблемах представления и формирования рассуждений с помощью знаний, требуемых для понимания языка. В число рассматриваемых проблем входило представление стереотипных ситуаций [314], описание организации человеческой памяти [829], [1287], а также понимание планов и целей [1591].
В связи с широким ростом количества приложений, предназначенных для решения проблем реального мира, столь же широко возрастали потребности в создании работоспособных схем представления знаний. Было разработано большое количество различных языков для представления знаний и проведения рассуждений. Некоторые из них были основаны на логике, например, в Европе получил распространение язык Prolog, а в Соединенных Штатах широко применялось семейство языков Planner. В других языках, основанных на выдвинутой Минским идее ^ фреймов
[1053], был принят более структурированный подход, предусматривающий сбор фактов о конкретных типах объектов и событий, а также упорядочение этих типов в виде крупной таксономической иерархии, аналогичной биологической таксономии.
Превращение искусственного интеллекта в индустрию (период с 1980 года по настоящее время)
Первая успешно действующая коммерческая экспертная система, R1, появилась в компании DEC (Digital Equipment Corporation) [1026]. Эта программа помогала составлять конфигурации для выполнения заказов на новые компьютерные системы; к 1986 году она позволяла компании DEC экономить примерно 40 миллионов долларов в год. К 1988 году группой искусственного интеллекта компании DEC было развернуто 40 экспертных систем, а в планах дальнейшего развертывания было предусмотрено еще большее количество таких систем. В компании Du Pont применялось 100 систем, в разработке находилось еще 500, а достигнутая экономия составляла примерно 10 миллионов долларов в год. Почти в каждой крупной корпорации США была создана собственная группа искусственного интеллекта и либо применялись экспертные системы, либо проводились их исследования.
В 1981 году в Японии было объявлено о развертывании проекта создания компьютера “пятого поколения” — 10-летнего плана по разработке интеллектуальных компьютеров, работающих под управлением языка Prolog. В ответ на это в Соединенных Штатах была сформирована корпорация Microelectronics and Computer Technology Corporation (MCC) как научно-исследовательский консорциум, предназначенный для обеспечения конкурентоспособности американской промышленности. И в том и в другом случае искусственный интеллект стал частью общего плана, включая его применение для проектирования микросхем и проведения исследований в области человеко-машинного интерфейса. Но амбициозные цели, поставленные перед специалистами в области искусственного интеллекта в проектах МСС и компьютеров пятого поколения, так и не были достигнуты. Тем не менее в Британии был выпущен отчет Олви (Alvey), в котором предусматривалось возобновление финансирования, урезанного на основании отчета Лайтхилла.
В целом в индустрии искусственного интеллекта произошел бурный рост, начиная с нескольких миллионов долларов в 1980 году и заканчивая миллиардами долларов в 1988 году. Однако вскоре после этого наступил период, получивший название “зимы искусственного интеллекта”, в течение которого пострадали многие компании, поскольку не сумели выполнить своих заманчивых обещаний.
Возвращение к нейронным сетям (период с 1986 года по настоящее время)
Хотя основная часть специалистов по компьютерным наукам прекратила исследования в области нейронных сетей в конце 1970-х годов, работу в этой области продолжили специалисты из других научных направлений. Такие физики, как Джон Хопфилд [674], использовали методы из статистической механики для анализа
свойств хранения данных и оптимизации сетей, рассматривая коллекции узлов как коллекции атомов. Психологи, включая Дэвида Румельхарта и Джефа Хинтона, продолжали исследовать модели памяти на основе нейронных сетей. Как будет описано в главе 20, настоящий прорыв произошел в середине 1980-х годов, когда по меньшей мере четыре разные группы снова открыли алгоритм обучения путем обратного распространения, впервые предложенный в 1969 году Брайсоном и Хо [201]. Этот алгоритм был применен для решения многих проблем обучения в компьютерных науках и психологии, а после публикации результатов его использования в сборнике статей Parallel Distributed Processing [1318] всеобщее внимание привлек тот факт, насколько разнообразными оказались области его применения.
Эти так называемые ^ коннекционистские (основанные на соединениях) модели интеллектуальных систем многими рассматривались как непосредственно конкурирующие и с символическими моделями, разрабатываемыми Ньюэллом и Саймоном, и с логицистским подходом, предложенным Маккарти и другими [1442]. По- видимому, не следует отрицать, что на некотором уровне мышления люди манипулируют символами; и действительно, в книге Терренса Дикона под названием The Symbolic Species [354] указано, что способность манипулировать символами — определяющая характеристика человека, но наиболее горячие сторонники коннекцио- низма поставили под сомнение то, что на основании манипулирования символами действительно можно полностью объяснить какие-то познавательные процессы в подробных моделях познания. Вопрос остается открытым, но современный взгляд на эту проблему состоит в том, что коннекционистский и символический подходы являются взаимодополняющими, а не конкурирующими.
Превращение искусственного интеллекта в науку (период с 1987 года по настоящее время)
В последние годы произошла буквально революция как в содержании, так и в методологии работ в области искусственного интеллекта. В настоящее время гораздо чаще встречаются работы, которые основаны на существующих теориях, а не содержат описания принципиально новых открытий; утверждения, изложенные в этих работах, основаны на строгих теоремах или надежных экспериментальных свидетельствах, а не на интуиции; при этом обоснованность сделанных выводов подтверждается на реальных практических приложениях, а не на игрушечных примерах.
Появление искусственного интеллекта отчасти стало результатом усилий по преодолению ограничений таких существующих научных областей, как теория управления и статистика, но теперь искусственный интеллект включил в себя и эти области. В одной из своих работ Дэвид Макаллестер [1006] выразил эту мысль следующим образом.
В ранний период развития искусственного интеллекта казалось вероятным, что в результате появления новых форм символических вычислений, например фреймов и семантиче-
ских сетей, основная часть классической теории станет устаревшей. Это привело к определенной форме самоизоляции, характеризовавшейся тем, что искусственный интеллект в значительной степени отделился от остальной части компьютерных наук. В настоящее время такой изоляционизм преодолен. Появилось признание того, что машинное обучение не следует отделять от теории информации, что проведение рассуждений в условиях неопределенности нельзя изолировать от стохастического моделирования, что поиск не следует рассматривать отдельно от классической оптимизации и управления и что автоматизированное формирование рассуждений не должно трактоваться как независимое от формальных методов и статистического анализа.
С точки зрения методологии искусственный интеллект наконец-то твердо перешел на научные методы. Теперь, для того чтобы быть принятыми, гипотезы должны подвергаться проверке в строгих практических экспериментах, а значимость результатов должна подтверждаться данными статистического анализа [275]. Кроме того, в настоящее время имеется возможность воспроизводить эксперименты с помощью Internet, а также совместно используемых репозитариев тестовых данных и кода.
Именно по этому принципу развивается область распознавания речи. В 1970-е годы было опробовано широкое разнообразие различных архитектур и подходов. Многие из них оказались довольно надуманными и недолговечными и были продемонстрированы только на нескольких специально выбранных примерах. В последние годы доминирующее положение в этой области заняли подходы, основанные на использовании скрытых марковских моделей (Hidden Markov Model — HMM). Описанное выше современное состояние искусственного интеллекта подтверждается двумя особенностями моделей НММ. Во-первых, они основаны на строгой математической теории. Это позволяет исследователям речи использовать в своей работе математические результаты, накопленные в других областях за несколько десятилетий. Во-вторых, они получены в процессе обучения программ на крупном массиве реальных речевых данных. Это гарантирует обеспечение надежных показателей производительности, а в строгих слепых испытаниях модели НММ неизменно улучшают свои показатели. Технология распознавания речи и связанная с ней область распознавания рукописных символов уже совершают переход к созданию широко применяемых индустриальных и потребительских приложений.
Нейронные сети также следуют этой тенденции. Основная часть работ по нейронных сетям, осуществленных в 1980-х годах, была проведена в попытке оценить масштабы того, что должно быть сделано, а также понять, в чем нейронные сети отличаются от “традиционных” методов. В результате использования усовершенствованной методологии и теоретических основ исследователи в этой области достигли такого уровня понимания, что теперь нейронные сети стали сопоставимыми с соответствующими технологиями из области статистики, распознавания образов и машинного обучения, а наиболее перспективная методология может быть применена к каждому из этих приложений. В результате этих разработок была создана так называемая технология М анализа скрытых закономерностей в данных (data mining), которая легла в основу новой, быстро растущей отрасли информационной индустрии.
Знакомство широких кругов специалистов с книгой Джуди Перла Probabilistic Reasoning in Intelligent Systems [1191] привело к признанию важности теории вероятностей и теории решений для искусственного интеллекта, что последовало за возрождением интереса к этой теме, вызванной статьей Питера Чизмана In Defense of Probability [242]. Для обеспечения эффективного представления неопределенных
знаний и проведения на их основе строгих рассуждений были разработаны формальные средства байесовских сетей. Этот подход позволил преодолеть многие проблемы систем вероятностных рассуждений, возникавшие в 1960—1970-х гг.; теперь он стал доминирующим в таких направлениях исследований искусственного интеллекта, как формирование рассуждений в условиях неопределенности и экспертные системы. Данный подход позволяет организовать обучение на основе опыта и сочетает в себе лучшие достижения классического искусственного интеллекта и нейронных сетей. В работах Джуди Перла [ 1186], а также Эрика Горвица и Дэвида Хекерма- на [688], [689] была развита идея нормативных экспертных систем. Таковыми являются системы, которые действуют рационально, в соответствии с законами теории решений, а не пытаются имитировать мыслительные этапы в работе людей- экспертов. Операционная система Windows™ включает несколько нормативных диагностических экспертных систем, применяемых для устранения нарушений в работе. Эта область рассматривается в главах 13—16.
Аналогичные бескровные революции произошли в области робототехники, компьютерного зрения и представления знаний. Благодаря лучшему пониманию исследовательских задач и свойств, обусловливающих их сложность, в сочетании с всевозрастающим усложнением математического аппарата, удалось добиться формирования реальных планов научных исследований и перейти к использованию более надежных методов. Но во многих случаях формализация и специализация привели также к фрагментации направлений, например, такие темы, как машинное зрение и робототехника, все больше отделяются от “основного направления” работ по искусственному интеллекту. Снова добиться объединения этих разрозненных областей можно на основе единого взгляда на искусственный интеллект как науку проектирования рациональных агентов.
Появление подхода, основанного на использовании интеллектуальных агентов (период с 1995 года по настоящее время)
Вдохновленные успехами в решении указанных проблем искусственного интеллекта, исследователи также вновь приступили к решению проблемы “целостного агента”. Наиболее широко известным примером создания полной архитектуры агента является работа Аллена Ньюэлла, Джона Лэрда и Пола Розенблума [880], [1125] над проектом Soar. Для того чтобы проще было разобраться в работе агентов, внедренных в реальную среду с непрерывным потоком сенсорных входных данных, были применены так называемые ситуационные движения. Одним из наиболее важных примеров среды для интеллектуальных агентов может служить Internet. Системы искусственного интеллекта стали настолько распространенными в приложениях для Web, что суффикс “-бот” (сокращение от робот) вошел в повседневный язык. Более того, технологии искусственного интеллекта легли в основу многих инструментальных средств Internet, таких как машины поиска, системы, предназначенные для выработки рекомендаций, и системы создания Web-узлов.
Пересмотру с учетом нового представления о роли агентов было подвергнуто не только первое издание данной книги [1328], но и другие новейшие труды по этой теме [1146], [1227]. Одним из следствий попыток создания полных агентов стало понимание того, что ранее изолированные подобласти искусственного интеллекта могут потребовать определенной реорганизации, когда возникнет необходимость
снова связать воедино накопленные в них результаты. В частности, теперь широко признано, что сенсорные системы (системы машинного зрения, эхолокации, распознавания речи и т.д.) не способны предоставить абсолютно надежную информацию о среде. Поэтому системы проведения рассуждений и планирования должны быть приспособленными к работе в условиях неопределенности. Вторым важным следствием изменения взглядов на роль агентов является то, что исследования в области искусственного интеллекта теперь необходимо проводить в более тесном контакте с другими областями, такими как теория управления и экономика, которые также имеют дело с агентами.
Современное состояние разработок
Какие возможности предоставляет искусственный интеллект в наши дни? Краткий ответ на этот вопрос сформулировать сложно, поскольку в этом научном направлении существует слишком много подобластей, в которых выполняется очень много исследований. Ниже в качестве примеров перечислено лишь несколько приложений; другие будут указаны в следующих главах.
Автономное планирование и составление расписаний. Работающая на удалении в сотни миллионов километров от Земли программа Remote Agent агентства NASA стала первой бортовой автономной программой планирования, предназначенной для управления процессами составления расписания операций для космического аппарата [744]. Программа Remote Agent вырабатывала планы на основе целей высокого уровня, задаваемых с Земли, а также контролировала работу космического аппарата в ходе выполнения планов: обнаруживала, диагностировала и устраняла неполадки по мере их возникновения.
Ведение игр. Программа Deep Blue компании IBM стала первой компьютерной программой, которой удалось победить чемпиона мира в шахматном матче, после того как она обыграла Гарри Каспарова со счетом 3,5:2,5 в показательном матче [577]. Каспаров заявил, что ощущал напротив себя за шахматной доской присутствие “интеллекта нового типа”. Журнал Newsweek описал этот матч под заголовком “Последний оборонительный рубеж мозга”. Стоимость акций IBM выросла на 18 миллиардов долларов.
Автономное управление. Система компьютерного зрения Alvinn была обучена вождению автомобиля, придерживаясь определенной полосы движения. В университете CMU эта система была размещена в микроавтобусе, управляемом компьютером NavLab, и использовалось для проезда по Соединенным Штатам; на протяжении 2850 миль (4586,6 км) система обеспечивала рулевое управление автомобилем в течение 98% времени. Человек брал на себя управление лишь в течение остальных 2%, главным образом на выездных пандусах. Компьютер NavLab был оборудован видеокамерами, которые передавали изображения дороги в систему Alvinn, а затем эта система вычисляла наилучшее направление движения, основываясь на опыте, полученном в предыдущих учебных пробегах.
Диагностика. Медицинские диагностические программы, основанные на вероятностном анализе, сумели достичь уровня опытного врача в нескольких
областях медицины. Хекерман [640] описал случай, когда ведущий специалист в области патологии лимфатических узлов не согласился с диагнозом программы в особо сложном случае. Создатели программы предложили, чтобы этот врач запросил у компьютера пояснения по поводу данного диагноза. Машина указала основные факторы, повлиявшие на ее решение, и объяснила нюансы взаимодействия нескольких симптомов, наблюдавшихся в данном случае. В конечном итоге эксперт согласился с решением программы.
Планирование снабжения. Во время кризиса в Персидском заливе в 1991 году в армии США была развернута система DART (Dynamic Analysis and Replanning) [311] для обеспечения автоматизированного планирования поставок и составления графиков перевозок. Работа этой системы охватывала одновременно до 50 000 автомобилей, единиц груза и людей; в ней приходилось учитывать пункты отправления и назначения, маршруты, а также устранять конфликты между всеми параметрами. Методы планирования на основе искусственного интеллекта позволяли вырабатывать в течение считанных часов такие планы, для составления которых старыми методами потребовались бы недели. Представители агентства DARPA (Defense Advanced Research Project Agency — Управление перспективных исследовательских программ) заявили, что одно лишь это приложение сторицей окупило тридцатилетние инвестиции в искусственный интеллект, сделанные этим агентством.
Робототехника. Многие хирурги теперь используют роботов-ассистентов в микрохирургии. Например, HipNav [398] — это система, в которой используются методы компьютерного зрения для создания трехмерной модели анатомии внутренних органов пациента, а затем применяется робототехническое управление для руководства процессом вставки протеза, заменяющего тазобедренный сустав.
Понимание естественного языка и решение задач. Программа Proverb [938] — это компьютерная программа, которая решает кроссворды намного лучше, чем большинство людей; в ней используются ограничения, определяющие состав возможных заполнителей слов, большая база с данными о встречавшихся ранее кроссвордах, а также множество различных источников информации, включая словари и оперативные базы данных, таких как списки кинофильмов и актеров, которые играли в этих фильмах. Например, эта программа способна определить, что одним из решений, подходящих для ключа “Nice Story”, является слово “ETAGE”, поскольку ее база данных содержит пару ключ—решение “Story in France/ETAGE”, а сама программа распознает, что шаблоны “Nice X” и “X in France” часто имеют одно и то же решение. Программа не знает, что Nice (Ницца) — город во Франции, но способна разгадать эту головоломку.
Выше приведено лишь несколько примеров систем искусственного интеллекта, которые существуют в настоящее время. Искусственный интеллект — это не магия и не научная фантастика, а сплав методов науки, техники и математики, вводное описание которых приведено в данной книге.
Резюме
В настоящей главе дано определение искусственного интеллекта и описан исторический контекст, в котором развивалась эта область науки. Ниже приведены некоторые важные темы, которые рассматривались в этой главе.
Взгляды ученых на искусственный интеллект не совпадают. Для того чтобы определить наиболее приемлемый для себя подход, необходимо ответить на два важных вопроса: “Интересует ли вас в основном мышление или поведение?” и “Стремитесь ли вы моделировать способности людей или строить свою работу исходя из идеального стандарта?”
В данной книге принят подход, согласно которому интеллектуальность в основном связана с рациональной деятельностью. В идеальном случае интеллектуальный агент в любой ситуации предпринимает наилучшее возможное действие. В дальнейшем изложении рассматривается проблема создания агентов, которые являются интеллектуальными именно в этом смысле.
Философы (начиная с 400 года до н.э.) заложили основы искусственного интеллекта, сформулировав идеи, что мозг в определенных отношениях напоминает машину, что он оперирует знаниями, закодированными на каком-то внутреннем языке, и что мышление может использоваться для выбора наилучших предпринимаемых действий.
Математики предоставили инструментальные средства для манипулирования высказываниями, обладающими логической достоверностью, а также недостоверными вероятностными высказываниями. Кроме того, они заложили основу не только понимания того, что представляют собой вычисления, но и формирования рассуждений об алгоритмах.
Экономисты формализовали проблему принятия решений, максимизирующих ожидаемый выигрыш для лица, принимающего решение.
Психологи подтвердили идею, что люди и животные могут рассматриваться как машины обработки информации. Лингвисты показали, что процессы использования естественного языка укладываются в эту модель.
Компьютерные инженеры предоставили артефакты, благодаря которым стало возможным создание приложений искусственного интеллекта. Обычно программы искусственного интеллекта имеют большие размеры, и не могли бы работать без тех значительных достижений в повышении быстродействия и объема памяти, которые были достигнуты в компьютерной индустрии.
Теория управления посвящена проектированию устройств, которые действуют оптимально на основе обратной связи со средой. Первоначально математические инструментальные средства теории управления весьма отличались от применяемых в искусственном интеллекте, но эти научные области все больше сближаются.
История искусственного интеллекта характеризуется периодами успеха и неоправданного оптимизма, за которыми следовало снижение интереса и сокращение финансирования. В ней также были периоды, когда появлялись новые творческие подходы, а затем лучшие из них систематически совершенствовались.
Искусственный интеллект развивался быстрее, чем обычно, в прошлое десятилетие, поскольку в этой области стали шире применяться научные методы экспериментирования и сравнения подходов.
Последние достижения на пути понимания теоретических основ интеллектуальности неразрывно связаны с расширением возможностей реальных систем. Отдельные подобласти искусственного интеллекта стали в большей степени интегрированными, а сам искусственный интеллект успешно находит общую почву с другими научными дисциплинами.
Библиографические и исторические заметки
Состояние методологических основ искусственного интеллекта исследовано Гербертом Саймоном в его работе The Sciences of the Artificial [1417], в которой обсуждаются области научных исследований, относящиеся к сложным артефактам. В этой книге дано объяснение того, почему искусственный интеллект может рассматриваться и как прикладная, и как теоретическая наука. В [275] дан краткий обзор методологии проведения экспериментов, применяемой в искусственном интеллекте. В [480] изложено определенное мнение о полезности теста Тьюринга, отражающее собственную оценку этого теста некоторыми учеными.
В книге Джона Хоглэнда Artificial Intelligence: The Very Idea [631] приведено интересное описание философских и практических проблем искусственного интеллекта. Когнитология хорошо описана в нескольких недавно опубликованных книгах [740], [1465], [1502] и Encyclopedia of the Cognitive Sciences [1599]. В [61] рассматривается синтаксическая часть современной лингвистики, в [249] предметом изложения является семантика, а в [756] описана компьютерная лингвистика.
Ранний период развития искусственного интеллекта описан в книге Фейгенбаума и Фельдмана Computers and Thought [459], в книге Минского Semantic Information Processing [1052] и в серии книг Machine Intelligence, изданной под редакцией Дональда Мичи. Большое количество важных статей было выпущено в виде антологий [964] и [1562]. Ранние работы по нейронным сетям собраны в работе Neurocomputing [29]. В книге Encyclopedia of AI [1397] содержатся обзорные статьи почти по каждой теме в искусственном интеллекте. Обычно эти статьи становятся хорошим введением перед ознакомлением с научно-исследовательской литературой по каждой теме.
Результаты новейших работ публикуются в трудах основных конференций по искусственному интеллекту: проводимой один раз в два года конференции International Joint Conference on AI (IJCAI), ежегодной конференции European Conference on AI (ECAI) и конференции National Conference on AI, более часто упоминаемой под названием AAAI (так сокращенно называется организация American Association for AI, под эгидой которой проводится эта конференция). Главными журналами по общим направлениям искусственного интеллекта являются Artificial Intelligence, Computational Intelligence, IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE Intelligent Systems и электронный Journal of Artificial Intelligence Research. Имеется также много конференций и журналов, посвященных определенным областям, которые будут указаны в соответствующих главах. Основными профессиональными обществами по искусственному интеллекту являются American Association for Artificial
Intelligence (AAAI), ACM Special Interest Group in Artificial Intelligence (SIGART) и Society for Artificial Intelligence and Simulation of Behaviour (AISB). В журнале AI Magazine организации AAAI можно найти много тематических и учебных статей, а на Web-узле этого общества (aaai . org) публикуются новости и основная информация.
Упражнения
Эти упражнения предназначены для организации на их основе творческой дискуссии, а некоторые из них могут быть определены как проекты с заданными сроками. Еще один вариант состоит в том, чтобы предпринять предварительные попытки их решения сейчас, а затем пересмотреть результаты этих попыток после завершения изучения книги.
Самостоятельно сформулируйте определения следующих понятий: а) интеллектуальность; б) искусственный интеллект; в) агент.
Ш Прочитайте оригинальную статью Тьюринга по искусственному интеллекту [1520]. В этой статье он обсуждает несколько потенциальных возражений против предложенного им подхода и теста интеллектуальности. Какие из этих возражений все еще остаются весомыми в определенной степени? Действительно ли приведенные им опровержения этих возражений являются правильными? Можете ли вы выдвинуть новые возражения, которые следуют из событий, происшедших с тех пор, как Тьюринг написал свою статью? В этой статье он предсказал, что к 2000 году компьютер с вероятностью 30% будет успешно проходить пятиминутный тест Тьюринга с участием слабо подготовленного экспериментатора. Какие шансы, по вашему мнению, имел бы компьютер сегодня? Еще через 50 лет?
Ш Каждый год происходит вручение приза Лебнера (Loebner) создателям программы, которая показывает наилучшие результаты при прохождении определенной версии теста Тьюринга. Проведите исследование и сообщите о последнем победителе в соревновании за приз Лебнера. Какие методы используются в этой программе? Какой вклад внесла эта программа в развитие искусственного интеллекта?
Существуют известные классы проблем, которые являются трудноразрешимыми для компьютеров, а в отношении других классов доказано, что они неразрешимы. Следует ли из этого вывод, что создание искусственного интеллекта невозможно?'
Предположим, что программа Analogy Эванса будет настолько усовершенствована, что сможет получать 200 очков при стандартной проверке показателя интеллекта. Означает ли это, что при этом будет создана программа, более интеллектуальная, чем человек? Обоснуйте свой ответ.
Почему самоанализ (составление отчета о своих собственных сокровенных мыслях) может оказаться неточным? Как человек может оказаться неправ, обсуждая то, что он думает? Обоснуйте свой ответ.
Ш Изучите литературу по искусственному интеллекту, чтобы определить, могут ли следующие задачи в настоящее время быть решены компьютерами.
Игра в настольный теннис (пинг-понг) на достаточно высоком уровне.
Вождение автомобиля в центре Каира.
Покупка в супермаркете недельного запаса продовольствия.
Покупка недельного запаса продовольствия в Web.
Участие в карточной игре бридж на конкурентоспособном уровне.
Открытие и доказательство новых математических теорем.
Написание рассказа, который непременно должен быть смешным.
Предоставление компетентной юридической консультации в специализированной области законодательства.
Перевод в реальном времени разговорной речи с английского языка на шведский язык.
Выполнение сложной хирургической операции.
В отношении задач, которые в настоящее время остаются неосуществимыми, попытайтесь узнать, в чем заключаются трудности, и предсказать, когда они будут преодолены (и произойдет ли это вообще).
Некоторые авторы утверждают, что самой важной частью интеллекта служат сенсорные способности и моторные навыки и что “высокоуровневые” возможности неизбежно остаются паразитическими, поскольку являются простыми дополнениями к этим основным возможностям. И действительно, не подлежит сомнению, что развитие способностей к восприятию и моторных навыков происходило на протяжении почти всей эволюции, а их поддержка осуществляется в большей части мозга, тогда как искусственный интеллект сосредоточился на таких задачах, как ведение игры и формирование логического вывода, которые во многом оказались значительно более простыми по сравнению с восприятием и осуществлением действий в реальном мире. Не кажется ли вам, что традиционная направленность искусственного интеллекта на изучение высокоуровневых познавательных способностей не совсем оправдана?
Почему результатом эволюции обычно становится появление систем, которые действуют рационально? Для достижения каких целей предназначены подобные системы?
Являются ли рефлекторные действия (такие как отдергивание руки от горячей печи) рациональными? Являются ли они интеллектуальными?
“Безусловно, компьютеры не могут быть интеллектуальными, ведь они способны выполнять только то, что диктуют им программисты”. Является ли последнее утверждение истинным и следует ли из него первое?
“Безусловно, животные не могут быть интеллектуальными, ведь они способны выполнять только то, что диктуют им гены”. Является ли последнее утверждение истинным и следует ли из него первое?
“Безусловно, животные, люди и компьютеры не могут быть интеллектуальными, ведь они способны выполнять только то, что диктуют атомам, из которых они состоят, законы физики”. Является ли последнее утверждение истинным и следует ли из него первое?
2 Интеллектуальные агенты
В этой главе рассматриваются характеристики агентов, идеальных или неидеальных, разнообразие вариантов среды и вытекающая из этого классификация типов агентов.
Как было указано в главе 1, понятие рационального агента является центральным в применяемом авторами данной книги подходе к искусственному интеллекту. В этой главе указанное понятие раскрывается более подробно. В ней показано, что концепция рациональности может применяться к самым различным агентам, действующим в любой среде, которую только можно себе представить. План авторов состоит в том, чтобы использовать эту концепцию в данной книге для разработки небольшого набора принципов проектирования для создания успешно действующих агентов — систем, которые вполне можно было бы назвать интеллектуальными.
Начнем с изучения агентов, вариантов среды и связей между ними. Наблюдая за тем, что некоторые агенты действуют лучше, чем другие, можно вполне обоснованно выдвинуть идею рационального агента; таковым является агент, который действует настолько успешно, насколько это возможно. Успехи, которых может добиться агент, зависят от характера среды; некоторые варианты среды являются более сложными, чем другие. В этой главе дана грубая классификация вариантов среды и показано, как свойства среды влияют на проектирование агентов, наиболее подходящих для данной среды. Здесь описан ряд основных, “скелетных” проектов агентов, которые будут облечены в плоть в остальной части книги.
Агенты и варианты среды
Агентом является все, что может рассматриваться как воспринимающее свою ^ среду с помощью ^ датчиков и воздействующее на эту среду с помощью ^ исполнительных механизмов. Эта простая идея иллюстрируется на рис. 2.1. Человек, рассматриваемый в роли агента, имеет глаза, уши и другие органы чувств, а исполнительными механизмами для него служат руки, ноги, рот и другие части тела. Робот, выполняющий функции агента, в качестве датчиков может иметь видеокамеры и инфракрасные дальномеры, а его исполнительными механизмами могут являться различные двигатели. Программное обеспечение, выступающее в роли аген-
та, в качестве входных сенсорных данных получает коды нажатия клавиш, содержимое файлов и сетевые пакеты, а его воздействие на среду выражается в том, что программное обеспечение выводит данные на экран, записывает файлы и передает сетевые пакеты. Мы принимаем общее допущение, что каждый агент может воспринимать свои собственные действия (но не всегда их результаты).
И ч>ГИ ч>ГИиИи.0$^ «ум. .0$^ «ум. Рис. 2.1. Агент взаимодействует со средой с помощью датчиков и исполнительных механизмовРис. 2.1. Агент взаимодействует со средой с помощью датчиков и исполнительных механизмов
И ч>Г
И ч>Г
Ии
Ии
.0$^ «ум.
.0$^ «ум.
Рис. 2.1. Агент взаимодействует со средой с помощью датчиков и исполнительных механизмов
Рис. 2.1. Агент взаимодействует со средой с помощью датчиков и исполнительных механизмов
Мы используем термин ^ восприятие для обозначения полученных агентом сенсорных данных в любой конкретный момент времени. ^ Последовательностью актов восприятия агента называется полная история всего, что было когда-либо воспринято агентом. Вообще говоря, ^ выбор агентом действия в любой конкретный момент времени может зависеть от всей последовательности актов восприятия, наблюдавшихся до этого момента времени. Если существует возможность определить, какое действие будет выбрано агентом в ответ на любую возможную последовательность актов восприятия, то может быть дано более или менее точное определение агента. С точки зрения математики это равносильно утверждению, что поведение некоторого агента может быть описано с помощью ^ функции агента, которая отображает любую конкретную последовательность актов восприятия на некоторое действие.
Может рассматриваться задача табуляции функции агента, которая описывает любого конкретного агента; для большинства агентов это была бы очень большая таблица (фактически бесконечная), если не устанавливается предел длины последовательностей актов восприятия, которые должны учитываться в таблице. Проводя эксперименты с некоторым агентом, такую таблицу в принципе можно сконструировать, проверяя все возможные последовательности актов восприятия и регистрируя, какие действия в ответ выполняет агент. Такая таблица, безусловно, является внешним описанием агента. Внутреннее описание состоит в определении того, ка-
кая функция агента для данного искусственного агента реализуется с помощью ^ программы агента. Важно различать два последних понятия. Функция агента представляет собой абстрактное математическое описание, а программа агента — это конкретная реализация, действующая в рамках архитектуры агента.
Для иллюстрации изложенных идей воспользуемся очень простым примером: рассмотрим показанный на рис. 2.2 мир, в котором работает пылесос. Этот мир настолько прост, что существует возможность описать все, что в нем происходит; кроме того, это — мир, созданный человеком, поэтому можно изобрести множество вариантов его организации. В данном конкретном мире имеются только два местонахождения: квадраты А и в. Пылесос, выполняющий роль агента, воспринимает, в каком квадрате он находится и есть ли мусор в этом квадрате. Агент может выбрать такие действия, как переход влево, вправо, всасывание мусора или бездействие. Одна из очень простых функций агента состоит в следующем: если в текущем квадрате имеется мусор, то всосать его, иначе перейти в другой квадрат. Частичная табуляция данной функции агента показана в табл. 2.1. Простая программа агента для этой функции агента приведена ниже в этой главе, в листинге 2.2.
Рис. 2.2. Мир пылесоса, в котором имеются только два местонахожденияРис. 2.2. Мир пылесоса, в котором имеются только два местонахождения
Рис. 2.2. Мир пылесоса, в котором имеются только два местонахождения
Рис. 2.2. Мир пылесоса, в котором имеются только два местонахождения
Таблица 2.1. Частичная табуляция функции простого агента для мира пылесоса, показанного на рис. 2.2
Последовательность актов восприятия
Действие
[A,Clean]
[A,Dirty]
[В,Clean]
[В, Dirty]
[A,Clean],[A, Clean]
[A,Clean], [A,Dirty]
Right Suck
Lef t
Suck Right Suck'
[A, Clean] , [А, Clean] , [А, Clean]
Right
SuckSuck[A,Clean],[A,Clean],[A,Dirty]
Suck
Suck
становится хорошим или плохим, интеллектуальным или не соответствующим критериям интеллектуальности? Ответ на этот вопрос приведен в следующем разделе.
Прежде чем завершить этот раздел, необходимо отметить, что понятие агента рассматривается как инструмент для анализа систем, а не как абсолютная классификация, согласно которой мир делится на агентов и неагентов. Например, в качестве агента можно было бы рассматривать карманный калькулятор, который выбирает действие по отображению “4” после получения последовательности актов восприятия “2+2=”, но подобный анализ вряд ли поможет понять работу калькулятора.
Качественное поведение: концепция
РАЦИОНАЛЬНОСТИ
^ Рациональным агентом является такой агент, который выполняет правильные действия; выражаясь более формально, таковым является агент, в котором каждая запись в таблице для функции агента заполнена правильно. Очевидно, что выполнение правильных действий лучше, чем осуществление неправильных действий, но что подразумевается под выражением “выполнение правильных действий”? В первом приближении можно сказать, что правильным действием является такое действие, которое обеспечивает наиболее успешное функционирование агента. Поэтому требуется определенный способ измерения успеха. Критерии успеха, наряду с описанием среды, а также датчиков и исполнительных механизмов агента, предоставляют полную спецификацию задачи, с которой сталкивается агент. Имея эти компоненты, мы можем определить более точно, что подразумевается под словом “рациональный”.
Показатели производительности
^Эк Показатели производительности воплощают в себе критерии оценки успешного поведения агента. После погружения в среду агент вырабатывает последовательность действий, соответствующих полученным им восприятиям. Эта последовательность действий вынуждает среду пройти через последовательность состояний. Если такая последовательность соответствует желаемому, то агент функционирует хорошо. Безусловно, что не может быть одного постоянного показателя, подходящего для всех агентов. Можно было бы узнать у агента его субъективное мнение о том, насколько он удовлетворен своей собственной производительностью, но некоторые агенты не будут способны ответить, а другие склонны заниматься самообманом. Поэтому необходимо упорно добиваться применения объективных показателей производительности, и, как правило, проектировщик, конструирующий агента, предусматривает такие показатели.
Рассмотрим агент-пылесос, описанный в предыдущем разделе. Можно было бы предложить измерять показатели производительности по объему мусора, убранного за одну восьмичасовую смену. Но, безусловно, имея дело с рациональным агентом,
вы получаете то, что просите. Рациональный агент может максимизировать такой показатель производительности, убирая мусор, затем вываливая весь его на пол, затем снова убирая, и т.д. Поэтому более приемлемые критерии производительности должны вознаграждать агента за то, что пол остается чистым. Например, одно очко могло бы присуждаться за каждый чистый квадрат в каждом интервале времени (возможно, в сочетании со штрафом за потребляемую электроэнергию и создаваемый шум). ^ В качестве общего правила следует указать, что лучше всего разрабатывать показатели производительности в соответствии с тем, чего действительно необходимо добиться в данной среде, а не в соответствии с тем, как, по мнению проектировщика, должен вести себя агент.
Задача выбора показателей производительности не всегда является простой. Например, понятие “чистого пола”, которое рассматривалось выше, основано на определении усредненной чистоты пола во времени. Но необходимо также учитывать, что одна и та же усредненная чистота может быть достигнута двумя различными агентами, один из которых постоянно, но неторопливо выполняет свою работу, а другой время от времени энергично занимается очисткой, но делает длинные перерывы. Может показаться, что определение того способа действий, который является в данном случае наиболее предпочтительным, относится к тонкостям домоводства, но фактически это — глубокий философский вопрос с далеко идущими последствиями. Что лучше — бесшабашная жизнь со взлетами и падениями или безопасное, но однообразное существование? Что лучше — экономика, в которой каждый живет в умеренной бедности, или такая экономика, в которой одни ни в чем не нуждаются, а другие еле сводят концы с концами? Оставляем задачу поиска ответов на эти вопросы в качестве упражнения для любознательного читателя.
Рациональность
В любой конкретный момент времени оценка рациональности действий агента зависит от четырех перечисленных ниже факторов.
Показатели производительности, которые определяют критерии успеха.
Знания агента о среде, приобретенные ранее.
Действия, которые могут быть выполнены агентом.
Последовательность актов восприятия агента, которые произошли до настоящего времени.
С учетом этих факторов можно сформулировать следующее ^ определение рационального агента.'
^ Для каждой возможной последовательности актов восприятия рациональный агент должен выбрать действие, которое, как ожидается, максимизирует его показатели производительности, с учетом фактов, предоставленных данной последовательностью актов восприятия и всех встроенных знаний, которыми обладает агент.
Рассмотрим пример простого агента-пылесоса, который очищает квадрат, если в нем имеется мусор, и переходит в другой квадрат, если мусора в нем нет; результаты частичной табуляции такой функции агента приведены в табл. 2.1. Является ли этот агент рациональным? Ответ на этот вопрос не так уж прост! Вначале необходимо определить, в чем состоят показатели производительности, что известно о среде и ка-
кие датчики и исполнительные механизмы имеет агент. Примем перечисленные ниже предположения.
Применяемые показатели производительности предусматривают вознаграждение в одно очко за каждый чистый квадрат в каждом интервале времени в течение “срока существования” агента, состоящего из 1000 интервалов времени.
“География” среды известна заранее (рис. 2.2), но распределение мусора и первоначальное местонахождение агента не определены. Чистые квадраты остаются чистыми, а всасывание мусора приводит к очистке текущего квадрата. Действия Left и Right приводят к перемещению агента соответственно влево и вправо, за исключением тех случаев, когда они могли бы вывести агента за пределы среды, и в этих случаях агент остается там, где он находится.
Единственными доступными действиями являются Left, Right, Suck (всосать мусор) и NoOp (ничего не делать).
Агент правильно определяет свое местонахождение и воспринимает показания датчика, позволяющие узнать, имеется ли мусор в этом местонахождении.
Авторы утверждают, что в этих обстоятельствах агент действительно является рациональным; его ожидаемая производительность, по меньшей мере, не ниже, чем у любых других агентов. В упр. 2.4 предложено доказать это утверждение.
Можно легко обнаружить, что в других обстоятельствах тот же самый агент может стать нерациональным. Например, после того как весь мусор будет очищен, агент станет совершать ненужные периодические перемещения вперед и назад; если показатели производительности предусматривают штраф в одно очко за каждое передвижение в том или ином направлении, то агент не сможет хорошо зарабатывать. В таком случае лучший агент должен был бы ничего не делать до тех пор, пока он уверен в том, что все квадраты остаются чистыми. Если же чистые квадраты могут снова стать грязными, то агент обязан время от времени проводить проверку и снова очищать их по мере необходимости. А если география среды неизвестна, то агенту может потребоваться исследовать ее, а не ограничиваться квадратами А и В. В упр. 2.4 предложено спроектировать агентов для подобных случаев.
Всезнание, обучение и автономность
Необходимо тщательно проводить различие между рациональностью и ^ всезнанием. Всезнающий агент знает фактический результат своих действий и может действовать соответствующим образом; но всезнание в действительности невозможно. Рассмотрим следующий пример: некий господин однажды гуляет в Париже по Елисейским Полям и видит на другой стороне улицы старого приятеля. Вблизи нет никаких машин, а наш господин никуда не спешит, поэтому, будучи рациональным агентом, он начинает переходить через дорогу. Между тем на высоте 10 000 метров у пролетающего самолета отваливается дверь грузового отсека, и прежде чем несчастный успевает достичь другой стороны улицы, расплющивает его в лепешку. Было ли нерациональным именно то, что этот господин решил перейти на другую сторону улицы? Весьма маловероятно, что в его некрологе написали бы: “Жертва идиотской попытки перейти улицу”.
Этот пример показывает, что рациональность нельзя рассматривать как равнозначную совершенству. Рациональность — это максимизация ожидаемой производительности, а совершенство — максимизация фактической производительности. Отказываясь от стремления к совершенству, мы не только применяем к агентам справедливые критерии, но и учитываем реальность. Дело в том, что если от агента требуют, чтобы он выполнял действия, которые оказываются наилучшими после их совершения, то задача проектирования агента, отвечающего этой спецификации, становится невыполнимой (по крайней мере, до тех пор, пока мы не сможем повысить эффективность машин времени или хрустальных шаров, применяемых гадалками).
Поэтому наше определение рациональности не требует всезнания, ведь рациональный выбор зависит только от последовательности актов восприятия, сформированной к данному моменту. Необходимо также следить за тем, чтобы мы непреднамеренно не позволили бы агенту участвовать в действиях, которые, безусловно, не являются интеллектуальными. Например, если агент не оглядывается влево и вправо, прежде чем пересечь дорогу с интенсивным движением, то полученная им до сих пор последовательность актов восприятия не сможет подсказать, что к нему на большой скорости приближается огромный грузовик. Указывает ли наше определение рациональности, что теперь агент может перейти через дорогу? Отнюдь нет! Во- первых, агент не был бы рациональным, если бы попытался перейти на другую сторону, получив такую неинформативную последовательность актов восприятия: риск несчастного случая при подобной попытке перейти автомагистраль, не оглянувшись, слишком велик. Во-вторых, рациональный агент должен выбрать действие “оглянуться”, прежде чем ступить на дорогу, поскольку такой осмотр позволяет максимизировать ожидаемую производительность. Выполнение в целях модификации будущих восприятий определенных действий (иногда называемых ^ сбором информации) составляет важную часть рациональности и подробно рассматривается в главе 16. Второй пример сбора информации выражается в том М исследовании ситуации, которое должно быть предпринято агентом-пылесосом в среде, которая первоначально была для него неизвестной.
Наше определение требует, чтобы рациональный агент не только собирал информацию, но также М обучался в максимально возможной степени на тех данных, которые он воспринимает. Начальная конфигурация агента может отражать некоторые предварительные знания о среде, но по мере приобретения агентом опыта эти знания могут модифицироваться и пополняться. Существуют крайние случаи, в которых среда полностью известна заранее. В подобных случаях агенту не требуется воспринимать информацию или обучаться; он просто сразу действует правильно. Безусловно, такие агенты являются весьма уязвимыми. Рассмотрим скромного навозного жука. Выкопав гнездо и отложив яйца, он скатывает шарик навоза, набрав его из ближайшей навозной кучи, чтобы заткнуть вход в гнездо. Если шарик навоза будет удален непосредственно перед тем, как жук его схватит, жук продолжает манипулировать им и изображает такую пантомиму, как будто он затыкает гнездо несуществующим шариком навоза, даже не замечая, что этот шарик отсутствует. В результате эволюции поведение этого жука было сформировано на основании определенного предположения, а если это предположение нарушается, то за этим следует безуспешное поведение. Немного более интеллектуальными являются осы-сфексы. Самка сфекса выкапывает норку, выходит из нее, жалит гусеницу и затаскивает ее в норку, затем снова выходит из норки, чтобы проверить, все ли в порядке, вытаски-
вает гусеницу наружу и откладывает в нее яйца. Гусеница служит в качестве источника питания во время развития яиц. До сих пор все идет хорошо, но если энтомолог переместит гусеницу на несколько дюймов в сторону, пока сфекс выполняет свою проверку, это насекомое снова возвращается к этапу “перетаскивания” своего плана и продолжает выполнять план без изменений, даже после десятков вмешательств в процедуру перемещения гусеницы. Оса-сфекс не способна обучиться действовать в такой ситуации, когда ее врожденный план нарушается, и поэтому не может его изменить.
В успешно действующих агентах задача вычисления функции агента разбивается на три отдельных периода: при проектирования агента некоторые вычисления осуществляются его проектировщиками; дополнительные вычисления агент производит, выбирая одно из своих очередных действий; а по мере того как агент учится на основании опыта, он осуществляет другие вспомогательные вычисления для принятия решения о том, как модифицировать свое поведение.
Если степень, в которой агент полагается на априорные знания своего проектировщика, а не на свои восприятия, слишком высока, то такой агент рассматривается как обладающий недостаточной М автономностью. Рациональный агент должен быть автономным — он должен обучаться всему, что может освоить, для компенсации неполных или неправильных априорных знаний. Например, агент-пылесос, который обучается прогнозированию того, где и когда появится дополнительный мусор, безусловно, будет работать лучше, чем тот агент, который на это не способен. Сточки зрения практики агенту редко предъявляется требование, чтобы он был полностью автономным с самого начала: если агент имеет мало опыта или вообще не имеет опыта, то вынужден действовать случайным образом, если проектировщик не оказал ему определенную помощь. Поэтому, как и эволюция предоставила животным достаточное количество врожденных рефлексов, позволяющих им прожить после рождения настолько долго, чтобы успеть обучиться самостоятельно, так и искусственному интеллектуальному агенту было бы разумно предоставить некоторые начальные знания, а не только наделить его способностью обучаться. После достаточного опыта существования в своей среде поведение рационального агента может по сути стать независимым от его априорных знаний. Поэтому включение в проект способности к обучению позволяет проектировать простых рациональных агентов, которые могут действовать успешно в исключительно разнообразных вариантах среды.
Определение характера среды
Теперь, после разработки определения рациональности, мы почти готовы приступить к созданию рациональных агентов. Но вначале необходимо определить, чем является ^ проблемная среда, по сути представляющая собой “проблему”, для которой рациональный агент служит “решением”. Начнем с демонстрации того, как определить проблемную среду, и проиллюстрируем этот процесс на ряде примеров. Затем в этом разделе будет показано, что проблемная среда может иметь целый ряд разновидностей. Выбор проекта, наиболее подходящего для программы конкретного агента, непосредственно зависит от рассматриваемой разновидности проблемной среды.
Определение проблемной среды
В приведенном выше исследовании рациональности простого агента-пылесоса нам пришлось определить показатели производительности, среду, а также исполнительные механизмы и датчики агента. Сгруппируем описание всех этих факторов под заголовком проблемная среда. Для тех, кто любит аббревиатуры, авторы сокращенно обозначили соответствующее описание как М PEAS (Performance, Environment, Actuators, Sensors — производительность, среда, исполнительные механизмы, датчики). Первый этап проектирования любого агента всегда должен состоять в определении проблемной среды с наибольшей возможной полнотой.
Пример, в котором рассматривался мир пылесоса, был несложным; теперь рассмотрим более сложную проблему — создание автоматизированного водителя такси. Этот пример будет использоваться во всей оставшейся части данной главы. Прежде чем читатель почувствует тревогу за безопасность будущих пассажиров, хотим сразу же отметить, что задача создания полностью автоматизированного водителя такси в настоящее время все еще выходит за пределы возможностей существующей технологии. (См. с. 69, где приведено описание существующего робота-водителя; с состоянием дел в этой области можно также ознакомиться по трудам конференций, посвященных интеллектуальным транспортным системам, в названиях которых есть слова Intelligent Transportation Systems.) Полное решение проблемы вождения автомобиля является чрезвычайно трудоемким, поскольку нет предела появлению все новых и новых комбинаций обстоятельств, которые могут возникать в процессе вождения; это еще одна из причин, по которой мы выбрали данную проблему для обсуждения. В табл. 2.2 приведено итоговое описание PEAS для проблемной среды вождения такси. Каждый из элементов этого описания рассматривается более подробно в настоящей главе.
Таблица 2.2. Описание PEAS проблемной среды для автоматизированного водителя такси
Тип агента
Показатели произво- СредаИсполнительные ме-
дительностиханизмы
Датчики
Водитель такси
Безопасная, быстрая, Дороги, другие Рулевое управление, комфортная езда в транспортные акселератор, тормоз, рамках правил дорож- средства, пе- световые сигналы, ного движения, мак- шеходы, кли- клаксон, дисплей симизация прибыли енты
Видеокамеры, ультразвуковой дальномер, спидометр, глобальная система навигации и определения положения, одометр, акселерометр, датчики двигателя, клавиатура
Прежде всего необходимо определить показатели производительности, которыми мы могли бы стимулировать деятельность нашего автоматизированного водителя. К желаемым качествам относится успешное достижение нужного места назначения; минимизация потребления топлива, износа и старения; минимизация продолжительности и/или стоимости поездки; минимизация количества нарушений правил дорожного движения и помех другим водителям; максимизация безопасности и комфорта пассажиров; максимизация прибыли. Безусловно, что некоторые из этих целей конфликтуют, поэтому должны рассматриваться возможные компромиссы.
Затем рассмотрим, в чем состоит среда вождения, в которой действует такси. Любому водителю такси приходится иметь дело с самыми различными дорогами, начи-
ная с проселков и узких городских переулков и заканчивая автострадами с двенадцатью полосами движения. На дороге встречаются другие транспортные средства, беспризорные животные, пешеходы, рабочие, производящие дорожные работы, полицейские автомобили, лужи и выбоины. Водителю такси приходится также иметь дело с потенциальными и действительными пассажирами. Кроме того, имеется еще несколько важных дополнительных факторов. Таксисту может выпасть участь работать в Южной Калифорнии, где редко возникает такая проблема, как снег, или на Аляске, где снега на дорогах не бывает очень редко. Может оказаться, что водителю всю жизнь придется ездить по правой стороне или от него может потребоваться, чтобы он сумел достаточно успешно приспособиться к езде по левой стороне во время пребывания в Британии или в Японии. Безусловно, чем более ограниченной является среда, тем проще задача проектирования.
Исполнительные механизмы, имеющиеся в автоматизированном такси, должны быть в большей или меньшей степени такими же, как и те, которые находятся в распоряжении водителя-человека: средства управления двигателем с помощью акселератора и средства управления вождением с помощью руля и тормозов. Кроме того, для него могут потребоваться средства вывода на экран дисплея или синтеза речи для передачи ответных сообщений пассажирам и, возможно, определенные способы общения с водителями других транспортных средств, иногда вежливого, а иногда и не совсем.
Для достижения своих целей в данной среде вождения таксисту необходимо будет знать, где он находится, кто еще едет по этой дороге и с какой скоростью движется он сам. Поэтому в число его основных датчиков должны входить одна или несколько управляемых телевизионных камер, спидометр и одометр. Для правильного управления автомобилем, особенно на поворотах, в нем должен быть предусмотрен акселерометр; водителю потребуется также знать механическое состояние автомобиля, поэтому для него будет нужен обычный набор датчиков для двигателя и электрической системы. Автоматизированный водитель может также иметь приборы, недоступные для среднего водителя-человека: спутниковую глобальную систему навигации и определения положения (Global Positioning System— GPS) для получения точной информации о местонахождении по отношению к электронной карте, а также инфракрасные или ультразвуковые датчики для измерения расстояний до других автомобилей и препятствий. Наконец, ему потребуется клавиатура или микрофон для пассажиров, чтобы они могли указать место своего назначения.
В табл. 2.3 кратко перечислены основные элементы PEAS для целого ряда других типов агентов. Дополнительные примеры приведены в упр. 2.5. Некоторым читателям может показаться удивительным то, что авторы включили в этот список типов агентов некоторые программы, которые функционируют в полностью искусственной среде, ограничиваемой вводом с клавиатуры и выводом символов на экран. Кое-кто мог бы сказать: “Разумеется, это же не реальная среда, не правда ли?” В действительности суть состоит не в различиях между “реальными” и “искусственными” вариантами среды, а в том, какова сложность связей между поведением агента, последовательностью актов восприятия, вырабатываемой этой средой, и показателями производительности. Некоторые “реальные” варианты среды фактически являются чрезвычайно простыми. Например, для робота, предназначенного для контроля деталей, проходящих мимо него на ленточном конвейере, может использоваться целый ряд упрощающих допущений, например, что освещение всегда включено, что единственными предме-
тами на ленте конвейера являются детали того типа, который ему известен, и что существуют только два действия (принять изделие или забраковать его).
Таблица 2.3. Примеры типов агентов и их описаний PEAS
Тип агента
Показатели производительности
Среда
Исполнительные механизмы
Датчики
Медицинская диагностическая система
Успешное излечение пациента, минимизация затрат, отсутствие поводов для судебных тяжб
Пациент, больница, персонал
Вывод вопросов, тестов, диагнозов, рекомендаций, направлений
Ввод с клавиатуры симптомов, результатов лабораторных исследований, ответов пациента
Система анализа изображений, полученных со спутника
Правильная классификация изображения
Канал передачи данных от орбитального спутника
Вывод на дисплей результатов классификации определенного фрагмента изображения
Массивы пикселов с данными о цвете
Робот-сортировщик деталей
Процентные показатели безошибочной сортировки по лоткам
Ленточный конвейер с движущимися на нем деталями; лотки
Шарнирный манипулятор и захват
Видеокамера, датчики углов поворота шарниров
Контроллер очистительной установки
Максимизация степени очистки, продуктивности, безопасности
Очистительная установка, операторы
Клапаны, насосы, нагреватели, дисплеи
Температура, давление, датчики химического состава
Интерактивная программа обучения английскому языку
Максимизация оценок студентов на экзаменах
Множество студентов, экзаменационное агентство
Вывод на дисплей упражнений, рекомендаций, исправлений
Ввод с клавиатуры
В отличие от этого некоторые ^программные агенты (называемые также ^ программными роботами или софтботами) существуют в сложных, неограниченных проблемных областях. Представьте себе программный робот, предназначенный для управления тренажером, имитирующим крупный пассажирский самолет. Этот тренажер представляет собой очень детально промоделированную, сложную среду, в которой имитируются движения других самолетов и работа наземных служб, а программный агент должен выбирать в реальном времени наиболее целесообразные действия из широкого диапазона действий. Еще одним примером может служить программный робот, предназначенный для просмотра источников новостей в Internet и показа клиентам интересующих их сообщений. Для успешной работы ему требуются определенные способности к обработке текста на естественном языке, он должен в процессе обучения определять, что интересует каждого заказчика, а также должен уметь изменять свои планы динамически, допустим, когда соединение с каким-либо из источников новостей закрывается или в оперативный режим переходит новый источник новостей. Internet представляет собой среду, которая по своей сложности соперничает с физическим миром, а в число обитателей этой сети входит много искусственных агентов.
Свойства проблемной среды
Несомненно, что разнообразие вариантов проблемной среды, которые могут возникать в искусственном интеллекте, весьма велико. Тем не менее существует возможность определить относительно небольшое количество измерений, по которым могут быть классифицированы варианты проблемной среды. Эти измерения в значительной степени определяют наиболее приемлемый проект агента и применимость каждого из основных семейств методов для реализации агента. Вначале в этом разделе будет приведен список измерений, а затем проанализировано несколько вариантов проблемной среды для иллюстрации этих идей. Приведенные здесь определения являются неформальными; более точные утверждения и примеры вариантов среды каждого типа описаны в следующих главах.
М Полностью наблюдаемая или частично наблюдаемая
Если датчики агента предоставляют ему доступ к полной информации о состоянии среды в каждый момент времени, то такая проблемная среда называется полностью наблюдаемой. По сути, проблемная среда является полностью наблюдаемой, если датчики выявляют все данные, которые являются релевантными для выбора агентом действия; релевантность, в свою очередь, зависит от показателей производительности. Полностью наблюдаемые варианты среды являются удобными, поскольку агенту не требуется поддерживать какое-либо внутреннее состояние для того, чтобы быть в курсе всего происходящего в этом мире. Среда может оказаться частично наблюдаемой из-за создающих шум и неточных датчиков или из-за того, что отдельные характеристики ее состояния просто отсутствуют в информации, полученной от датчиков; например, агент-пылесос, в котором имеется только локальный датчик мусора, не может определить, имеется ли мусор в других квадратах, а автоматизированный водитель такси не имеет сведений о том, какие маневры намереваются выполнить другие водители.
^ Детерминированная или ^ стохастическая
Если следующее состояние среды полностью определяется текущим состоянием и действием, выполненным агентом, то такая среда называется детерминированной; в противном случае она является стохастической. В принципе в полностью наблюдаемой детерминированной среде агенту не приходится действовать в условиях неопределенности. Но если среда — частично наблюдаемая, то может создаться впечатление, что она является стохастической. Это отчасти справедливо, если среда — сложная и агенту нелегко следить за всеми ее ненаблюдаемыми аспектами. В связи с этим часто бывает более удобно классифицировать среду как детерминированную или стохастическую с точки зрения агента. Очевидно, что при такой трактовке среда вождения такси является стохастической, поскольку никто не может точно предсказать поведение всех других транспортных средств; более того, в любом автомобиле совершенно неожиданно может произойти прокол шины или остановка двигателя.
Описанный здесь мир пылесоса является детерминированным, но другие варианты этой среды могут включать стохастические элементы, такие как случайное появление мусора и ненадежная работа механизма всасывания (см. упр. 2.12). Если среда является детерминированной во всех отношениях, кроме действий других агентов, то авторы данной книги называют эту среду ^ стратегической.
М Эпизодическая или М последовательная
В эпизодической проблемной среде опыт агента состоит из неразрывных эпизодов. Каждый эпизод включает в себя восприятие среды агентом, а затем выполнение одного действия. При этом крайне важно то, что следующий эпизод не зависит от действий, предпринятых в предыдущих эпизодах. В эпизодических вариантах среды выбор действия в каждом эпизоде зависит только от самого эпизода. Эпизодическими являются многие задачи классификации. Например, агент, который должен распознавать дефектные детали на сборочной линии, формирует каждое решение применительно к текущей детали, независимо от предыдущих решений; более того, от текущего решения не зависит то, будет ли определена как дефектная следующая деталь. С другой стороны, в последовательных вариантах среды текущее решение может повлиять на все будущие решения. Последовательными являются такие задачи, как игра в шахматы и вождение такси: в обоих случаях кратковременные действия могут иметь долговременные последствия. Эпизодические варианты среды гораздо проще по сравнению с последовательными, поскольку в них агенту не нужно думать наперед.
^ Статическая или ^ динамическая
Если среда может измениться в ходе того, как агент выбирает очередное действие, то такая среда называется динамической для данного агента; в противном случае она является статической. Действовать в условиях статической среды проще, поскольку агенту не требуется наблюдать за миром в процессе выработки решения о выполнении очередного действия, к тому же агенту не приходится беспокоиться о том, что он затрачивает на размышления слишком много времени. Динамические варианты среды, с другой стороны, как бы непрерывно спрашивают агента, что он собирается делать, а если он еще ничего не решил, то это рассматривается как решение ничего не делать. Если с течением времени сама среда не изменяется, а изменяются показатели производительности агента, то такая среда называется М полудинамической. Очевидно, что среда вождения такси является динамической, поскольку другие автомобили и само такси продолжают движение и в ходе того, как алгоритм вождения определяет, что делать дальше. Игра в шахматы с контролем времени является полудинамической, а задача решения кроссворда — статической.
^ Дискретная или ^ непрерывная
Различие между дискретными и непрерывными вариантами среды может относиться к состоянию среды, способу учета времени, а также восприятиям и действиям агента. Например, такая среда с дискретными состояниями, как
игра в шахматы, имеет конечное количество различимых состояний. Кроме того, игра в шахматы связана с дискретным множеством восприятий и действий. Вождение такси — это проблема с непрерывно меняющимся состоянием и непрерывно текущим временем, поскольку скорость и местонахождение самого такси и других транспортных средств изменяются в определенном диапазоне непрерывных значений, причем эти изменения происходят во времени плавно. Действия по вождению такси также являются непрерывными (непрерывная регулировка угла поворота руля и т.д.). Строго говоря, входные данные от цифровых камер поступают дискретно, но обычно рассматриваются как представляющие непрерывно изменяющиеся скорости и местонахождения.
М Одноагентная или М мультиагентная
Различие между одноагентными и мультиагентными вариантами среды на первый взгляд может показаться достаточно простым. Например, очевидно, что агент, самостоятельно решающий кроссворд, находится в одноагентной среде, а агент, играющий в шахматы, действует в двухагентной среде. Тем не менее при анализе этого классификационного признака возникают некоторые нюансы. Прежде всего, выше было описано, на каком основании некоторая сущность может рассматриваться как агент, но не было указано, какие сущности должны рассматриваться как агенты. Должен ли агент А (например, водитель такси) считать агентом объект в (другой автомобиль), или может относиться к нему просто как к стохастически действующему объекту, который можно сравнить с волнами, набегающими на берег, или с листьями, трепещущими на ветру? Ключевое различие состоит в том, следует ли или не следует описывать поведение объекта в как максимизирующее личные показатели производительности, значения которых зависят от поведения агента А. Например, в шахматах соперничающая сущность В пытается максимизировать свои показатели производительности, а это по правилам шахмат приводит к минимизации показателей производительности агента А. Таким образом, шахматы — это М конкурентная мультиагентная среда. А в среде вождения такси, с другой стороны, предотвращение столкновений максимизирует показатели производительности всех агентов, поэтому она может служить примером частично ^ кооперативной мультиагентной среды. Она является также частично конкурентной, поскольку, например, парковочную площадку может занять только один автомобиль. Проблемы проектирования агентов, возникающие в мультиагентной среде, часто полностью отличаются от тех, с которыми приходится сталкиваться в одноагентных вариантах среды; например, одним из признаков рационального поведения в мультиагентной среде часто бывает поддержка связи, а в некоторых вариантах частично наблюдаемой конкурентной среды рациональным становится стохастическое поведение, поскольку оно позволяет избежать ловушек предсказуемости.
Как и следует ожидать, наиболее сложными вариантами среды являются частично наблюдаемые, стохастические, последовательные, динамические, непрерывные и муль- тиагентные. Кроме того, часто обнаруживается, что многие реальные ситуации являются настолько сложными, что неясно даже, действительно ли их можно считать детерминированными. С точки зрения практики их следует рассматривать как стохастические. Проблема вождения такси является сложной во всех указанных отношениях.
В табл. 2.4 перечислены свойства многих известных вариантов среды. Следует отметить, что в отдельных случаях приведенные в ней описания являются слишком краткими и сухими. Например, в ней указано, что шахматы — это полностью наблюдаемая среда, но строго говоря, это утверждение является ложным, поскольку некоторые правила, касающиеся рокировки, взятия пешки на проходе и объявления ничьи при повторении ходов, требуют запоминания определенных фактов об истории игры, которые нельзя выявить из анализа позиции на доске. Но эти исключения из определения наблюдаемости, безусловно, являются незначительными по сравнению с теми необычными ситуациями, с которыми сталкивается автоматизированный водитель такси, интерактивная система преподавания английского языка или медицинская диагностическая система.
Таблица 2.4. Примеры вариантов проблемной среды и их характеристик
Проблемная среда
Наблюдаема я полностью или частично
Детерминиро ванная,стратегическая или стохастическая
Эпизодическая или последовательная
Статическая, динамическая или полудинами- ческая
Дискретная или непрерывная
Одноагентная или мультиа- гентная
Решение кроссворда
Полностью наблюдаемая
Детерминированная
Последовательная
Статическая
Дискретная
Одноагентная
Игра в шахматы с контролем времени
Полностью наблюдаемая
Стохастическая
Последовательная
Полудина- мическая
Дискретная
Мульти- агентная
Игра в покер
Частично наблюдаемая
Стохастическая
Последовательная
Статическая
Дискретная
Мульти- агентная
Игра в нарды
Полностью наблюдаемая
Стохастическая
Последовательная
Статическая
Дискретная
Мульти- агентная
Вождение такси
Частично наблюдаемая
Стохастическая
Последовательная
Динамическая
Непрерывная
Мульти- агентная
Медицинская диагностика
Частично наблюдаемая
Стохастическая
Последовательная
Динамическая
Непрерывная
Одноагентная
Анализ изображений
Полностью наблюдаемая
Детерминированная
Эпизодическая
Полудина- мическая
Непрерывная
Одноагентная
Робот- сортировщик деталей
Частично наблюдаемая
Стохастическая
Эпизодическая
Динамическая
Непрерывная
Одноагентная
Контроллер очистительной установки
Частично наблюдаемая
Стохастическая
Последовательная
Динамическая
Непрерывная
Одноагентная
Интерактивная программа, обучающая английскому языку
Частично наблюдаемая
Стохастическая
Последовательная
Динамическая
Дискретная
Мульти- агентная
Некоторые другие ответы в этой таблице зависят от того, как определена проблемная среда. Например, в ней задача медицинского диагноза определена как одноагентная, поскольку сам процесс развития заболевания у пациента нецелесообразно моделировать в качестве агента, но системе медицинской диагностики иногда приходится сталкиваться с пациентами, не желающими принимать ее рекомендации, и со скептически настроенным персоналом, поэтому ее среда может иметь мультиагентный аспект. Кроме того, медицинская диагностика является эпизодической, если она рассматривается как задача выбора диагноза на основе анализа перечня симптомов, но эта проблема становится последовательной, если решаемая при этом задача может включать выработку рекомендаций по выполнению ряда лабораторных исследований, оценку прогресса в ходе лечения и т.д. К тому же многие варианты среды являются эпизодическими на более высоких уровнях по сравнению с отдельными действиями агента. Например, шахматный турнир состоит из ряда игр; каждая игра является эпизодом, поскольку (вообще говоря) от ходов, сделанных в предыдущей игре, не зависит то, как повлияют на общую производительность агента ходы, сделанные им в текущей игре. С другой стороны, принятие решений в одной и той же игре, безусловно, происходит последовательно.
Репозитарий кода, который относится к данной книге (aima. cs. berkeley. edu), включает реализации многих вариантов среды, наряду с имитатором среды общего назначения, который помещает одного или нескольких агентов в моделируемую среду, наблюдает за их поведением в течение определенного времени и оценивает их действия в соответствии с заданными показателями производительности. Такие эксперименты часто выполняются применительно не к одному варианту среды, а ко многим вариантам, сформированным на основе некоторого М класса вариантов среды. Например, чтобы оценить действия водителя такси в моделируемой ситуации дорожного движения, может потребоваться провести много сеансов моделирования с различными условиями трафика, освещения и погоды. Если бы мы спроектировали этого агента для одного сценария, то могли бы лучше воспользоваться специфическими свойствами данного конкретного случая, но не имели бы возможности определить приемлемый проект решения задачи автоматизированного вождения в целом. По этой причине репозитарий кода включает также М генератор вариантов среды для каждого класса вариантов среды; этот генератор выбирает определенные варианты среды (с некоторой вероятностью), в которых выполняется проверка агента. Например, генератор вариантов среды пылесоса инициализирует случайным образом такие исходные данные, как распределение мусора и местонахождение агента. Дело в том, что наибольший интерес представляет то, какую среднюю производительность будет иметь данный конкретный агент в некотором классе вариантов среды. Рациональный агент для определенного класса вариантов среды максимизирует свою среднюю производительность. Процесс разработки класса вариантов среды и оценки в них различных агентов иллюстрируется вупр. 2.7-2.12.
Структура агентов
До сих пор в этой книге свойства агентов рассматривались на основании анализа их поведения — действий, выполняемых агентом после получения любой заданной последовательности актов восприятия. Теперь нам поневоле придется сменить тему
и перейти к описанию того, как организовано их внутреннее функционирование. Задача искусственного интеллекта состоит в разработке М программы агента, которая реализует функцию агента, отображая восприятия на действия. Предполагается, что эта программа должна работать в своего рода вычислительном устройстве с физическими датчиками и исполнительными механизмами; в целом эти компоненты именуются в данной книге ^ архитектурой, а структура агента условно обозначается следующей формулой:
Агент = Архитектура + Программа
Очевидно, что выбранная программа должна быть подходящей для этой архитектуры. Например, если в программе осуществляется выработка рекомендаций по выполнению таких действий, как Walk (ходьба), то в архитектуре целесообразно предусмотреть использование опорно-двигательного аппарата. Архитектура может представлять собой обычный персональный компьютер или может быть воплощена в виде роботизированного автомобиля с несколькими бортовыми компьютерами, видеокамерами и другими датчиками. Вообще говоря, архитектура обеспечивает передачу в программу результатов восприятия, полученных от датчиков, выполнение программы и передачу исполнительным механизмам вариантов действий, выбранных программой, по мере их выработки. Основная часть данной книги посвящена проектированию программ агентов, а главы 24 и 25 касаются непосредственно датчиков и исполнительных механизмов.
Программы агентов
Все программы агентов, которые будут разработаны в этой книге, имеют одну и ту же структуру: они принимают от датчиков в качестве входных данных результаты текущего восприятия и возвращают исполнительным механизмам выбранный вариант действия. Необходимо указать на различие между программой агента, которая принимает в качестве входных данных результаты текущего восприятия, и функцией агента, которая принимает на входе всю историю актов восприятия. Программа агента получает в качестве входных данных только результаты текущего восприятия, поскольку больше ничего не может узнать из своей среды; если действия агента зависят от всей последовательности актов восприятия, то агент должен сам запоминать результаты этих актов восприятия.
Для описания программ агентов будет применяться простой язык псевдокода, который определен в приложении Б. (Оперативный репозитарий кода содержит реализации на реальных языках программирования.) Например, в листинге 2.1 показана довольно несложная программа агента, которая регистрирует Последовательность актов восприятия, а затем использует полученную последовательность для доступа по индексу к таблице действий и определения того, что нужно сделать. Таблица явно отображает функцию агента, воплощаемую данной программой агента. Чтобы создать рационального агента таким образом, проектировщики должны сформировать
таблицу, которая содержит подходящее действие для любой возможной последовательности актов восприятия.
Листинг 2.1. Программа Table-Driven-Agent, которая вызывается после каждого восприятия новых данных и каждый раз возвращает вариант действия; программа регистрирует последовательность актов восприятия с использованием своей собственной закрытой структуры данных
function Table-Driven-Agent (percept) returns действие action
static: percepts, последовательность актов восприятия, первоначально пустая
table, таблица действий, индексированная по последовательностям актов восприятия и полностью заданная с самого начала
добавить результаты восприятия percept к концу последовательности percepts
action <— Lookup(percepts, tabled
return action
школьниками до 1970-х годов, теперь заменены работающей в электронных калькуляторах программой из пяти строк, в которой применяется метод Ньютона. Вопрос заключается в том, может ли искусственный интеллект сделать для интеллектуального поведения в целом то, что Ньютон сделал для упрощения вычисления квадратных корней? Авторы данной книги полагают, что ответ на этот вопрос является положительным.
В остальной части этого раздела рассматриваются четыре основных вида программ агентов, которые воплощают принципы, лежащие в основе почти всех интеллектуальных систем:
простые рефлексные агенты;
рефлексные агенты, основанные на модели;
агенты, действующие на основе цели;
агенты, действующие на основе полезности.
Затем приведено описание в общих терминах того, как преобразовать агентов всех этих типов в обучающихся агентов.
Простые рефлексные агенты
Простейшим видом агента является ^ простой рефлексный агент. Подобные агенты выбирают действия на основе текущего акта восприятия, игнорируя всю остальную историю актов восприятия. Например, агент-пылесос, для которого результаты табуляции функции агента приведены в табл. 2.1, представляет собой простой рефлексный агент, поскольку его решения основаны только на информации о текущем местонахождении и о том, содержит ли оно мусор. Программа для данного агента приведена в листинге 2.2.
Листинг 2.2. Программа простого рефлексного агента в среде пылесоса с двумя состояниями. Эта программа реализует функцию агента, которая табулирована в табл. 2.1
function Ref lex-Vacuum-Agent ( [location, status! ) returns действие action
if status = Dirty then return Suck
else if location = A then return Right
else if location = В then return Left
которое обозначается как “car-in-front-is-braking” (движущийся впереди автомобиль тормозит). Затем это условие активизирует некоторую связь с действием “initiate-braking” (начать торможение), установленную в программе агента. Такая связь называется М правилом условие-действие и записывается следующим образом:
if car-in-front-is-braking then initiate-braking
Люди также используют большое количество таких связей, причем некоторые из них представляют собой сложные отклики, освоенные в результате обучения (как при вождении автомобиля), а другие являются врожденными рефлексами (такими как моргание, которое происходит при приближении к глазу постороннего предмета). В разных главах данной книги будет показано несколько различных способов, с помощью которых можно организовать обучение агента и реализацию таких связей.
Программа, приведенная в листинге 2.2, специализирована для одной конкретной среды пылесоса. Более общий и гибкий подход состоит в том, чтобы вначале создать интерпретатор общего назначения для правил условие-действие, а затем определить наборы правил для конкретной проблемной среды. На рис. 2.3 приведена структура такой общей программы в схематической форме и показано, каким образом правила условие—действие позволяют агенту создать связь от восприятия к действию. (Не следует беспокоиться, если такой способ покажется тривиальным; вскоре он обнаружит намного более интересные возможности.) В подобных схемах для обозначения текущего внутреннего состояния процесса принятия решения агентом используются прямоугольники, а для представления фоновой информации, применяемой в этом процессе, служат овалы. Программа этого агента, которая также является очень простой, приведена в листинге 2.3. Функция Interpret-Input вырабатывает абстрагированное описание текущего состояния по результатам восприятия, а функция Rule-Match возвращает первое правило во множестве правил, которое соответствует заданному описанию состояния. Следует отметить, что приведенное здесь изложение в терминах “правил” и “соответствия” является чисто концептуальным; фактические реализации могут быть настолько простыми, как совокупность логических элементов, реализующих логическую схему.
Листинг 2.3. Программа простого рефлексного агента, который действует согласно правилу, условие которого соответствует текущему состоянию, определяемому результатом восприятия
function Simple-Reflex-Agent(percept) returns действие action static: rules, множество правил условие-действие
state <— Interpret-Input (percept) rule <— Rule-Match (state, rules) action <— Rule-Action[rule] return action
Простые рефлексные агенты характеризуются той замечательной особенностью, что они чрезвычайно просты, но зато обладают весьма ограниченным интеллектом. Агент, программа которого приведена в листинге 2.3, работает, ^ только если правильное решение может быть принято на основе исключительно текущего восприятия,
иначе говоря, только если среда является полностью наблюдаемой. Внесение даже небольшой доли ненаблюдаемости может вызвать серьезное нарушение его работы. Например, в приведенном выше правиле торможения принято предположение, что условие car-in-front-is-braking может быть определено из текущего восприятия (текущего видеоизображения), если движущийся автомобиль имеет тормозной сигнал, расположенный на центральном месте среди других сигналов. К сожалению, некоторые более старые модели имеют другие конфигурации задних фар, тормозных сигналов, габаритных огней, сигналов торможения и сигналов поворота, поэтому не всегда возможно определить из единственного изображения, тормозит ли этот автомобиль или нет. Простой рефлексный агент, ведущий свой автомобиль вслед за таким автомобилем, либо будет постоянно тормозить без всякой необходимости, либо, что еще хуже, вообще не станет тормозить.
Рис. 2.3. Схематическое изображение структуры простого рефлексного агента
Возникновение аналогичной проблемы можно обнаружить и в мире пылесоса. Предположим, что в простом рефлексном агенте-пылесосе испортился датчик местонахождения и работает только датчик мусора. Такой агент получает только два возможных восприятия: [Dirty] и [Clean]. Он может выполнить действие Suck в ответ на восприятие [Dirty], а что он должен делать в ответ на восприятие [Clean]? Выполнение движения Left завершится отказом (на неопределенно долгое время), если окажется, что он начинает это движение с квадрата А, а если он начинает движение с квадрата в, то завершится отказом на неопределенно долгое время движение Right. Для простых рефлексных агентов, действующих в частично наблюдаемых вариантах среды, часто бывают неизбежными бесконечные циклы.
Выход из бесконечных циклов становится возможным, если агент обладает способностью ^ рандомизировать свои действия (вводить в них элемент случайности). Например, если агент-пылесос получает результат восприятия [Clean], то может подбросить монету, чтобы выбрать между движениями Left и Right. Легко показать, что агент достигнет другого квадрата в среднем за два этапа. Затем, если в этом квадрате имеется мусор, то пылесос его уберет и задача очистки будет выполнена.
Поэтому рандомизированный простой рефлексный агент может превзойти по своей производительности детерминированного простого рефлексного агента.
В разделе 2.3 уже упоминалось, что в некоторых мультиагентных вариантах среды может оказаться рациональным рандомизированное поведение правильного типа. А в одноагентных вариантах среды рандомизация обычно не является рациональной. Это лишь полезный трюк, который помогает простому рефлексному агенту в некоторых ситуациях, но в большинстве случаев можно добиться гораздо большего с помощью более сложных детерминированных агентов.
Рефлексные агенты, основанные на модели
Наиболее эффективный способ организации работы в условиях частичной наблюдаемости состоит в том, чтобы агент отслеживал ту часть мира, которая воспринимается им в текущий момент. Это означает, что агент должен поддерживать своего рода внутреннее состояние, которое зависит от истории актов восприятия и поэтому отражает по крайней мере некоторые из ненаблюдаемых аспектов текущего состояния. Для решения задачи торможения поддержка внутреннего состояния не требует слишком больших затрат — для этого достаточно сохранить предыдущий кадр, снятый видеокамерой, чтобы агент мог определить тот момент, когда два красных световых сигнала с обеих сторон задней части идущего впереди автомобиля загораются или гаснут одновременно. Для решения других задач вождения, таких как переход с одной полосы движения на другую, агент должен следить за тем, где находятся другие автомобили, если он не может видеть все эти автомобили одновременно.
Для обеспечения возможности обновления этой внутренней информации о состоянии в течение времени необходимо, чтобы в программе агента были закодированы знания двух видов. Во-первых, нужна определенная информация о том, как мир изменяется независимо от агента, например, о том, что автомобиль, идущий на обгон, обычно становится ближе, чем в какой-то предыдущий момент. Во-вторых, требуется определенная информация о том, как влияют на мир собственные действия агента, например, что при повороте агентом рулевого колеса по часовой стрелке автомобиль поворачивает вправо или что после проезда по автомагистрали в течение пяти минут на север автомобиль находится на пять миль севернее от того места, где он был пять минут назад. Эти знания о том, “как работает мир” (которые могут быть воплощены в простых логических схемах или в сложных научных теориях) называются моделью мира. Агент, в котором используется такая модель, называется М агентом, основанным на модели.
На рис. 2.4 приведена структура рефлексного агента, действующего с учетом внутреннего состояния, и показано, как текущее восприятие комбинируется с прежним внутренним состоянием для выработки обновленного описания текущего состояния. Программа такого агента приведена в листинге 2.4. В этом листинге интерес представляет функция Update-State, которая отвечает за создание нового описания внутреннего состояния. Эта функция не только интерпретирует результаты нового восприятия в свете существующих знаний о состоянии, но и использует информацию о том, как изменяется мир, для слежения за невидимыми частями мира, поэтому должна учитывать информацию о том, как действия агента влияют на состояние мира. Более подробные примеры приведены в главах 10 и 17.
Рис. 2.4. Рефлексный агент, основанный на модели
Листинг 2.4. Рефлексный агент, основанный на модели, который следит за текущим состоянием мира с использованием внутренней модели, затем выбирает действие таким же образом, как и простой рефлексный агент
function Reflex-Agent-With-State(percept) returns действие action static: state, описание текущего состояния мира rules, множество правил условие-действие action, последнее по времени действие;
первоначально не определено
state <- Update-State{state, action, percept)
rule Rule-Match(state, rules)
action <— Rule-Action[rule]
return action
Агенты, основанные на цели
Знаний о текущем состоянии среды не всегда достаточно для принятия решения о том, что делать. Например, на перекрестке дорог такси может повернуть налево, повернуть направо или ехать прямо. Правильное решение зависит от того, куда должно попасть это такси. Иными словами, агенту требуется не только описание текущего состояния, но и своего рода информация о ^ цели, которая описывает желаемые ситуации, такие как доставка пассажира в место назначения. Программа агента может комбинировать эту информацию с информацией о результатах возможных действий (с такой же информацией, как и та, что использовалась при обновлении внутреннего состояния рефлексного агента) для выбора действий, позволяющих достичь этой цели. Структура агента, действующего на основе цели, показана на рис. 2.5.
Иногда задача выбора действия на основе цели решается просто, когда достижение цели немедленно становится результатом единственного действия, а иногда эта задача становится более сложной, и агенту требуется рассмотреть длинные последовательности движений и поворотов, чтобы найти способ достижения цели. Подобластями искусственного интеллекта, посвященными выработке последовательно-
стей действий, позволяющих агенту достичь его целей, являются поиск (главы 3-6) и планирование (главы 11 и 12).
Рис. 2.5. Агент, основанный на модели и на цели. Он следит за состоянием мира, а также за множеством целей, которых он пытается достичь, и выбирает действие, позволяющее (в конечном итоге) добиться достижения этих целей
Следует учитывать, что процедура принятия решений такого рода имеет фундаментальные отличия от описанной выше процедуры применения правил условие- действие, поскольку в ней приходится размышлять о будущем, отвечая на два вопроса: “Что произойдет, если я сделаю то-то и то-то?” и “Позволит ли это мне достичь удовлетворения?” В проектах рефлексных агентов такая информация не представлена явно, поскольку встроенные правила устанавливают непосредственное соответствие между восприятиями и действиями. Рефлексный агент тормозит, увидев сигналы торможения движущего впереди автомобиля, а агент, основанный на цели, может рассудить, что если на движущемся впереди автомобиле загорелись тормозные огни, то он замедляет свое движение. Учитывая принцип, по которому обычно изменяется этот мир, для него единственным действием, позволяющим достичь такой цели, как предотвращение столкновения с другими автомобилями, является торможение.
Хотя на первый взгляд кажется, что агент, основанный на цели, менее эффективен, он является более гибким, поскольку знания, на которые опираются его решения, представлены явно и могут быть модифицированы. Если начинается дождь, агент может обновить свои знания о том, насколько эффективно теперь будут работать его тормоза; это автоматически вызывает изменение всех соответствующих правил поведения с учетом новых условий. Для рефлексного агента, с другой стороны, в таком случае пришлось бы переписать целый ряд правил условие—действие. Поведение агента, основанного на цели, можно легко изменить, чтобы направить его в другое место, а правила рефлексного агента, которые указывают, где поворачивать и где ехать прямо, окажутся применимыми только для единственного места назначения; для того чтобы этого агента можно было направить в другое место, все эти правила должны быть заменены.
Агенты, основанные на полезности
В действительности в большинстве вариантов среды для выработки высококачественного поведения одного лишь учета целей недостаточно. Например, обычно существует много последовательностей действий, позволяющих такси добраться до места назначения (и тем самым достичь поставленной цели), но некоторые из этих последовательностей обеспечивают более быструю, безопасную, надежную или недорогую поездку, чем другие. Цели позволяют провести лишь жесткое бинарное различие между состояниями “удовлетворенности” и “неудовлетворенности”, тогда как более общие показатели производительности должны обеспечивать сравнение различных состояний мира в точном соответствии с тем, насколько удовлетворенным станет агент, если их удастся достичь. Поскольку понятие “удовлетворенности” представляется не совсем научным, чаще применяется терминология, согласно которой состояние мира, более предпочтительное по сравнению с другим, рассматривается как имеющее более высокую М полезность для агента.
^ Функция полезности отображает состояние (или последовательность состояний) на вещественное число, которое обозначает соответствующую степень удовлетворенности агента. Полная спецификация функции полезности обеспечивает возможность принимать рациональные решения в описанных ниже двух случаях, когда этого не позволяют сделать цели. Во-первых, если имеются конфликтующие цели, такие, что могут быть достигнуты только некоторые из них (например, или скорость, или безопасность), то функция полезности позволяет найти приемлемый компромисс. Во-вторых, если имеется несколько целей, к которым может стремиться агент, но ни одна из них не может быть достигнута со всей определенностью, то функция полезности предоставляет удобный способ взвешенной оценки вероятности успеха с учетом важности целей.
В главе 16 будет показано, что любой рациональный агент должен вести себя так, как если бы он обладал функцией полезности, ожидаемое значение которой он пытается максимизировать. Поэтому агент, обладающий явно заданной функцией полезности, имеет возможность принимать рациональные решения и способен делать это с помощью алгоритма общего назначения, не зависящего от конкретной максимизируемой функции полезности. Благодаря этому “глобальное” определение рациональности (согласно которому рациональными считаются функции агента, имеющие наивысшую производительность) преобразуется в “локальное” ограничение на проекты рациональных агентов, которое может быть выражено в виде простой программы.
Структура агента, действующего с учетом полезности, показана на рис. 2.6. Программы агентов, действующих с учетом полезности, приведеньгв части V, которая посвящена проектированию агентов, принимающих решения, способных учитывать неопределенность, свойственную частично наблюдаемым вариантам среды.
Рис. 2.6. Агент, основанный на модели и на полезности. В нем модель мира используется наряду с функцией полезности, которая измеряет предпочтения агента применительно к состояниям мира. Затем агент выбирает действие, которое ведет к наилучшей ожидаемой полезности. Для вычисления ожидаемой полезности выполняется усреднение по всем возможным результирующим состояниям с учетом коэффициента, определяющего вероятность каждого результата
Обучающиеся агенты
Выше были описаны программы агентов, в которых применяются различные методы выбора действий. Но до сих пор еще не были приведены сведения о том, как создаются программы агентов. В своей знаменитой ранней статье Тьюринг [1520] проанализировал идею о том, как фактически должно осуществляться программирование предложенных им интеллектуальных машин вручную. Он оценил объем работы, который для этого потребуется, и пришел к такому выводу: “Желательно было бы иметь какой-то более продуктивный метод”. Предложенный им метод заключался в том, что необходимо создавать обучающиеся машины, а затем проводить их обучение. Теперь этот метод стал доминирующим методом создания наиболее современных систем во многих областях искусственного интеллекта. Как отмечалось выше, обучение имеет еще одно преимущество: оно позволяет агенту функционировать в первоначально неизвестных ему вариантах среды и становиться более компетентным по сравнению с тем, что могли бы позволить только его начальные знания. В данном разделе кратко представлены основные сведения об обучающихся агентах. Существующие возможности и методы обучения агентов конкретных типов рассматриваются почти в каждой главе данной книги, а в части VI более подробно описываются сами алгоритмы обучения.
Как показано на рис. 2.7, структура обучающегося агента может подразделяться на четыре концептуальных компонента. Наиболее важное различие наблюдается между ^ обучающим компонентом, который отвечает за внесение усовершенствований, и производительным компонентом, который обеспечивает выбор внешних действий. Производительным компонентом является то, что до сих пор в данной книге рассматривалось в качестве всего агента: он получает воспринимаемую ин-
формацию и принимает решение о выполнении действий. Обучающий компонент использует информацию обратной связи от ^ критика с оценкой того, как действует агент, и определяет, каким образом должен быть модифицирован производительный компонент для того, чтобы он успешнее действовал в будущем.
Рис. 2.7. Общая модель обучающихся агентов
Проект обучающего компонента во многом зависит от проекта производительного компонента. Осуществляя попытку спроектировать агента, который обучается определенным способностям, необходимо прежде всего стремиться найти ответ на вопрос: “Какого рода производительный компонент потребуется моему агенту после того, как он будет обучен тому, как выполнять свои функции?”, а не на вопрос: “Как приступить к решению задачи обучения его выполнению этих функций?” После того как спроектирован сам агент, можно приступать к конструированию обучающих механизмов, позволяющих усовершенствовать любую часть этого агента.
Критик сообщает обучающему компоненту, насколько хорошо действует агент с учетом постоянного стандарта производительности. Критик необходим, поскольку сами результаты восприятия не дают никаких указаний на то, успешно ли действует агент. Например, шахматная программа может получить результаты восприятия, указывающие на то, что она поставила мат своему противнику, но ей требуется стандарт производительности, который позволил бы определить, что это — хороший результат; сами данные восприятия ничего об этом не говорят. Важно, чтобы стандарт производительности был постоянным. В принципе этот стандарт следует рассматривать как полностью внешний по отношению к агенту, поскольку агент не должен иметь возможности его модифицировать так, чтобы он в большей степени соответствовал его собственному поведению.
Последним компонентом обучающегося агента является ^ генератор проблем. Его задача состоит в том, чтобы предлагать действия, которые должны привести к получению нового и информативного опыта. Дело в том, что если производительный компонент предоставлен самому себе, то продолжает выполнять действия, которые являются наилучшими с точки зрения того, что он знает. Но если агент готот
к тому, чтобы немного поэкспериментировать и в кратковременной перспективе выполнять действия, которые, возможно, окажутся не совсем оптимальными, то он может обнаружить гораздо более лучшие действия с точки зрения долговременной перспективы. Генератор проблем предназначен именно для того, чтобы предлагать такие исследовательские действия. Именно этим занимаются ученые, проводя эксперименты. Галилей не считал, что сбрасывание камней с вершины Пизанской башни является самоцелью. Он не старался просто вдрызг разбить эти булыжники или оказать физическое воздействие на головы неудачливых прохожих. Его замысел состоял в том, чтобы изменить взгляды, сложившиеся в его собственной голове, сформулировав лучшую теорию движения объектов.
Для того чтобы перевести весь этот проект на конкретную почву, вернемся к примеру автоматизированного такси. Производительный компонент состоит из той коллекции знаний и процедур, которая применяется водителем такси при выборе им действий по вождению. Водитель такси с помощью этого производительного компонента выезжает на дорогу и ведет свою машину. Критик наблюдает за миром и в ходе этого передает соответствующую информацию обучающему компоненту. Например, после того как такси быстро выполняет поворот налево, пересекая три полосы движения, критик замечает, какие шокирующие выражения используют другие водители. На основании этого опыта обучающий компонент способен сформулировать правило, которое гласит, что это — недопустимое действие, а производительный компонент модифицируется путем установки нового правила. Генератор проблем может определить некоторые области поведения, требующие усовершенствования, и предложить эксперименты, такие как проверка тормозов на разных дорожных покрытиях и при различных условиях.
Обучающий компонент может вносить изменения в любой из компонентов “знаний”, показанных на схемах агентов (см. рис. 2.3—2.6). В простейших случаях обучение будет осуществляться непосредственно на основании последовательности актов восприятия. Наблюдение за парами последовательных состояний среды позволяет агенту освоить информацию о том, “как изменяется мир”, а наблюдение за результатами своих действий может дать агенту возможность узнать, “какое влияние оказывают мои действия”. Например, после того как водитель такси приложит определенное тормозное давление во время езды по мокрой дороге, он вскоре узнает, какое снижение скорости фактически было достигнуто. Очевидно, что эти две задачи обучения становятся более сложными, если среда наблюдаема лишь частично.
Те формы обучения, которые были описаны в предыдущем абзаце, не требуют доступа к внешнему стандарту производительности, вернее, в них применяется универсальный стандарт, согласно которому сделанные прогнозы должны быть согласованы с экспериментом. Ситуация становится немного сложнее, когда речь идет об агенте, основанном на полезности, который стремится освоить в процессе обучения информацию о полезности. Например, предположим, что агент, занимающийся вождением такси, перестает получать чаевые от пассажиров, которые в ходе утомительной поездки почувствовали себя полностью разбитыми. Внешний стандарт производительности должен информировать агента, что отсутствие чаевых — это отрицательный вклад в его общую производительность; в таком случае агент получает возможность освоить в результате обучения, что грубые маневры, утомляющие пассажиров, не позволяют повысить оценку его собственной функции полезности. В этом смысле стандарт производительности позволяет выделить определенную
часть входных результатов восприятия как вознаграждение (или штраф), непосредственно предоставлемое данными обратной связи, влияющими на качество поведения агента. Именно с этой точки зрения могут рассматриваться жестко закрепленные стандарты производительности, такие как боль или голод, которыми характеризуется жизнь животных. Эта тема рассматривается более подробно в главе 21.
Подводя итог, отметим, что агенты имеют самые различные компоненты, а сами эти компоненты могут быть представлены в программе агента многими способами, поэтому создается впечатление, что разнообразие методов обучения чрезвычайно велико. Тем не менее все эти методы имеют единый объединяющий их аспект. Процесс обучения, осуществляемый в интеллектуальных агентах, можно в целом охарактеризовать как процесс модификации каждого компонента агента для обеспечения более точного соответствия этих компонентов доступной информации обратной связи и тем самым улучшения общей производительности агента.
Резюме
Эту главу можно сравнить с головокружительным полетом над обширным ландшафтом искусственного интеллекта, который мы рассматриваем как науку проектирования агентов. Ниже кратко приведены основные идеи, которые рассматривались в данной главе.
Агентом является нечто воспринимающее и действующее в определенной среде. Функция агента определяет действие, предпринимаемое агентом в ответ на любую последовательность актов восприятия.
Показатели производительности оценивают поведение агента в среде. Рациональный агент действует так, чтобы максимизировать ожидаемые значения показателей производительности, с учетом последовательности актов восприятия, полученной агентом к данному моменту.
Спецификация проблемной среды включает определения показателей производительности, внешней среды, исполнительных механизмов и датчиков. Первым этапом проектирования агента всегда должно быть определение проблемной среды с наибольшей возможной полнотой.
Варианты проблемной среды классифицируются по нескольким важным размерностям. Они могут быть полностью или частично наблюдаемыми, детерминированными или стохастическими, эпизодическими или последовательными, статическими или динамическими, дискретными или непрерывными, а также одноагентными или мультиагентными.
Программа агента реализует функцию агента. Существует целый ряд основных проектов программ агента, соответствующих характеру явно воспринимаемой информации, которая используется в процессе принятия решения. Разные проекты характеризуются различной эффективностью, компактностью и гибкостью. Выбор наиболее подходящего проекта программы агента зависит от характера среды.
Простые рефлексные агенты отвечают непосредственно на акты восприятия, тогда как рефлексные агенты, основанные на модели, поддерживают внутреннее
состояние, прослеживая те аспекты среды, которые не наблюдаются в текущем акте восприятия. Агенты, действующие на основе цели, организуют свои действия так, чтобы достигнуть своих целей, а агенты, действующие с учетом полезности, пытаются максимизировать свою собственную ожидаемую “удовлетворенность”.
Все агенты способны улучшать свою работу благодаря обучению.
Библиографические и исторические заметки
Истоки представлений о центральной роли действий в интеллекте (сформулированных в виде понятия практических рассуждений) прослеживаются до Никомахо- вой этики Аристотеля. Практические рассуждения были также темой влиятельной статьи Маккарти Programs 'with Common Sense (Программы co здравым смыслом) [1009]. Такие области науки, как робототехника и теория управления, по самому своему характеру преимущественно касаются проблем конструирования физических агентов. Понятие ^ контроллера в теории управления идентично понятию агента в искусственном интеллекте. И хотя на первый взгляд это может показаться удивительным, но на протяжении большей части истории развития искусственного интеллекта основные усилия в этой области были сосредоточены на исследовании отдельных компонентов агентов (в качестве примеров можно привести системы поиска ответов на вопросы, программы автоматического доказательства теорем, системы технического зрения и т.д.), а не самих агентов, рассматриваемых как единое целое. Важным исключением из этого правила, оказавшим значительное влияние на дальнейшее развитие данной области, стало обсуждение проблематики агентов в работе Генезерета и Нильссона [537]. В настоящее время в данной научной области широко применяется подход, основанный на изучении всего агента, и результаты, достигнутые в рамках этого подхода, стали центральной темой новейших работ [1146], [1227].
В главе 1 было показано, что корни понятия рациональности прослеживаются в философии и экономике. В искусственном интеллекте это понятие не привлекало значительного интереса до тех пор, пока в середине 1980-х не началось широкое обсуждение проблемы создания подходящих теоретических основ данной области. В статье Джона Дойла [410] было предсказано, что со временем проектирование рациональных агентов станет рассматриваться в качестве основного назначения искусственного интеллекта, притом что другие популярные ныне темы исследований послужат основой формирования новых дисциплин.
Стремление к тщательному изучению свойств среды и их влияния на выбор самого подходящего проекта рационального агента наиболее ярко проявляется в традиционных областях теории управления; например, в исследованиях по классическим системам управления [405] рассматриваются полностью наблюдаемые, детерминированные варианты среды; темой работ по стохастическому оптимальному управлению [865] являются частично наблюдаемые, стохастические варианты среды; а работы по гибридному управлению [649] касаются таких вариантов среды, которые содержат и дискретные, и непрерывные элементы. Описание различий между полностью и частично наблюдаемыми вариантами среды является также центральной темой работ по динамическому программированию, проводимых в области исследования операций [1244], которая будет обсуждаться в главе 17.
Рефлексные агенты были основной моделью для психологических бихевиористов, таких как Скиннер [1423], которые пытались свести все знания в области психологии организмов исключительно к отображениям “ввод-вывод” или “стимул-отклик”. В результате прогресса в области психологии, связанного с переходом от бихевиоризма к функционализму, который был по крайней мере отчасти обусловлен распространением на агентов трактовки понятия компьютера как новой метафоры в мировоззрении человека [923], [1246], возникло понимание того, что нужно также учитывать внутреннее состояние агента. В большинстве работ по искусственному интеллекту идея чисто рефлексных агентов с внутренним состоянием рассматривалась как слишком простая для того, чтобы на ее основе можно было добиться значительных успехов, но исследования Розеншайна [1308] и Брукса [189] позволили поставить под сомнение это предположение (см. главу 25). В последние годы значительная часть работ была посвящена поиску эффективных алгоритмов слежения за сложными вариантами среды [610]. Наиболее впечатляющим примером достигнутых при этом результатов является программа Remote Agent, которая управляла космическим аппаратом Deep Space One (описанная на с. 69) [744], [1108].
Понимание необходимости создания агентов на основе цели просматривается во всем, что стало источником идей искусственного интеллекта, начиная с введенного Аристотелем определения практического рассуждения и заканчивая ранними статьями Маккарти по логическому искусственному интеллекту. Робот Shakey [466], [1143] был первым воплощением логического агента на основе цели в виде автоматизированного устройства. Полный логический анализ агентов на основе цели приведен в книге Генезерета и Нильссона [537], а методология программирования на основе цели, получившая название агентно-ориентированного программирования, была разработана Шохемом [1404].
Кроме того, начиная с книги Human Problem Solving [1130], оказавшей чрезвычайно большое влияние на ход дальнейших исследований, в той области когнитивной психологии, которая посвящена изучению процедур решения задач человеком, ведущее место занял подход, основанный на понятии цели; на этом подходе базируется также вся последняя работа Ньюэлла [1125]. Цели, дополнительно подразделяемые на желания (общие замыслы) и намерения (осуществляемые в настоящее время), являются основой теории агентов, разработанной Братманом [176]. Эта теория оказала влияние и на работы в области понимания естественного языка, и на исследования мультиагентных систем.
Горвиц, наряду с другими исследователями [686], особо подчеркивал важность использования в качестве основы для искусственного интеллекта понятия рациональности, рассматриваемой как средство максимизации ожидаемой полезности. Книга Перла [1191] была первой работой в области искусственного интеллекта, в которой дан глубокий анализ проблем применения теории вероятности и теории полезности; описанные им практические методы проведения рассуждений и принятия решений в условиях неопределенности, по-видимому, послужили наиболее важной причиной быстрой смены направления исследований в 1990-х годах и перехода к изучению агентов, действующих с учетом полезности (подробнее об этом рассказывается в части V).
Общий проект для обучающихся агентов, приведенный на рис. 2.7, является классическим образцом такого проекта в литературе по машинному обучению [203], [1064]. Одним из первых примеров воплощения этого проекта в программах являет-
ся обучающаяся программа для игры в шашки Артура Самюэла [1349], [1350]. Обучающиеся агенты подробно рассматриваются в части VI.
В последние годы быстро растет интерес к агентам и к проектам агентов, отчасти в связи с расширением Internet и осознанием необходимости создания автоматизированных и мобильных программных роботов [447]. Сборники статей по этой теме можно найти в работах Readings in Agents [704] и Foundations of Rational Agency [1615]. В книге Multiagent Systems [1564] предоставлены надежные теоретические основы для многих аспектов проектирования агентов. К числу конференций, посвященных агентам, относятся International Conference on Autonomous Agents, International Workshop on Agent Theories, Architectures, and Languages и International Conference on Multiagent Systems. И наконец отметим, что в книге Dung Beetle Ecology [615] приведен большой объем интересной информации о поведении навозных жуков (о котором говорилось в данной главе).
Упражнения
Самостоятельно сформулируйте определения следующих понятий: агент; функция агента; программа агента; рациональность; автономность; рефлексный агент; агент, основанный на модели; агент на основе цели; агент на основе полезности; обучающийся агент.
Для измерения того, насколько успешно функционирует агент, используются и показатели производительности, и функция полезности. Объясните, в чем состоит различие между этими двумя критериями.
В этом упражнении исследуются различия между функциями агента и программами агента.
Может ли существовать больше чем одна программа агента, которая реализует данную функцию агента? Приведите пример, подтверждающий положительный ответ, или покажите, почему такая ситуация невозможна.
Есть ли такие функции агента, которые не могут быть реализованы никакими программами агента?
Верно ли, что каждая программа агента реализует точно одну функцию агента, при условии, что архитектура вычислительной машины остается неизменной?
Если в архитектуре предусмотрено п битов памяти, то сколько различных возможных программ агента может быть реализовано с ее помощью?
В этом упражнении исследуется рациональность различных функций агента для пылесоса.
Покажите, что простая функция агента—пылесоса, описанная в табл. 2.1, действительно рациональна, согласно предположениям, перечисленным нас. 79.
Опишите рациональную функцию агента для модифицированного показателя производительности, который предусматривает штраф в один пункт за каждое движение. Требуется ли поддержка внутреннего состояния для соответствующей программы агента?
Обсудите возможные проекты агентов для случаев, в которых чистые квадраты могут стать грязными, а география среды неизвестна. Имеет ли смысл в таких случаях для агента обучаться на своем опыте? Если да, то что он должен изучать?
Для каждого из следующих агентов разработайте описание PEAS среды задачи:
робот-футболист;
агент, совершающий покупки книг в Internet;
автономный марсианский вездеход;
ассистент математика, занимающийся доказательством теорем.
Для каждого из типов агентов, перечисленных в упр. 2.5, охарактеризуйте среду в соответствии со свойствами, приведенными в разделе 2.3, и выберите подходящий проект агента.
S) Все приведенные ниже упражнения касаются реализации вариантов среды и агентов для мира пылесоса.
Реализуйте имитатор среды измерения производительности для мира пылесоса, который изображен на рис. 2.2 и определен на с. 79. Предложенная реализация должна быть модульной, для того чтобы можно было заменять датчики и исполнительные механизмы, а также модифицировать характеристики среды (размер, форму, размещение мусора и т.д.). (Примечание. Для некоторых сочетаний языка программирования и операционной системы в оперативном репозитарии кода уже имеются реализации.)
Реализуйте простого рефлексного агента для среды пылесоса, которая рассматривается в упр. 2.7. Вызовите на выполнение имитатор среды с этим агентом для всех возможных начальных конфигураций мусора и местоположений агента. Зарегистрируйте оценки производительности работы агента для каждой конфигурации и определите его общую среднюю оценку.
Рассмотрите модифицированную версию среды пылесоса из упр. 2.7, в которой агенту назначается штраф в один пункт за каждое движение.
Может ли быть полностью рациональным простой рефлексный агент для этой среды? Обоснуйте свой ответ.
А что можно сказать о рефлексном агенте с внутренним состоянием? Спроектируйте такого агента.
Как изменятся приведенные вами ответы на вопросы а) и б), если акты восприятия агента позволяют ему иметь информацию о том, является ли чистым или грязным каждый квадрат в этой среде? '
Рассмотрите модифицированную версию среды пылесоса из упр. 2.7, в которой неизвестны география среды (ее протяженность, границы и препятствия), а также начальная конфигурация расположения мусора. (Агент может совершать движения Left и Righ С, а также Up и Down.)
Может ли быть полностью рациональным простой рефлексный агент для этой среды? Обоснуйте свой ответ.
Может ли простой рефлексный агент с рандомизированной функцией агента превзойти по своей производительности простого рефлексного
агента? Спроектируйте такого агента и измерьте его производительность в нескольких вариантах среды.
Можете ли вы спроектировать среду, в которой предложенный вами рандомизированный агент будет показывать очень низкую производительность? Продемонстрируйте полученные вами результаты.
Может ли рефлексный агент с поддержкой состояния превзойти по своей производительности простого рефлексного агента? Спроектируйте такого агента и измерьте его производительность в нескольких вариантах среды. Сумеете ди вы спроектировать рационального агента этого типа?
Повторите упр. 2.10 для такого случая, в котором датчик местоположения заменен датчиком удара, позволяющим обнаруживать попытки агента пройти сквозь препятствие или пересечь границы среды. Предположим, что датчик удара перестал работать; как должен действовать агент?
Все варианты среды пылесоса, рассматриваемые в предыдущих упражнениях, были детерминированными. Обсудите возможные программы агента для каждого из следующих стохастических вариантов.
Закон Мэрфи: в течение 25% времени применение действия Suck не позволяет очистить пол, если пол грязный, и приводит к появлению мусора на полу, если пол чистый. Как эти обстоятельства отразятся на предложенной вами программе агента, если датчик мусора дает неправильный ответ в течение 10% времени?
Маленькие дети: в каждом интервале времени каждый чистый квадрат имеет 10%-ную вероятность стать грязным. Можете ли вы предложить проект рационального агента для этого случая?
Часть II
Решение проблем
Решение проблем посредством поиска
Информированный поиск и исследование пространства состояний
Задачи удовлетворения ограничений
Поиск в условиях противодействия
ПО
153
209
240
3 Решение проблем ПОСРЕДСТВОМ ПОИСКА
В этой главе показано, каким образом агент может найти последовательность действий, позволяющую достичь его целей в тех условиях, когда единственного действия для этого недостаточно.
Простейшими агентами, которые рассматривались в главе 2, были рефлексные агенты, функционирование которых основано на непосредственном отображении состояний в действия. Подобные агенты не могут успешно действовать в тех вариантах среды, где такие отображения были бы слишком большими, чтобы можно было обеспечить их хранение, а изучение отображений потребовало бы слишком много времени. Агенты на основе цели, с другой стороны, способны достичь успеха, рассматривая будущие действия и оценивая желательность их результатов.
Данная глава посвящена описанию одной разновидности агента на основе цели, называемой М агентом, решающим задачи. Агенты, решающие задачи, определяют, что делать, находя последовательности действий, которые ведут к желаемым состояниям. Начнем изложение этой темы с точного определения элементов, из которых состоит “задача” и ее “решение”, и приведем несколько примеров для иллюстрации этих определений. Затем представим несколько алгоритмов поиска общего назначения, которые могут использоваться для решения подобных задач, и проведем сравнение преимуществ и недостатков каждого алгоритма. Эти алгоритмы являются неинформированными в том смысле, что в них не используется какая-либо информация о рассматриваемой задаче, кроме ее определения. В главе 4 речь идет об информированных алгоритмах поиска, в которых используются определенные сведения о том, где следует искать решения.
В данной главе применяются понятия из области анализа алгоритмов. Читатели, незнакомые с понятиями асимптотической сложности (т.е. с системой обозначений О()) и NP-полноты, должны обратиться к приложению А.
Агенты, решающие задачи
Предполагается, что интеллектуальные агенты обладают способностью максимизировать свои показатели производительности. Как уже упоминалось в главе 2, реа-
лизация указанного свойства в определенной степени упрощается, если агент способен принять на себя обязанность достичь цели и стремиться к ее удовлетворению. Вначале рассмотрим, как и почему агент может приобрести такую способность.
Представьте себе, что некоторый агент находится в городе Арад, Румыния, и проводит свой отпуск в качестве туриста. Показатели производительности агента включают много компонентов: он хочет улучшить свой загар, усовершенствовать знание румынского языка, осмотреть достопримечательности, насладиться ночной жизнью (со всеми ее привлекательными сторонами), избежать неприятностей и т.д. Эта задача принятия решения является сложной; для ее выполнения необходимо учитывать множество компромиссов и внимательно читать путеводители. Кроме того, предположим, что у агента имеется не подлежащий возмещению билет для вылета из Бухареста на следующий день. В данном случае для агента имеет смысл стремиться к достижению цели попасть в Бухарест. Способы действий, не позволяющие вовремя попасть в Бухарест, могут быть отвергнуты без дальнейшего рассмотрения и поэтому задача принятия решения агентом значительно упрощается. Цели позволяют организовать поведение, ограничивая выбор промежуточных этапов, которые пытается осуществить агент. Первым шагом в решении задачи является ^ формулировка цели с учетом текущей ситуации и показателей производительности агента.
Мы будем рассматривать цель как множество состояний мира, а именно тех состояний, в которых достигается такая цель. Задача агента состоит в том, чтобы определить, какая последовательность действий приведет его в целевое состояние. Прежде чем это сделать, агент должен определить, какого рода действия и состояния ему необходимо рассмотреть. Но если бы агент пытался рассматривать действия на уровне “перемещения левой ноги вперед на один сантиметр” или “поворота рулевого колеса на один градус влево”, то, по-видимому, так и не смог бы выехать с автомобильной стоянки, не говоря уже о своевременном прибытии в Бухарест, поскольку на таком уровне детализации мир обладает слишком большой неопределенностью, а решение должно состоять из слишком многих этапов. Формулировка задачи представляет собой процесс определения того, какие действия и состояния следует рассматривать с учетом некоторой цели. Этот процесс будет описан более подробно немного позднее. А на данный момент предположим, что агент будет рассматривать действия на уровне автомобильной поездки из одного крупного города в другой. Таким образом, состояния, рассматриваемые агентом, соответствуют его пребыванию в конкретном городе.
Итак, наш агент поставил перед собой цель доехать на автомобиле до Бухареста и определяет, куда отправиться для этого из Арада. Из этого города ведут три дороги: в Сибиу, Тимишоару и Зеринд. Прибытие в какой-либо из этих городов не представляет собой достижение намеченной цели, поэтому агент, не очень знакомый с географией Румынии, не будет знать, по какой дороге он должен следовать. Иными словами, агент не знает, какое из его возможных действий является наилучшим, поскольку не обладает достаточными знаниями о состоянии, возникающем в результа-
те выполнения каждого действия. Если агент не получит дополнительных знаний, то окажется в тупике. Самое лучшее, что он может сделать, — это выбрать одно из указанных действий случайным образом.
Но предположим, что у агента есть карта Румынии, либо на бумаге, либо в его памяти. Карта способна обеспечить агента информацией о состояниях, в которых он может оказаться, и о действиях, которые он способен предпринять. Агент имеет возможность воспользоваться этой информацией для определения последовательных этапов гипотетического путешествия через каждый из этих трех городов в попытке найти такой путь, который в конечном итоге приведет его в Бухарест. Найдя на карте путь от Арада до Бухареста, агент может достичь своей цели, осуществляя действия по вождению автомобиля, которые соответствуют этапам этого путешествия. Вообще говоря, <9® агент, имеющий несколько непосредственных вариантов выбора с неизвестной стоимостью, может решить, что делать, исследуя вначале различные возможные последовательности действий, которые ведут к состояниям с известной стоимостью, а затем выбирая из них наилучшую последовательность.
Описанный процесс определения такой последовательности называется ^ поиском. Любой алгоритм поиска принимает в качестве входных данных некоторую задачу и возвращает решение в форме последовательности действий. После того как решение найдено, могут быть осуществлены действия, рекомендованные этим алгоритмом. Такое осуществление происходит на стадии ^ выполнения. Итак, для рассматриваемого агента можно применить простой проект, позволяющий применить принцип “сформулировать, найти, выполнить”, как показано в листинге 3.1. После формулировки цели и решаемой задачи агент вызывает процедуру поиска для решения этой задачи. Затем он использует полученное решение для руководства своими действиями, выполняя в качестве следующего предпринимаемого мероприятия все, что рекомендовано в решении (как правило, таковым является первое действие последовательности), а затем удаляет этот этап из последовательности. Сразу после выполнения этого решения агент формулирует новую цель.
Листинг 3.1. Простой агент, решающий задачу. Вначале он формулирует цель и задачу, затем ищет последовательность действий, позволяющую решить эту задачу, и, наконец, осуществляет действия одно за другим. Закончив свою работу, агент формулирует другую цель и начинает сначала. Обратите внимание на то, что при выполнении очередной последовательности действий агент игнорирует данные своих актов восприятия, поскольку предполагает, что найденное им решение всегда выполнимо
function Simple-Problem-Solving-Agent (percept) returns действие action inputs: percept, результат восприятия static: seq, последовательность действий, первоначально пустая state, некоторое описание текущего состояния мира goal, цель, первоначально неопределенная problem, формулировка задачи
state <— Update-State (state, percept) if последовательность seq пуста then do goal <— Formulate-Goal(state) problem <— Formulate-Problem(state, goal) seq <— Search (problem)
action <— First(seq) seq <— Rest(seg) return action
Вначале опишем процесс составления формулировки задачи, а затем посвятим основную часть данной главы рассмотрению различных алгоритмов для функции Search. В этой главе осуществление функций Update-State и Formulate-Goal дополнительно не рассматривается.
Прежде чем перейти к подробному описанию, сделаем краткую паузу, чтобы определить, в чем агенты, решающие задачи, соответствуют описанию агентов и вариантов среды, приведенному в главе 2. В проекте агента, показанном в листинге 3.1, предполагается, что данная среда является статической, поскольку этапы формулировки и решения задачи осуществляются без учета каких-либо изменений, которые могут произойти в данной среде. Кроме того, в этом проекте агента допускается, что начальное состояние известно; получить такие сведения проще всего, если среда является наблюдаемой. К тому же в самой идее перечисления “альтернативных стратегий” заключается предположение, что среда может рассматриваться как дискретная. Последней и наиболее важной особенностью является следующее: в проекте агента предполагается, что среда является детерминированной. Решения задач представляют собой единственные последовательности действий, поэтому в них не могут учитываться какие-либо неожиданные события; более того, решения выполняются без учета результатов каких-либо актов восприятия! Агент, выполняющий свои планы, образно говоря, с закрытыми глазами, должен быть вполне уверенным в том, что он делает. (В теории управления подобный проект именуется системой М с разомкнутой обратной связью, поскольку игнорирование результатов восприятия приводит к нарушению обратной связи между агентом и средой.) Все эти предположения означают, что мы имеем дело с простейшими разновидностями среды, и в этом состоит одна из причин, по которой настоящая глава помещена в самом начале данной книги. В разделе 3.6 дано краткое описание того, что произойдет, если будут исключены допущения о наблюдаемости и детерминированности, а в главах 12 и 17 приведено гораздо более подробное изложение соответствующей темы.
Хорошо структурированные задачи и решения
^ Задача может быть формально определена с помощью четырех компонентов, описанных ниже.
^ Начальное состояние, в котором агент приступает к работе. Например, начальное состояние для нашего агента в Румынии может быть описано как пребывание в Араде, In (Arad).
Описание возможных действий, доступных агенту. В наиболее общей формулировке используется ^ функция определения преемника. Если задано конкретное состояние х, то функция Successor-Fn (х) возвращает множество упорядоченных пар <action, successors где каждое действие action представляет собой одно из допустимых действий в состоянии х, а каждый преемник successor представляет собой состояние, которое может быть достигнуто из х путем применения этого действия. Например, из состояния
Zn(Arad) функция определения преемника для данной задачи проезда по Румынии возвратит следующее:
{<Go(Sibiu) , In(Sibiu)>, <Go(Timisoara) , In(Timisoara)>, <Go(Zerind) , In(Zerind)>^
Начальное состояние и функция определения преемника, вместе взятые, неявно задают ^ пространство состояний данной задачи — множество всех состояний, достижимых из начального состояния. Пространство состояний образует граф, узлами которого являются состояния, а дугами между узлами — действия. (Карта Румынии, показанная на рис. 3.1, может интерпретироваться как граф пространства состояний, если каждая дорога рассматривается как обозначающая два действия проезда на автомобиле, по одному в каждом направлении.) ^ Путем в пространстве состояний является последовательность состояний, соединенных последовательностью действий.
М Проверка цели, позволяющая определить, является ли данное конкретное состояние целевым состоянием. Иногда имеется явно заданное множество возможных целевых состояний, и эта проверка сводится просто к определению того, является ли данное состояние одним из них. Цель рассматриваемого агента в Румынии представляет собой одноэлементное множество {In (Bucharest) }. Иногда цель задается в виде абстрактного свойства, а не явно перечисленного множества состояний. Например, в шахматах цель состоит в достижении состояния, называемого “матом”, в котором король противника атакован и не может уклониться от удара.
Функция М стоимости пути, которая назначает числовое значение стоимости каждому пути. Агент, решающий задачу, выбирает функцию стоимости, кото-
рая соответствует его собственным показателям производительности. Для данного агента, пытающегося попасть в Бухарест, важнее всего время, поэтому стоимость пути может измеряться длиной в километрах. В настоящей главе предполагается, что стоимость пути может быть описана как сумма стоимостей отдельных действий, выполняемых вдоль этого пути. М Стоимость этапа, связанного с выполнением действия а для перехода из состояния х в состояние у, обозначается как с (х, а, у). Стоимости этапов для Румынии показаны на рис. 3.1 в виде дорожных расстояний. Предполагается, что стоимости этапов являются неотрицательными.
Описанные выше элементы определяют задачу и могут быть собраны вместе в единую структуру данных, которая передается в качестве входных данных в алгоритм решения задачи. Решением задачи является путь от начального состояния до целевого состояния. Качество решения измеряется с помощью функции стоимости пути, а ^ оптимальным решением является такое решение, которое имеет наименьшую стоимость пути среди всех прочих решений.
Формулировка задачи
В предыдущем разделе была предложена формулировка задачи переезда в Бухарест в терминах начального состояния, функции определения преемника, проверки цели и стоимости пути. Эта формулировка кажется приемлемой, но в ней все же не учитываются слишком многие аспекты реального мира. Сравним простое выбранное нами описание состояния, In (Arad), с действительным путешествием по стране, в котором состояние мира должно учитывать так много факторов: попутчиков, текущие радиопередачи, вид из окна, наличие поблизости представителей сил правопорядка, расстояние до ближайшей остановки на отдых, состояние дороги, погоду и т.д. Все эти соображения исключены из наших описаний состояния, поскольку они не имеют отношения к задаче поиска маршрута поездки в Бухарест. Процесс удаления деталей из представления называется ^ абстрагированием.
Кроме абстрагирования описаний состояний, необходимо абстрагировать сами действия. Любое действие по вождению влечет за собой много следствий. Такие действия не только изменяют местонахождение автомобиля и его пассажиров, но и занимают время, приводят к потреблению топлива, влекут за собой загрязнение окружающей среды и влияют на самого агента (как говорится, путешествия расширяют кругозор). В нашей формулировке учитывается только изменение местонахождения. Кроме того, существует много действий, которые мы вообще не рассматриваем: включение радиоприемника, осмотр окрестностей из окна, замедление движения по требованию дорожной полиции и т.д. К тому же, безусловно, действия здесь не задаются на уровне “поворота рулевого колеса влево на три градуса”.
Можно ли достичь большей точности определения приемлемого уровня абстракции? Будем считать, что выбранные нами абстрактные состояния и действия соответствуют большим множествам более подробных описаний состояния мира, а также более детализированным последовательностям действий. Теперь рассмотрим решение абстрактной задачи, например поиска пути от Арада до Бухареста через города Сибиу, Рымнику-Вылча и Питешти. Это абстрактное решение соответствует
большому количеству более подробных инструкций по преодолению пути. Например, можно вести автомобиль между городами Сибиу и Рымнику-Вылча с включенным радиоприемником, а затем выключить его на всю оставшуюся часть путешествия. Абстракция является действительной, если мы можем преобразовать любое абстрактное решение в такое решение, которое подходит для более детально описанного мира; достаточным условием является то, что для любого детализированного состояния, которое представляет собой “пребывание в городе Арад”, существует детализированный путь в некоторое состояние, соответствующее “пребыванию в городе Сибиу”, и т.д. Абстракция является полезной, если осуществление каждого из действий, предусмотренных в решении, становится проще по сравнению с первоначальной задачей; в этом случае действия являются достаточно простыми для того, чтобы они могли быть выполнены без дальнейшего поиска или планирования со стороны обычного агента, занимающегося вождением автомобиля. Поэтому выбор хорошей абстракции сводится к исключению максимально возможного количества подробностей и вместе с тем к сохранению способности оставаться действительной и обеспечению того, чтобы абстрактные действия были легко осуществимыми. Если бы не было возможности создавать полезные абстракции, то интеллектуальные агенты не могли бы успешно действовать в реальном мире.
Примеры задач
Описанный подход к решению задач был применен в очень многих вариантах экспериментальной среды. В этом разделе перечислены некоторые из наиболее известных примеров решения задач, которые подразделяются на два типа — упрощенные и реальные задачи. ^ Упрощенная задача предназначена для иллюстрации или проверки различных методов решения задач. Ей может быть дано краткое, точное описание. Это означает, что такая задача может легко использоваться разными исследователями для сравнения производительности алгоритмов. ^ Реальной задачей называется такая задача, решение которой действительно требуется людям. Как правило, такие задачи не имеют единого приемлемого для всех описания, но мы попытаемся показать, как обычно выглядят их формулировки.
Упрощенные задачи
В качестве первого примера рассмотрим мир пылесоса, впервые представленный в главе 2 (см. рис. 2.2). Деятельность в этом мире можно сформулировать в качестве задачи, как описано ниже.
Состояния. Агент находится в одном из двух местонахождений, в каждом из которых может присутствовать или не присутствовать мусор. Поэтому существует 2х22=8 возможных состояний мира.
Начальное состояние. В качестве начального состояния может быть назначено любое состояние.
Функция определения преемника. Эта функция вырабатывает допустимые состояния, которые являются следствием попыток выполнения трех действий (Left, Right и Suck). Полное пространство состояний показано на рис. 3.2.
Рис. 3.2. Пространство состояний для мира пылесоса. Дуги обозначают действия: L=Left, R=Right, S=Suck
Проверка цели. Эта проверка сводится к определению того, являются ли чистыми все квадраты.
Стоимость пути. Стоимость каждого этапа равна 1, поэтому стоимость пути представляет собой количество этапов в этом пути.
По сравнению с задачей реального мира эта упрощенная задача характеризуется различимыми местонахождениями, возможностью определять наличие мусора, надежной очисткой, а также сохранением достигнутого состояния после очистки. (В разделе 3.6 некоторые из этих допущений будут исключены.) Необходимо учитывать, что состояние определяется и местонахождением агента, и наличием мусора. В более крупной среде с п местонахождениями имеется п-2п состояний.
^ Задача игры в восемь, экземпляр которой показан на рис. 3.3, состоит из доски 3x3 с восемью пронумерованными фишками и с одним пустым участком. Фишка, смежная с пустым участком, может быть передвинута на этот участок. Требуется достичь указанного целевого состояния, подобного тому, которое показано в правой части рисунка. Стандартная формулировка этой задачи приведена ниже.
Состояния. Описание состояния определяет местонахождение каждой из этих восьми фишек и пустого участка на одном из девяти квадратов.
Начальное состояние. В качестве начального может быть определено любое состояние. Необходимо отметить, что любая заданная цель может быть достигнута точно из половины возможных начальных состояний (см. упр. 3.4).
Функция определения преемника. Эта функция формирует допустимые состояния, которые являются результатом попыток осуществления указанных четырех действий (теоретически возможных ходов Left, Right, Up или Down).
Проверка цели. Она позволяет определить, соответствует ли данное состояние целевой конфигурации, показанной на рис. 3.3. (Возможны также другие целевые конфигурации.)
Рис. 3.3. Типичный экземпляр задачи игры в восемь
Стоимость пути. Каждый этап имеет стоимость 1, поэтому стоимость пути равна количеству этапов в пути.
Какие абстракции здесь предусмотрены? Действия абстрагируются до уровня указания их начального и конечного состояний, при этом игнорируются промежуточные положения в процессе перемещения фишки. В ходе создания абстрактного описания исключены такие действия, как встряхивание доски, позволяющее передвинуть застрявшую фишку, или извлечение фишек с помощью ножа и повторное укладывание их в ящик. Исключено также описание правил игры, что позволяет обойтись без рассмотрения подробных сведений о физических манипуляциях.
Задача игры в восемь относится к семейству ^ задач со скользящими фишками, которые часто используются в искусственном интеллекте для проверки новых алгоритмов поиска. Известно, что этот общий класс задач является NP-полным, поэтому вряд ли можно надеяться найти методы, которые в наихудшем случае были бы намного лучше по сравнению с алгоритмами поиска, описанными в этой и следующей главах. Задача игры в восемь имеет 9 1/ 2 = 181 440 достижимых состояний и легко решается. Задача игры в пятнадцать (на доске 4x4) имеет около 1,3 триллиона состояний, и случайно выбранные ее экземпляры могут быть решены оптимальным образом за несколько миллисекунд с помощью наилучших алгоритмов поиска. Задача игры в двадцать четыре (на доске 5x5) имеет количество состояний около 1025, и случайно выбранные ее экземпляры все еще весьма нелегко решить оптимальным образом с применением современных компьютеров и алгоритмов.
Цель 1^ задачи с восемью ферзями состоит в размещении восьми ферзей на шахматной доске таким образом, чтобы ни один ферзь не нападал на любого другого. (Ферзь атакует любую фигуру, находящуюся на одной и той же с ним горизонтали, вертикали или диагонали.) На рис. 3.4 показана неудачная попытка поиска решения: ферзь, находящийся на самой правой вертикали, атакован ферзем, который находится вверху слева.
Несмотря на то что существуют эффективные специализированные алгоритмы решения этой задачи и всего семейства задач с п ферзями, она по-прежнему остается интересной экспериментальной задачей для алгоритмов поиска. Для нее применяются формулировки двух основных типов. В М инкрементной формулировке предусматривается использование операторов, которые дополняют описание состояния, начиная с пустого состояния; для задачи с восемью ферзями это означает, что каждое действие приводит к добавлению к этому состоянию еще одного ферзя.
Рис. 3.4. Почти готовое решение задачи с восемью ферзями (поиск окончательного решения оставляем читателю в качестве упражнения)
^ Формулировка полного состояния начинается с установки на доску всех восьми ферзей и предусматривает их дальнейшее перемещение. В том и другом случае стоимость пути не представляет интереса, поскольку важно лишь достигнуть конечного состояния. Первая инкрементная формулировка, которая может применяться при осуществлении попыток решения этой задачи, приведена ниже.
Состояния. Состоянием является любое расположение ферзей на доске в количестве от 0 до 8.
Начальное состояние. Отсутствие ферзей на доске.
Функция определения преемника. Установка ферзя на любой пустой клетке.
Проверка цели. На доске находится восемь ферзей, и ни один из них не атакован.
В этой формулировке требуется проверить 64-63-...-57~Зх1014 возможных последовательностей. В лучшей формулировке должно быть запрещено помещать ферзя на любую клетку, которая уже атакована, следующим образом.
Состояния. Состояниями являются расположения с п ферзями (0<п<8), по одному ферзю в каждой из находящихся слева п вертикалей, притом что ни один ферзь не нападает на другого.*
Функция определения преемника. Установка ферзя на любой клетке в находящейся слева пустой вертикали таким образом, чтобы он не был атакован каким-либо другим ферзем.
Эта формулировка позволяет сократить пространство состояний задачи с восемью ферзями с 3x1014 до 2 057, и поиск решений значительно упрощается. С другой стороны, для 100 ферзей первоначальная формулировка определяет приблизительно 10400 состояний, а улучшенная формулировка — около 1052 состояний (см. упр. 3.5). Это — колоссальное сокращение, но улучшенное пространство состояний все еще слишком велико для того, чтобы с ним могли справиться алгоритмы, рассматривае-
мые в данной главе. В главе 4 описана формулировка полного состояния, а в главе 5 приведен простой алгоритм, который позволяет легко решить задачу даже с миллионом ферзей.
Реальные задачи
Выше уже было показано, как можно определить ^ задачу поиска маршрута в терминах заданных местонахождений и переходов по связям между ними. Алгоритмы поиска маршрута используются в самых разных приложениях, таких как системы маршрутизации в компьютерных сетях, системы планирования военных операций и авиапутешествий. Обычно процесс определения таких задач является трудоемким. Рассмотрим упрощенный пример задачи планирования авиапутешествий, который задан следующим образом.
Состояния. Каждое состояние представлено местонахождением (например, аэропортом) и текущим временем.
Начальное состояние. Оно задается в условии задачи.
Функция определения преемника. Эта функция возвращает состояния, которые следуют из выполнения любого полета, указанного в расписании (возможно, с дополнительным указанием класса и места), отправления позже по сравнению с текущим временем с учетом продолжительности переезда внутри самого аэропорта, а также из одного аэропорта в другой.
Проверка цели. Находимся ли мы в месте назначения к некоторому заранее заданному времени?
Стоимость пути. Зависит от стоимости билета, времени ожидания, продолжительности полета, таможенных и иммиграционных процедур, комфортности места, времени суток, типа самолета, скидок для постоянных пассажиров и т.д.
В коммерческих консультационных системах планирования путешествий используется формулировка задачи такого типа со многими дополнительными усложнениями, которые требуются для учета чрезвычайно запутанных структур определения платы за проезд, применяемых в авиакомпаниях. Но любой опытный путешественник знает, что не все авиапутешествия проходят согласно плану. Действительно качественная система должна предусматривать планы действий в непредвиденных ситуациях (такие как страховочное резервирование билетов на альтернативные рейсы) в такой степени, которая соответствует стоимости и вероятности нарушения первоначального плана.
^ Задачи планирования обхода тесно связаны с задачами поиска маршрута, но с одним важным исключением. Рассмотрим, например, задачу: “Посетить каждый город, показанный на рис. 3.1, по меньшей мере один раз, начав и окончив путешествие в Бухаресте”. Как и при поиске маршрута, действия соответствуют поездкам из одного смежного города в другой. Но пространство состояний является совершенно другим. Каждое состояние должно включать не только текущее местонахождение, но также и множество городов, которые посетил агент. Поэтому первоначальным состоянием должно быть “В Бухаресте; посещен {Бухарест}”, а типичным промежуточным состоянием — “В Васлуй; посещены {Бухарест, Урзичени, Васлуй}”, тогда как проверка цели должна предусматривать определение того, находится ли агент в Бухаресте и посетил ли он все 20 городов.
Одной из задач планирования обхода является ^ задача коммивояжера (Traveling Salesperson Problem — TSP), по условию которой каждый город должен быть посещен только один раз. Назначение ее состоит в том, чтобы найти самый короткий путь обхода. Как известно, эта задача является NP-трудной, но на улучшение возможностей алгоритмов TSP были затрачены колоссальные усилия. Кроме планирования поездок коммивояжеров, эти алгоритмы использовались для решения таких задач, как планирование перемещений автоматических сверл при отработке печатных плат и организация работы средств снабжения в производственных цехах.
Задача ^ компоновки СБИС требует позиционирования миллионов компонентов и соединений на микросхеме для минимизации площади, схемных задержек, паразитных емкостей и максимизации выхода готовой продукции. Задача компоновки следует за этапом логического проектирования и обычно подразделяется на две части: компоновка ячеек и маршрутизация каналов. При компоновке ячеек простейшие компоненты схемы группируются по ячейкам, каждая из которых выполняет некоторую известную функцию. Каждая ячейка имеет постоянную форму (размеры и площадь) и требует создания определенного количества соединений с каждой из остальных ячеек. Требуется разместить ячейки на микросхеме таким образом, чтобы они не перекрывались и оставалось место для прокладки соединительных проводов между ячейками. При маршрутизации каналов происходит поиск конкретного маршрута для каждого проводника через зазоры между ячейками. Эти задачи поиска являются чрезвычайно сложными, но затраты на их решение, безусловно, оправдываются. В главе 4 приведены некоторые алгоритмы, позволяющие решать эти задачи.
М Задача управления навигацией робота представляет собой обобщение описанной выше задачи поиска маршрута. В этой задаче вместо дискретного множества маршрутов рассматривается ситуация, в которой робот может перемещаться в непрерывном пространстве с бесконечным (в принципе) множеством возможных действий и состояний. Если требуется обеспечить циклическое перемещение робота по плоской поверхности, то пространство фактически может рассматриваться как двухмерное, а если робот оборудован верхними и нижними конечностями или колесами, которыми также необходимо управлять, то пространство поиска становится многомерным. Даже для того чтобы сделать это пространство поиска конечным, требуются весьма развитые методы. Некоторые из этих методов рассматриваются в главе 25. Изначальная сложность задачи усугубляется тем, что при управлении реальными роботами необходимо учитывать ошибки в показаниях датчиков, а также отклонения в работе двигательных средств управления.
Решение задачи ^ автоматического упорядочения сборки сложных объектов роботом было впервые продемонстрировано на примере робота Freddy [1044]. С тех пор прогресс в этой области происходил медленно, но уверенно, и в настоящее время достигнуто такое положение, что стала экономически выгодной сборка таких неординарных объектов, как электродвигатели. В задачах сборки цель состоит в определении последовательности, в которой должны быть собраны детали некоторого объекта. Если выбрана неправильная последовательность, то в дальнейшем нельзя будет найти способ добавления некоторой детали к этой последовательности без отменены определенной части уже выполненной работы. Проверка возможности выполнения некоторого этапа в последовательности представляет собой сложную геометрическую задачу поиска, тесно связанную с задачей навигации робота. Поэтому одним из дорогостоящих этапов решения задачи упорядочения сборки является
формирование допустимых преемников. Любой практически применимый алгоритм должен предотвращать необходимость поиска во всем пространстве состояний, за исключением крошечной его части. Еще одной важной задачей сборки является М проектирование молекулы белка, цель которой состоит в определении последовательности аминокислот, способных сложиться в трехмерный белок с нужными свойствами, предназначенный для лечения некоторых заболеваний.
В последние годы выросла потребность в создании программных роботов, которые осуществляют М поиск в Internet, находя ответы на вопросы, отыскивая требуемую информацию или совершая торговые сделки. Это — хорошее приложение для методов поиска, поскольку Internet легко представить концептуально в виде графа, состоящего из узлов (страниц), соединенных с помощью ссылок. Полное описание задачи поиска в Internet отложим до главы 10.
Поиск РЕШЕНИЙ
Сформулировав определенные задачи, необходимо найти их решение. Такая цель достигается посредством поиска в пространстве состояний. В настоящей главе рассматриваются методы поиска, в которых используются явно заданное М дерево поиска, создаваемое с помощью начального состояния и функции определения преемника, которые совместно задают пространство состояний. Вообще говоря, вместо дерева поиска может применяться граф поиска, если одно и то же состояние может быть достигнуто с помощью многих путей. Это важное дополнение рассматривается в разделе 3.5.
На рис. 3.5 показаны некоторые расширения дерева поиска, предназначенного для определения маршрута от Арада до Бухареста. Корнем этого дерева поиска является М поисковый узел, соответствующий начальному состоянию, In (Arad). Первый этап состоит в проверке того, является ли это состояние целевым. Безусловно, что оно не является таковым, но необходимо предусмотреть соответствующую проверку, чтобы можно было решать задачи, содержащие в себе готовое решение, такие как “начав путешествие с города Арад, прибыть в город Арад”. А в данном случае текущее состояние не является целевым, поэтому необходимо рассмотреть некоторые другие состояния. Такой этап осуществляется путем ^ развертывания текущего состояния, т.е применения функции определения преемника к текущему состоянию для ^ формирования в результате этого нового множества состояний. В данном случае будут получены три новых состояния: In (Sibiu), In (Timisoara) и In (Zerind). Теперь необходимо определить, какой из этих трех вариантов следует рассматривать дальше.
В этом и состоит суть поиска — пока что проверить один вариант и отложить другие в сторону, на тот случай, что первый вариант не приведет к решению. Предположим, что вначале выбран город Сибиу. Проведем проверку для определения того, соответствует ли он целевому состоянию (не соответствует), а затем развернем узел Sibiu для получения состояний In (Arad), In(Fagaras), In(Oradea) и In (RimnicuVilcea). После этого можно выбрать любое из этих четырех состояний либо вернуться и выбрать узел Timisoara или Zerind. Необходимо снова и снова выбирать, проверять и развертывать узлы до тех пор, пока не будет найдено решение или не останется больше состояний, которые можно было бы развернуть. Порядок, в котором происходит развертывание состояний, определяется ^ стратегией поиска. Общий алгоритм поиска в дереве неформально представлен в листинге 3.2.
а) Начальное состояниеа) Начальное состояниеSibiuSibiuAiad С I agatas^ C_Oiadca/?Aiad С I agatas^ C_Oiadca/?Рис. 3.5. Частично развернутые деревья поиска, предназначенные для определения маршрута от Арада до Бухареста. Развернутые узлы затенены; узлы, которые были сформированы, но еще не развернуты, выделены полужирным контуром; узлы, которые еще не были сформированы, обозначены тонкими штриховыми линиямиРис. 3.5. Частично развернутые деревья поиска, предназначенные для определения маршрута от Арада до Бухареста. Развернутые узлы затенены; узлы, которые были сформированы, но еще не развернуты, выделены полужирным контуром; узлы, которые еще не были сформированы, обозначены тонкими штриховыми линиями
а) Начальное состояние
а) Начальное состояние
Sibiu
Sibiu
Aiad С I agatas^ C_Oiadca/?
Aiad С I agatas^ C_Oiadca/?
Рис. 3.5. Частично развернутые деревья поиска, предназначенные для определения маршрута от Арада до Бухареста. Развернутые узлы затенены; узлы, которые были сформированы, но еще не развернуты, выделены полужирным контуром; узлы, которые еще не были сформированы, обозначены тонкими штриховыми линиями
Рис. 3.5. Частично развернутые деревья поиска, предназначенные для определения маршрута от Арада до Бухареста. Развернутые узлы затенены; узлы, которые были сформированы, но еще не развернуты, выделены полужирным контуром; узлы, которые еще не были сформированы, обозначены тонкими штриховыми линиями
Листинг 3.2. Неформальное описание общего алгоритма поиска в дереве
function Tree-Search(problem, strategy) returns решение solution или индикатор неудачи failure
инициализировать дерево поиска с использованием начального состояния задачи problem
loop do
if нет кандидатов на развертывание then return индикатор неудачи failure*
выбрать листовой узел для развертывания в соответствии со стратегией strategy
if этот узел содержит целевое состояние
then return соответствующее решение solution else развернуть этот узел и добавить полученные узлы к дереву поиска
Необходимо учитывать различие между пространством состояний и деревом поиска. В пространстве состояний для задачи поиска маршрута имеется только 20 состояний, по одному для каждого города. Но количество путей в этом пространстве состояний является бесконечным, поэтому дерево поиска имеет бесконечное количество узлов. Напри-
мер, первыми тремя путями любой бесконечной последовательности путей являются маршруты Арад-Сибиу, Арад-Сибиу-Арад, Арад-Сибиу-Арад-Сибиу. (Безусловно, качественный алгоритм поиска должен исключать возможность формирования таких повторяющихся путей; в разделе 3.5 показано, как этого добиться.)
Существует множество способов представления узлов, но здесь предполагается, что узел представляет собой структуру данных с пятью компонентами, которые описаны ниже.
State. Состояние в пространстве состояний, которому соответствует данный узел.'
Parent-Node. Узел в дереве поиска, применявшийся для формирования данного узла (родительский узел).
Action. Действие, которое было применено к родительскому узлу для формирования данного узла.
Path-Cost. Стоимость пути (от начального состояния до данного узла), показанного с помощью указателей родительских узлов, которую принято обозначать как д(п).
Depth. Количество этапов пути от начального состояния, называемое также глубиной.
Необходимо учитывать различие между узлами и состояниями. Узел — это учетная структура данных, применяемая для представления дерева поиска, а состояние соответствует конфигурации мира. Поэтому узлы лежат на конкретных путях, которые определены с помощью указателей Parent-Node, а состояния — нет. Кроме того, два разных узла могут включать одно и то же состояние мира, если это состояние формируется с помощью двух различных путей поиска. Структура данных узла показана на рис. 3.6.
Рис. 3.6. Узлы представляют собой структуры данных, с помощью которых формируется дерево поиска. Каждый узел имеет родительский узел, содержит данные о состоянии и имеет различные вспомогательные поля. Стрелки направлены от дочернего узла к родительскому
Необходимо также представить коллекцию узлов, которые были сформированы, но еще не развернуты; такая кол секция называется ^ периферией. Каждый элемент
периферии представляет собой М листовой узел, т.е. узел, не имеющий преемников в дереве. На рис. 3.5 периферия каждого дерева состоит из узлов с полужирными контурами. Простейшим представлением периферии может служить множество узлов. Тогда стратегия поиска должна быть выражена в виде функции, которая выбирает определенным образом из этого множества следующий узел, подлежащий развертыванию. Хотя данный подход концептуально является несложным, он может оказаться дорогостоящим с вычислительной точки зрения, поскольку функцию, предусмотренную в этой стратегии, возможно, придется применить к каждому элементу в указанном множестве для выбора наилучшего из них. Поэтому предполагается, что коллекция узлов реализована в виде ^ очереди. Операции, применимые к любой очереди, состоят в следующем.
Make-Queue (element,...). Создает очередь с заданным элементом (элементами).
Empty? (queue). Возвращает истинное значение, только если в очереди больше нет элементов.
First (queue). Возвращает первый элемент в очереди.
Remove-First (queue). Возвращает элемент First (queue) и удаляет его из очереди.
Insert (element, queue). Вставляет элемент в очередь и возвращает результирующую очередь. (Ниже будет показано, что в очередях различных типов вставка элементов осуществляется в различном порядке.)
Insert-All (elements, queue). Вставляет множество элементов в очередь и возвращает результирующую очередь.
С помощью этих определений мы можем записать более формальную версию общего алгоритма поиска в дереве, показанную в листинге 3.3.
Листинг 3.3. Общий алгоритм поиска в дереве. Следует учитывать, что фактический параметр fringe (периферия) должен представлять собой пустую очередь, а порядок поиска зависит от типа очереди. Функция Solution возвращает последовательность действий, полученную путем прохождения по указателям на родительские узлы в обратном направлении, к корню
function Tree-Search(problem, fringe) returns решение solution или индикатор неудачи failure
fringe <— Insert(Make-Node(Initial-State[problem]), fringe) loop do
if Empty?(fringe) then return индикатор неудачи failure node <- Remove-First (fringe) if Goal-Test[problem] применительно к State[node] завершается успешно
then return Solution(node)
fringe <— Insert-All(Expand(node, problem), fringe)
function Expand(node, problem) returns множество узлов successors
successors <— пустое множество
for each <action, result> in Successor-Fn[problem](State[node]) do s <— новый узел
State[s] <— result Parent-Node[s] <— node Action[s] <- action Path-Cost[s] <— Path-Cost[node] + Step-Cost(node, action, s) Depth[s] <— Depth[node] + 1 добавить узел s к множеству successors return successors
Измерение производительности решения задачи
Результатом применения любого алгоритма решения задачи является либо неудачное завершение, либо получение решения. (Некоторые алгоритмы могут входить в бесконечный цикл и не возвращать никакого результата.) Мы будем оценивать производительность алгоритма с помощью четырех показателей, описанных ниже.
^ Полнота. Гарантирует ли алгоритм обнаружение решения, если оно имеется?
^ Оптимальность. Обеспечивает ли данная стратегия нахождение оптимального решения, в соответствии с определением, приведенным на с. 115?
^ Временная сложность. За какое время алгоритм находит решение?
^ Пространственная сложность. Какой объем памяти необходим для осуществления поиска?
Временная и пространственная сложность всегда анализируются с учетом определенного критерия измерения сложности задачи. В теоретической компьютерной науке типичным критерием является размер графа пространства состояний, поскольку этот граф рассматривается как явно заданная структура данных, которая является входной для программы поиска. (Примером этого может служить карта Румынии.) В искусственном интеллекте, где граф представлен неявно с помощью начального состояния и функции определения преемника и часто является бесконечным, сложность выражается в терминах трех величин: Ь — коэффициент ветвления или максимальное количество преемников любого узла, d— глубина самого поверхностного целевого узла и т — максимальная длина любого пути в пространстве состояний.
Временная сложность часто измеряется в терминах количества узлов, вырабатываемых в процессе поиска, а пространственная сложность— в терминах максимального количества узлов, хранимых в памяти.
Чтобы оценить эффективность любого алгоритма поиска, можно рассматривать только М стоимость поиска, которая обычно зависит от временной сложности, но может также включать выражение для оценки использования памяти, или применять М суммарную стоимость, в которой объединяется стоимость поиска и стоимость пути найденного решения. Для задачи поиска маршрута от Арада до Бухареста стоимость поиска представляет собой количество времени, затраченного на этот поиск, а стоимость решения выражает общую длину пути в километрах. Поэтому для вы-
числения суммарной стоимости нам придется складывать километры и миллисекунды. Между этими двумя единицами измерения не определен “официальный курс обмена”, но в данном случае было бы резонно преобразовывать километры в миллисекунды с использованием оценки средней скорости автомобиля (поскольку для данного агента важным является именно время). Это позволяет рассматриваемому агенту найти оптимальную точку компромисса, в которой дальнейшие вычисления для поиска более короткого пути становятся непродуктивными. Описание более общей задачи поиска компромисса между различными ценностями будет продолжено в главе 16.
Стратегии неинформированного поиска
В данном разделе рассматриваются пять стратегий поиска, которые известны под названием ^ неинформированного поиска (называемого также слепым поиском). Этот термин означает, что в данных стратегиях не используется дополнительная информация о состояниях, кроме той, которая представлена в определении задачи. Все, на что они способны, — вырабатывать преемников и отличать целевое состояние от нецелевого. Стратегии, позволяющие определить, является ли одно нецелевое состояние “более многообещающим” по сравнению с другим, называются стратегиями информированного поиска, или М эвристического поиска; они рассматриваются в главе 4. Все стратегии поиска различаются тем, в каком порядке происходит развертывание узлов.
Поиск в ширину
^ Поиск в ширину — это простая стратегия, в которой вначале развертывается корневой узел, затем — все преемники корневого узла, после этого развертываются преемники этих преемников и т.д. Вообще говоря, при поиске в ширину, прежде чем происходит развертывание каких-либо узлов на следующем уровне, развертываются все узлы на данной конкретной глубине в дереве поиска.
Поиск в ширину может быть реализован путем вызова процедуры Tree-Search с пустой периферией, которая представляет собой последовательную очередь (First - In-First-Out — FIFO), гарантирующую, что прежде всего будут развернуты узлы, которые должны посещаться первыми. Иными словами, к организации поиска в глубину приводит вызов процедуры Tree-Search (probiет, FIFO-Queue () ). В очереди FIFO предусмотрена вставка всех вновь сформированных преемников в конец очереди, а это означает, что поверхностные узлы развертываются прежде, чем более глубокие. На рис. 3.7 показан ход поиска в простом бинарном дереве.
Рис. 3.7. Поиск в ширину в простом бинарном дереве. На каждом этапе узел, подлежащий развертыванию в следующую очередь, обозначается маркером
Проведем оценку поиска в ширину с использованием четырех критериев, описанных в предыдущем разделе. Вполне очевидно, что этот поиск является полным — если самый поверхностный целевой узел находится на некоторой конечной глубине d, то поиск в ширину в конечном итоге позволяет его обнаружить после развертывания всех более поверхностных узлов (при условии, что коэффициент ветвления b является конечным). Самый поверхностный целевой узел не обязательно является оптимальным; формально поиск в ширину будет оптимальным, если стоимость пути выражается в виде неубывающей функции глубины узла. (Например, такое предположение оправдывается, если все действия имеют одинаковую стоимость.)
До сих пор приведенное выше описание поиска в ширину не предвещало никаких неприятностей. Но такая стратегия не всегда является оптимальной; чтобы понять, с чем это связано, необходимо определить, какое количество времени и какой объем памяти требуются для выполнения поиска. Для этого рассмотрим гипотетическое пространство состояний, в котором каждое состояние имеет b преемников. Корень этого дерева поиска вырабатывает b узлов на первом уровне, каждый из которых вырабатывает еще b узлов, что соответствует общему количеству узлов на втором уровне, равному Ь2. Каждый из них также вырабатывает b узлов, что приводит к получению Ь3 узлов на третьем уровне, и т.д. А теперь предположим, что решение находится на глубине d. В наихудшем случае на уровне d необходимо развернуть все узлы, кроме последнего (поскольку сам целевой узел не развертывается), что приводит к выработке Ь^г-Ь узлов на уровне d+1. Это означает, что общее количество выработанных узлов равно:
b + b2 + Ь3 + ... + bd + (bd+1-b) = O(bd+1)
Каждый выработанный узел должен оставаться в памяти, поскольку он либо относится к периферии, либо является предком периферийного узла. Итак, пространственная сложность становится такой же, как и временная (с учетом добавления одного узла, соответствующего корню).
Поэтому исследователи, выполняющие анализ сложности алгоритма, огорчаются (или восхищаются, если им нравится преодолевать трудности), столкнувшись с экспоненциальными оценками сложности, такими как О (Jb^1). В табл. 3.1 показано, с чем это связано. В ней приведены требования ко времени и к объему памяти при поиске в ширину с коэффициентом ветвления Ь=10 для различных значений глубины решения d. При составлении этой таблицы предполагалось, что в секунду может быть сформировано 10 000 узлов, а для каждого узла требуется 1000 байтов памяти. Этим предположением приблизительно соответствуют многие задачи поиска при их решении на любом современном персональном компьютере (с учетом повышающего или понижающего коэффициента 100).
На основании табл. 3.1 можно сделать два важных вывода. Прежде всего, <Г* при поиске в ширину наиболее сложной проблемой по сравнению со значительным временем выполнения является обеспечение потребностей в памяти. Затраты времени, равные 31 часу, не кажутся слишком значительными при ожидании решения важной задачи с глубиной 8, но лишь немногие компьютеры имеют терабайт оперативной памяти, который для этого требуется. К счастью, существуют другие стратегии поиска, которые требуют меньше памяти.
Второй вывод состоит в том, что требования ко времени все еще остаются важным фактором. Если рассматриваемая задача имеет решение на глубине 12, то (с учетом при-
нятых предположений) потребуется 35 лет на поиск в ширину (а в действительности на любой неинформированный поиск), чтобы найти ее решение. Вообще говоря, ^ задачи поиска с экспоненциальной сложностью невозможно решить с помощью неинформированных методов во всех экземплярах этих задач, кроме самых небольших.
Таблица 3.1. Потребности во времени и объеме памяти для поиска в ширину. Приведенные здесь данные получены при следующих предположениях: коэффициент ветвления — Ь=10; скорость формирования — 10 000 узлов/секунда; объем памяти — 1000 байтов/узел
Глубина
Количество узлов
Время
Память
2
1100
0,11 секунды
1 мегабайт
4
111 100
11 секунд
106 мегабайтов
6
ю7
19 минут
10 гигабайтов
8
ю9
31 час
1 терабайт
10
ю11
129 суток
101 терабайт
12
ю13
35 лет
10 петабайтов
14
ю15
3523 года
1 эксабайт
Поиск по критерию стоимости
Поиск в ширину является оптимальным, если стоимости всех этапов равны, поскольку в нем всегда развертывается самый поверхностный неразвернутый узел. С помощью простого дополнения можно создать алгоритм, который является оптимальным при любой функции определения стоимости этапа. Вместо развертывания самого поверхностного узла ^ поиск по критерию стоимости обеспечивает развертывание узла п с наименьшей стоимостью пути. Обратите внимание на то, что, если стоимости всех этапов равны, такой поиск идентичен поиску в ширину.
При поиске по критерию стоимости учитывается не количество этапов, имеющихся в пути, а только их суммарная стоимость. Поэтому процедура этого поиска может войти в бесконечный цикл, если окажется, что в ней развернут узел, имеющий действие с нулевой стоимостью, которое снова указывает на то же состояние (например, действие NoOp). Можно гарантировать полноту поиска при условии, что стоимость каждого этапа больше или равна некоторой небольшой положительной константе £. Это условие является также достаточным для обеспечения оптимальности. Оно означает, что стоимость пути всегда возрастает по мере прохождения по этому пути. Из данного свойства легко определить, что такой алгоритм развертывает узлы в порядке возрастания стоимости пути. Поэтому первый целевой узел, выбранный для развертывания, представляет собой оптимальное решение. (Напомним, что в процедуре Tree-Search проверка цели применятся только к тем узлам, которые выбраны для развертывания.) Рекомендуем читателю попытаться воспользоваться этим алгоритмом для поиска кратчайшего пути до Бухареста.
Поиск по критерию стоимости направляется с учетом стоимостей путей, а не значений глубины в дереве поиска, поэтому его сложность не может быть легко охарактеризована в терминах b и d. Вместо этого предположим, что С* — стоимость оптимального решения, и допустим, что стоимость каждого действия составляет, по меньшей мере, £. Это означает, что временная и пространственная сложность этого алгоритма в наихудшем случае составляет O(b1+Lc*/eJ), т.е. может быть намного больше, чем bd. Это связано с тем, что процедуры поиска по критерию стоимости
могут и часто выполняют проверку больших деревьев, состоящих из мелких этапов, прежде чем перейти к исследованию путей, в которые входят крупные, но, возможно, более полезные этапы. Безусловно, если все стоимости этапов равны, то выражение равняется Ьа.
Поиск в глубину
При ^ поиске в глубину всегда развертывается самый глубокий узел в текущей периферии дерева поиска. Ход такого поиска показан на рис. 3.8. Поиск непосредственно переходит на самый глубокий уровень дерева поиска, на котором узлы не имеют преемников. По мере того как эти узлы развертываются, они удаляются из периферии, поэтому в дальнейшем поиск “возобновляется” со следующего самого поверхностного узла, который все еще имеет неисследованных преемников.
Рис. 3.8. Поиск в глубину в бинарном дереве. Узлы, которые были развернуты и не имеют потомков в этой периферии, могут быть удалены из памяти; эти узлы обозначены черным цветом. Предполагается, что узлы на глубине 3 не имеют преемников и единственным целевым узлом является М
Эта стратегия может быть реализована в процедуре Tree-Search с помощью очереди LIFO (Last-In-First-Out), называемой также стеком. В качестве альтернативы способу реализации на основе процедуры Tree-Search поиск в глубину часто реализуют с помощью рекурсивной функции, вызывающей саму себя в каждом из дочерних узлов по очереди. (Рекурсивный алгоритм поиска в глубину, в котором предусмотрен предел глубины, приведен в листинге 3.4.)
Поиск в глубину имеет очень скромные потребности в памяти. Он требует хранения только единственного пути от корня до листового узла, наряду с оставшимися неразвернутыми сестринскими узлами для каждого узла пути. После того как был развернут некоторый узел, он может быть удален из памяти, коль скоро будут полностью исследованы все его потомки (см. рис. 3.8). Для пространства состояний с коэффициентом ветвления b и максимальной глубиной т поиск в глубину требует хранения только Ьт+1 узлов. Используя такие же предположения, как и в табл. 3.1, и допуская, что узлы, находящиеся на той же глубине, что и целевой узел, не имеют преемников, авторы определили, что на глубине d=12 для поиска в глубину требуется 118 килобайтов вместо 10 петабайтов, т.е. потребность в пространстве уменьшается примерно в 10 миллиардов раз.
В одном из вариантов поиска в глубину, называемом М поиском с возвратами, используется еще меньше памяти. При поиске с возвратами каждый раз формируется только один преемник, а не все преемники; в каждом частично развернутом узле запоминается информация о том, какой преемник должен быть сформирован следующим. Таким образом, требуется только О(ш) памяти, а не Okbm^. При поиске с возвратами применяется еще один прием, позволяющий экономить память (и время); идея его состоит в том, чтобы при формировании преемника должно непосредственно модифицироваться описание текущего состояния, а не осуществляться его предварительное копирование. При этом потребность в памяти сокращается до объема, необходимого для хранения только одного описания состояния и О(м) действий. Но для успешного применения данного приема нужно иметь возможность отменять каждую модификацию при возврате, выполняемом для формирования следующего преемника. При решении задач с объемными описаниями состояния, таких как роботизированная сборка, применение указанных методов модификации состояний становится важнейшим фактором успеха.
Недостатком поиска в глубину является то, что в нем может быть сделан неправильный выбор и переход в тупиковую ситуацию, связанную с прохождением вниз по очень длинному (или даже бесконечному) пути, притом что другой вариант мог бы привести к решению, находящемуся недалеко от корня дерева поиска. Например, на рис. 3.8 поиск в глубину потребовал бы исследования всего левого поддерева, даже если бы целевым узлом был узел С, находящийся в правом поддереве. А если бы целевым узлом был также узел J, менее приемлемый по сравнению с узлом С, то поиск в глубину возвратил бы в качестве решения именно его; это означает, что поиск в глубину не является оптимальным. Кроме того, если бы левое поддерево имело неограниченную глубину, но не содержало бы решений, то поиск в глубину так никогда бы и не закончился; это означает, что данный алгоритм — не полный. В наихудшем случае поиск в глубину формирует все 0(1^) узлов в дереве поиска, где т — максимальная глубина любого узла. Следует отметить, что т может оказаться гораздо больше по сравнению с d (глубиной самого поверхностного решения) и является бесконечным, если дерево имеет неограниченную глубину.
Поиск с ограничением глубины
Проблему неограниченных деревьев можно решить, предусматривая применение во время поиска в глубину заранее определенного предела глубины £. Это означает, что узлы на глубине £ рассматриваются таким образом, как если бы они не имели
преемников. Такой подход называется М поиском с ограничением глубины. Применение предела глубины позволяет решить проблему бесконечного пути. К сожалению, в этом подходе также вводится дополнительный источник неполноты, если будет выбрано значение £<d, иными словами, если самая поверхностная цель выходит за пределы глубины. (Такая ситуация вполне вероятна, если значение d неизвестно.) Кроме того, поиск с ограничением глубины будет неоптимальным при выборе значения £>d. Его временная сложность равна О(Ь'), а пространственная сложность — О(Ь£). Поиск в глубину может рассматриваться как частный случай поиска с ограничением ГЛубиНЫ, При КОТОРОМ £=оо.
Иногда выбор пределов глубины может быть основан на лучшем понимании задачи. Например, допустим, что на рассматриваемой карте Румынии имеется 20 городов. Поэтому известно, что если решение существует, то должно иметь длину не больше 19; это означает, что одним из возможных вариантов является 1=19. Но в действительности при внимательном изучении этой карты можно обнаружить, что любой город может быть достигнут из любого другого города не больше чем за 9 этапов. Это число, известное как ^ диаметр пространства состояний, предоставляет нам лучший предел глубины, который ведет к более эффективному поиску с ограничением глубины. Но в большинстве задач приемлемый предел глубины остается неизвестным до тех пор, пока не будет решена сама задача.
Поиск с ограничением глубины может быть реализован как простая модификация общего алгоритма поиска в дереве или рекурсивного алгоритма поиска в глубину. Псевдокод реализации рекурсивного поиска с ограничением глубины приведен в листинге 3.4. Обратите внимание на то, что поиск с ограничением глубины может приводить к неудачным завершениям двух типов: стандартное значение failure указывает на отсутствие решения, а значение cutoff свидетельствует о том, что на заданном пределе глубины решения нет.
Листинг 3.4. Рекурсивная реализация поиска с ограничением глубины
function Depth-Limited-Search(problem, limit) returns решение result или индикатор неудачи fail иге/cutoff
return Recursive-DLS(Make-Node(Initial-State[problem]) , problem,1imit)
function Recursive-DLS(node, problem, limit) returns решение result или индикатор неудачи fail иге/cutoff cutoff—occurred? <— ложное значение
if Goal-Test[problem](State[node]) then return Solution(node) else if Depth[node] = limit then return индикатор неудачи cutoff else for each преемник successor in Expand(node, problem) do result <— Recursive-DLS(successor, problem, limit) if result = cutoff then cutoff„occurred? <— истинное значение else if result Ф failure then return решение result if cutoff„occurred?
then return индикатор неудачи cutoff else return индикатор неудачи failure
Поиск в глубину с итеративным углублением
^ Поиск с итеративным углублением (или, точнее, поиск в глубину с итеративным углублением) представляет собой общую стратегию, часто применяемую в сочетании с поиском в глубину, которая позволяет найти наилучший предел глубины. Это достигается путем постепенного увеличения предела (который вначале становится равным 0, затем 1, затем 2 и т.д.) до тех пор, пока не будет найдена цель. Такое событие происходит после того, как предел глубины достигает значения d, глубины самого поверхностного целевого узла. Данный алгоритм приведен в листинге 3.5. В поиске с итеративным углублением сочетаются преимущества поиска в глубину и поиска в ширину. Как и поиск в глубину, он характеризуется очень скромными требованиями к памяти, а именно, значением O(bd). Как и поиск в ширину, он является полным, если коэффициент ветвления конечен, и оптимальным, если стоимость пути представляет собой неубывающую функцию глубины узла. На рис. 3.9 показаны четыре итерации применения процедуры Iterative-Deepening-Search к бинарному дереву поиска, где решение найдено в четвертой итерации.
Листинг 3.5. Алгоритм поиска с итеративным углублением, в котором повторно применяется поиск с ограничением глубины при последовательном увеличении пределов. Он завершает свою работу после того, как обнаруживается решение, или процедура поиска с ограничением глубины возвращает значение failure, а это означает, что решение не существует
function Iterative-Deepening-Search(problem) returns решение result
или индикатор неудачи failureinputs: problem, задача
for depth <— 0 to oo do
result <— Depth-Limited-Search(problem, depth) if result Ф cutoff then return решение result
Поиск с итеративным углублением может на первый взгляд показаться расточительным, поскольку одни и те же состояния формируются несколько раз. Но, как оказалось, такие повторные операции не являются слишком дорогостоящими. Причина этого состоит в том, что в дереве поиска с одним и тем же (или почти одним и тем же) коэффициентом ветвления на каждом уровне большинство узлов находится на нижнем уровне, поэтому не имеет большого значения то, что узлы на верхних уровнях формируются многократно. В поиске с итеративным углублением узлы на нижнем уровне (с глубиной d) формируются один раз, те узлы, которые находятся на уровне, предшествующем нижнему, формируются дважды, и т.д., вплоть до дочерних узлов корневого узла, которые формируются d раз. Поэтому общее количество формируемых узлов выражается следующей формулой:
N(IDS) = (d)b + (d-l)b2 + ... + (l)bd
которая соответствует временной сложности порядка О(Ьа). Это количество можно сравнить с количеством узлов, формируемых при поиске в ширину:
N(BFS) = b + Ь2 + ... + bd + (bd+1-b)
Предел = О Л® .
Предел = 1Л®'Предел = 1Л®'Рис. 3.9. Четыре итерации поиска с итеративным углублением в бинарном деревеРис. 3.9. Четыре итерации поиска с итеративным углублением в бинарном дереве
Предел = 1Л®'
Предел = 1Л®'
Рис. 3.9. Четыре итерации поиска с итеративным углублением в бинарном дереве
Рис. 3.9. Четыре итерации поиска с итеративным углублением в бинарном дереве
Следует отметить, что при поиске в ширину некоторые узлы формируются на глубине d+1, а при итеративном углублении этого не происходит. Результатом является то, что поиск с итеративным углублением фактически осуществляется быстрее, чем поиск в ширину, несмотря на повторное формирование состояний. Например, если Ь=10 и d=5, то соответствующие оценки количества узлов принимают следующие значения:
^(IDS) = 50 + 400 + 3000 + 20 000 + 100 000 = 123 450
N(BFS) = 10 + 100 + 1000 + 10 000 + 100 000 + 999 990 = 1 111 100
^ Вообще говоря, итеративное углубление — это предпочтительный метод неинформированного поиска при тех условиях, когда имеется большое пространство поиска, а глубина решения неизвестна.
Поиск с итеративным углублением аналогичен поиску в ширину в том отношении, что в нем при каждой итерации перед переходом на следующий уровень исследуется полный уровень новых узлов. На первый взгляд может показаться целесообразным разработка итеративного аналога поиска по критерию стоимости, который
унаследовал бы от последнего алгоритма гарантии оптимальности, позволяя вместе с тем исключить его высокие требования к памяти. Идея состоит в том, чтобы вместо увеличивающихся пределов глубины использовались увеличивающиеся пределы стоимости пути. Результирующий алгоритм, получивший название ^ поиска с итеративным удлинением, рассматривается в упр. 3.11. Но, к сожалению, было установлено, что поиск с итеративным удлинением характеризуется более существенными издержками, чем поиск по критерию стоимости.
Двунаправленный поиск
В основе двунаправленного поиска лежит такая идея, что можно одновременно проводить два поиска (в прямом направлении, от начального состояния, и в обратном направлении, от цели), останавливаясь после того, как два процесса поиска встретятся на середине (рис. 3.10). Дело в том, что значение bd/2+bd/2 гораздо меньше, чем bd, или, как показано на этом рисунке, площадь двух небольших кругов меньше площади одного большого круга с центром в начале поиска, который охватывает цель поиска.
Рис. 3.10. Схематическое представление двунаправленного поиска в том состоянии, когда он должен вскоре завершиться успешно после того, когда одна из ветвей, исходящих из начального узла, встретится с ветвью из целевого узла
Двунаправленный поиск реализуется с помощью метода, в котором предусматривается проверка в одном или в обоих процессах поиска каждого узла перед его развертыванием для определения того, не находится ли он на периферии другого дерева поиска; в случае положительного результата проверки решение найдено. Например, если задача имеет решение на глубине d=6 и в каждом направлении осуществляется поиск в ширину с последовательным развертыванием по одному узлу, то в самом худшем случае эти два процесса поиска встретятся, если в каждом из них будут развернуты все узлы на глубине 3, кроме одного. Это означает, что при Ь=10 будет сформировано общее количество узлов, равное 22 200, а не 11 111 100, как при стандартном поиске в ширину. Проверка принадлежности узла к другому дереву поиска может быть выполнена за постоянное время с помощью хэш-таблицы, поэтому временная сложность двунаправленного поиска определяется как O(bd/2). В памяти необходимо хранить по крайней мере одно из деревьев поиска, для того, чтобы можно было выполнить проверку принадлежности к другому дереву, поэтому пространственная сложность также определяется как O(bd/2). Такие требования к пространству являются одним из наиболее существенных недостатков двунаправленного поиска. Этот алгоритм является полным и оптимальным (при единообразных стоимостях эта-
пов), если оба процесса поиска осуществляются в ширину; другие сочетания методов могут характеризоваться отсутствием полноты, оптимальности или того и другого.
Благодаря такому уменьшению временной сложности двунаправленный поиск становится привлекательным, но как организовать поиск в обратном направлении? Это не так легко, как кажется на первый взгляд. Допустим, что ^ предшественниками узла п, определяемыми с помощью функции Pred(n), являются все те узлы, для которых п служит преемником. Для двунаправленного поиска требуется, чтобы функция определения предшественника Pred(n) была эффективно вычислимой. Простейшим является такой случай, когда все действия в пространстве состояний обратимы таким образом, что Pred(n) =Succ-1 (п), а другие случаи могут потребовать проявить значительную изобретательность.
Рассмотрим вопрос о том, что подразумевается под понятием “цель” при поиске “в обратном направлении от цели”. В задачах игры в восемь и поиска маршрута в Румынии имеется только одно целевое состояние, поэтому обратный поиск весьма напоминает прямой поиск. Если же имеется несколько явно перечисленных целевых состояний (например, два показанных на рис. 3.2 целевых состояния, в которых квадраты пола не содержат мусор), то может быть создано новое фиктивное целевое состояние, непосредственными предшественниками которого являются все фактические целевые состояния. Иным образом, формирования некоторых избыточных узлов можно избежать, рассматривая множество целевых состояний как единственное целевое состояние, каждым из предшественников которого также является множество состояний, а именно, множество состояний, имеющее соответствующего преемника в множестве целевых состояний (см. также раздел 3.6).
Наиболее сложным случаем для двунаправленного поиска является такая задача, в которой для проверки цели дано только неявное описание некоторого (возможно, большого) множества целевых состояний, например всех состояний, соответствующих проверке цели “мат” в шахматах. При обратном поиске потребовалось бы создать компактные описания “всех состояний, которые позволяют поставить мат с помощью хода т^, и т.д.; и эти описания нужно было бы сверять с состояниями, формируемыми при прямом поиске. Общего способа эффективного решения такой проблемы не существует.
Сравнение стратегий неинформированного поиска
В табл. 3.2 приведено сравнение стратегий поиска в терминах четырех критериев оценки, сформулированных в разделе 3.4.
Предотвращение формирования повторяющихся состояний
Вплоть до этого момента мы рассматривали все аспекты поиска, но игнорировали одно из наиболее важных усложнений в процессе поиска — вероятность появления непроизводительных затрат времени при развертывании состояний, которые уже встречались и были развернуты перед этим. При решении некоторых задач такая ситуация никогда не возникает; в них пространство состояний представляет собой дерево и поэтому имеется только один путь к каждому состоянию. В частности, эф-
фективной является формулировка задачи с восемью ферзями (в которой каждый новый ферзь помещается на самый левый пустой вертикальный ряд), и ее эффективность в значительной степени обусловлена именно этим — каждое состояние может быть достигнуто только по одному пути. А если бы задача с восемью ферзями была сформулирована таким образом, что любого ферзя разрешалось бы ставить на любую вертикаль, то каждого состояния с п ферзями можно было бы достичь с помощью п! различных путей.
Таблица 3.2. Оценка стратегий поиска, где Ь — коэффициент ветвления; d — глубина самого поверхностного решения; т — максимальная глубина дерева поиска; / — предел глубины. Предостережения, обозначенные строчными буквами, означают следующее: а — полный, если коэффициент ветвления Ь конечен; 6 — полный, если стоимость каждого этапа >е при некотором положительном значении е; в — оптимальный, если стоимости всех этапов являются одинаковыми; г — применимый, если в обоих направлениях осуществляется поиск в ширину
Характеристика
Поиск в ширину
Поиск по критерию стоимости
Поиск в глубину
Поиск с ограничением глубины
Поиск с итеративным углублением
Двунаправленный поиск (если он применим)
Полнота
Да1
Да116
Нет
Нет
Да®
Да®'
Временная сложность
O(bd11)
О(Ь')
0(£>d)
O(bd/2)
Пространственная сложность
oty3*1)
0(Ь1*1с*/^)
О( Ьт)
О^Ы)
O(bd)
O(bd/2)
Оптимальность
Да“
Да
Нет
Нет
Дав
Дав'г
При поиске в глубину в памяти хранятся только те узлы, которые лежат на пути от корня до текущего узла. Сравнение этих узлов с текущим узлом позволяет алгоритму обнаружить зацикливающиеся пути, которые могут быть немедленно отброшены. Это позволяет обеспечить, чтобы конечные пространства состояний не превращались в бесконечные деревья поиска из-за циклов, но, к сожалению, не дает возможности предотвратить экспоненциальное разрастание нециклических путей в задачах, подобных приведенным на рис. 3.11. Единственный способ предотвращения этого состоит в том, что в памяти нужно хранить больше узлов. В этом заключается фундаментальный компромисс между пространством и временем. Алгоритмы, которые забывают свою ис-
R)Рис. 3.11. Пространства состояний, которые формируют экспоненциально более крупные деревья поиска: пространство состояний, в котором имеются два возможных действия, ведущих от А к В, два — от В к С и т.д.; это пространство состояний содержит о +1 состояний, где d — максимальная глубина (а); дерево поиска, которое имеет 2d ветвей, соответствующих 2° путям через это пространство (б); пространство состояний в виде прямоугольной решетки (в); состояния, находящиеся в пределах 2этапов от начального состояния (А), обозначены серым цветомR)Рис. 3.11. Пространства состояний, которые формируют экспоненциально более крупные деревья поиска: пространство состояний, в котором имеются два возможных действия, ведущих от А к В, два — от В к С и т.д.; это пространство состояний содержит о +1 состояний, где d — максимальная глубина (а); дерево поиска, которое имеет 2d ветвей, соответствующих 2° путям через это пространство (б); пространство состояний в виде прямоугольной решетки (в); состояния, находящиеся в пределах 2этапов от начального состояния (А), обозначены серым цветомторию, обречены на то, чтобы ее повторять.торию, обречены на то, чтобы ее повторять.
R)
Рис. 3.11. Пространства состояний, которые формируют экспоненциально более крупные деревья поиска: пространство состояний, в котором имеются два возможных действия, ведущих от А к В, два — от В к С и т.д.; это пространство состояний содержит о +1 состояний, где d — максимальная глубина (а); дерево поиска, которое имеет 2d ветвей, соответствующих 2° путям через это пространство (б); пространство состояний в виде прямоугольной решетки (в); состояния, находящиеся в пределах 2этапов от начального состояния (А), обозначены серым цветом
R)
Рис. 3.11. Пространства состояний, которые формируют экспоненциально более крупные деревья поиска: пространство состояний, в котором имеются два возможных действия, ведущих от А к В, два — от В к С и т.д.; это пространство состояний содержит о +1 состояний, где d — максимальная глубина (а); дерево поиска, которое имеет 2d ветвей, соответствующих 2° путям через это пространство (б); пространство состояний в виде прямоугольной решетки (в); состояния, находящиеся в пределах 2этапов от начального состояния (А), обозначены серым цветом
торию, обречены на то, чтобы ее повторять.
торию, обречены на то, чтобы ее повторять.
Если некоторый алгоритм запоминает каждое состояние, которое он посетил, то может рассматриваться как непосредственно исследующий граф пространства состояний. В частности, можно модифицировать общий алгоритм Tree-Search, чтобы включить в него структуру данных, называемую ^ закрытым списком, в котором хранится каждый развернутый узел. (Периферию, состоящую из неразвернутых узлов, иногда называют ^ открытым списком.) Если текущий узел совпадает с любым узлом из закрытого списка, то не развертывается, а отбрасывается. Этому новому алгоритму присвоено название алгоритма поиска в графе, Graph-Search (листинг 3.6). При решении задач со многими повторяющимися состояниями алгоритм Graph-Search является намного более эффективным по сравнению с Tree-Search. В наихудшем случае предъявляемые им требования к времени и пространству пропорциональны размеру пространства состояний. Эта величина может оказаться намного меньше, чем Okb^V
Вопрос о том, оптимален ли поиск в графе, остается сложным. Выше было указано, что появление повторяющего состояния соответствует обнаружению алгоритмом двух путей в одно и то же состояние. Алгоритм Graph-Search, приведенный в листинге 3.6, всегда отбрасывает вновь обнаруженный путь и оставляет первоначальный; очевидно, что если этот вновь обнаруженный путь короче, чем первоначальный, то алгоритм Graph-Search может упустить оптимальное решение. К счастью,
можно показать (упр. 3.12), что этого не может случиться, если используется либо поиск по критерию стоимости, либо поиск в ширину с постоянными стоимостями этапов; таким образом, эти две оптимальные стратегии поиска в дереве являются также оптимальными стратегиями поиска в графе. При поиске с итеративным углублением, с другой стороны, используется развертывание в глубину, поэтому этот алгоритм вполне может проследовать к некоторому узлу по неоптимальному пути, прежде чем найти оптимальный. Это означает, что при поиске в графе с итеративным углублением необходимо проверять, не является ли вновь обнаруженный путь к узлу лучшим, чем первоначальный, и в случае положительного ответа в нем может потребоваться пересматривать значения глубины и стоимости путей для потомков этого узла.
Листинг 3.6. Общий алгоритм поиска в графе. Множество closed может быть реализовано с помощью хэш-таблицы для обеспечения эффективной проверки повторяющихся состояний. В этом алгоритме предполагается, что первый найденный путь к состоянию s является наименее дорогостоящим (см. текст)
function Graph-Search(problem, fringe) returns решение или индикатор неудачи failure
closed <— пустое множество
fringe <— Insert(Make-Node(Initial-State[problem]), fringe) loop do
if Empty?(fringe) then return индикатор неудачи failure node <— Remove-First(fringe) if Goal-Test[problem](State[node]) then return Solution(node)
if State[node] не находится в множестве closed then добавить State[node] к множеству closed fringe <— Insert-All(Expand(node, problem), fringe)
Между прочим, использование закрытого списка closed означает, что поиск в глубину и поиск с итеративным углублением больше не имеют линейных требований к пространству. Поскольку в алгоритме Graph-Search каждый узел хранится в памяти, некоторые методы поиска становятся неосуществимыми из-за недостаточного объема памяти.
Поиск С ЧАСТИЧНОЙ ИНФОРМАЦИЕЙ
В разделе 3.3 было выдвинуто предположение, что среда является полностью наблюдаемой и детерминированной и что агент имеет информацию о том, каковы последствия каждого действия. Поэтому агент может точно вычислить, какое состояние становится результатом любой последовательности действий, и всегда знает, в каком состоянии он находится. Его восприятия не предоставляют новой информации после выполнения каждого действия. Но что произойдет, если знания о состояниях или действиях являются неполными? Авторы обнаружили, что разные типы неполноты приводят к трем перечисленным ниже типам проблем.
Проблемы отсутствия датчиков (называемые также проблемами совместимости).
Если агент вообще не имеет датчиков, то (насколько ему известно) может находиться в одном из нескольких возможных начальных состояний и поэтому каж-
дое действие способно перевести его в одно из нескольких возможных состояний-преемников.
Проблемы непредвиденных ситуаций. Если среда наблюдаема лишь частично или действия являются неопределенными, то акты восприятия агента предоставляют новую информацию после выполнения каждого действия. Каждое возможное восприятие определяет непредвиденную ситуацию, к которой необходимо подготовиться с помощью соответствующего плана. Проблема называется обусловленной сторонним воздействием, если неопределенность вызвана действиями другого агента.
Проблемы исследования. Если состояния и действия в среде неизвестны, агент должен действовать так, чтобы их обнаружить. Проблемы исследования могут рассматриваться как крайний случай проблем непредвиденных ситуаций.
В качестве примера мы будем использовать среду мира пылесоса. Напомним, что пространство состояний имеет восемь состояний, как показано на рис. 3.12. Существуют три действия (Left, Right и Suck), и цель состоит в том, чтобы был убран весь мусор (состояния 7 и 8). Если среда наблюдаема, детерминирована и полностью известна, то эта задача решается тривиально с помощью любого из описанных нами алгоритмов. Например, если начальным является состояние 5, то последовательность действий [Right, Suck] обеспечивает достижение целевого состояния 8. В оставшейся части этого раздела рассматриваются версии данной задачи, в которых отсутствуют датчики и возникают непредвиденные ситуации. Проблемы исследования описаны в разделе 4.5, а проблемы, обусловленные сторонним воздействием, — в главе 6.
Рис. 3.12. Восемь возможных состояний мира пылесосаРис. 3.12. Восемь возможных состояний мира пылесоса02^02^
Рис. 3.12. Восемь возможных состояний мира пылесоса
Рис. 3.12. Восемь возможных состояний мира пылесоса
02^
02^
Проблемы отсутствия датчиков
Предположим, что агенту-пылесосу известны все последствия его действий, но он не имеет датчиков. В таком случае агент знает только, что его начальным состоянием является одно состояние из множества (1,2,3,4,5,6,7,8}. На первый взгляд можно предположить, что попытки агента предсказать будущую ситуацию окажутся бесполез-
ными, но фактически он может сделать это вполне успешно. Поскольку агент знает, к чему приводят его действия, то может, например, вычислить, что действие Right вызовет переход его в одно из состояний {2,4,6,8}, а последовательность действий V Right, Suck] всегда оканчивается в одном из состояний {4,8}. Наконец, последовательность действий [ Right, Suck, Left, Suck] гарантирует достижение целевого состояния 7, независимо оттого, каковым является начальное состояние. Мы утверждаем, что агент может М принудительно перевести мир в состояние 7, даже если ему не известно, с какого состояния он начинает. Подведем итог: если мир не является полностью наблюдаемым, то агент должен рассуждать о том, в какое множество состояний (а не в единственное состояние) он может попасть. Мы называем каждое такое множество состояний ^ доверительным состоянием, поскольку оно показывает, в каких возможных физических состояниях агент может считать себя находящимся в данный момент со всей уверенностью. (В полностью наблюдаемой среде каждое доверительное состояние содержит одно физическое состояние.)
Для решения проблемы отсутствия датчиков необходимо выполнять поиск в пространстве доверительных, а не физических состояний. Первоначальное состояние является доверительным состоянием, а каждое действие становится отображением из одного доверительного состояния в другое. Результат применения некоторого действия к некоторому доверительному состоянию определяется путем объединения результатов применения этого действия к каждому физическому состоянию из этого доверительного состояния. Теперь любой путь объединяет несколько доверительных состояний, а решением является путь, который ведет к такому доверительному состоянию, все члены которого представляют собой целевые состояния. На рис. 3.13 показано пространство достижимых доверительных состояний для детерминированного мира пылесоса без датчиков. Существует только 12 достижимых доверительных состояний, но все пространство доверительных состояний включает каждое возможное множество физических состояний, т.е. 28=256 доверительных состояний. Вообще говоря, если пространство физических состояний имеет S состояний, то пространство доверительных состояний имеет 2s доверительных состояний.
В приведенном выше описании проблем отсутствия датчиков предполагалось, что действия являются детерминированными, но этот анализ, по сути, остается неизменным, если среда — недетерминированная, т.е. если действия могут иметь несколько возможных результатов. Причина этого состоит в том, что в отсутствие датчиков агент не способен определить, какой результат достигнут фактически, поэтому различные возможные результаты становятся просто дополнительными физическими состояниями в доверительном состоянии-преемнике. Например, предположим, что среда подчиняется закону Мэрфи (или закону “подлости”): так называемое действие Suck иногда оставляет мусор на полу, но только если на нем еще не было мусора. В таком случае, если действие Suck применяется в физическом состоянии 4 (см. рис. 3.12), то существуют два возможных результата: состояния 2 и 4. Теперь применение действия Suck в начальном доверительном состоянии, {1,2,3,4,5,6,7,8}, приводит к доверительному состоянию, представляю-
щему собой объединение множеств результатов для этих восьми физических состояний. Проведя эти вычисления, можно обнаружить, что новым доверительным состоянием снова становится {1,2,3,4,5 , 6,7,8}. Таким образом, для агента без датчиков в мире закона Мэрфи действие Suck оставляет доверительное состояние неизменным! Это означает, что фактически данная задача неразрешима (см. упр. 3.18). Интуитивно можно понять, что причина этого состоит в том, что агент не может определить, является ли текущий квадрат грязным и поэтому не способен установить, приведет ли действие Suck к его очистке или оставит еще больше мусора.
Рис. 3.13. Достижимая часть пространства доверительных состояний для детерминированного мира пылесоса без датчиков. Каждый затененный прямоугольник соответствует одному доверительному состоянию. В любой конкретный момент времени агент находится в одном конкретном доверительном состоянии, но не знает, в каком именно физическом состоянии он находится. Первоначальным доверительным состоянием (с полным незнанием ситуации) является верхний центральный прямоугольник. Действия обозначены дугами с метками, а петли, обозначающие возврат в одно и то же доверительное состояние, опущены для упрощения рисунка
Проблемы непредвиденных ситуаций
Если среда является таковой, что агент после выполнения действия может получить от своих датчиков в том же состоянии новую информацию, то агент сталкива-
ется с ^ проблемой непредвиденных ситуаций. Решение проблемы непредвиденных ситуаций часто принимает форму дерева, в котором каждая ветвь может быть выбрана в зависимости от результатов восприятий, полученных вплоть до этой позиции в дереве. Например, предположим, что агент находится в мире закона Мэрфи и имеет датчик положения и локальный датчик мусора, но не имеет датчика, способного обнаружить мусор в других квадратах. Таким образом, восприятие [L, Dirty] означает, что агент находится в одном из состояний {1,3}. Агент может сформулировать последовательность действий VSuck, Right, Suck]. Всасывание должно было бы перевести текущее состояние в одно из состояний {5,7}, и тогда передвижение вправо перевело бы данное состояние в одно из состояний {6,8}. Выполнение заключительного действия Suck в состоянии 6 переводит агента в состояние 8, целевое, но выполнение его в состоянии 8 способно снова перевести агента в состояние 6 (согласно закону Мэрфи), и в этом случае данный план оканчивается неудачей.
Исследуя пространство доверительных состояний для этой версии задачи, можно легко определить, что ни одна фиксированная последовательность действий не гарантирует решение данной задачи. Однако решение существует, при условии, что мы не будем настаивать на фиксированной последовательности действий:
[ Suck, Right, if IR, Dirty] then Suck ]
Тем самым дополняется пространство решений для включения возможности выбора действий с учетом непредвиденных ситуаций, возникающих во время выполнения. Многие задачи в реальном, физическом мире усложняются из-за наличия проблемы непредвиденных ситуаций, поскольку точные предсказания в них невозможны. По этой причине многие люди соблюдают предельную осторожность во время пеших прогулок или вождения автомобиля.
Иногда проблемы непредвиденных ситуаций допускают чисто последовательные решения. Например, рассмотрим полностью наблюдаемый мир закона Мэрфи. Непредвиденные ситуации возникают, если агент выполняет действие Suck в чистом квадрате, поскольку при этом в данном квадрате может произойти или не произойти отложение мусора. При том условии, что агент никогда не будет очищать чистые квадраты, не будут возникать какие-либо непредвиденные ситуации и поэтому из любого начального состояния можно будет найти последовательное решение (упр. 3.18).
Алгоритмы для решения проблем непредвиденных ситуаций являются более сложными по сравнению с алгоритмами стандартного поиска, приведенными в этой главе; они рассматриваются в главе 12. Кроме того, проблемы непредвиденных ситуаций требуют применения немного иного проекта агента, в котором агент может действовать до того, как найдет гарантированный план. Это полезно, поскольку вместо предварительного обдумывания каждой возможной непредвиденной ситуации, которая могла бы возникнуть во время выполнения, часто бывает лучше приступить к действию и узнать, какие непредвиденные ситуации действительно возникают. После этого агент может продолжать решать свою задачу, принимая в расчет эту дополнительную информацию. Такой тип ^ чередования поиска и выполнения является также полезным при решении проблем исследования (см. раздел 4.5) и при ведении игр (см. главу 6).
Резюме
В настоящей главе представлены методы, которые могут использоваться агентом для выбора действий в таких вариантах среды, которые являются детерминированными, наблюдаемыми, статическими и полностью известными. В таких случаях агент может формировать последовательности из действий, позволяющих ему достичь своих целей; такой процесс называется поиском.
Прежде чем агент сможет приступить к поиску решений, он должен сформулировать цель, а затем использовать эту цель для формулировки задачи.
Задача состоит из четырех частей: начальное состояние, множество действий, функция проверки цели и функция стоимости пути. Среда задачи представлена пространством состояний, а путь через пространство состояний от начального состояния до целевого состояния представляет собой решение.
Для решения любой задачи может использоваться единый, общий алгоритм Tree-Search; конкретные варианты этого алгоритма воплощают различные стратегии.
Алгоритмы поиска оцениваются на основе полноты, оптимальности, временной и пространственной сложности. Сложность зависит от коэффициент ветвления в пространстве состояний, Ь, и глубины самого поверхностного решения, d.
При поиске в ширину для развертывания выбирается самый поверхностный неразвернутый узел в дереве поиска. Этот поиск является полным, оптимальным при единичных стоимостях этапов и характеризуется временной и пространственной сложностью O(bd). В связи с такой пространственной сложностью в большинстве случаев он становится практически не применимым. Поиск по критерию стоимости аналогичен поиску в ширину, но предусматривает развертывание узла с самой низкой стоимостью пути, д(п). Он является полным и оптимальным, если стоимость каждого шага превышает некоторое положительное предельное значение е.
При поиске в глубину для развертывания выбирается самый глубокий неразвернутый узел в дереве поиска. Этот поиск не является ни полным, ни оптимальным, и характеризуется временной сложностью 0(1^) и пространственной сложностью ОкЬп^, где т— максимальная глубина любого пути в пространстве состояний.
При поиске с ограничением глубины на поиск в глубину налагается установленный предел глубины.
При поиске с итеративным углублением вызывается поиск с ограничением глубины и каждый раз устанавливаются увеличивающиеся пределы, до тех пор, пока цель не будет найдена. Этот поиск является полным и оптимальным при единичных стоимостях этапов и характеризуется временной сложностью О (bd) и пространственной сложностью О (bd^.
Двунаправленный поиск способен чрезвычайно уменьшить временную сложность, но он не всегда применим и может потребовать слишком много пространства.
Если пространство состояний представляет собой граф, а не дерево, то может оказаться целесообразной проверка повторяющихся состояний в дереве поиска. Алгоритм Graph-Search устраняет все дублирующие состояния.
Если среда является частично наблюдаемой, то агент может применить алгоритмы поиска в пространстве доверительных состояний, или множестве возможных состояний, в которых может находиться агент. В некоторых случаях может быть сформирована единственная последовательность решения; в других случаях агенту требуется план действий в непредвиденных ситуациях, чтобы иметь возможность справиться со всеми неизвестными обстоятельствами, которые могут возникнуть.
Библиографические и исторические заметки
Большинство задач поиска в пространстве состояний, проанализированных в этой главе, имеют длинную историю, отраженную в литературе, и являются менее тривиальными, чем может показаться на первый взгляд. Задача с миссионерами и каннибалами, используемая в упр. 3.9, была подробно проанализирована Амарелем [24]. До него эту задачу ввели в проблематику искусственного интеллекта Саймон и Ньюэлл [1420], и в проблематику исследования операций — Беллман и Дрейфус [96]. Работы наподобие проведенных Ньюэллом и Саймоном над программами Logic Theorist [1127] и GPS [1129] привели к тому, что алгоритмы поиска считались основным оружием в арсенале исследователей искусственного интеллекта 1960-х годов, а сами процессы решения задач стали рассматриваться в качестве канонической проблемы искусственного интеллекта. К сожалению, в то время в области автоматизации этапа формулировки задачи было предпринято слишком мало усилий. Более современная трактовка подхода к представлению и абстрагированию задач, включая применение программ искусственного интеллекта, которые (отчасти) сами выполняют эти функции, изложена в книге Кноблока [807].
Задача игры в восемь — это “младшая сестра” задачи игры в пятнадцать, которая была изобретена знаменитым американским разработчиком игр Сэмом Ллойдом [955] в 1870-х годах. Игра в пятнадцать быстро приобрела в Соединенных Штатах огромную популярность, которую можно сравнить лишь с более современной сенсацией, вызванной изобретением кубика Рубика. Она также быстро привлекла внимание математиков [739], [1486]. Редакторы American Journal of Mathematics заявили: “Игра в пятнадцать в последние несколько недель занимает все внимание американской публики, и можно с уверенностью сказать, что ею интересуются девять из десяти людей всех полов и возрастов и всех общественных положений. Но не это побудило нас, редакторов, включить статьи, посвященные этой теме, в наш журнал American Journal of Mathematics, а тот факт, что...” (далее следует краткое описание аспектов игры в пятнадцать, представляющих интерес с точки зрения математики). Исчерпывающий анализ игры в восемь был проведен с помощью компьютера Шофилдом [1363]. Ратнер и Уормут [1268] показали, что общая версия игры (не в пятнадцать, а в пхп-1) принадлежит к классу NP-полных задач.
Задача с восемью ферзями была впервые опубликована анонимно в немецком шахматном журнале Schach в 1848 году; позднее ее создание приписали некоему
Максу Беззелю. Она была повторно опубликована в 1850 году и на этот раз привлекала внимание выдающегося математика Карла Фридриха Гаусса, который попытался перечислить все возможные решения, но нашел только 72. Наук (Nauck) опубликовал все 92 решения позднее, в том же 1850 году. Нетто [1121] обобщил эту задачу до п ферзей, а Абрамсон и Янг [2] нашли алгоритм с оценкой О (п).
Каждая из реальных задач поиска, перечисленных в данной главе, была предметом значительных усилий исследователей. Методы выбора оптимальных расписаний авиаперелетов по большей части остаются недоступными для общего пользования (закрытыми), но Карл де Маркен (Carl de Marcken) сообщил авторам (в личной беседе), что структуры формирования цен на авиабилеты и связанные с ними ограничения стали настолько сложными, что задача выбора оптимального авиарейса является формально неразрешимой. Задача коммивояжера (Traveling Salesperson Problem — TSP) — это стандартная комбинаторная проблема в теоретических компьютерных науках [898], [899]. Карп [772] доказал, что задача TSP является NP-трудной, но для нее были разработаны эффективные методы эвристической аппроксимации [933]. Арора [41] разработал полностью полиномиальную схему аппроксимации для евклидовых вариантов задачи TSP. Обзор методов компоновки СБИС был сделан Шахукаром и Мазум- дером [1390], а в журналах по сверхбольшим интегральным микросхемам (СБИС) появилось много статей, посвященных оптимизации компоновки. Задачи робототехнической навигации и сборки обсуждаются в главе 25.
Алгоритмы неинформированного поиска для решения задач являются центральной темой классических компьютерных наук [680] и исследования операций [417]; более современные результаты исследований приведены в книгах Део и Панга [390], а также Галло и Паллоттино [516]. Метод поиска в ширину применительно к решению задач с лабиринтами был сформулирован Муром [1078]. Метод динамического программирования [96], в котором предусматривается систематическая регистрация решений для всех подзадач с возрастающей длиной, может рассматриваться как форма поиска в ширину в графах. Алгоритм определения кратчайшего пути между двумя точками, предложенный Дейкстрой [399], является предшественником алгоритма поиска по критерию стоимости.
Одна из версий алгоритма поиска с итеративным углублением, предназначенная для эффективного ведения игры в шахматы с контролем времени, была впервые применена Слейтом и Аткином [1429] в программе ведения шахматной игры Chess 4.5, но ее применению для поиска кратчайшего пути в графе мы обязаны Корфу [835]. В некоторых случаях может также оказаться очень эффективным двунаправленный поиск, который был предложен Полом [1219], [1221].
Частично наблюдаемые и недетерминированные варианты среды не были достаточно глубоко исследованы в этом подходе к решению задач. Некоторые проблемы эффективности при поиске в пространстве доверительных состояний рассматривались Генезеретом и Нурбакшем [538]. Кёниг и Симмонс [819] изучали навигацию робота из неизвестной начальной позиции, а Эрдман и Мэйсон [439] исследовали проблему робототехнического манипулирования без датчиков, используя непрерывную форму поиска в пространстве доверительных состояний. Поиск в условиях непредвиденных ситуаций изучался в этой подобласти планирования (см. главу 12). По большей части в подходе к изучению планирования и осуществления действий с неопределенной информацией используются инструментальные средства теории вероятностей и теории решений (см. главу 17).
Книги Нильссона [1141], [ 1142] являются хорошим общим источником информации о классических алгоритмах поиска. Исчерпывающий и более современный обзор можно найти в [838]. Статьи о новых алгоритмах поиска (которые, как это ни удивительно, продолжают изобретаться) публикуются в таких журналах, как Artificial Intelligence.
Упражнения
Самостоятельно сформулируйте определения следующих понятий: состояние, пространство состояний, дерево поиска, поисковый узел, цель, действие, функция определения преемника и коэффициент ветвления.
Объясните, почему составление формулировки задачи должно осуществляться вслед за составлением формулировки цели.
Предположим, что выражение Legal-Actions (s) обозначает множество действий, которые являются допустимыми в состоянии s, а выражение Result (a, s) обозначает состояние, которое следует из выполнения допустимого действия а в состоянии s. Определите функцию Successor-Fn в терминах выражений Legal-Actions и Result, и наоборот.
Покажите, что в задаче игры в восемь состояния подразделяются на два непе- ресекающихся множества, таких, что ни одно состояние из первого множества не может быть преобразовано в состояние из второго множества, даже с применением сколь угодно большого количества ходов. (Подсказка. См. [102].) Разработайте процедуру, позволяющую узнать, к какому множеству относится данное состояние, и объясните, для чего нужно иметь под рукой такую процедуру, формируя состояния случайным образом.
Рассмотрите задачу с п ферзями, используя “эффективную” инкрементную формулировку, приведенную на с. 119. Объясните, почему размер пространства состояний равен по меньшей мере ^77, и оцените наибольшее значение п, для которого является осуществимым исчерпывающее исследование. (Подсказка. Определите нижнюю границу коэффициента ветвления, рассматривая максимальное количество клеток, которые ферзь может атаковать в любом столбце.)
Всегда ли наличие конечного пространства состояний приводит к получению конечного дерева поиска? А что можно сказать о конечном пространстве состояний, которое является деревом? Можете ли вы указать более точно, применение пространств состояний каких типов всегда приводит к получению конечных деревьев поиска? (Адаптировано из [99].)
Укажите для каждой из следующих задач ее компоненты: начальное состояние, проверку цели, функцию определения преемника и функцию стоимости. Выберите формулировку, которая является достаточно точной, чтобы ее можно было успешно реализовать.
Необходимо раскрасить плоскую карту, используя только четыре цвета, таким образом, чтобы никакие два смежных региона не имели один и тот же цвет.
Обезьяна, имеющая рост 3 фута, находится в комнате, где под потолком, на высоте 8 футов, подвешено несколько бананов. Обезьяна хочет получить бананы. В комнате находятся две проволочные корзины высотой по 3 фута каждая, которые можно передвигать, ставить друг на друга и на которые можно залезать.
Некоторая программа выводит сообщение “недопустимая входная запись” после передачи ей некоторого файла, состоящего из входных записей. Известно, что обработка каждой записи происходит независимо от других записей. Требуется обнаружить, какая запись является недопустимой.
Имеются три кувшина, с емкостью 12 галлонов, 8 галлонов и 3 галлона, а также водопроводный кран. Кувшины можно заполнять или опорожнять, выливая воду из одного кувшина в другой или на землю. Необходимо отмерить ровно один галлон.
Рассмотрите пространство состояний, в котором начальным состоянием является число 1, а функция определения преемника для состояния п возвращает два состояния: числа 2п и 2п+1.
Нарисуйте часть пространства состояний, которая относится к состояниям 1-15.
Предположим, что целевым состоянием является 11. Перечислите последовательности, в которых будут посещаться узлы при поиске в ширину, поиске с ограничением глубины, с пределом 3, и поиске с итеративным углублением.
Будет ли подходящим для решения этой задачи двунаправленный поиск? Если да, то опишите подробно, как действовал бы этот метод поиска.
Каковым является коэффициент ветвления в каждом направлении двунаправленного поиска?
Не подсказывает ли вам ответ на вопрос упр. 3.8, в, что нужно найти другую формулировку этой задачи, которая позволила бы решить проблему перехода из состояния 1 в заданное целевое состояние почти без поиска?
(й) Задача с миссионерами и каннибалами обычно формулируется следующим образом. Три миссионера и три каннибала находятся на одной стороне реки, где также находится лодка, которая может выдержать одного или двух человек. Найдите способ перевезти всех на другой берег реки, никогда не оставляя где- либо группу миссионеров, которую превосходила бы по численности группа каннибалов. Это — известная задача в искусственном интеллекте, поскольку она была темой первой статьи, в которой был применен подход к формулировке проблемы с аналитической точки зрения [24].
Точно сформулируйте эту задачу, определяя только те различия, которые необходимы для обеспечения правильного решения. Нарисуйте схему полного пространства состояний.
Реализуйте и решите эту задачу оптимальным образом, используя соответствующий алгоритм поиска. Действительно ли имеет смысл проверять наличие повторяющихся состояний?
Почему, по вашему мнению, люди сталкиваются с затруднениями при решении этой головоломки, несмотря на то, что пространство ее состояний является чрезвычайно простым?
й) Реализуйте следующие две версии функции определения преемника для задачи игры в восемь. Первая из них должна формировать сразу всех преемников, копируя и редактируя структуру данных игры в восемь, а вторая при каждом ее вызове должна формировать по одному новому преемнику и действовать по принципу непосредственной модификации родительского состояния (отменяя эти модификации в случае необходимости). Напишите версии процедуры поиска в глубину с итеративным углублением, в которых используются эти функции, и сравните данные об их производительности.
S) На с. 135 упоминался поиск с итеративным удлинением, итеративный аналог поиска по критерию стоимости. Его идея состоит в том, что должны использоваться увеличивающиеся пределы стоимости пути. Если сформирован узел, стоимость пути для которого превышает текущий предел, этот узел немедленно отбрасывается. При каждой новой итерации предел устанавливается равным самому низкому значению стоимости пути для любого узла, отвергнутого в предыдущей итерации.
Покажите, что этот алгоритм является оптимальным применительно к общим методам определения стоимости пути.
Рассмотрите однородное дерево с коэффициентом ветвления Ь, глубиной решения d и единичными стоимостями этапов. Какое количество итераций требуется при итеративном удлинении?
Рассмотрите стоимости этапов, взятые из непрерывного диапазона [0,1] с минимальной положительной стоимостью е. Сколько итераций потребуется в самом неблагоприятном случае?
Реализуйте этот алгоритм и примените его к экземплярам задачи игры в восемь и задачи коммивояжера. Сравните производительность этого алгоритма с производительностью алгоритма поиска по критерию стоимости и прокомментируйте полученные результаты.
Докажите, что поиск по критерию стоимости и поиск в ширину с постоянными значениями стоимости этапа являются оптимальными при их использовании с алгоритмом Graph-Search. Продемонстрируйте такое пространство состояний с постоянными значениями стоимости этапа, в котором алгоритм Graph-Search с использованием итеративного углубления находит неоптимальное решение.
Опишите пространство состояний, в котором поиск с итеративным углублением характеризуется гораздо более низкой производительностью по сравнению с поиском в глубину (например, О(п2), в отличие от 6(п)).
S) Напишите программу, которая принимает в качестве входных данных URL- локаторы двух Web-страниц и находит путь от одной к другой, состоящий из ссылок. В чем состоит подходящая для этого стратегия поиска? Действительно ли имеет смысл применять двунаправленный поиск? Можно ли использовать для реализации функции определения предшественника машину поиска?
S) Рассмотрите задачу определения кратчайшего пути между двумя точками на плоскости, на которой имеются препятствия в виде выпуклых многоугольников, как показано на рис. 3.14. Это — идеализация задачи, которую должен
решать робот, прокладывая свой путь через среду, в которой очень мало свободного места.
Рис. 3.14. Сцена с многоугольными препятствиями
Предположим, что пространство состояний состоит из всех позиций (х, у) на плоскости. Каково количество состояний в этом пространстве? Каково в нем количество путей к цели?
Объясните в нескольких словах, почему в этой двухмерной сцене кратчайший путь от одной вершины многоугольника до любой другой должен состоять из прямолинейных отрезков, соединяющих некоторые вершины многоугольников. Теперь определите более приемлемое пространство состояний. Насколько велико это пространство состояний?
Определите функции, необходимые для реализации решения этой задачи поиска, включая функцию определения преемника, которая принимает в качестве входных данных координаты любой из вершин и возвращает множество вершин, достижимых по прямой линии от данной вершины. (Не забывайте при этом о соседних вершинах того же многоугольника.) Используйте в качестве значения эвристической функции расстояние между указанными точками по прямой.
Примените для решения ряда задач из этой области один или несколько алгоритмов, представленных в настоящей главе, и прокомментируйте данные об их производительности.
S) Определение задачи обеспечения навигации робота, приведенной в упр. 3.15, можно преобразовать в определение среды следующим образом.
Акт восприятия будет представлять собой список позиций видимых вершин, сформированный относительно агента. Акт восприятия не предусматривает определение позиции робота! Робот должен определять свою собственную позицию по карте; на данный момент можно предположить, что каждое местоположение имеет другое “представление”.
Каждое действие должно быть вектором, описывающим прямолинейный путь, по которому будет следовать робот. Если путь свободен, то действие выполняется успешно; в противном случае робот останавливается в той точке,
где его путь впервые сталкивается с препятствием. Если агент возвращает нулевой вектор движений и находится в целевой позиции (которая является постоянной и известной), то среда должна телепортировать этого агента в случайно выбранное местоположение (не находящееся в пределах препятствия).
Показатель производительности предусматривает штрафование агента на 1 пункт за каждую единицу пройденного расстояния и награждение его 1000 пунктами каждый раз после достижения цели.
Ниже перечислены предлагаемые задания.
Реализуйте описанную среду и агента, решающего задачи для этой среды. После каждой телепортации агент должен будет сформулировать новую задачу, которая предусматривает также определение его текущего местоположения.
Зарегистрируйте данные о производительности предложенного вами агента (для этого предусмотрите выработку агентом соответствующих комментариев по мере его передвижения в среде) и составьте отчет о его производительности поданным, охватывающим больше 100 эпизодов.
Модифицируйте среду так, чтобы в 30% случаев движение агента заканчивались в не предусмотренном им месте назначения (выбранном случайным образом среди других видимых вершин, если таковые имеются, а в противном случае соответствующем ситуации, в которой вообще не было выполнено никакого движения). Это — грубая модель ошибок при выполнении движений реального робота. Доработайте определение агента так, чтобы при обнаружении указанной ошибки он определял, где находится, а затем создавал план возвращения в то место, где он находился прежде, и возобновлял выполнение прежнего плана. Помните, что иногда попытка возвращения в прежнее место также может оканчиваться неудачей! Продемонстрируйте пример агента, который успешно преодолевает две последовательные ошибки движения и все равно достигает цели.
Опробуйте две различные схемы возобновления работы после ошибки: во- первых, отправиться к ближайшей вершине из первоначального маршрута и, во-вторых, перепланировать маршрут к цели от нового местоположения. Сравните производительность всех схем возобновления работы. Влияет ли на результаты такого сравнения включение затрат на поиск?
Теперь предположим, что есть такие местоположения, представления среды из которых являются идентичными. (Например, предположим, что мир — это решетка с квадратными препятствиями.) С какой проблемой теперь сталкивается агент? Как должны выглядеть решения?
Нас. 115 было указано, что мы не будем принимать во внимание задачи с отрицательными значениями стоимости пути. В данном упражнении эта тема рассматривается немного более подробно.
Предположим, что действия могут иметь произвольно большие отрицательные стоимости; объясните, почему такая ситуация может вынудить любой оптимальный алгоритм исследовать полное пространство состояний.
Удастся ли выйти из этого положения, потребовав, чтобы стоимости этапов были больше или равны некоторой отрицательной константе с? Рассмотрите и деревья, и графы.
Предположим, что имеется множество операторов, образующих цикл, так что выполнение операторов этого множества в определенном порядке не приводит к какому-либо чистому изменению состояния. Если все эти операторы имеют отрицательную стоимость, то какие выводы из этого следуют применительно к оптимальному поведению агента в такой среде?
Можно легко представить себе, что операторы с высокой отрицательной стоимостью имеются даже в таких проблемных областях, как поиск маршрута. Например, некоторые участки дороги могут оказаться настолько живописными, что стремление ознакомиться с ними намного перевесит обычные здравые рассуждения о стоимости, измеряемой в терминах затрат времени и топлива. Объясните, применяя точные термины, принятые в контексте поиска в пространстве состояний, почему все же люди не ведут свои автомобили неопределенно долго по живописным циклическим участкам пути, и укажите, каким образом нужно определить пространство состояний и операторы для задачи поиска маршрута, чтобы агенты с искусственным интеллектом также могли избежать попадания в цикл.
Можете ли вы придумать пример такой реальной проблемной области, в которой стоимости этапов таковы, что могут вызвать возникновение цикла?
Рассмотрим мир пылесоса без датчиков, с двумя местоположениями, подчиняющийся закону Мэрфи. Нарисуйте пространство доверительных состояний, достижимых из начального доверительного состояния {1,2,3,4,5,6,7,81,и объясните, почему эта задача неразрешима. Покажите также, что если бы этот мир был полностью наблюдаемым, то существовала бы последовательность решения для каждого возможного начального состояния.
(й) Рассмотрим задачу в мире пылесоса, который определен на рис. 2.2.
Какой из алгоритмов, определенных в этой главе, был бы подходящим для решения этой задачи? Должен ли этот алгоритм проверять наличие повторяющихся состояний?
Примените выбранный вами алгоритм для вычисления оптимальной последовательности действий в мире с размером 3x3, в начальном состоянии которого в трех верхних квадратах имеется мусор, а агент находится в центре.
Сконструируйте агента, выполняющего поиск в этом мире пылесоса, и оцените его работу в множестве миров с размером 3x3, характеризующемся вероятностью наличия мусора в каждом квадрате, равной 0.2. Включите в состав показателя производительности не только стоимость поиска, но и стоимость пути, используя для них подходящий “курс обмена”.
Сравните вашего лучшего поискового агента с простым рандомизированным рефлексным агентом, который всасывает мусор, если последний имеется, а в противном случае выполняет случайно выбранные перемещения.
Рассмотрите, что произошло бы, если ли бы мир расширился до размеров пхп. Как производительность данного поискового агента и рефлексного агента зависит от п?
4 Информированный ПОИСК И ИССЛЕДОВАНИЕ ПРОСТРАНСТВА СОСТОЯНИЙ
В этой главе показано, как можно с помощью информации о пространстве состояний не дать алгоритмам заблудиться в темноте.
В главе 3 показано, что неинформированные стратегии поиска позволяют находить решения задач путем систематической выработки новых состояний и их проверки применительно к цели. К сожалению, в большинстве случаев эти стратегии являются чрезвычайно неэффективными. Как показано в настоящей главе, информированные стратегии поиска (в которых используются знания, относящиеся к конкретной задаче) обеспечивают более эффективный поиск решения. В разделе 4.1 описаны информированные версии алгоритмов главы 3, а в разделе 4.2 показано, как может быть получена необходимая информация, относящаяся к конкретной задаче. В разделах 4.3 и 4.4 представлены алгоритмы, которые выполняют исключительно локальный поиск в пространстве состояний, оценивая и модифицируя одно или несколько текущих состояний вместо систематического исследования путей из начального состояния. Эти алгоритмы применимы для решения задач, в которых стоимость пути не представляет интереса и требуется лишь найти состояние, соответствующее решению. К этому семейству алгоритмов локального поиска относятся методы, созданные под влиянием исследований в области статистической физики (моделируемый отжиг) и эволюционной биологии (генетические алгоритмы). Наконец, в разделе 4.5 рассматривается поиск в оперативном режиме, в котором агент сталкивается с полностью неизвестным пространством состояний.
Стратегии информированного (эвристического) поиска
В данном разделе показано, как стратегия М информированного поиска (в которой кроме определения самой задачи используются знания, относящиеся к данной конкретной проблемной области) позволяет находить решения более эффективно, чем стратегия неинформированного поиска.
Общий рассматриваемый здесь подход называется М поиском по первому наилучшему совпадению. Поиск по первому наилучшему совпадению представляет собой разновидность общего алгоритма Tree-Search или Graph-Search, в котором узел для развертывания выбирается на основе М функции оценки, f (п). По традиции для развертывания выбирается узел с наименьшей оценкой, поскольку такая оценка измеряет расстояние до цели. Поиск по первому наилучшему совпадению может быть реализован в рамках описанной в данной книге общей инфраструктуры поиска с помощью очереди по приоритету — структуры данных, в которой периферия поиска поддерживается в возрастающем порядке f-значений.
Название “поиск по первому наилучшему совпадению” (best first search) узаконено традицией, но неточно. В конце концов, если бы мы действительно могли развертывать наилучший узел первым, то не было бы и поиска как такового; решение задачи представляло бы собой прямое шествие к цели. Единственное, что мы можем сделать, — это выбрать узел, который представляется наилучшим в соответствии с функцией оценки. Если функция оценки действительно является точной, то выбранный узел в самом деле окажется наилучшим узлом, но фактически функция оценки иногда оказывается малопригодной и способной завести поиск в тупик. Тем не менее авторы будут придерживаться названия “поиск по первому наилучшему совпадению”, поскольку более подходящее название “поиск по первому совпадению, которое можно считать наилучшим” было бы довольно громоздким.
Существует целое семейство алгоритмов поиска по первому наилучшему совпадению, Best-First-Search, с различными функциями оценки. Ключевым компонентом этих алгоритмов является ^ эвристическая функция, обозначаемая как h (п):
h(n) = оценка стоимости наименее дорогостоящего пути от узла л до целевого узла
Например, в задаче поиска маршрута в Румынии можно было бы оценивать стоимость наименее дорогостоящего пути от Арада до Бухареста с помощью расстояний по прямой до Бухареста, измеряемых в узловых точках маршрута от Арада до Бухареста.
Эвристические функции (или просто эвристики) представляют собой наиболее общую форму, в которой к алгоритму поиска подключаются дополнительные знания о задаче. Эвристики рассматриваются более подробно в разделе 4.2, а на данный момент мы будем определять их как произвольные функции, относящиеся к конкретной проблеме, с одним ограничением: если п— целевой узел, то h(n) =0. В остав-
шейся части настоящего раздела рассматриваются два способа использования эвристической информации для управления поиском.
Жадный поиск по первому наилучшему совпадению
При ^ жадном поиске по первому наилучшему совпадению предпринимаются попытки развертывания узла, который рассматривается как ближайший к цели на том основании, что он со всей вероятностью должен быстро привести к решению. Таким образом, при этом поиске оценка узлов производится с использованием только эвристической функции: f (п) =h (п).
Теперь рассмотрим, как используется этот алгоритм при решении задачи поиска маршрута в Румынии на основе эвристической функции определения ^ расстояния по прямой (Straight Line Distance — SLD), для которой принято обозначение hSLD. Если целью является Бухарест, то необходимо знать расстояния по прямой от каждого прочего города до Бухареста, которые приведены в табл. 4.1. Например, hSLD(Zn(Arad) ) =3 66. Обратите внимание на то, что значения hSLD не могут быть вычислены на основании описания самой задачи. Кроме того, для использовании этой эвристической функции нужен определенный опыт, позволяющий узнать, каким образом значения hSLD связаны с действительными дорожными расстояниями, а это означает, что данная функция исходит из практики.
Таблица 4.1. Значения hSLD — расстояния по прямой до Бухареста
Обозначение узла
Название города
Расстояние по прямой до Бухареста
Обозначение узла
Название города
Расстояние по прямой до Бухареста
Arad
Арад
366
Mehadia
Мехадия
241
Bucharest
Бухарест
0
Neamt
Нямц
234
Craiova
Крайова
160
Gradeа
Орадя
380
Drobeta
Дробета
242
Pitesti
Питешти
100
Eforie
Эфорие
161
RimnicuVilcea
Рымнику-Вылча
193
Fagaras
Фэгэраш
176
Si bi и
Сибиу
253
Gi urgi и
Джурджу
77
Timisoara
Тимишоара
329
Hirsova
Хыршова
151
Urziceni
Урзичени
80
Iasi
Яссы
226
Vaslui
Васлуй
199
Lugoj
Лугож
244
Zerind
Зеринд
374
На рис. 4.1 показан процесс применения жадного поиска по первому наилучшему совпадению с использованием значений hSLD для определения пути от Арада до Бухареста. Первым узлом, подлежащим развертыванию из узла Arad, является узел Sibiu, поскольку город Сибиу находится ближе к Бухаресту, чем города Зеринд или Тимишоара. Следующим узлом, подлежащим развертыванию, является узел Fagaras, поскольку теперь ближайшим к Бухаресту является город Фэгэраш. Узел
Fagaras, в свою очередь, обеспечивает формирование узла Bucharest, который является целевым. Применение в процессе решения данной конкретной задачи алгоритма жадного поиска по первому наилучшему совпадению с использованием функции hSLY) позволяет найти решение без развертывания какого-либо узла, не находящегося в пути решения; это означает, что стоимость такого поиска является минимальной. Но само найденное решение не оптимально: путь до Бухареста через города Сибиу и Фэгэраш на 32 километра длиннее, чем путь через города Рымнику- Вылча и Питешти. Это замечание показывает, почему данный алгоритм называется “жадным”: на каждом этапе он пытается подойти к цели как можно ближе (фигурально выражаясь, “захватить как можно больше”).
а) Начальное состояниеа) Начальное состояниеРис. 4.1. Этапы жадного поиска пути до Бухареста по первому наилучшему совпадению с использованием эвристической функции hSLD, определяющей расстояние по прямой. Узлы обозначены с помощью их h-значенийРис. 4.1. Этапы жадного поиска пути до Бухареста по первому наилучшему совпадению с использованием эвристической функции hSLD, определяющей расстояние по прямой. Узлы обозначены с помощью их h-значений
а) Начальное состояние
а) Начальное состояние
Рис. 4.1. Этапы жадного поиска пути до Бухареста по первому наилучшему совпадению с использованием эвристической функции hSLD, определяющей расстояние по прямой. Узлы обозначены с помощью их h-значений
Рис. 4.1. Этапы жадного поиска пути до Бухареста по первому наилучшему совпадению с использованием эвристической функции hSLD, определяющей расстояние по прямой. Узлы обозначены с помощью их h-значений
Процедура минимизации h (п) восприимчива к фальстартам (при ее использовании иногда приходится отменять начальные этапы). Рассмотрим задачу поиска пути
от города Яссы до города Фэгэраш. Эта эвристическая функция подсказывает, что в первую очередь должен быть развернут узел города Нямц, Neamt, поскольку он является ближайшим к узлу Fagaras, но этот путь становится тупиковым. Решение состоит в том, чтобы отправиться вначале в город Васлуй (а этот этап, согласно данной эвристической функции, фактически уводит дальше от цели), а затем продолжать движение через Урзичени, Бухарест и, наконец, в Фэгэраш. Поэтому в данном случае применение указанной эвристической функции вызывает развертывание ненужных узлов. Более того, если не будет предусмотрено обнаружение повторяющихся состояний, то решение так никогда не будет найдено — процедура поиска станет совершать возвратно-поступательные движения между узлами Neamt и Iasi.
Жадный поиск по первому наилучшему совпадению напоминает поиск в глубину в том отношении, что этот алгоритм предпочитает на пути к цели постоянно следовать по единственному пути, но возвращается к предыдущим узлам после попадания в тупик. Данный алгоритм страдает от тех же недостатков, что и алгоритм поиска в глубину: он не является оптимальным, к тому же он — не полный (поскольку способен отправиться по бесконечному пути, да так и не вернуться, чтобы опробовать другие возможности). При этом в наихудшем случае оценки временной и пространственной сложности составляют (?(№), где т — максимальная глубина пространства поиска. Однако хорошая эвристическая функция позволяет существенно сократить такую сложность. Величина этого сокращения зависит от конкретной задачи и от качества эвристической функции.
Поиск А*: минимизация суммарной оценки стоимости решения
Наиболее широко известная разновидность поиска по первому наилучшему совпадению называется М поиском А* (читается как ‘‘А звездочка”). В нем применяется оценка узлов, объединяющая в себе д(п), стоимость достижения данного узла, и h (п), стоимость прохождения от данного узла до цели:
f(n) = g(n) + h(n)
Поскольку функция g(n) позволяет определить стоимость пути от начального узла до узла п, а функция h (п) определяет оценку стоимости наименее дорогостоящего пути от узла п до цели, то справедлива следующая формула:
f(n) = оценка стоимости наименее дорогостоящего пути решения, проходящего через узел л
Таким образом, при осуществлении попытки найти наименее дорогостоящее решение, по-видимому, разумнее всего вначале попытаться проверить узел с наименьшим значением д(п) +h (п). Как оказалось, данная стратегия является больше чем просто разумной: если эвристическая функция h(n) удовлетворяет некоторым условиям, то поискА* становится и полным, и оптимальным.
Анализ оптимальности поиска А* является несложным, если этот метод используется в сочетании с алгоритмом Tree-Search. В таком случае поиск А* является оптимальным, при условии, что h (п) представляет собой ^ допустимую эвристическую функцию, т.е. при условии, что h (п) никогда не переоценивает стоимость достижения цели. Допустимые эвристические функции являются по своей сути оптимистическими функциями, поскольку возвращают значения стоимости решения за-
дачи, меньшие по сравнению с фактическими значениями стоимости. А поскольку g(n) — точная стоимость достижения узла п, из этого непосредственно следует, что функция f (п) никогда не переоценивает истинную стоимость достижения решения через узел п.
Очевидным примером допустимой эвристической функции является функция определения расстояния по прямой hSLD, которая уже использовалась в данной главе для поиска пути в Бухарест. Расстояние по прямой является допустимым, поскольку кратчайший путь между любыми двумя точками лежит на прямой; это означает, что длина прямого пути цо определению не может представлять собой переоценку длины пути. На рис. 4.2 показан процесс поиска А* пути в Бухарест с помощью дерева. Значения g вычисляются на основании стоимостей этапов, показанных на рис. 3.1, а значения hSLD приведены в табл. 4.1. Следует, в частности, отметить, что узел Bucharest впервые появляется в периферии на этапе, показанном на рис. 4.2, д, но не выбирается для развертывания, поскольку его f-стоимость (450) выше, чем стоимость узла Pitesti (417). Иными словами эту ситуацию можно описать так, что может существовать решение, при котором путь проходит через город Питешти со стоимостью, достигающей 417, поэтому алгоритм не останавливается на решении со стоимостью 450. Данный пример может служить общим свидетельством того, что поиск А* с использованием алгоритма Tree-Search является оптимальным, если функция h(n) допустима. Предположим, что на периферии поиска появился неоптимальный целевой узел G2, а стоимость оптимального решения равна С*. В таком случае, поскольку узел С2 неоптимален, a h (G2) =0 (это выражение справедливо для любого целевого узла), можно вывести следующую формулу:
f(G2> = g(G2> + h(G2) = g(G2) > С*
Теперь рассмотрим периферийный узел п, который находится в оптимальном пути решения, например узел Pi testi в примере, приведенном в предыдущем абзаце. (Если решение существует, то всегда должен быть такой узел.) Если функция h(n) не переоценивает стоимость завершения этого пути решения, то справедлива следующая формула:
f(n) = g(n) + h(n) < С*
Таким образом, доказано, что f (n) <C*<f (G2), поэтому узел G2 не развертывается и поиск А* должен вернуть оптимальное решение.
Если бы вместо алгоритма Tree-Search использовался алгоритм Graph- Search, приведенный в листинге 3.6, то данное доказательство стало бы недействительным. Дело в том, что алгоритм Graph-Search способен отбросить оптимальный путь к повторяющемуся состоянию, если он не был сформирован в первую очередь, поэтому может возвращать неоптимальные решения (см. упр. 4.4). Существуют два способа устранения этого недостатка. Первое решение состоит в том, что алгоритм Graph-Search должен быть дополнен так, чтобы он отбрасывал наиболее дорогостоящий из любых двух найденных путей к одному и тому же узлу (см. обсуждение этой темы в разделе 3.5). Сопровождение необходимой для этого дополнительной информации связано с определенными трудностями, но гарантирует оптимальность. Второе решение состоит в обеспечении того, чтобы оптимальный путь к любому повторяющемуся состоянию всегда был первым из тех, по которым следует алгоритм, как в случае поиска по критерию стоимости.
646=280+366 415=239+176 671=291+380 413=220+193
Рис. 4.2. Этапы поиска Л* пути в Бухарест. Узлы отмечены значениями f =g+h. Значения h представляют собой расстояния по прямой до Бухареста, приведенные в табл. 4.1
Такое свойство соблюдается, если на функцию Мп) налагается дополнительное требование, а именно требование обеспечения М преемственности эвристической функции (такое свойство называют также ^ монотонностью эвристической функции). Эвристическая функция h(n) является преемственной, если для любого узла п и для любого преемника п' узла п, сформированного в результате любого действия а, оценка стоимости достижения цели из узла п не больше чем стоимость этапа достижения узла п' плюс оценка стоимости достижения цели из узла п':
h(n) < c(n,a,n') + h(n')
Это — форма общего ^ неравенства треугольника, которое указывает, что длина любой стороны треугольника не может превышать сумму длин двух других сторон. В данном случае треугольник образован узлами п, п' и целью, ближайшей к п. Можно довольно легко показать (упр. 4.7), что любая преемственная эвристическая функция является также допустимой. Наиболее важным следствием из определения преемственности является такой вывод: ^ поиск А* с использованием алгоритма Graph-Search является оптимальным, если функция Мп) преемственна.
Несмотря на то что требование к преемственности является более строгим, чем требование к допустимости, весьма нелегко составить такие эвристические функции, которые были бы допустимыми, но не преемственными. Все допустимые эвристические функции, рассматриваемые в данной главе, являются также преемственными. Возьмем в качестве примера функцию hSLD. Известно, что общее неравенство треугольника удовлетворяется, если длина каждой стороны измеряется с помощью расстояния по прямой, и что расстояние по прямой между пип' не больше чем с (п, a, п' ). Поэтому эвристическая функция hSLD является преемственной.
Еще один важный вывод из определения преемственности является таковым: ^ есл и функция Мп) преемственна, то значения функции Мп) вдоль любого пути являются неубывающими. Доказательство этого утверждения непосредственно вытекает из определения преемственности. Предположим, что узел п* — преемник узла п; в таком случае для некоторого а справедливо выражение g(n')=g(n)+c(n,a,n') и имеет место такая формула:
f(n') = g(n') + h(n') = g(n) + c(n,a,n') + h(n') > g(n) + h(n) = f(n)
На основании этого можно сделать вывод, что последовательность узлов, развернутых в поиске А* с использованием алгоритма Graph-Search, находится в неубывающем порядке значений f(n). Поэтому первый целевой узел, выбранный для развертывания, должен представлять собой оптимальное решение, поскольку все дальнейшие узлы будут, по меньшей мере, столь же дорогостоящими.
Тот факт, что f-стоимости вдоль любого пути являются неубывающими, означает также, что могут быть очерчены ^ контуры равных f-стоимостей в пространстве состояний, полностью аналогичные контурам равных высот на топографической карте. Пример подобной схемы приведен на рис. 4.3. Внутри контура, обозначенного как 400, все узлы имеют значения f (п), меньшие или равные 400, и т.д. В таком случае, поскольку в поиске А* развертывается периферийный узел с наименьшей f-стоимостью, можно видеть, как поискА* распространяется из начального узла, добавляя узлы в виде концентрических полос с возрастающей f-стоимостью.
Рис. 4.3. Карта Румынии, на которой показаны контуры, соответствующие f=380, f=400 и f = 420, притом что Arad является начальным состоянием.
Узлы в пределах данного конкретного контура имеют f-стоимости, меньшие или равные значению стоимости контура
При поиске по критерию стоимости (таковым является поиск А* с применением h (п) =0) эти полосы будут представлять собой “кольца” с центром в начальном состоянии. При использовании более точных эвристических функций полосы вытягиваются в направлении целевого состояния и становятся более узко сосредоточенными вокруг оптимального пути. Если С* представляет собой стоимость оптимального пути решения, то можно утверждать следующее:
в поиске А* развертываются все узлы со значениями f (п) < С*;
поэтому в поиске А* могут развертываться некоторые дополнительные узлы, находящиеся непосредственно на “целевом контуре” (где f (п) = С*), прежде чем будет выбран целевой узел.
На интуитивном уровне представляется очевидным, что первое найденное решение должно быть оптимальным, поскольку целевые узлы во всех последующих контурах будут иметь более высокое значение f-стоимости и поэтому более высокое значение g-стоимости (поскольку все целевые узлы имеют значения h(n) =0). Кроме того, на интуитивном уровне также очевидно, что поиск А* является полным. По мере добавления полос с возрастающими значениями f мы должны в конечном итоге достичь полосы, в которой значение f будет равно стоимости пути к целевому состоянию.
Следует отметить, что в поиске А* узлы со значением f (п) >С* не развертываются; например, как показано на рис. 4.2, не развертывается узел Timisoara, даже несмотря на то, что является дочерним узлом корневого узла. Эту ситуацию принято обозначать так, что происходит ^ отсечение поддерева, находящегося ниже узла
Timisoara; поскольку функция hSLD является допустимой, рассматриваемый алгоритм может безопасно игнорировать это поддерево, гарантируя вместе с тем оптимальность. Понятие отсечения (под которым подразумевается исключение из рассмотрения некоторых вариантов в связи с отсутствием необходимости их исследовать) является важным для многих областей искусственного интеллекта.
Одно заключительное наблюдение состоит в том, что среди оптимальных алгоритмов такого типа (алгоритмов, которые развертывают пути поиска от корня) поиск А* является М оптимально эффективным для любой конкретной эвристической функции. Это означает, что не гарантируется развертывание меньшего количества узлов, чем в поиске А*, с помощью какого-либо иного оптимального алгоритма (не считая той возможности, когда осуществляется выбор на равных среди узлов с f (п) =С*). Это связано с тем, что любой алгоритм, который не развертывает все узлы со значениями f (п) <С*, подвержен риску потери оптимального решения.
Те соображения, что поиск А*, как один из всех подобных алгоритмов, является действительно полным, оптимальным и оптимально эффективным, оставляют довольно приятное впечатление. Но, к сожалению, это отнюдь не означает, что поиск А* может служить ответом на все наши потребности в поиске. Сложность заключается в том, что при решении большинства задач количество узлов в пределах целевого контура пространства состояний все еще зависит экспоненциально от длины решения. Хотя доказательство этого утверждения выходит за рамки настоящей книги, было показано, что экспоненциальный рост происходит, если ошибка эвристической функции растет не быстрее по сравнению с логарифмом фактической стоимости пути. В математических обозначениях условие субэкспоненциального роста состоит в следующем:
|h(n) - h*(п)| < O(log h*(n))
где h* (n) — истинная стоимость достижения цели из узла п. Почти для всех практически применяемых эвристических функций эта ошибка, по меньшей мере, пропорциональна стоимости пути, и происходящий в связи с этим экспоненциальный рост в конечном итоге превосходит возможности любого компьютера. По этой причине на практике стремление находить оптимальное решение часто не оправдано. Иногда вместо этого целесообразно использовать варианты поиска А*, позволяющие быстро находить неоптимальные решения, а в других случаях — разрабатывать эвристические функции, которые являются более точными, но не строго допустимыми. В любом случае применение хорошей эвристической функции все равно обеспечивает поразительную экономию усилий по сравнению с использованием неинформированного поиска. Вопрос разработки хороших эвристических функций рассматривается в разделе 4.2.
Но большая продолжительность вычислений не является основным недостатком поиска А*. Поскольку при поиске А* все сформированные узлы хранятся в памяти (как и во всех алгоритмах Graph-Search), фактически ресурсы пространства исчерпываются задолго до того, как исчерпываются ресурсы времени. По этой причине поиск А* не является практически применимым при решении многих крупномасштабных задач. Разработанные недавно алгоритмы позволяют преодолеть эту проблему пространства, не жертвуя оптимальностью или полнотой, за счет небольшого увеличения времени выполнения. Эти алгоритмы рассматриваются ниже.
Эвристический поиск с ограничением объема памяти
Простейший способ сокращения потребностей в памяти для поиска А* состоит в применении идеи итеративного углубления в контексте эвристического поиска. Реализация этой идеи привела к созданию алгоритма А* с итеративным углублением (Iterative- Deepening А* — IDA*). Основное различие между алгоритмом IDA* и стандартным алгоритмом итеративного углубления состоит в том, что применяемым условием останова развертывания служит f-стоимость (д+Ь), а не глубина; на каждой итерации этим остановочным значением является минимальная f-стоимость любого узла, превышающая остановочное значение, достигнутое в предыдущей итерации. Алгоритм IDA* является практически применимым для решения многих задач с единичными стоимостями этапов и позволяет избежать существенных издержек, связанных с поддержкой отсортированной очереди узлов. К сожалению, этот алгоритм характеризуется такими же сложностями, связанными с использованием стоимостей с действительными значениями, как и итеративная версия поиска по критерию стоимости, которая описана в упр. 3.11. В данном разделе кратко рассматриваются два более современных алгоритма с ограничением памяти, получивших названия RBFS и МА*.
^ Рекурсивный поиск по первому наилучшему совпадению (Recursive Best-First Search — RBFS) — это простой рекурсивный алгоритм, в котором предпринимаются попытки имитировать работу стандартного поиска по первому наилучшему совпадению, но с использованием только линейного пространства. Этот алгоритм приведен в листинге 4.1. Он имеет структуру, аналогичную структуре рекурсивного поиска в глубину, но вместо бесконечного следования вниз по текущему пути данный алгоритм контролирует f-значение наилучшего альтернативного пути, доступного из любого предка текущего узла. Если текущий узел превышает данный предел, то текущий этап рекурсии отменяется и рекурсия продолжается с альтернативного пути. После отмены данного этапа рекурсии в алгоритме RBFS происходит замена f-значения каждого узла вдоль данного пути наилучшим f-значением его дочернего узла. Благодаря этому в алгоритме RBFS запоминается f-значение наилучшего листового узла из забытого поддерева и поэтому в некоторый последующий момент времени может быть принято решение о том, стоит ли снова развертывать это поддерево. На рис. 4.4 показано, как с помощью алгоритма RBFS происходит поиск пути в Бухарест.
Листинг 4.1. Алгоритм рекурсивного поиска по первому наилучшему совпадению
function Recursive-Best-First-Search(problem) returns решение result или индикатор неудачи failure
RBFS(problem, Make-Node(Initial-State[problem]), oo)
function RBFS(problem, node, f_limit) returns решение result
или индикатор неудачи failure и новый предел f-стоимости f_limit if Goal-Test(problem)(State[node]) then return узел node successors <— Expand(node, problem) if множество узлов-преемников successors пусто
then return failure, «> for each s in successors do
f[s] <— max(g(s) +h(s) , f [node] ) repeat
best <— узел с наименьшим f-значением в множестве successors if f[best] > f_limit then return failure, f(best)
alternative <— второе после наименьшего f-значениев множестве successors
result, f[best] <— RBFSк problem, best, min(f_limit, alternative))
Puc. 4.4. Этапы поиска кратчайшего маршрута в Бухарест с помощью алгоритма RBFS. Значение f-предела для каждого рекурсивного вызова показано над каждым текущим узлом: путь через узел RimnicuVilcea, который следует до текущего наилучшего листового узла (Pitesti), имеет значение, худшее по сравнению с наилучшим альтернативным путем (Fagaras) (а);рекурсия продолжается и значение наилучшего листового узла забытого поддерева (417) резервируется в узле RimnicuVilc еа; затем развертывается узел Fagaras, в результате чего обнаруживается наилучшее значение листового узла, равное 450(6); рекурсия продолжается и значение наилучшего листового узла забытого поддерева (450) резервируется в узле Fagaras; затем развертывается узел RimnicuVi Icea; на этот раз развертывание продолжается в сторону Бухареста, поскольку наилучший альтернативный путь (через узел Timi so ar а) стоит, по меньшей мере, 447(e)
Алгоритм RBFS является немного более эффективным по сравнению с IDA*, но все еще страдает от недостатка, связанного со слишком частым повторным формированием узлов. В примере, приведенном на рис. 4.4, алгоритм RBFS вначале следует по пути через узел RimnicuVilcea, затем “меняет решение” и пытается пройти через узел Fagaras, после этого снова возвращается к отвергнутому ранее решению. Такие смены решения происходят в связи с тем, что при каждом развертывании текущего наилучшего пути велика вероятность того, что его f-значение увеличится, поскольку функция h обычно становится менее оптимистической по мере того, как происходит развертывание узлов, более близких к цели. После того как возникает такая ситуация, особенно в больших пространствах поиска, путь, который был вторым после наилучшего, может сам стать наилучшим путем, поэтому в алгоритме поиска приходится выполнять возврат, чтобы проследовать по нему. Каждое изменение решения соответствует одной итерации алгоритма IDA* и может потребовать многих повторных развертываний забытых узлов для воссоздания наилучшего пути и развертывания пути еще на один узел.
Как и алгоритм поиска A*, RBFS является оптимальным алгоритмом, если эвристическая функция h(n) допустима. Его пространственная сложность равна Okbd^, но охарактеризовать временную сложность довольно трудно: она зависит и от точности эвристической функции, и от того, насколько часто происходила смена наилучшего пути по мере развертывания узлов. И алгоритм IDA*, и алгоритм RBFS подвержены потенциальному экспоненциальному увеличению сложности, связанной с поиском в графах (см. раздел 3.5), поскольку эти алгоритмы не позволяют определять наличие повторяющихся состояний, отличных от тех, которые находятся в текущем пути. Поэтому данные алгоритмы способны много раз исследовать одно и то же состояние.
Алгоритмы IDA* и RBFS страдают от того недостатка, что в них используется слишком мало памяти. Между итерациями алгоритм IDA* сохраняет только единственное число — текущий предел f-стоимости. Алгоритм RBFS сохраняет в памяти больше информации, но количество используемой в нем памяти измеряется лишь значением Okbd^: даже если бы было доступно больше памяти, алгоритм RBFS не способен ею воспользоваться.
Поэтому представляется более разумным использование всей доступной памяти. Двумя алгоритмами, которые осуществляют это требование, являются поиск ^ МА* (Memory-bounded А* — поиск А* с ограничением памяти) и М SMA* (Simplified МА* — упрощенный поиск МА*). В данном разделе будет описан алгоритм SMA*, который действительно является более простым, чем другие алгоритмы этого типа. Алгоритм SMA* действует полностью аналогично поиску А*, развертывая наилучщие листовые узлы до тех пока, пока не будет исчерпана доступная память. С этого момента он не может добавить новый узел к дереву поиска, не уничтожив старый. В алгоритме SMA* всегда уничтожается наихудший листовой узел (тот, который имеет наибольшее f-значение). Как и в алгоритме RBFS, после этого в алгоритме SMA* значение забытого (уничтоженного) узла резервируется в его родительском узле. Благодаря этому предок забытого поддерева позволяет определить качество наилучшего пути в этом поддереве. Поскольку имеется данная информация, в алгоритме SMA* поддерево восстанавливается, только если обнаруживается, что все другие пути выглядят менее многообещающими по сравнению с забытым путем. Иными словами, если все потомки узла п забыты, то неизвестно, каким
путем можно следовать от п, но все еще можно получить представление о том, есть ли смысл куда-либо следовать от п.
Полный алгоритм слишком сложен для того, чтобы его можно было воспроизвести в данной книге, но заслуживает упоминания один его нюанс. Как уже было сказано выше, в алгоритме SMA* развертывается наилучший листовой узел и удаляется наихудший листовой узел. А что происходит, если все листовые узлы имеют одинаковое f-значение? В таком случае может оказаться, что алгоритм выбирает для удаления и развертывания один и тот же узел. В алгоритме SMA* эта проблема решается путем развертывания самого нового наилучшего листового узла и удаления самого старого наихудшего листового узла. Эти два узла могут оказаться одним и тем же узлом, только если существует лишь один листовой узел; в таком случае текущее дерево поиска должно представлять собой единственный путь от корня до листового узла, заполняющий всю память. Это означает, что если данный листовой узел не является целевым узлом, то решение не достижимо при доступном объеме памяти, даже если этот узел находится в оптимальном пути решения. Поэтому такой узел может быть отброшен точно так же, как и в том случае, если он не имеет преемников.
Алгоритм SMA* является полным, если существует какое-либо достижимое решение, иными словами, если d, глубина самого поверхностного целевого узла, меньше чем объем памяти (выраженный в хранимых узлах). Этот алгоритм оптимален, если достижимо какое-либо оптимальное решение; в противном случае он возвращает наилучшее достижимое решение. С точки зрения практики алгоритм SMA* вполне может оказаться наилучшим алгоритмом общего назначения для поиска оптимальных решений, особенно если пространство состояний представляет собой граф, стоимости этапов не одинаковы, а операция формирования узлов является более дорогостоящей в сравнении с дополнительными издержками сопровождения открытых и закрытых списков.
Однако при решении очень сложных задач часто возникают ситуации, в которых алгоритм SMA* вынужден постоянно переключаться с одного пути решения на другой в пределах множества возможных путей решения, притом что в памяти может поместиться только небольшое подмножество этого множества. (Такие ситуации напоминают проблему М пробуксовки в системах подкачки страниц с жесткого диска.) В таком случае на повторное формирование одних и тех узлов затрачивается дополнительное время, а это означает, что задачи, которые были бы фактически разрешимыми с помощью поиска А* при наличии неограниченной памяти, становятся трудноразрешимыми для алгоритма SMA*. Иными словами, из-за ^ ограничений в объеме памяти некоторые задачи могут становиться трудноразрешимыми с точки зрения времени вычисления. Хотя отсутствует теория, позволяющая найти компромисс между затратами времени и памяти, создается впечатление, что зачастую избежать возникновения этой проблемы невозможно. Единственным способом преодоления такой ситуации становится частичный отказ от требований к оптимальности решения.
Обучение лучшим способам поиска
Выше было представлено несколько стратегий поиска (поиск в ширину, жадный поиск по первому наилучшему совпадению и т.д.), которые были разработаны уче-
ными и специалистами по компьютерным наукам. Но может ли сам агент обучаться лучшим способам поиска? Ответ на этот вопрос является положительным, а применяемый при этом метод обучения опирается на важную концепцию, называемую пространством состояний, рассматриваемым на метауровне, или ^ метауровневым пространством состояний. Каждое состояние в метауровневом пространстве состояний отражает внутреннее (вычислительное) состояние программы, выполняющей поиск в пространстве состояний, рассматриваемом на уровне объектов, или в ^ объектно-уровневом пространстве состояний, таком как карта Румынии. Например, внутреннее состояние алгоритма А* включает в себя текущее дерево поиска. Каждое действие в метауровневом пространстве состояний представляет собой этап вычисления, который изменяет внутреннее состояние, например, на каждом этапе вычисления в процессе поиска А* развертывается один из листовых узлов, а его преемники добавляются к дереву. Таким образом, рис. 4.2, на котором показана последовательность все больших и больших деревьев поиска, может рассматриваться как изображающий путь в метауровневом пространстве состояний, где каждое состояние в пути является объектно-уровневым деревом поиска.
В настоящее время путь, показанный на рис. 4.2, имеет пять этапов, включая один этап (развертывание узла Fagaras), который нельзя назвать слишком полезным. Может оказаться, что при решении более сложных задач количество подобных ненужных этапов будет намного больше, а алгоритм ^ метауровневого обучения может изучать этот опыт, чтобы в дальнейшем избегать исследования бесперспективных поддеревьев. Методы, используемые при обучении такого рода, описаны в главе 21. Целью обучения является минимизация суммарной стоимости решения задач, а также поиск компромисса между вычислительными издержками и стоимостью пути.
Эвристические функции
В этом разделе будут рассматриваться эвристические функции для задачи игры в восемь, что позволяет лучше продемонстрировать характерные особенности всех эвристических функций в целом.
Головоломка “игра в восемь” была одной из первых задач эвристического поиска. Как было указано в разделе 3.2, в ходе решения этой головоломки требуется передвигать фишки по горизонтали или по вертикали на пустой участок до тех пор, пока полученная конфигурация не будет соответствовать целевой конфигурации (рис. 4.5).
■ 7
2 <
4
1
2'
5
6
3
, 4
5
8
; 3
1
6
7
■ 8
Начальное состояние
Целевое состояние
Рис. 4.5. Типичный экземпляр головоломки “игра в восемь ”. Решение имеет длину 26 этапов
Средняя стоимость решения для сформированного случайным образом экземпляра головоломки “игра в восемь” составляет около 22 этапов. Коэффициент ветвления примерно равен 3. (Если пустой квадрат находится в середине коробки, то количество возможных ходов равно четырем, если находится в углу — двум, а если в середине одной из сторон — трем.) Это означает, что при исчерпывающем поиске на глубину 22 приходится рассматривать примерно 322~3.1x1010 состояний. Отслеживая повторяющиеся состояния, это количество состояний можно сократить приблизительно в 170 000 раз, поскольку существует только 9 ’ /2 = 181 440 различимых состояний, которые являются достижимыми (см. упр. 3.4.) Это количество состояний уже лучше поддается контролю, но соответствующее количество для игры в пятнадцать примерно равно 1013, поэтому для такой головоломки с более высокой сложностью требуется найти хорошую эвристическую функцию. Если нужно находить кратчайшие решения с использованием поиска А*, то требуется эвристическая функция, которая никогда не переоценивает количество этапов достижения цели. История исследований в области поиска таких эвристических функций для игры в пятнадцать является довольно долгой, а в данном разделе рассматриваются два широко используемых кандидата на эту роль, которые описаны ниже.
Нг = количество фишек, стоящих не на своем месте. На рис. 4.5 все восемь фишек стоят не на своем месте, поэтому показанное слева начальное состояние имеет эвристическую оценку h^. Эвристическая функция Ьг является допустимой, поскольку очевидно, что каждую фишку, находящуюся не на своем месте, необходимо переместить по меньшей мере один раз.
h2 = сумма расстояний всех фишек от их целевых позиций. Поскольку фишки не могут передвигаться по диагонали, рассчитываемое расстояние представляет собой сумму горизонтальных и вертикальных расстояний. Такое расстояние иногда называют расстоянием, измеряемым в городских кварталах, или М манхэттенским расстоянием. Эвристическая функция h2 также является допустимой, поскольку все, что может быть сделано в одном ходе, состоит лишь в перемещении одной фишки на один этап ближе к цели. Фишки от 1 до 8 в рассматриваемом начальном состоянии соответствуют такому значению манхэттенского расстояния: h2=3 + 1+2+2+2 + 3+3+2 = 18.
Как и можно было предположить, ни одна из этих функций не переоценивает истинную стоимость решения, которая равна 26.
Зависимость производительности поиска от точности эвристической функции
Одним из критериев, позволяющих охарактеризовать качество эвристической функции, является М эффективный коэффициент ветвления Ь*. Если общее количество узлов, вырабатываемых в процессе поиска А* решения конкретной задачи, равно N, а глубина решения равна d, то Ь* представляет собой коэффициент ветвления, который должно иметь однородное дерево с глубиной d для того, чтобы в нем содержалось ^+l узлов. Поэтому справедлива следующая формула:
IV + 1 = 1 + Ь* + (Ь*)2 + ... + (b*)d
Например, если алгоритм А* находит решение на глубине 5 с использованием 52 узлов, то эффективный коэффициент ветвления равен 1,92. Эффективный коэффи-
циент ветвления может изменяться от одного экземпляра одной и той же задачи к другому, но обычно в случае достаточно трудных задач остается относительно постоянным. Поэтому экспериментальные измерения коэффициента Ь* на небольшом множестве задач могут служить хорошим критерием общей полезности рассматриваемой эвристической функции. Хорошо спроектированная эвристическая функция должна иметь значение Ь*, близкое к 1, что позволяет быстро решать довольно большие задачи.
Для проверки эвристических функций hx и h2 авторы сформировали случайным образом 1200 экземпляров задачи с длиной решения от 2 до 24 (по 100 экземпляров для каждого четного значения длины) и нашли их решения с помощью поиска с итеративным углублением и поиска в дереве по алгоритму А* с применением эвристических функций йх и h2. Данные о среднем количестве узлов, развернутых при использовании каждой стратегии и эффективном коэффициенте ветвления, приведены в табл. 4.2. Эти результаты показывают, что эвристическая функция h2 лучше чем hy и намного лучше по сравнению с использованием поиска с итеративным углублением. Применительно к найденным авторами решениям с длиной 14 применение поиска А* с эвристической функцией h2 становится в 30 000 раз более эффективным по сравнению с неинформированным поиском с итеративным углублением.
Таблица 4.2. Сравнение значений стоимости поиска и эффективного коэффициента ветвления для алгоритмов Iterative-Deepening-Search и А* с hi, h2. Данные усреднялись по 100 экземплярам задачи игры в восемь применительно к различным значениям длины решения
d
Стоимость поиска
Эффективный коэффициент ветвления
IDS
А*(Лд
а*(ь2)
IDS
A*(hi)
а*(ь2)
2
10
6
6
2,45
1,79
1,79
4
112
13
12
2,87
1,48
1,45
6
680
20
18
2,73
1,34
1,30
8
6384
39
25
2,80
1,33
1,24
10
47127
93
39
2,79
1,38
1,22
12
3644035
227
73
2,78
1,42
1,24
14
-
539
113
—
1,44
1,23
16
-
1301
211
—
1,45
1,25
18
—
3056
363
—
1,46
1,26
20
-
7276
676
—
1,47
1,27
22
—
18094
1219
—
1,48
1,28
24
—
39135
1641
—
1,48
1,26
Интерес представляет вопрос о том, всегда ли эвристическая функция h2 лучше чем Нг. Ответ на этот вопрос является положительным. На основании определений этих двух эвристических функций можно легко прийти к выводу, что для любого узла п справедливо выражение h2 (п) >h± (п). Таким образом, можно утверждать, что эвристика h2 ^ доминирует над Ьх. Доминирование напрямую связано с эффективностью: при поиске А* с использованием функции h2 никогда не происходит развертывание большего количества узлов, чем при поиске А* с использованием hx (возможно, за исключением нескольких узлов с f (п) = С*). Доказательство этого ут-
верждения является несложным. Напомним приведенное на с. 161 замечание, что каждый узел со значением f (п) <С* наверняка должен быть развернут. Это аналогично утверждению, что должен быть наверняка развернут каждый узел со значением h(n) <С*-д(п). Но поскольку для всех узлов значение Ь2, по крайней мере, не меньше значения h1? то каждый узел, который должен быть наверняка развернут в поиске А* с h2, будет также наверняка развернут при поиске с hT) а применение эвристической функции hT может к тому же вызвать и развертывание других узлов. Поэтому всегда лучше использовать эвристическую функцию с более высокими значениями, при тех условиях, что эта функция не переоценивает длину пути решения и что время вычисления этой эвристической функции не слишком велико.
Составление допустимых эвристических функций
Выше было показано, что эвристические функции Нг (в которой используется количество стоящих не на своем месте фишек) и h2 (в которой используется манхэттенское расстояние) являются довольно неплохими эвристическими функциями для задачи игры в восемь и что функция h2 — из них наилучшая. Но на основании чего именно была предложена функция h2? Возможно ли, чтобы компьютер мог составить некоторую эвристическую функцию механически?
Эвристические функции Нг и h2 представляют собой оценки оставшейся длины пути для задачи игры в восемь, но они, кроме того, возвращают идеально точные значения длины пути для упрощенных версий этой игры. Если бы правила игры в восемь изменились таким образом, чтобы любую фишку можно было передвигать куда угодно, а не только на соседний пустой квадрат, то эвристическая функция Нг возвращала бы точное количество этапов в кратчайшем решении. Аналогичным образом, если бы любую фишку можно было перемещать на один квадрат в любом направлении, даже на занятый квадрат, то точное количество этапов в кратчайшем решении возвращала бы эвристическая функция h2. Задача с меньшим количеством ограничений на возможные действия называется ^ ослабленной задачей. с^= Стоимость оптимального решения ослабленной задачи представляет собой допустимую эвристику для первоначальной задачи. Такая эвристическая функция является допустимой, поскольку оптимальное решение первоначальной задачи, по определению, служит также решением ослабленной задачи и поэтому должно быть, по меньшей мере, таким же дорогостоящим, как и оптимальное решение ослабленной задачи. Поскольку значение производной эвристической функции представляет собой точную стоимость решения ослабленной задачи, эта функция должно подчиняться неравенству треугольника и поэтому должна быть преемственной (см. с. 160).
Если определение задачи записано на каком-то формальном языке, то существует возможность формировать ослабленные задачи автоматически. Например, если действия в игре в восемь описаны следующим образом:
Фишка может быть передвинута из квадрата А в квадрат В, если квадрат А является смежным по горизонтали или по вертикали с квадратом В и квадрат В пуст
то могут быть сформированы три ослабленные задачи путем удаления одного или обоих из приведенных выше условий.
Фишка может быть передвинута из квадрата А в квадрат в, если квадрат А является смежным с квадратом в.
Фишка может быть передвинута из квадрата А в квадрат в, если квадрат в пуст.
Фишка может быть передвинута из квадрата А в квадрат В.
На основании ослабленной задачи а) можно вывести функцию h2 (манхэттенское расстояние). В основе этих рассуждений лежит то, что h2 должна представлять собой правильную оценку, если каждая фишка передвигается к месту ее назначения по очереди. Эвристическая функция, полученная на основании ослабленной задачи б), обсуждается в упр. 4.9. На основании ослабленной задачи в) можно получить эвристическую функцию hi (фишки, стоящие не на своих местах), поскольку эта оценка была бы правильной, если бы фишки можно было передвигать в предназначенное для них место за один этап. Обратите внимание на то, что здесь существенной является возможность решать ослабленные задачи, создаваемые с помощью указанного метода, фактически без какого-либо поиска, поскольку ослабленные правила обеспечивают декомпозицию этой задачи на восемь независимых подзадач. Если бы было трудно решать и ослабленную задачу, то был бы дорогостоящим сам процесс получения значений соответствующей эвристической функции.
Для автоматического формирования эвристических функций на основе определений задач с использованием метода “ослабленной задачи” и некоторых других методов может применяться программа под названием Absolver [1237]. Программа Absolver составила для задачи игры в восемь новую эвристическую функцию, лучшую по сравнению со всеми существовавшими ранее эвристическими функциями, а также нашла первую полезную эвристическую функцию для знаменитой головоломки “кубик Рубика”.
Одна из проблем, возникающих при составлении новых эвристических функций, состоит в том, что часто не удается получить эвристическую функцию, которая была бы “лучшей во всех отношениях” по сравнению с другими. Если для решения какой-либо задачи может применяться целая коллекция допустимых эвристических функций hT.. .М и ни одна из них не доминирует над какой-либо из других функций, то какая из этих функций должна быть выбрана? Оказалось, что такой выбор делать не требуется, поскольку можно взять от них всех самое лучшее, определив такой критерий выбора:
Мп) = max{hi (п) , hm(n)}
В этой составной эвристике используется та функция, которая является наиболее точной для рассматриваемого узла. Поскольку эвристические функции, входящие в состав эвристики h, являются допустимыми, сама эта функция также является до-
пустимой; кроме того, можно легко доказать, что функция h преемственна. К тому же h доминирует над всеми эвристическими функции, которые входят в ее состав.
Допустимые эвристические функции могут быть также выведены на основе стоимости решения ^ подзадачи данной конкретной задачи. Например, на рис. 4.6 показана подзадача для экземпляра игры в восемь, приведенного на рис. 4.5. Эта подзадача касается перемещения фишек 1, 2, 3, 4 в их правильные позиции. Очевидно, что стоимость оптимального решения этой подзадачи представляет собой нижнюю границу стоимости решения полной задачи. Как оказалось, такая оценка в некоторых случаях является намного более точной по сравнению с манхэттенским расстоянием.
Рис. 4.6. Подзадача для экземпляра игры в восемь, показанного на рис. 4.5. Задание заключается в том, чтобы передвинуть фишки 1, 2, 3 и 4 в их правильные позиции, не беспокоясь о том, что произойдет с другими фишками
В основе ^ баз данных с шаблонами лежит такая идея, что указанные точные стоимости решений нужно хранить для каждого возможного экземпляра подзадачи — в нашем примере для каждой возможной конфигурации из четырех фишек и пустого квадрата. (Следует отметить, что при выполнении задания по решению этой подзадачи местонахождения остальных четырех фишек не нужно принимать во внимание, но ходы с этими фишками следует учитывать в стоимости решения.) После этого вычисляется допустимая эвристическая функция hDB (здесь DB — Data Base) для каждого полного состояния, встретившегося в процессе поиска, путем выборки данных для соответствующей конфигурации подзадачи из базы данных. Сама база данных заполняется путем обратного поиска из целевого состояния и регистрации стоимости каждого нового встретившегося шаблона; затраты на этот поиск окупаются за счет успешного решения в дальнейшем многих новых экземпляров задачи.
Выбор фишек 1-2-3-4 является довольно произвольным; можно было бы также создать базы данных для фишек 5-6-7-8, 2-4-6-8 и т.д. По данным каждой базы данных формируется допустимая эвристическая функция, а эти эвристические функции можно составлять в общую эвристическую функцию, как было описано выше, применяя их максимальное значение. Составная эвристическая функция такого вида является намного более точной по сравнению с манхэттенским расстоянием; количество узлов, вырабатываемых при решении сформированных случайным образом экземпляров задачи игры в пятнадцать, может быть уменьшено примерно в 1000 раз.
Представляет интерес вопрос о том, можно ли складывать значения эвристических функций, полученных из баз данных 1-2-3-4 и 5-6-7-8, поскольку очевид-
но, что соответствующие две подзадачи не перекрываются. Будет ли при этом все еще получена допустимая эвристическая функция? Ответ на этот вопрос является отрицательным, поскольку в решениях подзадачи 1-2-3-4 и подзадачи 5-6-7-8 для данного конкретного состояния должны наверняка присутствовать некоторые общие ходы. Дело в том, что маловероятна ситуация, при которой фишки 1-2-3-4 можно было бы передвинуть на свои места, не трогая фишек 5-6-7-8, и наоборот. Но что будет, если не учитывать эти ходы? Иными словами, допустим, что регистрируется не общая стоимость решения подзадачи 1-2-3-4,атолько количество ходов, в которых затрагиваются фишки 1-2-3-4. В таком случае можно легко определить, что сумма этих двух стоимостей все еще представляет собой нижнюю границу стоимости решения всей задачи. Именно эта идея лежит в основе М баз данных с непере- секающимися шаблонами. Применение таких баз данных позволяет решать случайно выбранные экземпляры задачи игры в пятнадцать за несколько миллисекунд — количество формируемых узлов сокращается примерно в 10 000 раз по сравнению с использованием манхэттенского расстояния. Для задачи игры в 24 может быть достигнуто ускорение приблизительно в миллион раз.
Базы данных с непересекающимися шаблонами успешно применяются для решения головоломок со скользящими фишками, поскольку сама задача может быть разделена таким образом, что каждый ход влияет лишь на одну подзадачу, так как одновременно происходит перемещение только одной фишки. При решении таких задач, как кубик Рубика, подобное разделение не может быть выполнено, поскольку каждый ход влияет на положение 8 или 9 из 26 элементов кубика. В настоящее время нет полного понимания того, как можно определить базы данных с непересекающимися шаблонами для подобных задач.
Изучение эвристических функций на основе опыта
Предполагается, что эвристическая функция h(n) оценивает стоимость решения, начиная от состояния, связанного с узлом п. Как может некоторый агент составить подобную функцию? Одно из решений было приведено в предыдущем разделе, а именно: агент должен сформулировать ослабленные задачи, для которых может быть легко найдено оптимальное решение. Еще один подход состоит в том, что агент должен обучаться на основании полученного опыта. Здесь под “получением опыта” подразумевается, например, решение большого количества экземпляров игры в восемь. Каждое оптимальное решение задачи игры в восемь предоставляет примеры, на основе которых можно изучать функцию h (п). Каждый пример складывается из состояния, взятого из пути решения, и фактической стоимости пути от этой точки до решения. На основе данных примеров с помощью алгоритма индуктивного обучения может быть сформирована некоторая функция h(n), способная (при счастливом стечении обстоятельств) предсказывать стоимости решений для других состояний, которые возникают во время поиска. Методы осуществления именно такого подхода с использованием нейронных сетей, деревьев решения и других средств описаны в главе 18. (Применимы также методы обучения с подкреплением, которые рассматриваются в главе 21.)
Методы индуктивного обучения действует лучше всего, когда в них учитываются характеристики состояния, релевантные для оценки этого состояния, а не просто общее описание состояния. Например, характеристика “количество стоящих не на
своих местах фишек” может быть полезной при предсказании фактического удаления некоторого состояния от цели. Назовем эту характеристику xjn). Например, можно взять 100 сформированных случайным образом конфигураций головоломки игры в восемь и собрать статистические данные об их фактических стоимостях решений. Допустим, это позволяет обнаружить, что при хх(п), равном 5, средняя стоимость решения составляет около 14, и т.д. Наличие таких данных позволяет использовать значение хх для предсказания значений функции Мп). Безусловно, можно также применять сразу несколько характеристик. Второй характеристикой, х2(п), может быть “количество пар смежных фишек, которые являются также смежными в целевом состоянии”. Каким образом можно скомбинировать значения хх (п) и х2 (п) для предсказания значения h(n) ? Общепринятый подход состоит в использовании линейной комбинации, как показано ниже.
Мп) = сх хх(п) + с2 х2(п)
Константы сх и с2 корректируются для достижения наилучшего соответствия фактическим данным о стоимостях решений. Предполагается, что константа сх должна быть положительной, а с2 - отрицательной.
Алгоритмы локального поиска и задачи
оптимизации
Рассматривавшиеся до сих пор алгоритмы поиска предназначались для систематического исследования пространств поиска. Такая систематичность достигается благодаря тому, что один или несколько путей хранится в памяти и проводится регистрация того, какие альтернативы были исследованы в каждой точке вдоль этого пути, а какие нет. После того как цель найдена, путь к этой цели составляет также искомое решение данной задачи.
Но при решении многих задач путь к цели не представляет интереса. Например, в задаче с восемью ферзями (см. с. 1) важна лишь окончательная конфигурация ферзей, а не порядок, в котором они были поставлены на доску. К этому классу задач относятся многие важные приложения, такие как проектирование интегральных схем, разработка плана цеха, составление производственного расписания, автоматическое программирование, оптимизация сети связи, составление маршрута транспортного средства и управление портфелем акций.
Если путь к цели не представляет интереса, то могут рассматриваться алгоритмы другого класса, в которых вообще не требуются какие-либо данные о путях. Алгоритмы локального поиска действуют с учетом единственного ^ текущего состояния (а не многочисленных путей) и обычно предусматривают только переход в состояние, соседнее по отношению к текущему состоянию. Как правило, информация о путях, пройденных в процессе такого поиска, не сохраняется. Хотя алгоритмы локального поиска не предусматривают систематическое исследование пространства состояний (не являются систематическими), они обладают двумя важными преимуществами: во-первых, в них используется очень небольшой объем памяти, причем обычно постоянный, и, во-вторых, они часто позволяют находить приемлемые решения в больших или бесконечных (непрерывных) пространствах состояний, для которых систематические алгоритмы не применимы.
Кроме поиска целей, алгоритмы локального поиска являются полезным средством решения чистых ^ задач оптимизации, назначение которых состоит в поиске состояния, наилучшего с точки зрения ^ целевой функции. Многие задачи оптимизации не вписываются в “стандартную” модель поиска, представленную в главе 3. Например, природа предусмотрела такую целевую функцию (пригодность для репродукции), что дарвиновская эволюция может рассматриваться как попытка ее оптимизации, но в этой задаче оптимизации нет компонентов “проверка цели” и “стоимость пути”.
Авторы пришли к выводу, что для понимания сути локального поиска очень полезно рассмотреть ^ ландшафт пространства состояний (подобный показанному на рис. 4.7). Этот ландшафт характеризуется и “местонахождением” (которое определяется состоянием), и “возвышением” (определяемым значением эвристической функции стоимости или целевой функции). Если возвышение соответствует стоимости, то задача состоит в поиске самой глубокой долины — ^ глобального минимума, а если возвышение соответствует целевой функции, то задача заключается в поиске высочайшего пика — ^ глобального максимума. (Минимум и максимум можно поменять местами, взяв их с обратными знаками.) Алгоритмы локального поиска исследуют такой ландшафт. Алгоритм полного локального поиска всегда находит цель, если она существует, а оптимальный алгоритм всегда находит глобальный ми- нимум/максимум.
Целевая функцияЦелевая функцияРис. 4.7. Ландшафт одномерного пространства состояний, в котором возвышение соответствует целевой функции. Задача состоит в поиске глобального максимума. Как обозначено стрелкой, в процессе поиска по принципу “подъема к вершине ” осуществляются попытки модификации текущего состояния в целях его улучшения. Различные топографические особенности ландшафта определены в текстеРис. 4.7. Ландшафт одномерного пространства состояний, в котором возвышение соответствует целевой функции. Задача состоит в поиске глобального максимума. Как обозначено стрелкой, в процессе поиска по принципу “подъема к вершине ” осуществляются попытки модификации текущего состояния в целях его улучшения. Различные топографические особенности ландшафта определены в тексте
Целевая функция
Целевая функция
Рис. 4.7. Ландшафт одномерного пространства состояний, в котором возвышение соответствует целевой функции. Задача состоит в поиске глобального максимума. Как обозначено стрелкой, в процессе поиска по принципу “подъема к вершине ” осуществляются попытки модификации текущего состояния в целях его улучшения. Различные топографические особенности ландшафта определены в тексте
Рис. 4.7. Ландшафт одномерного пространства состояний, в котором возвышение соответствует целевой функции. Задача состоит в поиске глобального максимума. Как обозначено стрелкой, в процессе поиска по принципу “подъема к вершине ” осуществляются попытки модификации текущего состояния в целях его улучшения. Различные топографические особенности ландшафта определены в тексте
Поиск с восхождением к вершине
Алгоритм поиска ’S. с восхождением к вершине показан в листинге 4.2. Он представляет собой обычный цикл, в котором постоянно происходит перемещение в направлении возрастания некоторого значения, т.е. подъем. Работа этого алгоритма заканчивается после достижения “пика”, в котором ни одно из соседних состояний не имеет более высокого значения. В данном алгоритме не предусмотрено сопрово-
ждение дерева поиска, поэтому в структуре данных текущего узла необходимо регистрировать только состояние и соответствующее ему значение целевой функции. В алгоритме с восхождением к вершине не осуществляется прогнозирование за пределами состояний, которые являются непосредственно соседними по отношению к текущему состоянию. Это напоминает попытку альпиниста, страдающего от амнезии, найти вершину горы Эверест в густом тумане.
Листинг 4.2. Алгоритм поиска с восхождением к вершине (версия с наиболее крутым подъемом), который представляет собой самый фундаментальный метод локального поиска. На каждом этапе текущий узел заменяется наилучшим соседним узлом; в данной версии таковым является узел с максимальным значением Value, но если используется эвристическая оценка стоимости h, то может быть предусмотрен поиск соседнего узла с минимальным значением h
function Hill-Climbing(problem) returns состояние, которое представляет собой локальный максимум inputs: problem, задача local variables: current, узел neighbor, узел
current <— Make-Node(Initial-State[problem] ) loop do
neighbor <— преемник узла current с наивысшим значением if Value[neighbor] < Value[current] then return
State[current]current <— neighbor
Для иллюстрации поиска с восхождением к вершине воспользуемся задачей с восемью ферзями, которая представлена на с. 118. В алгоритмах локального поиска обычно применяется формулировка полного состояния, в которой в каждом состоянии на доске имеется восемь ферзей, по одному ферзю в каждом столбце. Функция определения преемника возвращает все возможные состояния, формируемые путем перемещения отдельного ферзя в другую клетку одного и того же столбца (поэтому каждое состояние имеет 8x7 = 56 преемников). Эвристическая функция стоимости h определяет количество пар ферзей, которые атакуют друг друга либо прямо, либо косвенно (атака называется косвенной, если на одной горизонтали, вертикали или диагонали стоят больше двух ферзей). Глобальный минимум этой функции становится равным нулю, и это происходит только в идеальных решениях. На рис. 4.8, а показано состояние со значением Ь=17. На этом рисунке также показаны значения всех преемников данного состояния, притом что наилучшие преемники имеют значение Ь=12. Алгоритмы с восхождением к вершине обычно предусматривают случайный выбор в множестве наилучших преемников, если количество преемников больше одного.
Поиск с восхождением к вершине иногда называют ^ жадным локальным поиском, поскольку в процессе его выполнения происходит захват самого хорошего соседнего состояния без предварительных рассуждений о том, куда следует отправиться дальше. Жадность считается одним из семи смертных грехов, но, как оказалось, жадные алгоритмы часто показывают весьма высокую производительность. Во время поиска с восхождением к вершине зачастую происходит очень быстрое продвижение в направлении к решению, поскольку обычно бывает чрезвычайно легко
улучшить плохое состояние. Например, из состояния, показанного на рис. 4.8, а, достаточно сделать лишь пять ходов, чтобы достичь состояния, показанного на рис. 4.8, б, которое имеет оценку h=l и очень близко к одному из решений.
а)а)Рис. 4.8. Пример применения алгоритма с восхождением к вершине: диаграмма состояния задачи с восемью ферзями, характеризующегося эвристической оценкой стоимости h=I7; на этой диаграмме показано значение h для каждого возможного преемника, полученное путем передвижения ферзя в пределах своего столбца; отмечены наилучшие ходы (а); локальный минимум в пространстве состояний задачи с восемью ферзями; это состояние имеет оценку h=I, но каждый преемник характеризуется более высокой стоимостью (б)Рис. 4.8. Пример применения алгоритма с восхождением к вершине: диаграмма состояния задачи с восемью ферзями, характеризующегося эвристической оценкой стоимости h=I7; на этой диаграмме показано значение h для каждого возможного преемника, полученное путем передвижения ферзя в пределах своего столбца; отмечены наилучшие ходы (а); локальный минимум в пространстве состояний задачи с восемью ферзями; это состояние имеет оценку h=I, но каждый преемник характеризуется более высокой стоимостью (б)
а)
а)
Рис. 4.8. Пример применения алгоритма с восхождением к вершине: диаграмма состояния задачи с восемью ферзями, характеризующегося эвристической оценкой стоимости h=I7; на этой диаграмме показано значение h для каждого возможного преемника, полученное путем передвижения ферзя в пределах своего столбца; отмечены наилучшие ходы (а); локальный минимум в пространстве состояний задачи с восемью ферзями; это состояние имеет оценку h=I, но каждый преемник характеризуется более высокой стоимостью (б)
Рис. 4.8. Пример применения алгоритма с восхождением к вершине: диаграмма состояния задачи с восемью ферзями, характеризующегося эвристической оценкой стоимости h=I7; на этой диаграмме показано значение h для каждого возможного преемника, полученное путем передвижения ферзя в пределах своего столбца; отмечены наилучшие ходы (а); локальный минимум в пространстве состояний задачи с восемью ферзями; это состояние имеет оценку h=I, но каждый преемник характеризуется более высокой стоимостью (б)
К сожалению, поиск с восхождением к вершине часто заходит в тупик по описанным ниже причинам.
Локальные максимумы. Локальный максимум представляет собой пик, более высокий по сравнению с каждым из его соседних состояний, но более низкий, чем глобальный максимум. Алгоритмы с восхождением к вершине, которые достигают окрестностей локального максимума, обеспечивают продвижение вверх, к этому пику, но после этого заходят в тупик, из которого больше некуда двигаться. Такая проблема схематически показана на рис. 4.7. Более конкретный пример состоит в том, что состояние, показанное на рис. 4.8, б, фактически представляет собой локальный максимум (т.е. локальный минимум для оценки стоимости К); задача еще не решена, а при любом передвижении отдельно взятого ферзя ситуация становится еще хуже.
Хребты. Пример хребта показан на рис. 4.9. При наличии хребтов возникают последовательности локальных максимумов, задача прохождения которых для жадных алгоритмов является очень трудной.
Плато. Это область в ландшафте пространства состояний, в которой функция оценки является плоской. Оно может представлять собой плоский локальный максимум, из которого не существует выхода вверх, или ^ уступ, из которого возможно дальнейшее успешное продвижение (см. рис. 4.7). Поиск с восхождением к вершине может оказаться неспособным выйти за пределы плато.
Рис. 4.9. Иллюстрация того, почему хребты вызывают сложности при восхождении к вершине. На хребет, возвышающийся слева направо, налагается решетка состояний (полужирные дуги), создавая последовательность локальных максимумов, которые не являются непосредственно связанными друг с другом. В каждом локальном максимуме все доступные действия направлены вниз
В каждом из этих случаев рассматриваемый алгоритм достигает такой точки, из которой не может осуществляться дальнейшее успешное продвижение. Начиная со случайно сформированного состояния с восемью ферзями, алгоритм поиска с восхождением к вершине по самому крутому подъему заходит в тупик в 86% случаях, решая только 14% экземпляров этой задачи. Но он работает очень быстро, выполняя в среднем только 4 этапа в случае успешного завершения и 3 этапа, когда заходит в тупик. Это не очень плохой результат для пространства состояний с 88=17 миллионами состояний.
Алгоритм, приведенный в листинге 4.2, останавливается, достигнув плато, на котором наилучший преемник имеет такое же значение, как и в текущем состоянии. Имеет ли смысл продолжать движение, разрешив М движение в сторону в надежде на то, что это плато в действительности представляет собой уступ, как показано на рис. 4.7? Ответ на этот вопрос обычно является положительным, но необходимо соблюдать осторожность. Если будет всегда разрешено движение в сторону, притом что движение вверх невозможно, могут возникать бесконечные циклы после того, как алгоритм достигнет плоского локального максимума, не являющегося уступом. Одно из широко применяемых решений состоит в том, что устанавливается предел количества допустимых последовательных движений в сторону. Например, можно разрешить, допустим, 100 последовательных движений в сторону в задаче с восемью ферзями. В результате этого относительное количество экземпляров задачи, решаемых с помощью восхождения к вершине, возрастает с 14 до 94%. Но за этот успех приходится платить: алгоритм в среднем выполняет приблизительно 21 этап при каждом успешном решении экземпляра задачи и 64 этапа при каждой неудаче.
Разработано много вариантов поиска с восхождением к вершине. При М стохастическом поиске с восхождением к вершине осуществляется выбор слу-
чайным образом одного из движений вверх; вероятность такого выбора может зависеть от крутизны движения вверх. Обычно этот алгоритм сходится более медленно по сравнению с вариантом, предусматривающим наиболее крутой подъем, но в некоторых ландшафтах состояний он находит лучшие решения. При ^ поиске с восхождением к вершине с выбором первого варианта реализуется стохастический поиск с восхождением к вершине путем формирования преемников случайным образом до тех пор, пока не будет сформирован преемник, лучший по сравнению с текущим состоянием. Это — хорошая стратегия, если любое состояние имеет большое количество преемников (измеряемое тысячами). В упр. 4.16 предлагается исследовать этот алгоритм.
Алгоритмы с восхождением к вершине, описанные выше, являются неполными, поскольку часто оказываются неспособными найти цель, притом что она существует, из-за того, что могут зайти в тупик, достигнув локального максимума. М Поиск с восхождением к вершине и перезапуском случайным образом руководствуется широко известной рекомендацией: “Если первая попытка оказалась неудачной, пробуйте снова и снова”. В этом алгоритме предусмотрено проведение ряда поисков из сформированных случайным образом начальных состояний и останов после достижения цели. Он является полным с вероятностью, достигающей 1, даже по той тривиальной причине, что в нем в конечном итоге в качестве начального состояния формируется одно из целевых состояний. Если вероятность успеха каждого поиска с восхождением к вершине равна р, то ожидаемое количество требуемых перезапусков составляет 1/р. Для экземпляров задачи с восемью ферзями, если не разрешено движение в сторону, р=0. 14, поэтому для нахождения цели требуется приблизительно 7 итераций (6 неудачных и 1 успешная). Ожидаемое количество этапов решения равно стоимости одной успешной итерации, которая складывается с увеличенной в (1-р) /р раз стоимостью неудачи, или составляет приблизительно 22 этапа. Если разрешено движение в сторону, то в среднем требуется 1/0.94-1.06 итераций и (1x21) + (0.06/0.94) х64=25 этапов. Поэтому алгоритм поиска с восхождением к вершине и перезапуском случайным образом действительно является очень эффективным применительно к задаче с восемью ферзями. Даже для варианта с тремя миллионами ферзей этот подход позволяет находить решения меньше чем за минуту.
Успех поиска с восхождением к вершине в значительной степени зависит от формы ландшафта пространства состояний: если в нем есть лишь немного локальных максимумов и плато, то поиск с восхождением к вершине и перезапуском случайным образом позволяет очень быстро найти хорошее решение. С другой стороны, многие реальные задачи имеют ландшафт, который больше напоминает семейство дикобразов на плоском полу, где на вершине иглы каждого дикобраза живут другие миниатюрные дикобразы и т.д., до бесконечности. NP-трудные задачи обычно имеют экспоненциальное количество локальных максимумов, способных завести
алгоритм в тупик. Несмотря на это, часто существует возможность найти достаточно хороший локальный максимум после небольшого количества перезапусков.
Поиск с эмуляцией отжига
Для любого алгоритма с восхождением к вершине, который никогда не выполняет движения “вниз по склону”, к состояниям с более низкой оценкой (или более высокой стоимостью), гарантируется, что он окажется неполным, поскольку такой алгоритм всегда способен зайти в тупик, достигнув локального максимума. В отличие от этого алгоритм с чисто случайным блужданием (т.е. с перемещением к преемнику, выбираемому на равных правах случайным образом из множества преемников) является полным, но чрезвычайно неэффективным. Поэтому представляется разумной попытка скомбинировать каким-то образом восхождение к вершине со случайным блужданием, что позволит обеспечить и эффективность, и полноту. Алгоритмом такого типа является алгоритм с М эмуляцией отжига. В металлургии отжигом называется процесс, применяемый для отпуска металла и стекла путем нагревания этих материалов до высокой температуры, а затем постепенного охлаждения, что позволяет перевести обрабатываемый материал в низкоэнергетическое кристаллическое состояние. Чтобы понять суть эмуляции отжига, переведем наше внимание с восхождения к вершине на М градиентный спуск (т.е. минимизацию стоимости) и представим себе, что наше задание — загнать теннисный шарик в самую глубокую лунку на неровной поверхности. Если бы мы просто позволили шарику катиться по этой поверхности, то он застрял бы в одном из локальных минимумов. А встряхивая поверхность, можно вытолкнуть шарик из локального минимума. Весь секрет состоит в том, что поверхность нужно трясти достаточно сильно, чтобы шарик можно было вытолкнуть из локальных минимумов, но не настолько сильно, чтобы он вылетел из глобального минимума. Процесс поиска решения с эмуляцией отжига заключается в том, что вначале происходит интенсивное встряхивание (аналогичное нагреву до высокой температуры), после чего интенсивность встряхивания постепенно уменьшается (что можно сравнить с понижением температуры).
Самый внутренний цикл алгоритма с эмуляцией отжига (листинг 4.3) полностью аналогичен циклу алгоритма с восхождением к вершине, но в нем вместо наилучшего хода выполняется случайно выбранный ход. Если этот ход улучшает ситуацию, то всегда принимается. В противном случае алгоритм принимает данный ход с некоторой вероятностью, меньшей 1. Эта вероятность уменьшается экспоненциально с “ухудшением” хода — в зависимости от величины kE, на которую ухудшается его оценка. Кроме того, вероятность уменьшается по мере снижения “температуры” г. “плохие” ходы скорее всего могут быть разрешены в начале, когда температура высока, но становятся менее вероятными по мере снижения Т. Можно доказать, что если в графике schedule предусмотрено достаточно медленное снижение г, то данный алгоритм позволяет найти глобальный оптимум с вероятностью, приближающейся к 1.
На первых порах, в начале 1980-х годов, поиск с эмуляцией отжига широко использовался для решения задач компоновки СБИС. Кроме того, этот алгоритм нашел широкое применение при решении задач планирования производства и других крупномасштабных задач оптимизации. В упр. 4.16 предлагается сравнить его производительность с производительностью поиска с восхождением к вершине и перезапуском случайным образом при решении задачи с п ферзями.
Листинг 4.3. Алгоритм поиска с эмуляцией отжига, который представляет собой одну из версий алгоритма стохастического поиска с восхождением к вершине, в которой разрешены некоторые ходы вниз. Ходы вниз принимаются к исполнению с большей вероятностью на ранних этапах выполнения графика отжига, а затем, по мере того как проходит время, выполняются менее часто. Входной параметр schedule определяет значение температуры ткак функции от времени
function Simulated-Annealing(problem, schedule') returns состояние решения
inputs: problem, задача
schedule, отображение между временем и "температурой" local variables: current, узел next, узел Т, "температура", от которой зависит вероятность шагов вниз
current <— Make-Node(Initial-State[problem]) for t 1 to oo do
T <— schedule [ t] if T = 0 then return current next <— случайно выбранный преемник состояния current ДЕ <— Value [next] - Value [ current] if ДЕ > 0 then current <— next else current <— next с вероятностью только еЛЕ/т
Локальный лучевой поиск
Стремление преодолеть ограничения, связанные с нехваткой памяти, привело к тому, что в свое время предпочтение отдавалось алгоритмам, предусматривающим хранение в памяти только одного узла, но, как оказалось, такой подход часто является слишком радикальным способом экономии памяти. В алгоритме ^ локального лучевого поиска предусмотрено отслеживание к состояний, а не только одного состояния. Работа этого алгоритма начинается с формирования случайным образом к состояний. На каждом этапе формируются все преемники всех к состояний. Если какой-либо из этих преемников соответствует целевому состоянию, алгоритм останавливается. В противном случае алгоритм выбирает из общего списка к наилучших преемников и повторяет цикл.
На первый взгляд может показаться, что локальный лучевой поиск с к состояниями представляет собой не что иное, как выполнение к перезапусков случайным образом, но не последовательно, а параллельно. Тем не менее в действительности эти два алгоритма являются полностью разными. При поиске с перезапуском случайным образом каждый процесс поиска осуществляется независимо от других. ^ А в локальном лучевом поиске полезная информация передается по к параллельным потокам поиска. Например, если в одном состоянии вырабатывается несколько хороших преемников, а во всех других к-1 состояниях вырабатываются плохие преемники, то возникает такой эффект, как если бы поток, контролирующий первое состояние, сообщил другим потокам: “Идите все сюда, здесь
трава зеленее!” Этот алгоритм способен быстро отказаться от бесплодных поисков и перебросить свои ресурсы туда, где достигнут наибольший прогресс.
В своей простейшей форме локальный лучевой поиск может страдать от отсутствия разнообразия между к состояниями, поскольку все эти состояния способны быстро сосредоточиться в небольшом регионе пространства состояний, в результате чего этот поиск начинает ненамного отличаться от дорогостоящей версии поиска с восхождением к вершине. Этот недостаток позволяет устранить вариант, называемый М стохастическим лучевым поиском, который аналогичен стохастическому поиску с восхождением к вершине. При стохастическом лучевом поиске вместо выбора наилучших к преемников из пула преемников-кандидатов происходит выбор к преемников случайным образом, притом что вероятность выбора данного конкретного преемника представляет собой возрастающую функцию значения его оценки. Стохастический лучевой поиск имеет некоторое сходство с процессом естественного отбора, в котором “преемники” (потомки) некоторого “состояния” (организма) образуют следующее поколение в соответствии со “значением их оценки” (в соответствии с их жизненной пригодностью).
Генетические алгоритмы
М Генетический алгоритм (Genetic Algorithm — GA) представляет собой вариант стохастического лучевого поиска, в котором состояния-преемники формируются путем комбинирования двух родительских состояний, а не посредством модификации единственного состояния. В нем просматривается такая же аналогия с естественным отбором, как и в стохастическом лучевом поиске, за исключением того, что теперь мы имеем дело с половым, а не бесполым воспроизводством.
Как и при лучевом поиске, работа алгоритмов GA начинается с множества к сформированных случайным образом состояний, называемых ^популяцией. Каждое состояние, или М индивидуум, представлено в виде строки символов из конечного алфавита, чаще всего в виде строки из нулей (0) и единиц (1). Например, состояние задачи с восемью ферзями должно определять позиции восьми ферзей, каждый из которых стоит на вертикали с 8 клетками, и поэтому для его представления требуется 8х1од28=24 бита. Иным образом, каждое состояние может быть представлено в виде восьми цифр, каждая из которых находится в диапазоне от 1 до 8. (Как будет показано ниже, эти две кодировки проявляют себя в ходе поиска по- разному.) На рис. 4.10, а показана популяция из четырех восьмисимвольных строк, представляющих состояния с восемью ферзями.
Процесс выработки следующего поколения состояний показан на рис. 4.10, б-д. На рис. 4.10, б каждое состояние классифицируется с помощью функции оценки, или (в терминологии GA) М функции пригодности. Функция пригодности должна возвращать более высокие значения для лучших состояний, поэтому в задаче с восемью ферзями используется количество неатакующих друг друга пар ферзей, которое в любом решении имеет значение 28. Для этих четырех состояний соответствующие значения равны 24, 23, 20 и 11. В данном конкретном варианте генетического алгоритма вероятность выбора для воспроизводства прямо пропорциональна оценке пригодности; соответствующие вероятности в процентах показаны рядом с исходными оценками.
24748552
32 755 2 411
32748552
►
3274®2
32752411
^23 29%
24^48552
24752411
24752411
24415124
^20 26%
3275^411
32752124
►
34Ц52124
32543213
11 14%
24415124
24415411
►
244154Q
а)
б)
в)
г)
д)
Рис. 4.10. Генетический алгоритм: начальная популяция (а); функция пригодности (б); отбор (в); скрещивание (г); мутация (д). Начальная популяция классифицируется с помощью функции пригодности, в результате чего формируются пары для скрещивания. Эти пары производят потомков, которые в конечном итоге подвергаются мутации
Как показано на рис. 4.10, в, для воспроизводства случайным образом выбираются две пары в соответствии с вероятностями, показанными на рис. 4.10, б. Обратите внимание на то, что один индивидуум выбирается дважды, а один вообще остается не выбранным". Для каждой пары, предназначенной для воспроизводства, среди позиций в строке случайным образом выбирается точка М скрещивания. На рис. 4.10 точки скрещивания находятся после третьей цифры в первой паре и после пятой цифры во второй паре.
Как показано на рис. 4.10, г, сами потомки создаются путем перекрестного обмена подстроками родительских строк, разорванных в точке скрещивания. Например, первый потомок первой пары получает три первые цифры от первого родителя, а остальные цифры — от второго родителя, тогда как второй потомок получает первые три цифры от второго родителя, а остальные — от первого родителя. Состояния задачи с восемью ферзями, участвующие в этом этапе воспроизводства, показаны на рис. 4.11. Данный пример иллюстрирует тот факт, что если два родительских состояния являются весьма различными, то операция скрещивания способна выработать состояние, которое намного отличается и от одного, и от другого родительского состояния. Часто происходит так, что популяция становится весьма разнообразной на самых ранних этапах этого процесса, поэтому скрещивание (как и эмуляция отжига) в основном обеспечивает выполнение крупных этапов в пространстве состояний в начале процесса поиска и более мелких этапов позднее, когда большинство индивидуумов становятся весьма похожими друг на друга.
Наконец, на рис. 4.10, д показано, что каждое местонахождение подвергается случайной мутации с небольшой независимой вероятностью. В первом, третьем и четвертом потомках мутация свелась к изменению одной цифры. В задаче с восемью ферзями эта операция соответствует выбору случайным образом одного ферзя и пе-
ремещению этого ферзя на случайно выбранную клетку в его столбце. В листинге 4.4 приведен алгоритм, который реализует все эти этапы.
Рис. 4. И. Состояния задачи с восемью ферзями, соответствующие первым двум родительским состояниям, показанным на рис. 4.10, в, и первому потомку, показанному на рис. 4.10, г. Затененные столбцы на этапе скрещивания теряются, а незатененные сохраняются
Листинг 4.4. Генетический алгоритм. Этот алгоритм аналогичен тому, который показан схематически на рис. 4.10, за одним исключением: в этой более широко применяемой версии алгоритма каждое скрещивание двух родителей приводит к получению только одного потомка, а не двух
function Genetic-Algorithm{population, Fitness-Fn) returns индивидуум individual inputs: population, множество индивидуумов (популяция)
Fitness-Fn, функция, которая измеряет пригодность индивидуума
repeat
new„population <— пустое множество
loop for i from 1 to Size{population) do
x <— Random-Selection{population, Fitness-Fn)
у <— Random-Selection{population, Fitness-Fn) child <— Reproduce {x, y) if (небольшое случайно выбранное значение вероятности) then child <— Mutate(child) добавить дочерний индивидуум child к множеству new„population population <— new„population
until некоторый индивидуум не станет достаточно пригодным или не истечет достаточное количество времени
return наилучший индивидуум individual в популяции population, в соответствии с функцией Fitness-Fn
function Reproduce{х, у) returns индивидуум individual inputs: х, у, индивидуумы-родители
п <— Length{х) с <— случайное число от 1 до п return Append(Substring{х, 1, с), Substring(y, с+1, п))
ЭВОЛЮЦИЯ И ПОИСК
Теория эволюции была изложена Чарльзом Дарвином в его книге On the Origin of Species by Means of Natural Selection (Происхождение видов путем естественного отбора) [325]. Основная идея этой теории проста: при воспроизводстве возникают вариации (известные как мутации), которые сохраняются в следующих поколениях с частотой, приблизительно пропорциональной тому, как они влияют на пригодность к воспроизводству.
Дарвин разрабатывал свою теорию, не зная о том, благодаря чему происходит наследование и модификация характерных особенностей организмов. Вероятностные законы, управляющие этими процессами, были впервые обнаружены Грегором Менделем [1034], монахом, проводившим эксперименты с душистым горошком с использованием метода, названного им искусственным оплодотворением. Гораздо позже Уотсон и Крик [1559] выявили структуру молекулы ДНК (дезоксирибонуклеиновой кислоты) и ее алфавит, состоящий из аминокислот АГЩ (аденин, гуанин, тимин, цитозин). В предложенной ими стандартной модели вариации возникают и в результате точечных мутаций в последовательности этих аминокислот, и в результате “скрещивания” (при котором ДНК потомка формируется путем объединения длинных секций ДНК от каждого родителя).
Аналогия между этим процессом и алгоритмами локального поиска уже была описана выше; принципиальное различие между стохастическим лучевым поиском и эволюцией состоит в использовании полового воспроизводства, в котором потомки формируются с участием нескольких организмов, а не только одного. Однако фактически механизмы эволюции намного богаче по сравнению с тем, что допускает большинство генетических алгоритмов. Например, мутации могут быть связаны с обращением, дублированием и перемещением больших фрагментов ДНК; некоторые вирусы заимствуют ДНК из одного организма и вставляют в другой; кроме того, существуют взаимозаменяемые гены, которые лишь копируют самих себя в геноме много тысяч раз. Есть даже такие гены, которые отравляют клетки потенциальных родителей, не несущие ген этого типа, повышая тем самым шансы на воспроизводство данного гена. Наиболее важным является тот факт, что гены сами кодируют те механизмы, с помощью которых геном воспроизводится и транслируется в организме. В генетических алгоритмах такие механизмы представляют собой отдельную программу, не закодированную в строках, с которыми осуществляются манипуляции.
На первый взгляд может показаться, что механизм дарвиновской эволюции является неэффективным, поскольку в его рамках на Земле за многие тысячи лет было вслепую сформировано около 1045 или примерно столько организмов, притом что за такое время поисковые эвристики этого механизма не улучшились ни на йоту. Но за пятьдесят лет до Дарвина французский натуралист Жан Ламарк [884], получивший известность в другой области, предложил теорию эволюции, согласно которой характерные особенности организма, приобретенные в результате его адаптации на протяжении срока жизни этого организма, передаются его потомкам. Такой процесс был бы очень эффективным, но в природе, по-видимому, не происходит. Намного
позднее Джеймс Болдуин [64] предложил теорию, которая внешне кажется аналогичной; согласно этой теории, поведение, которому обучился организм на протяжении своей жизни, способствует повышению скорости эволюции. В отличие от теории Ламарка, теория Болдуина полностью согласуется с дарвиновской теорией эволюции, поскольку в ней учитываются давления отбора, действующие на индивидуумов, которые нашли локальные оптимумы среди множества возможных вариантов поведения, допустимых согласно их генетической природе. Современные компьютерные модели подтвердили, что “эффект Болдуина” является реальным, при условии, что “обычная” эволюция способна создавать организмы, внутренние показатели производительности которых каким-то образом коррелируют с их фактической жизненной пригодностью.
Как и в алгоритмах стохастического лучевого поиска, в генетических алгоритмах тенденция к стремлению к максимуму сочетается с проводимым случайным образом исследованием и с обменом информацией между параллельными поисковыми потоками. Основное преимущество генетических алгоритмов (если таковое действительно имеется) связано с применением операции скрещивания. Тем не менее можно доказать математически, что если позиции в генетическом коде первоначально устанавливаются в случайном порядке, то скрещивание не дает никаких преимуществ. На интуитивном уровне можно предположить, что преимуществом была бы способность комбинировать в результате скрещивания большие блоки символов, которые были независимо сформированы в ходе эволюции для выполнения полезных функций, что позволило бы повысить степень детализации, с которой действует этот алгоритм поиска. Например, преимущество достигалось бы, если в качестве полезного блока была выделена строка символов, предусматривающая размещение первых трех ферзей в позициях 2, 4 и 6 (где они не атакуют друг друга), после чего можно было бы объединять этот блок с другими блоками для формирования решения.
В теории генетических алгоритмов описано, как действует этот подход, в котором используется идея ^ схемы, представляющей собой такую подстроку, где некоторые из позиций могут оставаться не заданными. Например, схема 246***** описывает такие состояния всех восьми ферзей, в которых первые три ферзя находятся соответственно в позициях 2, 4 и 6. Строки, соответствующие этой схеме (такие как 24613 578), называются экземплярами схемы. Можно доказать, что если средняя пригодность экземпляров некоторой схемы находится выше среднего, то количество экземпляров этой схемы в популяции будет расти со временем. Очевидно, что данный эффект вряд ли окажется существенным, если смежные биты полностью не связаны друг с другом, поскольку в таком случае будет лишь немного непрерывных блоков, которые предоставляли бы какое-то постоянное преимущество. Генетические алгоритмы работают лучше всего в сочетании со схемами, соответствующими осмысленным компонентам решения. Например, если строка представляет какую- либо радиотехническую антенну, то схемы могут соответствовать компонентам этой антенны, таким как рефлекторы и дефлекторы. Хороший компонент, по всей вероятности, будет оставаться хорошим во многих разных проектах. Из этого следует, что для успешного использования генетических алгоритмов требуется тщательное конструирование представления задачи.
На практике генетические алгоритмы оказали глубокое влияние на научные методы, применяющиеся при решении таких задач оптимизации, как компоновка электронных схем и планирование производства. В настоящее время уже не так ясно, вызвана ли притягательность генетических алгоритмов их высокой производительностью или обусловлена эстетически привлекательными истоками в теории эволюции. Но все еще необходимо проделать большой объем работы для выяснения условий, при которых генетические алгоритмы обладают наиболее высокой производительностью.
Локальный поиск в непрерывных пространствах
В главе 2 было описано различие между дискретными и непрерывными вариантами среды, а также указано, что большинство реальных вариантов среды являются непрерывными. Но еще ни один из описанных выше алгоритмов не способен действовать в непрерывных пространствах состояний, поскольку в этих алгоритмах в большинстве случаев функция определения преемника возвращала бы бесконечно большое количество состояний! В настоящем разделе приведено очень краткое введение в некоторые методы локального поиска, предназначенные для нахождения оптимальных решений в непрерывных пространствах. Литература по этой теме весьма обширна; многие из этих основных методов впервые были созданы в XVII веке после разработки первых математических исчислений Ньютоном и Лейбницем. Применение данных методов рассматривается в нескольких главах настоящей книги, включая главы, касающиеся обучения, машинного зрения и робототехники. Короче говоря, эти методы касаются всего, что связано с реальным миром.
Начнем изложение этой темы с примера. Предположим, что где-то в Румынии требуется найти место для размещения трех новых аэропортов таким образом, чтобы сумма квадратов расстояний от каждого города на карте (см. рис. 3.1) до ближайшего к нему аэропорта была минимальной. В таком случае пространство состояний определено координатами аэропортов: кх^.у^, кх2,у^ и (х3, у3). Это — шестимерное пространство; иными словами можно выразить данную мысль так, что состояния определяются шестью переменными. (Вообще говоря, состояния определяются п- мерным вектором переменных, х.) Перемещение в этом пространстве соответствует переносу одного или нескольких из этих аэропортов в другое место на карте. Целевую функцию f (Хх, ух, х2, у2, х3, у3) после определения ближайших городов можно вычислить довольно легко, но гораздо сложнее составить общее выражение, соответствующее искомому решению.
Один из способов предотвращения необходимости заниматься непрерывными задачами состоит в том, чтобы просто дискретизировать окрестности каждого состояния. Например, можно предусмотреть перемещение одновременно только одного аэропорта в направлении либо х, либо у на постоянную величину ±А. При наличии шести переменных это соответствует двенадцати возможным преемникам для каждого состояния. После этого появляется возможность применить любой из алгоритмов локального поиска, описанных выше. Кроме того, алгоритмы стохастиче-
ского поиска с восхождением к вершине и поиска с эмуляцией отжига можно применять непосредственно, без дискретизации этого пространства. Такие алгоритмы выбирают преемников случайным образом, что может быть осуществлено путем формирования случайным образом векторов с длиной А.
Имеется также много методов, в которых при осуществлении попыток найти максимум используется М градиент ландшафта. Градиент целевой функции представляет собой вектор Vf, позволяющий определить величину и направление наиболее крутого склона. Для рассматриваемой задачи справедливо следующее соотношение:
f<)f df df df df df \dxi' dyi' dx2 * dy2' dx^' Эу3
В некоторых случаях можно найти максимум, решая уравнение Vf=0. (Это можно сделать, например, при размещении только одного аэропорта; решение представляет собой арифметическое среднее координат всех городов.) Но во многих случаях это уравнение не может быть решено в замкнутой форме. Например, при наличии трех аэропортов выражение для градиента зависит от того, какие города являются ближайшими к каждому аэропорту в текущем состоянии. Это означает, что мы можем вычислить этот градиент локально, но не глобально. Даже в таком случае остается возможность выполнять поиск с восхождением к вершине по самому крутому склону, обновляя текущее состояние с помощью следующей формулы:
х <— х + aVf(x)
где a — небольшая константа. В других случаях целевая функция в дифференцируемой форме может оказаться вообще не доступной, например, значение конкретного множества местонахождений аэропортов может быть определено в результате вызова на выполнение какого-то пакета крупномасштабного экономического моделирования. В таких случаях можно определить так называемый М эмпирический градиент, оценивая отклик на небольшие увеличения и уменьшения каждой координаты. Поиск по эмпирическому градиенту является аналогичным поиску с восхождением к вершине по самому крутому склону в дискретизированной версии данного пространства состояний.
За фразой “а — небольшая константа” скрывается огромное разнообразие методов определения значения а. Основная проблема состоит в том, что если значение a слишком мало, то требуется слишком много этапов поиска, а если слишком велико, то в поиске можно проскочить максимум. Попытка преодолеть эту дилемму предпринимается в методе ^ линейного поиска, который предусматривает продолжение поиска в направлении текущего градиента (обычно путем повторного удвоения а) до тех пор, пока f не начнет снова уменьшаться. Точка, в которой это происходит, становится новым текущим состоянием. Сформировалось несколько научных школ, в которых доминируют разные взгляды на то, каким образом в этой точке следует выбирать новое направление.
Для многих задач наиболее эффективным алгоритмом является почтенный метод М Ньютона-Рафсона [1132], [1266]. Это — общий метод поиска корней функций, т.е. метод решения уравнений в форме д(х) =0. Этот алгоритм действует на основе вычисления новой оценки для корня х в соответствии с формулой Ньютона:
х <— х - д(хПдЧх)
Чтобы найти максимум или минимум f, необходимо найти такое значение х, для которого градиент равен нулю (т.е. Vf(x)=0). Поэтому функция д(х) в формуле Ньютона принимает вид Vf (х), и уравнение обновления состояния может быть записано в матрично-векторной форме следующим образом:
х <— х - H"f(x)Vf(x)
где Hf (х) — представляет собой М гессиан (матрицу вторых производных), элементы которого н15 задаются выражением d2f/dxidx5. Поскольку гессиан имеет п2 элементов, то метод Ньютона—Рафсона в многомерных пространствах становится дорогостоящим, поэтому было разработано множество способов приближенного решения этой задачи.
Локальные максимумы, хребты и плато создают затруднения в работе методов локального поиска не только в дискретных пространствах состояний, но и в непрерывных пространствах состояний. Для преодоления этих затруднений могут применяться алгоритмы с перезапуском случайным образом и с эмуляцией отжига, которые часто оказываются достаточно полезными. Тем не менее многомерные непрерывные пространства характеризуются очень большим объемом, в котором легко потеряться.
Последней темой, с которой необходимо кратко ознакомиться, является М оптимизация с ограничениями. Задача оптимизации называется задачей оптимизации с ограничениями, если решения в ней должны удовлетворять некоторым жестким ограничениям на значения каждой переменной. Например, в рассматриваемой задаче с размещением аэропортов можно ввести ограничения, чтобы места для аэропортов находились в пределах Румынии, причем на суше (а не, допустим, на середине озера). Сложность задач оптимизации с ограничениями зависит от характера ограничений и от целевой функции. Наиболее широко известной категорией таких задач являются задачи М линейного программирования, в которых ограничения должны представлять собой линейные неравенства, образующие выпуклую область, а целевая функция также является линейной. Задачи линейного программирования могут быть решены за время, полиномиально зависящее от количества переменных. Кроме того, проводились исследования задач с другими типами ограничений и целевых функций: квадратичное программирование, коническое программирование второго порядка и т.д.
Поисковые агенты, действующие в оперативном РЕЖИМЕ, И НЕИЗВЕСТНЫЕ ВАРИАНТЫ СРЕДЫ '
До сих пор в данной книге изложение было сосредоточено на описании агентов, в которых используются алгоритмы ^ поиска в автономном режиме. Эти агенты вычисляют полное решение, прежде чем ступить в реальный мир (см. листинг 3.1), азатем выполняют это решение, не обращаясь к данным своих восприятий. В отличие от этого любой агент, выполняющий М поиск в оперативном режиме,
функционирует по методу чередования вычислений и действий: вначале предпринимает действие, затем обозревает среду и вычисляет следующее действие. Поиск в оперативном режиме целесообразно применять в динамических или полудинамиче- ских проблемных областях; таковыми являются проблемные области, в которых назначается штраф за то, что агент ведет себя пассивно и вычисляет свои действия слишком долго. Еще более оправданным является использование поиска в оперативном режиме в стохастических проблемных областях. Вообще говоря, результаты любого поиска в автономном режиме должны сопровождаться экспоненциально большим планом действий в непредвиденных ситуациях, в котором учитываются все возможные варианты развития событий, тогда как при поиске в оперативном режиме необходимо учитывать лишь то, что действительно происходит. Например, агент, играющий в шахматы, должен быть настолько хорошо проконсультирован, чтобы мог сделать свой первый ход задолго до того, как станет ясен весь ход игры.
Применение поиска в оперативном режиме является необходимым при решении любой ^ задачи исследования, в которой агенту не известны состояния и действия. Агент, находящийся в таком положении полного неведения, должен использовать свои действия в качестве экспериментов для определения того, что делать дальше, и поэтому вынужден чередовать вычисления и действия.
Каноническим примером применения поиска в оперативном режиме может служить робот, который помещен в новое здание и должен его исследовать, чтобы составить карту, которую может затем использовать для перехода из точки А в точку в. Примерами алгоритмов поиска в оперативном режиме являются также методы выхода из лабиринтов (как известно, такие знания всегда были нужны вдохновляющим нас на подвиги героям древности). Однако исследование пространства— это не единственная форма познания окружающего мира. Рассмотрим поведение новорожденного ребенка: в его распоряжении есть много возможных действий, но он не знает, к чему приведет выполнение какого-либо из них, а эксперименты проводит лишь в немногих возможных состояниях, которых он может достичь. Постепенное изучение ребенком того, как устроен мир, отчасти представляет собой процесс поиска в оперативном режиме.
Задачи поиска в оперативном режиме
Любая задача поиска в оперативном режиме может быть решена только агентом, выполняющим и вычисления, и действия, а не осуществляющим лишь вычислительные процессы. Предполагается, что агент обладает только описанными ниже знаниями.
Функция Actions (s), которая возвращает список действий, допустимых в СОСТОЯНИИ S.
Функция стоимости этапа c(s,a,s' ); следует отметить, что она не может использоваться до тех пор, пока агент не знает, что результатом является состояние s'.
Функция Goal-Test (s).
Следует, в частности, отметить, что агент не может получить доступ к преемникам какого-либо состояния, иначе чем путем фактического опробования всех действий в этом состоянии. Например, в задаче с лабиринтом, показанной на рис. 4.12,
агент не знает, что переход в направлении Up из пункта (1,1) приводит в пункт (1,2), а выполнив это действие, не знает, позволит ему действие Down вернуться назад в пункт (1,1). Такая степень неведения в некоторых приложениях может быть уменьшена, например, робот-исследователь может знать, как работают его действия по передвижению, и оставаться в неведении лишь в отношении местонахождения препятствий.
Мы будем предполагать, что агент всегда может распознать то состояние, которое он уже посещал перед этим, кроме того, будем руководствоваться допущением, что все действия являются детерминированными. (Последние два допущения будут ослаблены в главе 17.) Наконец, агент может иметь доступ к некоторой допустимой эвристической функции h (s), которая оценивает расстояние от текущего состояния до целевого. Например, как показано на рис. 4.12, агент может знать местонахождение цели и быть способным использовать эвристику с манхэттенским расстоянием.
Рис. 4.12. Простая задача с лабиринтом. Агент начинает движение с квадрата S и должен достичь квадрата G, но ничего не знает о самой среде
Как правило, назначение агента состоит в том, чтобы достичь целевого состояния, минимизируя при этом стоимость. (Еще одно возможное назначение агента может заключаться в том, чтобы он просто исследовал всю эту среду.) Стоимость представляет собой суммарную стоимость пути, фактически пройденного агентом. Обычно принято сравнивать эту стоимость со стоимостью пути, по которому следовал бы агент, если бы он заранее знал пространство поиска, т.е. со стоимостью фактического кратчайшего пути (или кратчайшего полного обследования). В терминологии алгоритмов поиска в оперативном режиме это соотношение называется ^ коэффициентом конкурентоспособности; желательно, чтобы этот коэффициент был как можно меньше.
Хотя такое требование по минимизации коэффициента конкурентоспособности может показаться резонным, можно легко доказать, что в некоторых случаях наилучший достижимый коэффициент конкурентоспособности (competitive ratio) является бесконечным. Например, если некоторые действия необратимы, то поиск в оперативном режиме может в конечном итоге перейти в тупиковое состояние, из которого не достижимо целевое состояние. Возможно, читатель сочтет выражение “в конечном итоге” неубедительным; в конце концов, должен же существовать такой алгоритм, который окажется способным не упираться в тупик в ходе проведения исследований с его помощью! Поэтому уточним приведенное выше утверждение таким образом: ни один алгоритм не позволяет избежать тупиков во всех возможных
пространствах состояний. Рассмотрим два пространства состояний с тупиками, показанные на рис. 4.13, а. Для алгоритма поиска в оперативном режиме, который посетил состояния S и д оба эти пространства состояний представляются идентичными, поэтому он должен принять одинаковое решение в обоих из них. Поэтому в одном из этих состояний алгоритм потерпит неудачу. Это — один из примеров ^ возражения противника (adversary argument), поскольку легко себе представить, как противник формирует пространство состояний в ходе того, как это пространство исследуется агентом, и может размещать цели и тупики везде, где пожелает.
Рис. 4.13. Примеры ситуаций, характеризующихся бесконечным значением коэффициента конкурентоспособности: два пространства состояний, которые способны завести агента, выполняющего поиск в оперативном режиме, в тупик; любой конкретный агент потерпит неудачу, по меньшей мере, в одном из этих пространств (а); двухмерная среда, которая может вынудить агента, выполняющего поиск в оперативном режиме, следовать по маршруту к цели, который может оказаться сколь угодно неэффективным; какой бы выбор ни сделал агент, противник блокирует его маршрут еще одной длинной, тонкой стеной, чтобы путь, по которому следует агент, стал намного длиннее по сравнению с наилучшим возможным путем (б)
Тупики представляют собой одну из реальных сложностей в области исследований, проводимых с помощью робота, поскольку лестницы, пандусы, обрывы и многие другие формы естественного ландшафта создают предпосылки для необратимых действий. Для того чтобы добиться прогресса, мы будем предполагать, что данное пространство состояний является ^ безопасно исследуемым, т.е. что некоторые целевые состояния достижимы из каждого достижимого состояния. Пространства состояний с обратимыми действиями, такие как лабиринты и задачи игры в восемь, могут рассматриваться как неориентированные графы и, вполне очевидно, являются безопасно исследуемыми.
Но даже в безопасно исследуемых вариантах среды нельзя гарантировать достижение какого-либо ограниченного значения коэффициента конкурентоспособности, если в них имеются маршруты с неограниченной стоимостью. Это утверждение легко доказать применительно к вариантам среды с необратимыми действиями, но
фактически оно остается истинным также и для обратимого случая (см. рис. 4.13, б). По этой причине обычно принято описывать производительность алгоритмов поиска в оперативном режиме с учетом размеров всего пространства состояний, а не только глубины самой поверхностной цели.
Агенты, выполняющие поиск в оперативном режиме
После каждого действия агент, выполняющий поиск в оперативном режиме, получает результаты акта восприятия, с помощью которых может узнать, какого состояния он достиг; на основании этой информации агент может дополнить карту своей среды. Текущая карта используется для принятия решения о том, куда двигаться дальше. Такое чередование планирования и выполнения действий означает, что алгоритмы поиска в оперативном режиме весьма значительно отличаются от алгоритмов поиска в автономном режиме, которые рассматривались выше. Например, алгоритмы поиска в автономном режиме, такие как А*, обладают способностью развертывать узел в одной части пространства, а затем немедленно развертывать узел в другой части пространства, поскольку для развертывания узла требуются моделируемые, а не реальные действия. С другой стороны, любой алгоритм поиска в оперативном режиме позволяет агенту развертывать только тот узел, который он физически занимает. Для предотвращения необходимости путешествовать через все дерево, чтобы развернуть следующий узел, представляется более удобным развертывание узлов в локальном порядке. Именно таким свойством обладает поиск в глубину, поскольку (за исключением операции возврата) следующий развертываемый узел является дочерним узлом ранее развернутого узла.
Алгоритм агента, выполняющего поиск в глубину в оперативном режиме, приведен в листинге 4.5. Агент хранит составленную им карту в таблице result[a, s], в которой регистрируются состояния, явившиеся следствием выполнения действия а в состоянии s. Этот агент предпринимает попытку выполнения из текущего состояния любого действия, которое еще не было исследовано в этом состоянии. Сложности возникают после того, как агент опробовал все действия в некотором состоянии. При поиске в глубину в автономном режиме это состояние удаляется из очереди, а при поиске в оперативном режиме агент должен выполнить возврат физически. При поиске в глубину это равносильно возврату в последнее по времени состояние, из которого агент перешел в текущее состояние. Соответствующая организация работы обеспечивается за счет ведения такой таблицы, где для каждого состояния перечисляются состояния-предшественники, к которым агент еще не выполнял возврат. Если агент исчерпал список состояний, к которым может выполнить возврат, это означает, что проведенный агентом поиск является полным.
Листинг 4.5. Агент, выполняющий поиск в оперативном режиме, который проводит исследование с использованием поиска в глубину. Этот агент может применяться только в пространствах двунаправленного поиска
function Online-DFS-Agent(s1) returns действие action
inputs: s', восприятие, позволяющее идентифицировать текущее состояние
static: result, таблица, индексированная по действиям и состояниям, первоначально пустая
unexplored, таблица, в которой для каждого посещенного состояния перечислены еще не опробованные действия
unbacktracked, таблица, в которой для каждого посещенного состояния перечислены еще не опробованные возвраты
s, а, предыдущие состояние и действие, первоначально неопределенные
if Goal-Test(s') then return stop
if s' представляет собой новое состояние then unexploredls'] <— Actions(s') if s не является неопределенным then do resultla, s] <— s' добавить s в начало таблицы unbacktracked[s' ] if элемент unexploredls'] пуст then
if элемент unbacktrackedls*] пуст then return stop else a <— действие b, такое что
resultlb, s'] = Pop(unbacktrackedls'])
else a <— Pop(unexplored Is']) S <r- S' return a
Рекомендуем читателю провести трассировку хода выполнения процедуры Online-DFS-Agent применительно к лабиринту, показанному на рис. 4.12. Можно довольно легко убедиться в том, что в наихудшем случае агент в конечном итоге пройдет по каждой связи в данном пространстве состояний точно два раза. При решении задачи обследования такая организация работы является оптимальной; а при решении задачи поиска целей, с другой стороны, коэффициент конкурентоспособности может оказаться сколь угодно неэффективным, если агент будет отправляться в длительные экскурсии, притом что целевое состояние находится непосредственно рядом с начальным состоянием. Такая проблема решается с использованием варианта метода итеративного углубления для работы в оперативном режиме; в среде, представляющей собой однородное дерево, коэффициент конкурентоспособности подобного агента равен небольшой константе.
В связи с тем что в алгоритме Online-DFS-Agent используется метод с возвратами, он может применяться только в таких пространствах состояний, где действия являются обратимыми. Существуют также немного более сложные алгоритмы, применимые в пространствах состояний общего вида, но ни один из подобных алгоритмов не характеризуется ограниченным коэффициентом конкурентоспособности.
Локальный поиск в оперативном режиме
Как и поиск в глубину, поиск с восхождением к вершине обладает свойством локализации применительно к операциям развертывания в нем узлов. В действительности сам поиск с восхождением к вершине уже можно считать алгоритмом поиска в оперативном режиме, поскольку предусматривает хранение в памяти только одного текущего состояния! К сожалению, в своей простейшей форме этот алгоритм не очень полезен, так как оставляет агента в таком положении, что последний не может покинуть локальный максимум и отправиться куда-то еще. Более того, в этом алго-
ритме не может использоваться перезапуск случайным образом, поскольку агент не способен перенести самого себя в новое состояние.
Вместо перезапуска случайным образом для исследования среды может быть предусмотрено использование случайного блуждания (random walk). В методе случайного блуждания просто выбирается случайным образом одно из действий, доступных из текущего состояния; предпочтение отдается действиям, которые еще не были опробованы. Легко доказать, что метод случайного блуждания позволяет агенту в конечном итоге найти цель или выполнить свою задачу исследования, при условии, что пространство является конечным. С другой стороны, этот процесс может оказаться очень продолжительным. На рис. 4.14 показана среда, в которой для поиска цели с помощью метода случайного блуждания может потребоваться количество этапов, измеряемое экспоненциальной зависимостью, поскольку на каждом этапе вероятность шага назад вдвое превышает вероятность шага вперед. Безусловно, что этот пример является надуманным, но существует много реальных пространств состояний, топология которых способствует возникновению “ловушек” такого рода при случайном блуждании.
Рис. 4.14. Среда, в которой применение метода случайного блуждания для поиска цели требует выполнения такого количества этапов, которое определяется экспоненциальной зависимостью
Как оказалось, более эффективным подходом является дополнение метода поиска с восхождением к вершине способностью запоминать, а не способностью выбирать следующее действие случайным образом. Основная идея состоит в том, что необходимо хранить в памяти “текущую наилучшую оценку” H(s) стоимости достижения цели из каждого состояния, которое уже было посещено. На первых порах Н( s) представляет собой только эвристическую оценку h (s) и обновляется по мере того, как агент приобретает опыт в исследовании пространства состояний. На рис. 4.15 показан простой пример одномерного пространства состояний. На рис. 4.15, а показано, что агент, по-видимому, зашел в тупик, попав в плоский локальный минимум, соответствующий затененному состоянию. Вместо того чтобы оставаться там, где находится, агент должен последовать по тому пути, который может рассматриваться как наилучший путь к цели согласно текущим оценкам стоимостей для соседних состояний. Оценка стоимости достижения цели через соседнее состояние s' равна оценке стоимости достижения s', которая складывается с оценкой стоимости достижения цели из s1, т.е. равна с Is, a, s’ ) +H(s’). В данном примере имеются два действия, с оценками стоимости 1+9 и 1+2, поэтому, по всей видимости, лучше всего двигаться вправо. После этого становится очевидно, что оценка стоимости для
этого затененного состояния, равная 2, была слишком оптимистической. Поскольку стоимость наилучшего хода равна 1 и он ведет в состояние, которое находится по меньшей мере на расстоянии 2 шагов от цели, то затененное состояние должно находиться по меньшей мере на расстоянии 3 шагов от цели, поэтому его оценка я должна быть обновлена соответствующим образом, как показано на рис. 4.15, б. Продолжая этот процесс, агент перейдет вперед и назад еще дважды, каждый раз обновляя оценку н и “сглаживая” локальный минимум до тех пор, пока не вырвется из него вправо.
Рис. 4.15. Пять итераций алгоритма LRTA* в одномерном пространстве состояний. Каждое состояние обозначено значением Н (s Л текущей оценкой стоимости достижения цели, а каждая дуга обозначена соответствующей ей стоимостью этапа. Затененное состояние показывает местонахождение агента, а значения, обновленные после каждой итерации, обозначаются двойным кружком
Алгоритм агента, в котором реализована эта схема, получивший название поиска А* в реальном времени с обучением (Learning Real-Time А* — ^ LRTA*), показан в листинге 4.6. Как и в алгоритме Online-DFS-Agent, в данном алгоритме составляется карта среды с использованием таблицы result. Этот алгоритм обновляет оценку стоимости для состояния, которое он только что оставил, а затем выбирает ход, “который представляется наилучшим” в соответствии с его текущими оценками стоимости. Следует отметить одну важную деталь, что действия, которые еще не были опробованы в состоянии s, всегда рассматриваются как ведущие непосредственно к цели с наименьшей возможной стоимостью, а именно h (s). Такой ^ оптимизм в отношении неопределенности побуждает агента исследовать новые пути, которые могут действительно оказаться перспективными.
Листинг 4.6. Функция LRTA* - Agent выбирает действие в соответствии со значениями соседних состояний, которые обновляются по мере того, как агент передвигается в пространстве состояний
function LRTA*-Agent(s1) returns действие a
inputs: s', восприятие, позволяющее идентифицировать текущее состояние
static: result, таблица, индексированная по действиям и состояниям, первоначально пустая
И, таблица оценок стоимостей, индексированная по состояниям, первоначально пустая s, а, предыдущие состояние и действие, первоначально неопределенные
if Goal-Test(s') then return stop
if s' является одним из новых состояний (отсутствующим в И) then H[s' ] <— h (s' ) unless s является неопределенным result[a, s] <— s'
H[s] <— min LRTA*-Cost (s, b, result[b, s] , H) bOActions(s)
a <— одно из действий b среди действий Actions(s'), которое минимизирует значение LRTA*-Cost(s', b, result[b, s'], H)
S <r- S' return a
function LRTA*-Cost(s, a, s', H) returns оценка стоимости if s' является неопределенным then return h(s) else return c(s,a,s') + H[s']
высшим значением, т.е. в таком случае оптимальной стратегией становится метод поиска с восхождением к вершине в чистом виде.
Если читатель выполнил нашу рекомендацию провести трассировку поведения алгоритма Online-DFS-Agent в среде, показанной на рис. 4.12, то должен был заметить, что этот агент не слишком умен. Например, после того как агент обнаружил, что действие Up ведет из пункта (1,1) в пункт (1,2), он еще не знает, что действие Down возвратит его назад в пункт (1,1) или что следующее действие Up приведет его из пункта (2,1) в пункт (2,2), из пункта (2,2) в пункт (2,3) и т.д. Вообще говоря, было бы желательно, чтобы агент освоил в результате обучения, что действие Up приводит к увеличению координаты у, если на этом пути нет стены, и что действие Down приводит к уменьшению этой координаты, и т.д. Для того чтобы это произошло, требуются две составляющие. Во-первых, необходимо формальное и явно манипулируемое представление общих правил такого рода; до сих пор мы скрывали эту информацию внутри “черного ящика”, называемого функцией определения преемника. Данному вопросу посвящена часть III. Во-вторых, нужны алгоритмы, позволяющие формировать подходящие общие правила из конкретных наблюдений, сделанных агентом. Эта тема рассматривается в главе 18.
Резюме
В данной главе рассматривалось применение эвристических функций для уменьшения стоимости поиска. В ней исследовался целый ряд алгоритмов, в которых используются эвристические функции, и было установлено, что даже при использовании хороших эвристических функций достижение оптимальности связано с увеличением стоимости поиска.
Поиск по первому наилучшему совпадению сводится просто к применению алгоритма Graph-Search, в котором для развертывания выбираются неразвернутые узлы с минимальной стоимостью (в соответствии с некоторым критерием). В алгоритмах поиска по первому наилучшему совпадению обычно используется эвристическая функция h(n), которая оценивает стоимость достижения решения из узла п.
При жадном поиске по первому наилучшему совпадению развертываются узлы с минимальным значением h(n). Этот поиск не оптимален, но часто является эффективным.
При поиске А* развертываются узлы с минимальным значением f (n) =g(n) +h(n). Алгоритм А* является полным и оптимальным, при условии, что гарантирована допустимость (для алгоритма Tree-Search) или преемственность (для алгоритма Graph-Search) функции h(n). Пространственная сложность алгоритма А* все еще остается слишком высокой.
Производительность алгоритмов эвристического поиска зависит от качества эвристической функции. Иногда хорошие эвристические функции можно составить путем ослабления определения задачи, предварительного вычисления стоимости решения подзадач и сохранения этой информации в базе данных шаблонов или обучения на основе опыта решения данного класса задач.
Алгоритмы RBFS и SMA* представляют собой надежные, оптимальные алгоритмы поиска, в которых используются ограниченные объемы памяти; при наличии достаточного количества времени эти алгоритмы могут решать такие задачи, которые не позволяет решать алгоритм А*, поскольку исчерпывает доступную память.
Такие методы локального поиска, как поиск с восхождением к вершине, действуют на основе формулировок полного состояния и предусматривают хранение в памяти лишь небольшого количества узлов. Было разработано также несколько стохастических алгоритмов, включая поиск с эмуляцией отжига, которые возвращают оптимальные решения при наличии подходящего графика “охлаждения” (т.е. графика постепенного уменьшения величины случайного разброса). Кроме того, многие методы локального поиска могут использоваться для решения задач в непрерывных пространствах.
Генетический алгоритм представляет собой стохастический поиск с восхождением к вершине, в котором сопровождается большая популяция состояний. Новые состояния формируются с помощью мутации и скрещивания; в последней операции комбинируются пары состояний, взятых из этой популяции.
Проблемы исследования возникают, если агент не имеет никакого представления о том, каковы состояния и действия в его среде. Для безопасно исследуемых вариантов среды агенты, выполняющие поиск в оперативном режиме, могут составить карту и найти цель, если она существует. Эффективным методом выхода из локальных минимумов является обновление эвристических оценок на основе опыта.
Библиографические и исторические заметки
Пример использования эвристической информации при решении задач впервые появился в одной из ранних статей Саймона и Ньюэлла [1419], но само выражение “эвристический поиск” и обоснование применения эвристических функций, которые оценивают расстояние до цели, появились немного позже [932], [1126]. Доран и Мичи [404] осуществили обширные экспериментальные исследования в области применения эвристического поиска к решению ряда задач, в частности задач игры в восемь и игры в пятнадцать. Хотя Доран и Мичи провели теоретический анализ длины пути и “проникновения” (penetrance) (отношения длины пути к общему количеству узлов, исследованных к данному моменту) в процессе эвристического поиска, они, по-видимому, игнорировали ту информацию, которую может предоставить текущая длина пути. Алгоритм А*, предусматривающий использование в эвристическом поиске текущего значения длины пути, был разработан Хартом, Нильссоном и Рафаэлем [623], с некоторыми дальнейшими поправками [624]. Декстер и Перл [371] продемонстрировали оптимальную эффективность алгоритма А*.
В указанной выше оригинальной статье, посвященной алгоритму А*, было впервые представлено условие преемственности (consistency condition), которому должны удовлетворять эвристические функции. В качестве более простой замены этого условия Полом [1223] было предложено условие монотонности, но Перл [1188] показал, что эти два условия эквивалентны. Аналоги открытых и закрытых списков использовались
во многих алгоритмах, явившихся предшественниками алгоритма А*; к ним относятся алгоритмы поиска в ширину, поиска в глубину и поиска по критерию стоимости [97], [399]. Важность применения аддитивных стоимостей путей для упрощения алгоритмов оптимизации особо ярко была показана в работа Беллмана [97].
Пол [1220], [1223] впервые провел исследования связи между ошибками в эвристических функциях и временной сложностью алгоритма А*. Доказательство того, что работа алгоритма А* завершается за линейное время, если ошибка в эвристической функции ограничена некоторой константой, можно найти в работах Пола [1223] и Гашнига [522]. Перл [1188] развил этот результат, что позволило учитывать логарифмический рост ошибки. Применение “эффективного коэффициента ветвления” в качестве критерия эффективности эвристического поиска было предложено Нильссоном [1141].
Существует много вариантов алгоритма А*. Пол [1222] предложил использовать в алгоритме А* динамическое взвешивание (dynamic weighting), в котором в качестве функции оценки применяется взвешенная сумма текущей длины пути и эвристической функции fw(n) = wgg(n) + whh(n), а не просто сумма f (n) =g(n) +h (п). Веса wg и wh корректируются динамически по мере развития поиска. Можно доказать, что алгоритм Пола является Е-допустимым (т.е. гарантирует нахождение решений с отклонением от оптимального решения на коэффициент 1+е), где £ — параметр, предусмотренный в алгоритме. Таким же свойством обладает алгоритм А^[ 1188], который способен выбрать из периферии любой узел, при условии, что его f-стоимость находится в пределах коэффициента 1+е от стоимости периферийного узла с наименьшей f-стоимостью. Выбор соответствующего коэффициента может быть сделан таким образом, чтобы существовала возможность минимизировать стоимость поиска.
Алгоритм А* и другие алгоритмы поиска в пространстве состояний тесно связаны с методами ветвей и границ, которые широко используются в исследованиях операций [901]. Соотношения между алгоритмами поиска в пространстве состояний и методами ветвей и границ были глубоко исследованы в [867], [869], [1115]. Мартелли и Монтанари [990] показали связь между динамическим программированием (см. главу 17) и некоторыми типами поиска в пространстве состояний. Кумар и Канал [868] предприняли попытку “великой унификации” методов эвристического поиска, динамического программирования, а также методов ветвей и границ под общим названием CDP (Composite Decision Process — комплексный процесс принятия решений).
Поскольку компьютеры в конце 1950-х — начале 1960-х годов имели не больше нескольких тысяч слов оперативной памяти, темой ранних исследовательских работ часто служил эвристический поиск с ограничением памяти. Одна из самых первых программ поиска, Graph Traverser [404], фиксирует свои результаты в виде некоторого оператора после выполнения поиска по первому наилучшему совпадению вплоть до заданного предела объема памяти. Алгоритм IDA* [835], [836] стал одним из первых широко применяемых оптимальных алгоритмов эвристического поиска с ограничением памяти, после чего было разработано большое количество его вариантов. Анализ эффективности алгоритма IDA* и сложностей, возникающих при его применении с эвристическими функциями, которые встречаются в реальных задачах, приведен в работе Патрика и др. [1182].
Алгоритм RBFS [840], [841] фактически является лишь немного более сложным по сравнению с алгоритмом, приведенным в листинге 4.1. Последний вари-
ант ближе к независимо разработанному алгоритму, получившему название алгоритма М итеративного развертывания, или сокращенно IE (Iterative Expansion) [1324]. В алгоритме RBFS используется не только верхняя, но и нижняя граница; эти два алгоритма при использовании допустимых эвристических функций ведут себя одинаково, но RBFS развертывает узлы в порядке первого наилучшего совпадения даже при наличии недопустимой эвристической функции. Идея отслеживания наилучшего альтернативного пути появилась еще раньше в изящной реализации алгоритма А* на языке Prolog, предложенной Братко [174], и в алгоритме DTA* [1332]. В последней работе обсуждаются также метауровневые пространства состояний и метау- ровневое обучение.
Алгоритм МА* впервые опубликован в [229]. Появление алгоритм SMA*, или Simplified МА*, стало результатом попытки реализовать МА* в качестве алгоритма сравнения для метода IE [1324]. Кайндл и Корсанд [763] применили алгоритм SMA* для создания алгоритма двунаправленного поиска, который функционирует значительно быстрее по сравнению с предшествующими алгоритмами. В [845] описан подход по принципу ‘‘разделяй и властвуй”, а в [1645] представлен алгоритм А* поиска в графе с ограничением памяти. Обзор методов поиска с ограничением памяти приведен в [842].
Идея о том, что допустимые эвристические функции могут быть получены с помощью ослабления условий задачи, впервые опубликована в оригинальной статье [645], авторы которой использовали эвристику на основе минимального связующего дерева для решения задачи TSP (см. упр. 4.8).
Автоматизация процесса ослабления условий задачи была успешно осуществлена Придитисом [1237] на основе его более ранней совместной работы с Мостоу [1092]. Использование баз данных шаблонов для составления допустимых эвристических функций предложено в [313] и [523]; базы данных с непересекающимися шаблонами описаны в [844]. Вероятностная интерпретация эвристических функций глубоко исследована в [616] и [1188].
Безусловно, наиболее исчерпывающим источником сведений об эвристических функциях и алгоритмах эвристического поиска является книга Перла Heuristics [1188]. В этой книге приведено особенно хорошее описание широкого разнообразия версий и вариантов алгоритма А*, включая строгие доказательства их формальных свойств. В работе Канала и Кумара представлена антология важных статей по эвристическому поиску [767]. Результаты новейших исследований в области алгоритмов поиска регулярно публикуются в журнале Artificial Intelligence.
Методы локального поиска имеют долгую историю в математике и компьютерных науках. Безусловно, как очень эффективный метод локального поиска в непрерывных пространствах, в которых доступна информация о градиенте, может рассматриваться метод Ньютона—Рафсона [1132], [1266]. В [182] можно найти классический справочник по алгоритмам оптимизации, для которых не требуется такая информация. Алгоритм лучевого поиска, представленный в данной книге как алгоритм локального поиска, впервые появился в виде одного из вариантов методов динамического программирования с ограничением по ширине, предназначенного для распознавания речи, в системе Harpy [952]. Еще один алгоритм подобного типа был глубоко проанализирован Перлом [1188] (глава 5).
В последние годы снова пробудился интерес к теме локального поиска под влиянием исключительно качественных результатов, полученных при решении таких круп-
ных задач удовлетворения ограничений, как задача с п-ферзями [1058] и задача формирования логических рассуждений [1382], а также под влиянием успешного включения в алгоритмы методов рандомизации, методов множественного одновременного поиска и других усовершенствований. Это возрождение интереса к алгоритмам, названным Кристосом Пападимитриу алгоритмами “новой эры”, вызвало также повышенный интерес теоретиков в области компьютерных наук [13], [848]. В области исследования операций завоевал широкую популярность один из вариантов поиска с восхождением к вершине, получивший название ^поиска с запретами [563], [564]. В этом алгоритме, основанном на моделях ограниченной кратковременной памяти человека, ведется список запретов, состоящий из к ранее посещенных состояний, которые нельзя посещать повторно; это позволяет данному алгоритму не только выполнять поиск в графах более эффективно, но и выходить из некоторых локальных минимумов. Еще одним полезным усовершенствованием алгоритма поиска с восхождением к вершине является алгоритм Stage [163]. Идея этого алгоритма состоит в том, что для получения представления об общей форме ландшафта должны использоваться локальные максимумы, найденные в результате восхождения к вершине с перезапуском случайным образом. Данный алгоритм согласует гладкую поверхность с множеством локальных максимумов, а затем аналитическим путем вычисляет глобальный максимум этой поверхности. Полученный глобальный максимум становится новой точкой перезапуска. Успешное функционирование этого алгоритма было испытано на практике при решении трудных задач. В [573] показано, что распределения времени выполнения алгоритмов, в которых систематически применяются возвраты, часто имеют форму ^ распределений с широким хвостом (heavy-tailed distribution), а это означает, что вероятность очень продолжительного времени выполнения выше, чем можно было бы предположить в случае нормального распределения значений времени выполнения. Данные результаты могут служить теоретическим обоснованием применимости алгоритмов с перезапуском случайным образом.
Метод поиска с эмуляцией отжига был впервые описан Кирпатриком и др. [799], которые заимствовали соответствующую идею непосредственно из алгоритма Мет- рополиса (этот алгоритм применялся для эмуляции сложных систем в физике [1036] и был, как многие полагают, изобретен на одном из званых обедов в Лос-Аламосе). Методы поиска с эмуляцией отжига теперь лежат в основе отдельного научного направления, в котором ежегодно публикуются сотни статей.
Поиск оптимальных решений в непрерывных пространствах является предметом исследований в нескольких научных областях, включая теорию оптимизации, теорию оптимального управления и вариационное исчисление. Подходящие для нашей темы (и практически применимые) вступительные сведения приведены в [133] и [1236]. Одним из первых приложений для компьютеров было линейное программирование (Linear Programming — LP); относящийся к этой области симплексный алгоритм [322], [1611] все еще используется, несмотря на то, что в наихудшем случае он характеризуется экспоненциальной сложностью. Кармаркар [771] разработал практически применимый алгоритм для задач LP с полиномиальной временной сложностью.
Важной работой, предшествующей разработке генетических алгоритмов, было исследование концепции ландшафта пригодности (fitness landscape), проведенное Сьюэллом Райтом [1623]. В 1950-х годах некоторые специалисты в области статистики, включая Бокса [161] и Фридмана [504], использовали эволюционные методы для решения задач оптимизации, но этот подход приобрел популярность только по-
еле того, как Рехенберг [ 1270], [ 1271 ] предложил использовать ^ стратегии эволюции (evolution strategy) для решения задач оптимизации аэродинамических поверхностей. В 1960-х и 1970-х годах генетические алгоритмы глубоко исследовал Джон Холланд [669], применяя их и в качестве полезного инструментального средства, и в качестве способа расширения знаний в области адаптации, как биологической, так и связанной с другими научными направлениями [670]. Сторонники движения, доказывающие возможность ^ искусственной жизни [886], развили эту идею на один шаг дальше, рассматривая продукты генетических алгоритмов как организмы, а не как решения задач. В результате исследований в этой области, проведенных Хинтоном и Ноуланом [656], а также Экли и Литтманом [3], было сделано очень многое для выяснения последствий действия эффекта Болдуина. Для ознакомления с общими сведениями об эволюции авторы настоятельно рекомендуют книгу [1439].
Сравнение генетических алгоритмов с другими подходами (особенно с алгоритмом стохастического поиска с восхождением к вершине) чаще всего показывает, что генетические алгоритмы сходятся более медленно [66], [754], [1060], [115 8]. Такие исследования не находят всеобщего признания в сообществе приверженцев алгоритмов GA, но недавние попытки представителей этого сообщества трактовать поиск на основе популяций как приближенный аналог байесовского обучения (см. главу 20) могут способствовать преодолению разногласий между представителями этой области и ее критиками [1200]. Для анализа производительности алгоритмов GA может также применяться теория квадратичных динамических систем [1262]. В [944] можно найти пример применения GA для проектирования антенн, а в [890] — пример применения этих алгоритмов для решения задачи коммивояжера.
С генетическими алгоритмами тесно связана область ^ генетического программирования. Принципиальное различие между ними состоит в том, что представлениями, к которым применяются операции мутации и комбинирования, являются программы, а не битовые строки. Программы представлены в форме деревьев выражений; выражения могут быть сформированы на таком стандартном языке, как Lisp, или специально спроектированы для представления технических схем, контроллеров роботов и т.д. Операция скрещивания предусматривает соединение друг с другом поддеревьев, а не подстрок. Такая форма мутации гарантирует, что потомки будут представлять собой правильно построенные выражения, а это не было бы возможно в случае проведения манипуляций с программами, представленными в виде строк.
Недавно возникший широкий интерес к генетическому программированию был стимулирован работой Джона Козы [855], [856], но исследования в этой области проводились уже давно, начиная с экспериментов с машинным кодом [502] и с конечными автоматами [476]. Как и в отношении генетических алгоритмов, еще не утихли споры по поводу эффективности методов генетического программирования. В [857] описаны результаты ряда экспериментов по автоматизированному проектированию схемотехнических устройств с использованием генетического программирования.
Работы в области генетических алгоритмов и генетического программирования публикуются в журналах Evolutionary Computation и IEEE Transactions on Evolutionary Computations статьи на эти темы можно также найти в журналах Complex Systems, Adaptive Behavior и Artificial Life. Основными конференциями являются International Conference on Genetic Algorithms и Conference on Genetic Programming, а недавно произошло их слияние и создана конференция Genetic and Evolutionary Computation Conference. Хорошие обзоры этой области приведены в книгах Мелани Митчелл [1059] и Дэвида Фогеля [475].
Алгоритмы исследования неизвестных пространств состояний привлекали интерес ученых в течение многих столетий. Поиск в глубину в лабиринте можно осуществить, постоянно держась левой рукой за стену; циклов можно избежать, отмечая каждую развилку. При наличии необратимых действий поиск в глубину оканчивается неудачей; более общая задача исследования ^ графов Эйлера (т.е. графов, в которых каждый узел имеет одинаковое число входящих и исходящих ребер) была решена с помощью алгоритма, предложенного Хирхольцером [652]. Первое исчерпывающее описание алгоритмов решения задачи исследования для произвольных графов было приведено в [385]; авторы этой работы предложили полностью общий алгоритм, но показали, что невозможно определить ограниченный коэффициент конкурентоспособности для задачи исследования графа общего вида. В [1171] приведены результаты исследования проблемы поиска путей к цели в геометрических вариантах среды планирования пути (где все действия являются обратимыми). Эти результаты показали, что достичь того, чтобы коэффициент конкурентоспособности оставался небольшим, можно при наличии квадратных препятствий, но если препятствия имеют произвольную прямоугольную форму, то невозможно добиться того, чтобы значения коэффициента конкурентоспособности оставались ограниченными (см. рис. 4.13).
Алгоритм LRTA* был разработан Корфом [839] в ходе исследований в области ^ поиска в реальном времени для вариантов среды, в которых агент должен действовать после проведения поиска лишь в течение ограниченного времени (эта ситуация встречается гораздо чаще в играх с двумя участниками). По сути, алгоритм LRTA* представляет собой частный случай алгоритмов обучения с подкреплением для стохастических вариантов среды [74]. Применяемый в нем принцип оптимистического отношения к неопределенности (согласно которому следует всегда отправляться к ближайшему непосещенному состоянию) может в случае отсутствия информации о среде привести к формированию такого подхода к исследованию, который является менее эффективным по сравнению с простым поиском в глубину [818]. В [327] показано, что поиск с итеративным углублением в оперативном режиме обладает оптимальной эффективностью поиска цели в однородном дереве при отсутствии эвристической информации. В сочетании с различными методами поиска и обновления в известной части графа было разработано несколько вариантов алгоритма LRTA*, предусматривающих использование информации о среде [1201]. Тем не менее еще нет полного понимания того, как следует находить цели с оптимальной эффективностью при использовании эвристической информации.
Тема алгоритмов М параллельного поиска в этой главе не рассматривалась, отчасти потому, что для этого требуется привести подробное описание параллельных компьютерных архитектур. Параллельный поиск становится важной темой и в искусственном интеллекте, и в теоретических компьютерных науках. Краткое введение в тематику литературы по искусственному интеллекту можно найти в книге Ма- ханти и Дэниелса [969].
Упражнения
Выполните трассировку работы алгоритма поиска А* применительно к решению задачи проезда в город Бухарест из города Лугож с использованием эвристической функции определения расстояния по прямой. Иными словами, по-
кажите последовательность узлов, которые рассматриваются этим алгоритмом, и приведите оценки f, д и h для каждого узла.
Эвристический алгоритм поиска пути представляет собой алгоритм поиска по первому наилучшему совпадению, в котором целевая функция равна f (п) = (2-tv) д(п) +wh (п). Для каких значений w гарантируется оптимальность этого алгоритма? (Может быть принято предположение, что функция h является допустимой.) Какого рода поиск выполняется в этом алгоритме, когда w=0? Когда w=l? Когда w=2?
Докажите каждое из приведенных ниже утверждений.
Поиск в ширину представляет собой частный случай поиска по критерию стоимости.
Поиск в ширину, поиск в глубину и поиск по критерию стоимости (uniform-cost search) — специальные случаи поиска по первому наилучшему совпадению.
Поиск по критерию стоимости — специальный случай поиска А*.
ё) Предложите такое пространство состояний, в котором применение поиска А* с использованием алгоритма Graph-Search приводит к получению неоптимального решения при наличии функции h(n), которая является допустимой, но непреемственной.
На с. 156 было показано, что применение эвристической функции определения расстояния по прямой приводит к тому, что жадный поиск по первому наилучшему совпадению безвозвратно углубляется в дерево поиска при решении задачи проезда от города Яссы до города Фэгэраш. Однако эта эвристическая функция работает идеально при решении противоположной задачи — поиска пути проезда от города Фэгэраш до города Яссы. Существуют ли такие задачи, в которых эта эвристическая функция исключает возможность успешного выполнения задачи поиска пути в любом из направлений?
Предложите эвристическую функцию для задачи игры в восемь, которая иногда допускает переоценку, и покажите, каким образом это может привести к получению неоптимального решения некоторых конкретных экземпляров задачи. (Для упрощения работы при выполнении упражнения можете использовать компьютер.) Докажите, что если функция h никогда не переоценивает стоимость больше чем на с, то алгоритм А* с использованием функции h возвращает решение, стоимость которого превышает оптимальное решение не больше чем на с.*
Докажите, что если эвристическая функция является преемственной, то она должна быть допустимой. Составьте допустимую эвристическую функцию, которая не является преемственной.
(а® Задача коммивояжера (Traveling Salesperson Problem — TSP) может быть решена с помощью эвристической функции, основанной на определении минимального связующего дерева (Minimum Spanning Tree — MST), которая используется для оценки стоимости завершения обхода, при условии, что уже был сформирован частичный путь обхода. Стоимость MST для множества городов представляет собой минимальную сумму стоимостей соединений в любом дереве, которое связывает все города.
Покажите, как можно вывести эту эвристическую функцию на основе одной из ослабленных версий задачи TSP.
Покажите, что эвристическая функция MST доминирует над эвристической функцией определения расстояния по прямой.
Напишите генератор задач для создания экземпляров задачи TSP, в которых города представлены случайно выбранными точками в единичном квадрате.
Найдите в литературе эффективный алгоритм формирования MST и примените его в сочетании с допустимым алгоритмом поиска для решения экземпляров задачи TSP.
Нас. 171 был определен ослабленный вариант задачи игры в восемь, в котором любая фишка может перемещаться из квадрата А в квадрат В, если квадрат в является пустым. Точное решение этой задачи предусматривает определение эвристической функции Гашнига [522]. Объясните, почему эвристическая функция Гашнига является, по меньшей мере, такой же точной, как и функция Нг (в которой учитываются фишки, стоящие не на месте), и продемонстрируйте случай, в которых она является более точной по сравнению и с йх, и с h2 (в которой используется манхэттенское расстояние). Можете ли вы предложить способ эффективного вычисления эвристической функции Гашнига?
й) В данной главе были описаны две простые эвристические функции для задачи игры в восемь; в одной из них учитывается манхэттенское расстояние, а в другой — стоящие не на месте фишки. В литературе предложено также несколько других эвристических функций, предназначенных для использования в качестве улучшенной замены этих двух (см., например, [617], [1092] и [1141]). Проверьте обоснованность этих претензий, реализовав соответствующие эвристические функции и сравнив производительность полученных алгоритмов.
Укажите название алгоритма, который фактически становится следствием применения каждого из перечисленных ниже частных случаев.
Локальный лучевой поиск с к=1.
Локальный лучевой поиск с одним начальным состоянием и без ограничений на количество хранимых состояний.
Моделируемый отжиг с постоянным значением Т=0 (и исключенной проверкой завершения).
Генетический алгоритм с размером популяции N= 1.
Иногда не существует хорошей функции оценки для некоторой задачи, но имеется хороший метод сравнения — способ определения того, является ли один узел лучше другого, без присваивания числовых значений тому и другому. Покажите, что этого достаточно для выполнения поиска по первому наилучшему совпадению. Есть ли соответствующий аналог алгоритма А*?
Определите, как связана временная сложность алгоритма LRTA* с его пространственной сложностью.
Предположим, что некоторый агент находится в среде лабиринта 3x3, подобного приведенному на рис. 4.12. Агенту известно, что его первоначальным местонахождением является пункт (1,1), что цель находится в пункте (3,3) и
что четыре действия, Up, Down, Left, Right, приводят к своим обычным последствиям, если не будут заблокированы стеной. Агент не знает о том, где находятся внутренние стены. В любом конкретном состоянии агент воспринимает информацию о множестве допустимых действий; он также может определить, является ли данное состояние тем, которое он уже посещал ранее, или представляет собой новое состояние.
Объясните, каким образом к этой задаче поиска в оперативном режиме можно применить такую трактовку, чтобы она могла рассматриваться как поиск в автономном режиме в пространстве доверительных состояний, где первоначальное доверительное состояние включает все возможные конфигурации среды. Насколько велико это первоначальное доверительное состояние? Насколько велико все пространство доверительных состояний?
Какое количество различных вариантов восприятия возможно в первоначальном состоянии?
Опишите первые несколько ветвей плана действий в непредвиденных ситуациях для этой задачи. Насколько велик этот план в полном виде (дайте приблизительную оценку)?
Обратите внимание на то, что этот план действий в непредвиденных ситуациях является решением для каждой возможной среды, соответствующей данному описанию. Поэтому, строго говоря, чередование поиска и выполнения не требуется даже в неизвестных вариантах среды.
Й В данном упражнении исследуется направление использования локальных методов поиска для решения задач TSP такого типа, который определен в упр. 4.8.
Предложите подход к решению задач TSP на основе поиска с восхождением к вершине. Сравните эти результаты с оптимальными решениями, полученными на основе алгоритма А* с эвристической функцией MST (упр. 4.8).
Предложите подход к решению задачи коммивояжера с помощью генетического алгоритма. Сравните результаты обоих подходов. Для ознакомления с некоторыми рекомендациями по выбору представлений вы можете обратиться к [890].
(й) Сформируйте большое количество экземпляров игры в восемь и задачи с восемью ферзями и найдите их решения (там, где это возможно) с помощью поиска с восхождением к вершине (в варианте подъема по самому крутому склону и в варианте поиска по первому наилучшему совпадению), поиска с восхождением к вершине с перезапуском случайным образом и поиска с эмуляцией отжига. Измерьте стоимость поиска и процентное соотношение решенных задач, а также нанесите эти данные на график наряду с данными об оптимальной стоимости решения. Прокомментируйте полученные вами результаты.
(а® В данном упражнении исследуется применение поиска с восхождением к вершине в контексте робототехнической навигации, с использованием в качестве примера среды, показанной на рис. 3.14.
Повторите упр. 3.16 с использованием поиска с восхождением к вершине.
Зашел ли когда-либо предложенный вами агент в тупик в локальном ми-
нимуме? Возможно ли, чтобы он зашел в тупик при наличии выпуклых препятствий?
Сформируйте среду с препятствиями в виде невыпуклых многоугольников, в которой агент может оказаться в тупике.
Модифицируйте алгоритм поиска с восхождением к вершине таким образом, чтобы вместо выполнения поиска на глубину 1 для принятия решения о том, куда двигаться дальше, агент предпринимал бы поиск на глубину к. Он должен находить наилучший путь, состоящий из к этапов, проходить по нему на один этап, а затем повторять процесс.
Существует ли такое значение к, при котором новый алгоритм гарантирует выход из локальных минимумов?
Объясните, благодаря чему алгоритм LRTA* позволяет агенту выходить из локальных минимумов в этом случае.
S) Сравните производительность алгоритмов А* и RBFS на множестве случайно сформированных экземпляров задач в проблемных областях задачи игры в восемь (с манхэттенским расстоянием) и задачи TSP (с MST — см. упр. 4.8). Обсудите полученные вами результаты. Как изменяется производительность алгоритма RBFS после добавления небольшого случайного числа к эвристическим значениям в проблемной области задачи игры в восемь?
5 Задачи
УДОВЛЕТВОРЕНИЯ ОГРАНИЧЕНИЙ
В этой главе показано, что, рассматривая состояния на более высоком уровне детализации, чем просто как маленькие “черные ящики”, можно прийти к созданию целого ряда мощных новых методов поиска и более глубокому пониманию структуры и сложности задачи.
В главах 3 и 4 рассматривался подход, согласно которому задачи можно решать, выполняя поиск в пространстве состояний. Для реализации этого подхода состояния необходимо оценивать с помощью эвристических функций, соответствующих данной проблемной области, а также проверять для определения того, не являются ли они целевыми состояниями. Однако с точки зрения таких алгоритмов поиска каждое состояние представляет собой ^черный ящик с неразличимой внутренней структурой. Они представлены с помощью произвольно выбранной структуры данных, доступ к которой может осуществляться только с применением процедур, относящихся к данной проблемной области, — функции определения преемника, эвристической функции и процедуры проверки цели.
В настоящей главе рассматриваются задачи удовлетворения ограничений, в которых состояния и проверка цели соответствуют стандартному, структурированному и очень простому ^представлению (см. раздел 5.1). Это позволяет определять алгоритмы поиска, способные воспользоваться преимуществом такой* структуры состояний, и применять для решения крупных задач эвристические функции общего назначения, а не функции, относящиеся к конкретной задаче (см. разделы 5.2, 5.3). Но, возможно, еще более важно то, что применяемое стандартное представление проверки цели раскрывает структуру самой задачи (см. раздел 5.4). Это позволяет создать методы декомпозиции задачи и понять внутреннюю связь между структурой задачи и сложностью ее решения.
Задачи удовлетворения ограничений
Формально говоря, ^ любая задача удовлетворения ограничений (Constraint Satisfaction Problem — CSP) определена множеством ^переменных, Х^,...^ И множеством ^ограничений, Сх,^...^. Каждая переменная Xi имеет непустую ^ область определения D^ возможных ^ значений. Каждое ограничение Ci включает некоторое подмножество переменных и задает допустимые комбинации значений для этого подмножества. Состояние задачи определяется путем ^ присваивания значений некоторым или всем этим переменным, {Xi=Vi,Xj=Vj,...}. Присваивание, которое не нарушает никаких ограничений, называется ^ совместимым, или допустимым присваиванием. Полным называется такое присваивание, в котором участвует каждая переменная, а решением задачи CSP является полное присваивание, которое удовлетворяет всем ограничениям. Кроме того, для некоторых задач CSP требуется найти решение, которое максимизирует ^ целевую функцию.
Как же все это описание перевести на язык практики? Предположим, что устав от Румынии, мы рассматриваем карту Австралии, на которой показаны все ее штаты и территории (рис. 5.1, а), и что мы получили задание раскрасить каждый регион в красный, зеленый или синий цвет таким способом, чтобы ни одна пара соседних регионов не имела одинаковый цвет. Чтобы сформулировать это задание в виде задачи CSP, определим в качестве переменных сокращенные обозначения этих регионов: WA, NT, Q, NSW, V, SA и Т. Областью определения каждой переменной является множество цветов {red, green, blue}. Ограничения требуют, чтобы все пары соседних регионов имели разные цвета; например, допустимыми комбинациями для WA и NT являются следующие пары:
{(red,green), (red,blue), (green,red), (green,blue), (blue,red) , (blue,green)}
(Это ограничение можно также представить более сжато в виде неравенства WA^NT, при условии, что в данном алгоритме удовлетворения ограничений предусмотрен некоторый способ вычисления таких выражений.) Количество возможных решений достаточно велико; например, одним из таких решений является следующее:
WA=red, NT=green, Q=red, NSW=green, V=red, SA=blue, T=red}
Задачу CSP удобно представить визуально в виде ^ графа ограничений, как показано на рис. 5.1, б. Узлы этого графа соответствуют переменным задачи, а дуги — ограничениям.
Рассматривая некоторую задачу в виде задачи CSP, можно достичь нескольких важных преимуществ. Представление состояний в задаче CSP соответствует некоторому стандартному шаблону (т.е. выражается в виде множества переменных с присвоенными значениями), поэтому функцию определения преемника и проверку цели можно записать в универсальной форме, применимой ко всем задачам CSP. Более того, могут быть разработаны эффективные, универсальные эвристические функции, для создания которых не требуются дополнительные знания о конкретной проблемной области. Наконец, для упрощения процесса решения может использоваться сама структура графа ограничений, что позволяет в некоторых случаях добиться экспоненциального уменьшения сложности. Это представление задачи CSP является первым и простейшим из ряда схем представления, которые будут разрабатываться на протяжении данной книги.
Рис. 5.1. Пример определения задачи CSP: основные штаты и территории на карте Австралии (а); раскраска этой карты может рассматриваться как задача удовлетворения ограничений; задание состоит в том, чтобы назначить цвет каждому региону так, что ни одна пара соседних регионов не будет иметь одинаковый цвет; рассматриваемая задача раскраски карты, представленная в виде графа ограничений (б)
Можно довольно легко показать, что любой задаче CSP может быть дана инкрементная формулировка, как и любой стандартной задаче поиска, следующим образом.
Начальное состояние. Пустое присваивание {}, в котором ни одной переменной не присвоено значение.
Функция определения преемника. Значение может быть присвоено любой переменной с неприсвоенным значением, при условии, что переменная не будет конфликтовать с другими переменными, значения которым были присвоены ранее.
Проверка цели. Текущее присваивание является полным.
Стоимость пути. Постоянная стоимость (например, 1) для каждого этапа.
Каждое решение должно представлять собой полное присваивание и поэтому должно находиться на глубине п, если имеется п переменных. Кроме того, дерево поиска распространяется только на глубину п. По этим причинам для решения задач CSP широко применяются алгоритмы поиска в глубину (см. раздел 5.2). К тому же такие задачи характерны тем, что ^ сам путь, по которому достигается некоторое решение, не представляет интереса. Поэтому может также использоваться формулировка с полным состоянием, в которой каждое состояние представляет собой полное присваивание, удовлетворяющее или не удовлетворяющее ограничениям. На основе такой формулировки хорошо действуют методы локального поиска (см. раздел 5.3).'
Задачи CSP простейшего вида характеризуются тем, что в них используются переменные, которые являются дискретными и имеют ^ конечные области определения. К такому виду относится задача раскраски карты. Задача с восемью
ферзями, описанная в главе 3, также может рассматриваться как задача CSP с конечной областью определения, где переменные Qi,...,^ представляют собой позиции каждого ферзя на столбцах 1,...,8, а каждая переменная имеет область определения {1,2,3,4,5,6,7,8}. Если максимальный размер области определения любой переменной в задаче CSP равен d, то количество возможных полных присваиваний измеряется величиной О(сГ), т.е. зависит экспоненциально от количества переменных. К категории задач CSP с конечной областью определения относятся ^ булевы задачи CSP, в которых переменные могут иметь значения либо true, либо false. Булевы задачи CSP включают в качестве частных случаев некоторые NP-полные задачи, такие как 3SAT (см. главу 7). Поэтому в худшем случае нельзя рассчитывать на то, что мы сможем решать задачи CSP с конечной областью определения за время меньше экспоненциального. Но в большинстве практических приложений алгоритмы CSP общего назначения позволяют решать задачи, на несколько порядков величины более крупные по сравнению с теми, которые могут быть решены с помощью алгоритмов поиска общего назначения, представленных в главе 3.
Дискретные переменные могут также иметь М бесконечные области определения, например, такие, как множество всех целых чисел или множество всех строк. В частности, при календарном планировании строительных работ дата начала каждой работы представляет собой переменную, а ее возможными значениями являются целочисленные интервалы времени в сутках, отсчитываемые от текущей даты. При решении задач с бесконечными областями определения больше нет возможности описывать ограничения, перечисляя все допустимые комбинации значений. Вместо этого должен использоваться ^ язык ограничений. Например, если работа JobT, которая занимает пять дней, должна предшествовать работе Job3, то для описания этого условия потребуется язык ограничений, представленных в виде алгебраических неравенств, таких как StartJob1*5<StartJob3. Кроме того, больше нет возможности решать такие ограничения, просто перечисляя все возможные присваивания, поскольку количество подобных возможных присваиваний бесконечно велико. Для ^ линейных ограничений с целочисленными переменными (т.е. ограничений, подобных только что приведенному, в которых каждая переменная представлена только в линейной форме) существуют специальные алгоритмы поиска решений (которые здесь не рассматриваются). Можно доказать, что не существует алгоритмов решения общих М нелинейных ограничений с целочисленными переменными. В некоторых случаях задачи с целочисленными ограничениями можно свести к задачам с конечной областью определения, устанавливая пределы значений всех этих переменных. Например, в задаче планирования можно установить верхний предел, равный общей продолжительности всех работ, которые должны быть запланированы.
В реальном мире очень часто встречаются задачи удовлетворения ограничений с ^ непрерывными областями определения, и эти задачи интенсивно изучаются в области исследования операций. Например, для планирования экспериментов на космическом телескопе Хаббл требуется очень точная привязка наблюдений по времени; начало и конец каждого наблюдения и каждого маневра представляют собой переменные со значениями из непрерывной области опре-
деления, которые должны подчиняться всевозможным астрономическим ограничениям, ограничениям предшествования и ограничениям по мощности двигателей. Одной из широко известных категорий задач CSP с непрерывной областью определения являются задачи ^ линейного программирования, в которых ограничения должны представлять собой линейные неравенства, образующие выпуклую область. Задачи линейного программирования могут быть решены за время, которое зависит полиномиально от количества переменных. Кроме того, проводились исследования задач с другими типами ограничений и целевых функций — задачи квадратичного программирования, конического программирования второго порядка и т.д.
Кроме исследования типов переменных, которые могут присутствовать в задачах CSP, полезно заняться изучением типов ограничений. Простейшим типом ограничения является М унарное ограничение, которое ограничивает значение единственной переменной. Например, может оказаться, что жители штата Южная Австралия очень не любят зеленый цвет, {green}. Каждое унарное ограничение можно устранить, выполняя предварительную обработку области определения соответствующей переменной, чтобы удалить любое значение, нарушающее это ограничение. ^ Бинарное ограничение связывает между собой две переменные. Например, бинарным ограничением является SA^NSW. Бинарной задачей CSP называется задача, в которой предусмотрены только бинарные ограничения; она может быть представлена в виде графа ограничений, подобного приведенному на рис. 5.1,5.
В ограничениях высокого порядка участвуют три или больше переменных. Одним из известных примеров таких задач являются ^ криптоарифметические головоломки, называемые также числовыми ребусами (рис. 5.2, а}. Обычно предъявляется требование, чтобы каждая буква в криптоарифметической головоломке представляла отдельную цифру. В случае задачи, показанной на рис. 5.2, а, такое требование может быть выражено с помощью ограничения с шестью переменными Alldiff(Ff т, и, W, R, О). Иным образом это требование может быть представлено в виде коллекций бинарных ограничений, таких как F^T. Ограничения сложения для четырех столбцов этой головоломки также включают несколько переменных и могут быть записаны следующим образом:
о + о = к + ю • Xi
Х1 + W + W = и + 10 • х2
Х2 + Т + Т = О + 10 • Х3
Х3 = F
где х1$ х2 и х3 — ^ вспомогательные переменные, представляющие цифру (0 или 1), которая переносится в следующий столбец. Ограничения высокого порядка могут быть представлены в виде М гиперграфа ограничений, подобного приведенному на рис. 5.2, б. Внимательный читатель заметит, что ограничение Alldiff может быть разбито на бинарные ограничения — F^T, F^U и т.д. И действительно, в упр. 5.11 предлагается доказать, что каждое ограничение высокого порядка с конечной областью определения можно свести к множеству бинарных ограничений, введя достаточное количество вспомогательных переменных. В связи с этим в данной главе будут рассматриваться только бинарные ограничения.
Т W о
+ Т W о
FOUR
б)б)а)
б)
б)
Рис. 5.2. Пример криптоарифметической задачи: каждая буква обозначает отдельную цифру; задание состоит в том, чтобы найти такую замену букв цифрами, чтобы результирующее выражение суммирования было арифметически правильным, с дополнительным ограничением, что наличие ведущих нулей не допускается (а); гиперграф ограничений для этой криптоарифметической задачи, на котором показано ограничение Alldi f f, а также ограничения сложения по столбцам; каждое ограничение обозначено квадратом, который соединен с ограничиваемыми им переменными (б)
Все ограничения, рассматривавшиеся до сих пор, были абсолютными ограничениями, нарушение которых равносильно тому, что какое-то потенциальное решение больше не рассматривается как таковое. С другой стороны, во многих реальных задачах CSP применяются ограничения ^ предпочтения, которые указывают, какие решения являются предпочтительными. Например, в задаче составления расписания занятий в университете может потребоваться учесть, что профессор X предпочитает проводить занятия по утрам, а профессор Y — после полудня. Расписание занятий, в котором предусмотрено проведение профессором X занятия в 14:00, все еще может рассматриваться как решение (если не окажется, что профессор х должен в это время председательствовать на заседании кафедры), но уже не будет оптимальным. Ограничения предпочтения часто можно закодировать как стоимости присваиваний отдельных переменных; например, за назначение профессору X послеполуденного интервала придется заплатить 2 пункта, которые будут учтены в суммарном значении целевой функции, в то время как утренний интервал имеет стоимость 1 пункт. При использовании такой формулировки задачи CSP с предпочтениями можно решать, используя методы поиска с оптимизацией, либо основанные на поиске пути, либо локальные. Подобные задачи CSP в данной главе больше не рассматриваются, но в разделе с библиографическими заметками приведены некоторые ссылки.
Применение поиска с возвратами для решения задач CSP
В предыдущем разделе приведена формулировка задач CSP в виде задач поиска. Если используется такая формулировка, то появляется возможность решать задачи
CSP с помощью любых алгоритмов поиска, приведенных в главах 3 и 4. Предположим, что мы применяем алгоритм поиска в ширину к универсальной формулировке задачи CSP, приведенной в предыдущем разделе. Но мы быстро обнаружим нечто ужасное: коэффициент ветвления на верхнем уровне равен nd, поскольку любое из d значений может быть присвоено любой из п переменных. На следующем уровне коэффициент ветвления равен (n-1)d и т.д., на всех п уровнях. При этом создается дерево с п! • сГ ветвями, даже несмотря на то, что имеется только сГ возможных полных присваиваний!
В применяемой нами формулировке задачи, которая внешне казалась разумной, но оказалась плохо продуманной, не было учтено существенно важное свойство, общее для всех задач CSP, — М коммутативность. Задача называется коммутативной, если порядок применения любого конкретного множества действий в процессе ее решения не влияет на результат. Именно это свойство характерно для задач CSP, поскольку, присваивая значения переменным, мы достигаем одного и того же частичного присваивания независимо от порядка присваивания. Поэтому ^ во всех алгоритмах поиска CSP преемники формируются с учетом возможных присваиваний только для единственной переменной в каждом узле дерева поиска. Например, в корневом узле дерева поиска в задаче раскрашивания карты Австралии можно иметь выбор между SA=red, SA= green и SA=blue, но мы никогда не должны выбирать между SA^red и WA=blue. Определив такое условие, можно надеяться сократить количество листьев до сГ.
Поиск в глубину, в котором каждый раз выбираются значения для одной переменной и выполняется возврат, если больше не остается допустимых значений, которые можно было бы присвоить переменной, называется ^ поиском с возвратами. Этот алгоритм поиска приведен в листинге 5.1. Обратите внимание на то, что в этом алгоритме по существу используется метод инкрементного формирования преемников по одному преемнику за один раз, который описан на с. 131. Кроме того, для формирования преемника текущее присваивание дополняется, а не копируется. Поскольку это представление задач CSP стандартизировано, то в функции Backtracking-Search не требуется учитывать начальное состояние, функцию определения преемника или проверку цели, характерные для рассматриваемой проблемной области. Часть дерева поиска для задачи раскраски карты Австралии показана на рис. 5.3, где значения присваиваются переменным в порядке WA,NT,Q,... .
Листинг 5.1. Простой алгоритм поиска с возвратами для решения задач удовлетворения ограничений csp. Этот алгоритм составлен по принципу рекурсивного поиска* в глубину, описанного в главе 3. Функции Select-Unassigned-Variable и Order-Domain-Values могут использоваться для реализации эвристических функций общего назначения, которые рассматриваются в тексте данной главы
function Backtracking-Search(csp) returns решение result
или индикатор отказа failure
return Recursive-Backtracking({}, csp)
function Recursive-Backtracking{assignment, csp) returns решение result или индикатор отказа failure
if присваивание assignment является полным then return assignment var t- Select-Unassigned-Variable(Variables[csp], assignment, csp)
for each value in Order-Domain-Values (var, assignment, csp) do if значение value является совместимым с присваиванием assignment согласно ограничениям Constraints[csp] then добавить {var = value} к присваиванию assignment result <— Recursive-Backtracking(assignment, csp) if result * failure then return result удалить (var = value} из присваивания assignment return failure
Рис. 5.3. Часть дерева поиска, сформированного путем простого поиска с возвратами при решении задачи раскрашивания карты, приведенной на рис. 5.1
Согласно определениям, приведенным в главе 3, алгоритм простого поиска с возвратами представляет собой неинформированный алгоритм, поэтому не следует рассчитывать на то, что он окажется очень эффективным при решении крупных задач. Результаты его применения к некоторым примерам задач показаны в первом столбце табл. 5.1 и подтверждают эти предположения.
В главе 4 было показано, что такой недостаток неинформированных алгоритмов поиска, как низкая производительность, можно устранить, предусмотрев использование в них эвристических функций, соответствующих данной проблемной области, которые основаны на наших знаниях о данной задаче. Как оказалось, задачи CSP можно решать эффективно без таких знаний о конкретной проблемной области. Вместо этого в данной главе будут разработаны методы общего назначения, позволяющие найти ответ на перечисленные ниже вопросы.
Какой переменной должно быть присвоено значение в следующую очередь и в каком порядке необходимо пытаться присваивать эти значения?
Как влияют текущие присваивания значений переменным на другие переменные с неприсвоенными значениями?
Если какой-то путь оказался неудачным (т.е. достигнуто состояние, в котором ни одна переменная не имеет допустимых значений), позволяет ли поиск избежать повторения этой неудачи при прохождении последующих путей?
В приведенных ниже подразделах по очереди даны ответы на каждый из этих вопросов.
Таблица 5.1. Результаты применения различных алгоритмов CSP для решения разных задач. Слева направо показаны алгоритмы простого поиска с возвратами, поиска с возвратами на основе эвристической функции MRV, локального поиска с предварительной проверкой, локального поиска с предварительной проверкой на основе MRV и локального поиска с минимальными конфликтами. В каждой ячейке показано среднее количество проверок совместимости (за пять прогонов), которые потребовались для решения данной задачи; обратите внимание на то, что все эти числа, кроме двух, находящихся вверху справа, выражены в тысячах (к). Числа в круглых скобках показывают, что за назначенное количество проверок не было найдено ни одного ответа. Первой задачей является поиск раскраски в 4 цвета для 50 штатов США. Остальные задачи взяты из [56, табл. 1]. Во второй задаче подсчитывается общее количество проверок, необходимых для решения всех задач с п ферзями для л от 2 до 50. Третьей задачей является “головоломка с зеброй”, которая описана в упр. 5.13. Последние две задачи представляют собой искусственные задачи, формируемые случайным образом (алгоритм с минимальными конфликтами к ним не применялся). Эти результаты показывают, что предварительная проверка на основе эвристической функции MRV является лучшим способом решения всех этих задач по сравнению с другими алгоритмами поиска с возвратами, но этот метод не всегда превосходит локальный поиск с минимальными конфликтами
Задача
Поиск с возвратами
Поиск с возвратами на основе MRV
Локальный поиск с предварительной проверкой
Локальный поиск с предварительной проверкой на основе MRV
Локальный поиск с минимальными конфликтами
Определение раскраски в 4 цвета для 50 штатов США
(> 1000К)
(> 1000К)
2К
60
64
Задача с п ферзями
(> 40 000К)
13 500К
(> 40 000К)
817К
4К
Головоломка с зеброй
3859К
1К
35К
0,5К
2К
Сформированная случайным образом задача 1
4I5K
ЗК
26К
2К
—
Сформированная случайным образом задача 2
942К
27К
77К
15К
—
Упорядочение переменных и значений
Приведенный выше алгоритм поиска с возвратами содержит следующую строку: var <- Select-Unassigned-Variable(Variables[csp], assignment, csp) По умолчанию функция Select-Unassigned-Variable выбирает следующую переменную с неприсвоенным значением в порядке, указанном в списке Variables [csp]. Такое статическое упорядочение переменных редко приводит к наиболее эффективному поиску. Например, после присваиваний WA=red и NT= green остается только одно возможное значение для SA, поэтому имеет смысл на следующем этапе выполнить присваивание SA=blue, а не присваивать значение переменной Q. В действительности после присваивания значения переменной SA все варианты выбора значений для Q, NSW и V становятся вынужденными. Эта интуитивная идея (согласно которой в первую очередь следует выбирать переменную с наименьшим количеством “допустимых” значений) называется эвристикой с ^минимальным количеством оставшихся значений (Minimum Remaining Values —
MRV). Эту эвристику называют также эвристикой с “переменной, на которую распространяется наибольшее количество ограниченной”, или эвристикой “до первого неудачного завершения”; последнее название применяется потому, что такая эвристическая функция предусматривает выбор переменной, которая с наибольшей вероятностью вскоре приведет к неудаче, усекая тем самым дерево поиска. Если существует переменная х с нулевым количеством оставшихся допустимых значений, эвристическая функция MRV выберет х и неудача будет обнаружена немедленно; это позволяет избежать бессмысленных поисков среди других переменных, которые всегда будут оканчиваться неудачей после того, как в конечном итоге будет выбрана переменная X. Производительность поиска с использованием этой эвристической функции показана во втором столбце табл. 5.1, обозначенном как Поиск с возвратами на основе MRV. Производительность поиска повышается от 3 до 3000 раз по сравнению с простым поиском с возвратами, в зависимости от задачи. Следует отметить, что в применяемом здесь показателе производительности не учитывается дополнительная стоимость вычисления значений эвристической функции; в следующем подразделе описан метод, который позволяет удерживать это значение стоимости в приемлемых рамках.
Эта эвристическая функция MRV вообще не оказывает никакой помощи при выборе для окрашивания в Австралии первого региона, поскольку первоначально каждый регион имеет три допустимых цвета. В таком случае удобной становится степенная эвристика. В этой эвристике предпринимается попытка уменьшить коэффициент ветвления в будущих вариантах за счет выбора переменной, которая участвует в наибольшем количестве ограничений на другие переменные с неприсвоенными значениями. На рис. 5.1 переменной с наибольшей степенью, 5, является переменная SA; другие переменные имеют степень 2 или 3, за исключением Г, которая имеет степень 0. В действительности после выбора переменной SA применение степенной эвристики позволяет решить задачу без каких-либо неудачных этапов — теперь можно выбрать любой согласованный цвет в каждой точке выбора и все равно прийти к решению без поиска с возвратами. Эвристика с минимальным количеством оставшихся значений обычно обеспечивает более мощное руководство, но степенная эвристика может оказаться полезной в качестве средства разрешения неопределенных ситуаций.
После выбора одной из переменных в этом алгоритме необходимо принять решение о том, в каком порядке должны проверяться ее значения. Для этого в некоторых случаях может оказаться эффективной эвристика с ^ наименее ограничительным значением. В ней предпочитается значение, в котором из рассмотрения исключается наименьшее количество вариантов выбора значений для соседних переменных в графе ограничений. Например, предположим, что на рис. 5.1 сформировано частичное присваивание с WA=red и NT=green и что следующий вариант выбора предназначен для Q. Синий цвет был бы плохим вариантом, поскольку исключил бы последнее допустимое значение, оставшееся для соседней переменной относительно Q, т.е. переменной SA. Поэтому эвристика с “наименее ограничительным значением” предпочитает значение red, а не blue. Вообще говоря, в этой эвристике предпринимается попытка сохранить максимальную гибкость для последующих присваиваний значений переменным. Безусловно, если бы мы стремились найти все решения некоторой задачи, а не первое из них, то такое упорядочение не имело бы значения,
поскольку нам так или иначе пришлось бы рассмотреть каждое значение. Такое же замечание остается справедливым, если данная задача вообще не имеет решений.
Распространение информации с помощью ограничений
До сих пор в рассматриваемом алгоритме поиска ограничения, распространяющиеся на какую-то переменную, учитывались только в тот момент, когда происходил выбор этой переменной с помощью функции Select-Unassigned-Variable. Но рассматривая некоторые ограничения на предыдущих этапах поиска или даже до начала поиска, можно резко уменьшить пространство поиска.
Предварительная проверка
Один из способов лучшего использования ограничений во время поиска получил название предварительной проверки (forward checking). При каждом присваивании значения переменной х в процессе предварительной проверки просматривается каждая переменная У с неприсвоенным значением, которая соединена с хс помощью некоторого ограничения, и из области определения переменной У удаляется любое значение, которое является несовместимым со значением, выбранным для X. На рис. 5.4 показан ход поиска решения задачи раскрашивания карты с помощью предварительной проверки. На основании данного примера можно сделать два важных вывода. Прежде всего следует отметить, что после присваивания WA=red и Q=green области определения переменных NT и SA сокращаются до единственного значения; таким образом, ветвление, связанное с поиском значений для этих переменных, было полностью устранено путем распространения информации, касающейся переменных WA и Q. Применение эвристики MRV, которая, безусловно, хорошо сочетается с предварительной проверкой, позволяет на следующем этапе автоматически выбрать значение для переменных SA и NT. (Разумеется, что предварительная проверка может рассматриваться как эффективный способ инкрементного вычисления той информации, которая требуется эвристике MRV для выполнения своей работы.) Второй вывод, заслуживающий внимания, состоит в том, что после присваивания V=blue область определения SA становится пустой. Поэтому предварительная проверка позволила обнаружить, что частичное присваивание WA=red, Q-green, V=blue} является несовместимым с ограничениями этой задачи, значит, алгоритм немедленно выполняет возврат.
WA
NT
Q
NSW
V
SA
T
Начальные области определения
RGB
RGB
RGB
RGB
RGB
RGB
RGB
После присваивания WA=red
©
G В
RGB
RGB
RGB
G В
RGB
После присваивания Q=green
©
В
©
R В
RGB
В
RGB
После присваивания V=blue
©
В
©
R
©
RGB
Рис. 5.4. Поиск решения задачи с раскрашиванием карты на основе предварительной проверки. Вначале выполняется присваивание WA=red, затем предварительная проверка приводит к удалению значений red из областей определения соседних переменных NT и SA. После присваивания Q=green значение green удаляется из областей определения NT, SA и NSW. После присваивания V=blue из областей определения NSW и SA удаляется значение blue, в результате чего переменная SA остается без допустимых значений
Распространение ограничения
Хотя предварительная проверка обнаруживает много несовместимостей, она не позволяет обнаружить их все. Например, рассмотрим третью строку на рис. 5.4, которая показывает, что если переменная та имеет значение red, a Q — green, то обеим переменным, от и SA, должно быть присвоено значение blue. Но соответствующие им регионы являются смежными и поэтому не могут иметь одно и то же значение цвета. Предварительная проверка не позволяет обнаружить эту ситуацию как несовместимость, поскольку не предусматривает достаточно далекий просмотр наперед. М Распространение ограничения (constraint propagation) — это общее название методов распространения на другие переменные последствий применения некоторого ограничения к одной переменной; в данном случае необходимо распространить ограничение с та и Q на NT и SA (как было сделано с помощью предварительной проверки), а затем — на ограничение между ОТ и SA, чтобы обнаружить указанную несовместимость. К тому же желательно, чтобы такая операция выполнялась быстро: нет смысла ограничивать таким образом объем поиска, если будет расходоваться больше времени на распространение ограничений, чем на выполнение простого поиска.
Идея проверки М совместимости дуг легла в основу быстрого метода распространения ограничений, который является значительно более мощным по сравнению с предварительной проверкой. В данном случае термин дуга обозначает ориентированное ребро в графе ограничений, такое как дуга от SA до NSW. Если рассматриваются текущие области определения SA и NSW, то дуга является совместимой, если для каждого значения х переменной SA существует некоторое значение у переменной NSW, которое совместимо с х. В третьей строке на рис. 5.4 текущими областями определения SA и NSW являются {blue} и {red,blue} соответственно. При SA=blue существует совместимое присваивание для NSW, а именно NSW=red, поэтому дуга от SA до NSW совместима. С другой стороны, обратная дуга от NSW до SA несовместима, поскольку применительно к присваиванию NSW=blue не существует совместимого присваивания для SA. Эту дугу можно сделать совместимой, удалив значение blue из области определения NSW.
На том же этапе в процессе поиска проверку совместимости дуг можно также применить к дуге от SA до ОТ. Третья строка таблицы, приведенной на рис. 5.4, показывает, что обе переменные имеют область определения {blue}. Результатом становится то, что значение blue должно быть удалено из области определения SA, после чего эта область определения остается пустой. Таким образом, применение проверки совместимости дуг привело к раннему обнаружению той несовместимости, которая не была обнаружена с помощью предварительной проверки, применяемой в чистом виде.
Проверку совместимости дуг можно использовать либо в качестве этапа предварительной обработки перед началом процесса поиска, либо в качестве этапа распространения ограничения (аналогично предварительной проверке) после каждого присваивания во время поиска. (Последний алгоритм иногда называют МАС, сокращенно обозначая метод поддержки совместимости дуг — Maintaining Arc Consistency.) И в том и в другом случае процесс проверки необходимо выполнять повторно, до тех пор, пока не перестанут обнаруживаться какие-либо несовместимости. Это связано с тем, что при удалении (в целях устранения некоторой несовместимости дуг) любого значения из области определения некоторой переменной может
появиться новая несовместимость дуг в тех дугах, которые указывают на эту переменную. В полном алгоритме проверки совместимости дуг, АС-3, используется очередь для отслеживания дуг, которые должны быть проверены на несовместимость (листинг 5.2). Каждая дуга (Xiz Xj) по очереди “снимается с повестки дня” и проверяется; если из области определения х^ необходимо удалить какие-либо значения, то каждая дуга (Xk, Xi), указывающая на Xi$ должна быть повторно вставлена в очередь для проверки. Сложность проверки совместимости дуг можно проанализировать следующим образом: любая бинарная задача CSP имеет самое большее О(п2) дуг; каждая дуга (Xk,Xi) может быть “внесена в повестку дня” только d раз, поскольку область определения Xi имеет самое большее d значений, доступных для удаления; проверка совместимости любой дуги может быть выполнена за время O(d2), поэтому в наихудшем случае затраты времени составляют O(n2d3). Хотя такой метод является значительно более дорогостоящим по сравнению с предварительной проверкой, все эти дополнительные затраты обычно окупаются.
Листинг 5.2. Алгоритм проверки совместимости дуг АС-3. После применения алгоритма АС-3 либо каждая дуга является совместимой, либо некоторая переменная имеет пустую область определения, указывая на то, что эту задачу CSP невозможно сделать совместимой по дугам (и поэтому данная задача CSP не может быть решена). Обозначение “АС-3” предложено разработчиком данного алгоритма [967], поскольку это — третья версия, представленная в его статье
function АС-3 (csp) returns определение задачи CSP, возможно, с сокращенными областями определения переменных
inputs: csp, бинарная задача CSP с переменными {Xi, Х2, ..., Хп} local variables: queue, очередь, состоящая из дуг, которая первоначально включает все дуги из определения задачи csp
while очередь queue не пуста do
(Xi, Xj) <— Remove-First (queue)
if Remove-Incons is tent-Values (Xi, Xj) then
for each Xk in Neighbors [Xi] do
добавить (Xk, Xi) к очереди queue
function Remove-Inconsistent-Values(Xi, Xj) returns значение true тогда и только тогда, когда произошло удаление некоторого значения removed <— false
for each x in Domain [Xi] do
if ни одно из значений у в области определения Domain[Xj] не позволяет использовать (х,у) для удовлетворения ограничения, установленного между Xi и Xj . then удалить х из области
определения Domain [Xi]; removed <— true return removed
Поскольку задачи CSP включают задачу 3SAT в качестве частного случая, не следует рассчитывать на то, что удастся найти алгоритм с полиномиальной временной
сложностью, позволяющий определить, является ли данная конкретная задача CSP совместимой по дугам. Таким образом, можно сделать вывод, что метод проверки совместимости дуг не позволяет обнаружить все возможные несовместимости. Например, как показано на рис. 5.1, частичное присваивание {WA=red, NSW=red} несовместимо, но алгоритм АС-3 не обнаруживает такую несовместимость. Более строгие формы распространения ограничения можно определить с помощью понятия ^ k-совместимости. Задача CSP является к-совместимой, если для любого множества к-1 переменных и для любого совместимого присваивания значений этим переменным любой к-й переменной всегда можно присвоить некоторое совместимое значение. Например, 1-совместимость означает, что совместимой является каждая отдельная переменная сама по себе; это понятие называют также ^ совместимостью узла. Далее, 2-совместимость — то же, что и совместимость дуги, а 3-совместимость означает, что любая пара смежных переменных всегда может быть дополнена третьей соседней переменной; это понятие именуется также ^ совместимостью пути.
Любой граф называется ^ строго k-совместимым, если он является к-совместимым, а также (к-1)-совместимым, (к-2)-совместимым, ...и т.д. вплоть до 1-совместимого. Теперь предположим, что имеется некоторая задача CSP с узлами п, которая сделана строго n-совместимой (т.е. строго k-совместимой для к=п). Тогда эту задачу можно решить без возвратов. Для этого вначале можно выбрать совместимое значение для Хт. В таком случае существует гарантия, что удастся выбрать значение для Х2, поскольку граф является 2-совместимым, для Х3, поскольку он — 3-совместимый, и т.д. Для каждой переменной Xi необходимо выполнить поиск только среди d значений в ее области определения, чтобы найти значение, совместимое с Хь...^!. Это означает, что гарантируется нахождение решения за время О (nd). Безусловно, за такую возможность также приходится платить: любой алгоритм обеспечения n-совместимости в наихудшем случае должен требовать времени, экспоненциально зависящего от п.
Между методами обеспечения n-совместимости и совместимости дуг существует целый ряд промежуточных методов, выбор которых осуществляется с учетом того, что для выполнения более строгих проверок совместимости потребуется больше времени, но это позволяет получить больший эффект с точки зрения сокращения коэффициента ветвления и обнаружения несовместимых частичных присваиваний. Существует возможность рассчитать такое наименьшее значение к, что выполнение алгоритма проверки k-совместимости будет гарантировать решение данной задачи без возвратов (см. раздел 5.4), но применение данного расчета на практике не всегда оправдано. В действительности определение подходящего уровня проверки совместимости в основном относится к области эмпирических методов.
Обработка специальных ограничений
В реальных задачах часто встречаются некоторые типы ограничений, которые могут обрабатываться с помощью алгоритмов специального назначения, более эффективных по сравнению с методами общего назначения, которые рассматривались до сих пор. Например, ограничение Al 1 diff указывает, что все участвующие в нем переменные должны иметь разные значения (как в криптоарифметической задаче). Одна из простых форм проверки несовместимости для ограничений Alldiff применяется следующим образом: если в данном ограничении участвуют т переменных
и все они вместе взятые имеют п возможных разных значений, притом что т>п, то это ограничение не может быть удовлетворено.
Применение данной проверки приводит к созданию следующего простого алгоритма: вначале удалить из ограничения каждую переменную, имеющую одноэлементную область определения, затем удалить значение этой переменной из областей определения оставшихся переменных. Повторять эту операцию до тех пор, пока имеются переменные с одноэлементными областями определения. Если в какой-то момент времени появится пустая область определения или останется больше переменных, чем областей определения, это будет означать, что обнаружена несовместимость.
Этот метод можно применить для обнаружения несовместимости в частичном присваивании WA-red, NSW^red} на рис. 5.1. Обратите внимание на то, что переменные SA, NT и Q фактически связаны ограничением All diff, поскольку каждая пара соответствующих регионов должна быть обозначена различными цветами. После применения алгоритма АС-3 в сочетании с этим частичным присваиванием область определения каждой переменной сокращается до {green, blue}. Это означает, что имеются три переменные и только два цвета, поэтому ограничение Alldiff нарушается. Таким образом, иногда простая процедура проверки совместимости для ограничения более высокого порядка эффективнее по сравнению с процедурой проверки совместимости дуг, применяемой к эквивалентному множеству бинарных ограничений.
Возможно, более важным ограничением высокого порядка является М ресурсное ограничение (resource constraint), иногда называемое ограничением “самое большее” (atmost). Например, допустим, что РА1,...,РА4 обозначают количество персонала, назначенного для выполнения каждого из четырех заданий. Ограничение, согласно которому может быть всего назначено не больше 10 членов персонала, записывается как atmosс (10, РА1Г РА2, РА3, РА4^. Несовместимость можно обнаружить, проверяя сумму минимальных значений текущих областей определения; например, если каждая переменная имеет область определения {3,4,5,6}, то ограничение a tmost не может быть удовлетворено. Кроме того, можно принудительно добиться совместимости, удаляя максимальное значение из любой области определения, если оно не совместимо с минимальными значениями других областей определения. Таким образом, если каждая переменная в данном примере имеет область определения {2,3,4,5,б}, то из каждой области определения можно удалить значения 5 и 6.
При решении крупных задач проверки ресурсных ограничений с целочисленными значениями (таких как задачи снабжения, в которых предусматривается перемещение тысяч людей в сотнях транспортных средств) обычно не существует возможности представлять область определения каждой переменной в виде большого множества целых чисел и постепенно сокращать это множество с применением методов проверки совместимости. Вместо этого области определения представляются в виде верхнего и нижнего пределов и управляются с помощью метода распространения этих пределов. Например, предположим, что имеются два рейса, Flight271 и Flight2 72, в которых самолеты имеют соответственно вместимость 16 5 и 38 5 пассажиров. Поэтому начальные области определения для количества пассажиров в каждом рейсе определяются следующим образом:
Flight271 е [0,165] и Flight272 Е [0,385]
Теперь допустим, что имеется дополнительное ограничение, согласно которому в этих двух рейсах необходимо перевести 420 человек:
Flight271*Flight272e [420,420] .
Распространяя ограничения пределов, можно сократить области определения до таких величин:
Flight271 € [35,165] и Flight272 Е [255,385]
Задача CSP называется совместимой с пределами (bounds-consistent), если для каждой переменной х, а также одновременно для нижнего и верхнего предельных значений х существует некоторое значение У, которое удовлетворяет заданному ограничению между х и У для каждой переменной У. Такого рода ^ распространение пределов (bounds propagation) широко используется в практических задачах с ограничениями.
Интеллектуальный поиск с возвратами: поиск в обратном направлении
В алгоритме Backtracking-Search, приведенном в листинге 5.1, применялось очень простое правило, касающееся того, что делать, если какая-то ветвь поиска оканчивается неудачей: вернуться к предыдущей переменной и попытаться использовать для нее другое значение. Такой метод называется М хронологическим поиском с возвратами, поскольку повторно посещается пункт, в котором было принято последнее по времени решение. В данном подразделе будет показано, что существуют намного лучшие способы поиска с возвратами.
Рассмотрим, что произойдет в случае применения простого поиска с возвратами в задаче, показанной на рис. 5.1, с постоянным упорядочением переменных Q, NSW, V, Т, SA, WA, NT. Предположим, что сформировано частичное присваивание {Q= red, NSW= green, V=blue, T=red}. А после попытки присвоить значение следующей переменной, SA, Ъуд& обнаружено, что любое значение нарушает какое-то ограничение. Алгоритм возвращается к узлу Т и пытается назначить новый цвет для Тасмании! Очевидно, что это — бессмысленное действие, поскольку смена цвета Тасмании не позволяет решить проблему с Южной Австралией.
Более интеллектуальный подход к поиску с возвратами состоит в том, чтобы вернуться к одному из множеств переменных, которые стали причиной неудачи. Это множество называется М конфликтным множеством; в данном случае конфликтным множеством для SA является VQ.NSW, V}. Вообще говоря, конфликтное множество для переменной х представляет собой множество переменных с ранее присвоенными значениями, которые связаны с х ограничениями. Метод ^ обратного перехода выполняет обратный переход к переменной с последним по времени присвоенным значением из конфликтного множества; в данном случае в обратном переходе следует перескочить через узел Тасмании и попытаться применить новое значение для V. Такая операция может быть легко реализована путем модификации алгоритма Backtracking-Search таким образом, чтобы он накапливал данные о конфликтном множестве, одновременно проверяя одно из значений, допустимых для присваивания. Если не будет найдено ни одного допустимого значения, алгоритм должен возвратиться к последнему по времени элементу конфликтного множества и наряду с этим установить индикатор неудачи.
Внимательный читатель уже должен был заметить, что предварительная проверка позволяет определить конфликтное множество без дополнительной работы, поскольку каждый раз, когда процедура предварительной проверки, основанная на присваивании значения переменной X, удаляет некоторое значение из области оп-
ределения У, она должна добавить х к конфликтному множеству У. Кроме того, каждый раз, когда это последнее значение удаляется из области определения У, переменные из конфликтного множества У добавляются к конфликтному множеству X. В этом случае после перехода к У можно сразу же установить, куда должен быть выполнен обратный переход в случае необходимости.
А проницательный читатель уже должен был заметить нечто странное: обратный переход происходит, когда каждое значение в некоторой области определения конфликтует с текущим присваиванием, но предварительная проверка обнаруживает этот случай и вообще исключает возможность достижения такого узла! В действительности можно показать, что ^ каждая ветвь, отсекаемая с помощью обратного перехода, отсекается также с помощью предварительной проверки. Поэтому простой поиск с обратным переходом в сочетании с поиском с предварительной проверкой становится избыточным, а фактически обратный переход избыточен в любом поиске, в котором используется более строгая проверка совместимости, такая как МАС.
Несмотря на замечания, сделанные в предыдущем абзаце, идея, лежащая в основе обратного перехода, остается перспективной, если возврат осуществляется с учетом причин неудачи. При обратном переходе неудача обнаруживается после того, как область определения некоторой переменной становится пустой, но во многих случаях какая-то ветвь поиска становится бесперспективной задолго до того, как это происходит. Еще раз рассмотрим частичное присваивание WA=red, NSW=red^ (которое согласно приведенному выше описанию является несовместимым). Предположим, что на следующем этапе предпринимается попытка присваивания T^red, а затем осуществляется присваивание значений переменным NT, Q, V, SA. Известно, что ни одно присваивание не применимо для этих последних четырех переменных, поэтому в конечном итоге не остается доступных значений, которые можно было бы попытаться присвоить переменной NT. Теперь возникает вопрос, куда выполнить возврат? Обратный переход не может применяться, поскольку в области определения переменной NT имеются значения, совместимые со значениями, ранее присвоенными переменным, — переменная NT не имеет полного конфликтного множества из переменных с ранее присвоенными значениями, которое вызвало бы неудачу при попытке присваивания ей значения. Однако известно, что неудачу вызывают четыре переменные, NT, Q, Vh SA, вместе взятые, поскольку во множестве переменных с ранее присвоенными значениями должны существовать такие переменные, которые непосредственно конфликтуют с этими четырьмя. Эти рассуждения приводят к созданию более глубокого определения понятия конфликтного множества для такой переменной, как NT. конфликтным множеством называется множество переменных с ранее присвоенными значениями, которые, наряду со всеми переменными со значениями, присваиваемыми в дальнейшем, становятся причиной того, что для NT не существует совместимого решения. В таком случае конфликтное множество состоит из переменных WA и NSW, поэтому алгоритм должен выполнить возврат к NSW и пропустить переменную, соответствующую Тасмании. Алгоритм обратного перехода, в котором используются конфликтные множества, определенный таким образом, называется ^ алгоритмом обратного перехода, управляемого конфликтами (conflict-directed backjumping).
Теперь необходимо объяснить, как вычисляются эти новые конфликтные множества. Применяемый для этого метод фактически очень прост. “Окончательная” неудача в какой-то ветви поиска всегда возникает из-за того, что область определения некоторой переменной становится пустой; эта переменная имеет типичное
конфликтное множество. В данном примере неудача возникает при присваивании значения переменной SA, а ее конфликтным множеством является (скажем) {WA,NT, Q}. Выполняется обратный переход к переменной Q, и эта переменная поглощает конфликтное множество, полученное от SA (безусловно, после исключения из него самой переменной Q^ объединяя его со своим собственным прямым конфликтным множеством, представляющим собой {NT, NSW}*, новым конфликтным множеством становится {WA,NT, NSW}. Это означает, что, продолжая поиск от Q, нельзя найти решение при наличии ранее выполненного присваивания переменным {WA,NT, NSW}. Поэтому обратный переход выполняется к переменной NT, присваивание значения которой выполнено последним по времени по сравнению с другими этими переменными. Переменная NT поглощает множество {WA,NT, NSW}-{NT}, объединяя его со своим собственным прямым конфликтным множеством {Ш}, что приводит к получению {WA, NSW} (как было указано в предыдущем абзаце). Теперь алгоритм осуществляет обратный переход к NSW, как и предполагалось. Подведем итог: допустим, что Xj — текущая переменная, a conf (Xj) — ее конфликтное множество. Если все попытки присваивания каждого возможного значения переменной Xj оканчиваются неудачей, то необходимо выполнить возврат к переменной Xi с последним по времени присвоенным значением во множестве conf (Xj) и установить:
conf (Xi) <— conf (Xi) U conf(Xj) - {Xi}
Обратный переход, управляемый конфликтами, позволяет вернуться в правильную точку дерева поиска, но не предотвращает возможности возникновения таких же ошибок в другой ветви того же дерева. Метод ^ определения ограничений с помощью обучения (constraint learning) по сути представляет собой метод модификации задачи CSP путем добавления нового ограничения, выдвинутого на основе логического анализа этих конфликтов.
Применение локального поиска для решения задач УДОВЛЕТВОРЕНИЯ ОГРАНИЧЕНИЙ
Как оказалось, алгоритмы локального поиска (см. раздел 4.3) являются очень эффективными средствами решения многих задач CSP. В них используется следующая формулировка с полным состоянием: в начальном состоянии присваивается значение каждой переменной, а функция определения преемника обычно действует по принципу изменения за один раз значения одной переменной. Например, в задаче с восемью ферзями начальное состояние может представлять собой случайную конфигурацию из 8 ферзей, стоящих на 8 столбцах, а функция определения преемника выбирает одного ферзя и рассматривает возможность перемещения его на какую-то другую клетку в том же столбце. Еще одна возможность предусматривает, чтобы поиск начинался с 8 ферзей (по одному на каждом столбце) в виде какой-то перестановки из 8 строк, а преемник формировался путем обмена двумя строками с двумя ферзями. В этой книге уже фактически был приведен пример применения
локального поиска для решения задачи CSP — применение поиска с восхождением к вершине для решения задачи с п ферзями (с. 1). Еще одним примером может служить использование алгоритма Walks ат (с. 1) для решения задач удовлетворения ограничений, которые представляют собой частный случай задач CSP.
Наиболее очевидная эвристика, которая может применяться при выборе нового значения для какой-либо переменной, состоит в определении того, приводит ли выбранное значение к минимальному количеству конфликтов с другими переменными; таковой является эвристика с М минимальными конфликтами. Соответствующий алгоритм приведен в листинге 5.3, пример его применения в задаче с восемью ферзями схематически показан на рис. 5.5, а полученные при этом результаты даны в табл. 5.1.
Листинг 5.3. Алгоритм Min-Conflicts, применяемый для решения задач CSP с помощью локального поиска. Начальное состояние может быть выбрано либо случайным образом, либо с помощью жадного процесса присваивания, в котором выбирается значение с минимальными конфликтами для каждой переменной по очереди. Функция Conflicts вычисляет количество ограничений, нарушенных данным конкретным значением, с учетом остальной части текущего присваивания
function Min-Conflicts(csp, max_steps) returns решение current или индикатор неудачи failure
inputs: csp, определение задачи удовлетворения ограничений max_steps, количество шагов, которые разрешается выполнить, прежде чем отказаться от дальнейших попыток
current <— первоначальное полное присваивание для csp for i = 1 to max_steps do
if current представляет собой решение для задачи csp then return current
var <— выбранная случайным образом, конфликтующая переменная из Variables[csp]
value <— значение v для var, которое минимизирует значение Conf1icts(var, v, current, csp) задать значение var=value в решении current return failure
Puc. 5.5. Двухэтапный процесс решения задачи с восемью ферзями на основе эвристики с минимальными конфликтами. На каждом этапе выбирается ферзь для повторного назначения ему места в том же столбце. Количество конфликтов (в данном случае количество атакующих ферзей) показано в каждой клетке. Применяемый алгоритм предусматривает перемещение ферзя в клетку с минимальными конфликтами, разрешая неопределенность с помощью случайного выбора
Алгоритм с минимальными конфликтами показал себя чрезвычайно эффективным при решении многих задач CSP, особенно при наличии подходящего начального состояния. Его производительность показана в последнем столбце табл. 5.1. Больше всего достойно удивления то, что при решении задачи с п ферзями время прогона алгоритма с минимальными конфликтами остается почти независимым от размера задачи (если не учитываются затраты времени на первоначальную расстановку ферзей). Данный алгоритм решает в среднем за 50 этапов (после начального присваивания) даже задачу с миллионом ферзей. Это замечательное достижение стало стимулом, побудившим к проведению значительной части исследований по локальному поиску в 1990-х годах, а также позволило уточнить различие между легкими и трудными задачами, которое дополнительно будет рассматриваться в главе 7. Грубо говоря, задача с п ферзями является легкой для локального поиска, поскольку решения плотно распределены по всему пространству состояний. Кроме того, алгоритм с минимальными конфликтами успешно применяется при решении трудных задач. Например, он использовался для планирования наблюдений на космическом телескопе Хаббл, что позволило сократить затраты времени на планирование наблюдений, намеченных для проведения в течение одной недели, с трех недель (!) примерно до 10 минут.
Еще одним преимуществом локального поиска является то, что он может использоваться для оперативной корректировки в случае изменения условий задачи. Это особенно важно при решении задач планирования. Недельный график работы авиакомпании может включать тысячи рейсов и десятки тысяч персональных назначений, но из-за плохой погоды в одном аэропорту весь этот график может стать невыполнимым. Поэтому желательно иметь возможность откорректировать график с минимальным количеством изменений. Такую задачу легко выполнить с помощью алгоритма локального поиска, начинающего свою работу с текущего графика. Поиск с возвратами, выполняемый с учетом нового множества ограничений, обычно требует гораздо больше времени и может найти менее удачное решение, требующее внести много изменений в текущий график.
Структура задач
В данном разделе рассматриваются способы, позволяющие использовать для быстрого поиска решений структуру самой задачи, представленную в виде графа ограничений. Большинство описанных здесь подходов являются очень общими и применимыми для решения других задач, кроме CSP, например задач вероятностного формирования рассуждений. В конечном итоге единственный способ, с применением которого можно надеяться справиться с задачами реального мира, состоит в том, чтобы разложить их на множество подзадач. Еще раз обратившись к рис. 5.1, б с целью определить структуру задачи, можно обнаружить еще один факт: Тасмания не связана с материком. Интуитивно ясно, что задачи раскрашивания Тасмании и рас-
крашивания материка представляют собой ^ независимые подзадачи — любое решение для материка, скомбинированное с любым решением для Тасмании, приводит к получению решения для всей карты. В том, что эти подзадачи являются независимыми, можно убедиться, рассматривая ^ связные компоненты графа ограничений. Каждый компонент соответствует одной подзадаче CSP^ Если присваивание Si является решением CSP^ то UiSi является решением UiCSPi. Почему это так важно? Рассмотрим следующее: предположим, что каждая подзадача CSPi имеет с переменных из общего количества п переменных, где с — константа. В таком случае должно быть п/с подзадач, и для решения каждой из них требуется, самое большее, объем работы dc. Поэтому общий объем работы измеряется величиной О (с^п/ с), которая линейно зависит от п; без такой декомпозиции общий объем работы измерялся бы величиной Okcf^ , которая экспоненциально зависит от п. Приведем более конкретный пример: разделение булевой задачи CSP с п=80 на четыре подзадачи с с=20 сокращает продолжительность поиска решения в наихудшем случае от такой величины, которая равна сроку существования всей вселенной, до величины меньше одной секунды.
Поэтому полностью независимые подзадачи являются привлекательными, но встречаются редко. В большинстве случаев подзадачи любой задачи CSP связаны друг с другом. Простейшим случаем является тот, в котором граф ограничений образует дерево: любые две переменные связаны не больше чем одним путем. На рис. 5.6, а показан один из примеров в схематическом виде. Ниже будет показано, что ^ любая задача CSP с древовидной структурой может быть решена за время, линейно зависящее от количества переменных. Этот алгоритм имеет перечисленные ниже этапы.
Выбрать в качестве корня дерева любую переменную и упорядочить переменные от корня до листьев таким образом, чтобы родительский узел каждого узла в дереве предшествовал этому узлу в таком упорядочении (см. рис. 5.6, 6). Обозначить эти переменные по порядку как х1$ ...,хп- Теперь каждая переменная, кроме корня, имеет только одну родительскую переменную.
Рис. 5.6. Пример задачи CSPс древовидной структурой: граф ограничений задачи CSP с древовидной структурой (а); линейное упорядочение переменных, совместимых с деревом, корнем которого является переменная К (б)
В цикле по j от п до 2 применять проверку совместимости к дугам (х£, Xj), где х£ — родительский узел узла Xj, удаляя значения из области определения Domain [Xi] по мере необходимости.
В цикле по j от 1 до п присваивать Xj любое значение, совместимое со значением, присвоенным xi$ где х£ — родительский узел узла Xj.
Следует учитывать два важных соображения. Во-первых, после выполнения этапа 2 задача CSP становится совместимой по дугам с учетом ориентации дуг, поэтому присваивание значений на этапе 3 не требует возврата. (См. описание понятия k-совместимости на с. 222.) Во-вторых, благодаря применению проверок совместимости дуг в обратном порядке на этапе 2 алгоритм гарантирует, что никакие удаленные значения не смогут нарушить совместимость тех дуг, которые уже были обработаны. Весь этот алгоритм выполняется за время О (nd2).
Теперь, после создания эффективного алгоритма для деревьев, следует рассмотреть вопрос о том, можно ли каким-то образом приводить к древовидным структурам более общие графы ограничений. Существуют два основных способа выполнения этой задачи; один из них основан на удалении узлов, а другой — на слиянии узлов друг с другом.
Первый подход предусматривает присваивание значений некоторым переменным так, чтобы оставшиеся переменные образовывали дерево. Рассмотрим граф ограничений для карты Австралии, который еще раз показан на рис. 5.7, а. Если с этой карты можно было бы удалить узел SA, соответствующий Южной Австралии, то граф превратился бы в дерево, как показано на рис. 5.7, б. К счастью, это можно сделать (в графе, а не на самом континенте), зафиксировав некоторое значение для SA и удалив из областей определения других переменных все значения, несовместимые со значением, выбранным для SA.
а)б)а)б)Рис. 5.7. Первый способ преобразования графа ограничений в дерево: первоначальный граф ограничений, впервые приведенный на рис. 5.1 (а); граф ограничений после удаления узла SA (б)Рис. 5.7. Первый способ преобразования графа ограничений в дерево: первоначальный граф ограничений, впервые приведенный на рис. 5.1 (а); граф ограничений после удаления узла SA (б)
а)б)
а)б)
Рис. 5.7. Первый способ преобразования графа ограничений в дерево: первоначальный граф ограничений, впервые приведенный на рис. 5.1 (а); граф ограничений после удаления узла SA (б)
Рис. 5.7. Первый способ преобразования графа ограничений в дерево: первоначальный граф ограничений, впервые приведенный на рис. 5.1 (а); граф ограничений после удаления узла SA (б)
Теперь, после удаления узла SA и связанных с ним ограничений, любое решение данной задачи CSP будет совместимым со значением, выбранным для SA. (Такой способ удобен при решении бинарных задач CSP; при наличии ограничений более высокого порядка ситуация усложняется.) Поэтому появляется возможность решить задачу, представленную оставшимся деревом, с помощью приведенного выше алгоритма и таким образом решить всю проблему. Безусловно, в общем случае (в отли-
чие от задачи раскрашивания карты) значение, выбранное для узла SA, может оказаться неподходящим, поэтому придется проверить каждое из возможных значений. Общий алгоритм решения указанным способом описан ниже.
Выбрать подмножество S из множества Variables [ csp], такое, что граф ограничений после удаления S становится деревом. Подмножество S называется ^ множеством разрыва цикла (cycle cutset).
Для каждого возможного присваивания переменным в S, которое удовлетворяет всем ограничениям в S, выполнить следующее:
удалить из областей определения оставшихся переменных любые значения, несовместимые с данным присваиванием для S;
если оставшаяся задача CSP имеет решение, вернуть это решение вместе с присваиванием для S.
Если множество разрыва цикла имеет размер с, то общее время прогона алгоритма составляет O^d°- (п-с) d2). В том случае, если граф по своей форме “очень близок к дереву”, то множество с будет небольшим, а экономия времени по сравнению с прямым поиском с возвратами окажется огромной. Но в наихудшем случае количество элементов с может достигать (п-2). Задача поиска наименьшего множества разрыва цикла является NP-трудной, но известно несколько эффективных алгоритмов решения этой задачи. В целом данный алгоритмический подход носит название ^определения условий выбора множества разрыва цикла (cutset conditioning); мы снова столкнемся с этим понятием в главе 14, где оно используется при формировании рассуждений о вероятностях.
Второй подход основан на формировании ^древовидной декомпозиции (tree decomposition) графа ограничений и создании множества связанных подзадач. Каждая подзадача решается независимо, а затем итоговые решения комбинируются. Как и большинство алгоритмов, действующих по принципу “разделяй и властвуй”, этот алгоритм работает успешно, если подзадачи не слишком велики. На рис. 5.8 показана древовидная декомпозиция задачи раскрашивания карты на пять подзадач. Любая древовидная декомпозиция должна удовлетворять трем приведенным ниже требованиям.
Каждая переменная из первоначальной задачи появляется по меньшей мере в одной из подзадач.
Если две переменные первоначальной задачи связаны ограничением, то должны появиться вместе (наряду с этим ограничением) по меньшей мере в одной из подзадач.*
Если какая-то переменная появляется в двух подзадачах в дереве, то должна появляться в каждой подзадаче вдоль пути, соединяющего эти подзадачи.
Первые два условия гарантируют, что в декомпозиции будут представлены все переменные и ограничения. Третье условие на первый взгляд кажется довольно формальным, но просто отражает то ограничение, что любая конкретная переменная должна иметь одно и то же значение в каждой подзадаче, в которой появляется; соблюдение этого ограничения гарантируют связи, соединяющие подзадачи в дереве. Например, переменная SA появляется во всех четырех связанных подзадачах на рис. 5.8. На основании рис. 5.7 можно убедиться, что эта декомпозиция имеет смысл.
Каждая подзадача решается независимо; если какая-либо из них не имеет решения, то известно, что вся задача также не имеет решения. Если удается решить все подзадачи, то может быть предпринята попытка составить глобальное решение следующим образом. Прежде всего, каждая подзадача рассматривается как “мегапеременная”, областью определения которой является множество всех решений этой подзадачи. Например, самая левая подзадача на рис. 5.8 представляет задачу раскрашивания карты с тремя переменными и поэтому имеет шесть решений; одним из них является WA=red, SA=blue, NT=green^. Затем решается задача с ограничениями, связывающими подзадачи; для этого используется эффективный алгоритм для деревьев, приведенный выше. Ограничения, связывающие подзадачи, указывают на то, что решения подзадач должны быть согласованными по их общим переменным. Например, если за основу берется решение первой подзадачи ^WA=red, SA=blue,NT=greenK то единственным совместимым решением для следующей подзадачи становится {SA=blue, NT^green, Q^red}.
Рис. 5.8. Древовидная декомпозиция графа ограничений, показанного на рис. 5.7, а
Любой конкретный граф ограничений допускает большое количество древовидных декомпозиций; при выборе декомпозиции нужно стремиться к тому, чтобы подзадачи были как можно меньше. ^ Ширина дерева древовидной декомпозиции графа на единицу меньше размера наибольшей подзадачи; ширина дерева самого графа определяется как минимальная ширина дерева среди всех его древовидных декомпозиций. Если граф имеет ширину дерева w и дана соответствующая древовидная декомпозиция, то соответствующая задача может быть решена за время O(ndw*1'). Это означает, что ^ задачи CSP с графами ограничений, характеризующимися конечной шириной дерева, могут быть решены за полиномиальное время. К сожалению, задача поиска декомпозиции с минимальной шириной дерева является NP-трудной, но существуют эвристические методы, которые хорошо работают на практике.
Резюме
Задачи удовлетворения ограничений (Constraint Satisfaction Problems — CSP) состоят из переменных с налагаемыми на них ограничениями. В виде задач CSP могут быть описаны многие важные задачи реального мира. Структуру любой задачи CSP можно представить в виде ее графа ограничений.
Для решения задач CSP обычно применяется поиск с возвратами — одна из форм поиска в глубину.
Независимыми от области определения методами выявления того, какая переменная должна быть выбрана следующей в ходе поиска с возвратами, являются эвристики, основанные на определении минимального количества оставшихся значений, и степенные эвристики. Для упорядочения значений переменной может применяться эвристика с наименее ограничительным значением.
В алгоритме поиска с возвратами можно намного сократить коэффициент ветвления задачи, распространяя последствия частичных присваиваний, сформированных в ходе работы этого алгоритма. Простейшим методом такого распространения является предварительная проверка. Более мощным методом является обеспечение совместимости дуг, но применение этого метода может оказаться более дорогостоящим.
Возврат происходит после того, как для переменной нельзя больше найти допустимое присваивание. При использовании обратного перехода, управляемого конфликтами, возврат происходит непосредственно к источнику проблемы, возникшей в процессе поиска.
Для решения задач с ограничениями весьма успешно используется локальный поиск на основе эвристики с минимальными конфликтами.
Сложность решения задачи CSP в значительной степени зависит от структуры ее графа ограничений. Задачи с древовидной структурой могут быть решены за линейное время. Метод определения условий формирования множества разрыва цикла позволяет преобразовать задачу CSP общего вида в задачу с древовидной структурой и является очень эффективным, если существует возможность найти небольшое множество разрыва цикла. Методы древовидной декомпозиции предусматривают преобразование задачи CSP в дерево подзадач и являются эффективными, если ширина дерева графа ограничений мала.
Библиографические и исторические заметки
В самых ранних работах, относящихся к проблематике удовлетворения ограничений, главным образом рассматривались числовые ограничения. Выраженные в виде уравнений ограничения с целочисленными областями определения были исследованы индийским математиком Брахмагуптой в VII веке; их часто называют ^ диофантовыми уравнениями в честь греческого математика Диофанта (около 200284 гг.), который в своих исследованиях фактически рассматривал область определения положительных рациональных чисел. Систематические методы решения линейных уравнений путем удаления переменных исследовались Гауссом [527]; истоки
подходов к решению ограничений с линейными неравенствами можно найти в работах Фурье [487].
Задачи удовлетворения ограничений с конечными областями определения также имеют долгую историю. Например, одной из старых задач в математике является ^ раскрашивание графа (раскрашивание карты — частный случай данной задачи). Согласно данным, приведенным в [125], гипотезу о четырех цветах (в соответствии с которой любой плоский граф можно раскрасить с помощью четырех или меньшего количества цветов) впервые выдвинул Френсис Гутри, студент де Моргана, в 1852 году. Эта задача не поддавалась решению (несмотря на то, что в некоторых публикациях утверждалось обратное) до тех пор, пока доказательство не было получено с помощью компьютера Аппелем и Хакеном [35].
Специальные классы задач удовлетворения ограничений рассматривались на протяжении всей истории развития компьютерных наук. Одним из самых первых примеров решения таких задач, оказавшим наибольшее влияние, была система Sketchpad [1476], которая решала геометрические ограничения на чертежах и была предшественником современных программ рисования и инструментальных средств САПР. Выявлению того, что задачи CSP представляют собой общий класс задач, мы обязаны У го Монтанари [1073]. Первые попытки приведения задач CSP высокого порядка к чисто бинарным задачам CSP с помощью вспомогательных переменных (см. упр. 5.11) были впервые предприняты в XIX веке логиком Чарльзом Сандерсом Пирсом. Соответствующие методы были введены в тематику CSP Дектером [367] и доработаны Бакусом и ван Биком [55]. Задачи CSP с предпочтениями между решениями широко рассматривались в исследованиях по оптимизации; обобщение инфраструктуры CSP, позволяющее использовать предпочтения, приведено в [134]. Для решения задач оптимизации может также применяться алгоритм устранения интервалов [369].
Использование поиска с возвратами для удовлетворения ограничений было предложено Битнером и Рейнгольдом [135], но эти ученые проследили истоки идей своего основного алгоритма до работ XIX века. Кроме того, Битнер и Рейнгольд впервые предложили использовать эвристику MRV, названную ими эвристикой с наиболее ограниченной переменной. Брелаз [181] использовал степенную эвристику для устранения неопределенности, возникающей после применения эвристики MRV. Полученный в итоге алгоритм, несмотря на его простоту, все еще остается наилучшим методом раскрашивания произвольных графов в к цветов. Харалик и Эллиот [618] предложили эвристику с наименее ограничительным значением.
Расширению популярности методов распространения ограничений способствовало успешное решение Вальцем [1552] задач полиэдральной линейной разметки для систем компьютерного зрения. Вальц показал, что применение методов распространения ограничений при решении многих задач позволяет полностью исключить необходимость в использовании возвратов. Монтанари [1073] ввел понятие сетей ограничений и предложил метод распространения ограничений на основе понятия совместимости пути. Ален Макворт [967] предложил алгоритм АС-3 для обеспечения совместимости дуг, а также выдвинул общую идею о том, что поиск с возвратами необходимо сочетать с обеспечением совместимости некоторой степени. Более эффективный алгоритм обеспечения совместимости дуг, АС-4, был разработан Мором и Хендерсоном [1068]. Вскоре после появления статьи Макворта исследователи приступили к экспериментам в области поиска компромисса между затратами на обес-
печение совместимости и достигаемыми за счет этого преимуществами с точки зрения сокращения объема поиска. Харалик и Эллиот [618] предпочли минимальный алгоритм предварительной проверки, описанный Макгрегором [1028], а Гашниг [522] предложил применять полную проверку совместимости дуг после присваивания значения каждой переменной; в дальнейшем соответствующему алгоритму в работе Сабина и Фрейдера [1335] было присвоено название МАС. В последней статье представлены некоторые убедительные свидетельства того, что при решении более трудных задач CSP полная проверка совместимости дуг вполне окупается. Фрейдер [497], [498] исследовал понятие k-совместимости и ее связь со сложностью решения задач CSP. Апт [36] описал универсальную алгоритмическую инфраструктуру, в рамках которой могут быть проанализированы алгоритмы распространения совместимости.
Специальные методы обработки ограничений высокого порядка были созданы в основном в контексте логического программирования в ограничениях. Превосходный обзор исследований в этой области приведен в [987]. Ограничение Alldiff исследовалось в [1272]. Ограничения с пределами были включены в тематику логического программирования в ограничениях ван Хентенриком и др. [1533].
Основной метод обратного перехода был разработан Джоном Гашнигом [521], [522]. Кондрак и ван Бик [831] показали, что этот алгоритм по сути перекрывается алгоритмом предварительной проверки. Обратный переход, управляемый конфликтами, был предложен Проссером [1240]. Наиболее общая и мощная форма интеллектуального поиска с возвратами фактически разработана еще довольно давно Стал- маном и Зюссманом [1456]. Предложенный ими метод М поиска с возвратами, управляемого зависимостями, привел к разработке систем обеспечения истинности [409], которые будут рассматриваться в разделе 10.8. Связь между этими двумя научными областями проанализирована в [348].
В указанной работе Сталмана и Зюссмана была также предложена идея регистрации ограничения, в соответствии с которой частичные результаты, полученные в ходе поиска, можно сохранять и повторно использовать на последующих этапах этого поиска. Данная идея была введена формально в поиск с возвратами Дектером [366]. Особенно простым методом является ^ проставление обратных отметок [522], в котором для предотвращения повторной проверки ограничений сохраняются и используются совместимые и несовместимые попарные присваивания. Проставление обратных отметок можно комбинировать с обратным переходом, управляемым конфликтами; в [831] представлен гибридный алгоритм, который превосходит любой из этих методов, отдельно взятых (и это подтверждается формальным доказательством). В методе ^динамического поиска с возвратами [558] сохраняются успешные частичные присваивания из полученных позднее подмножеств переменных при поиске с возвратами по предыдущему варианту, который не влияет на дальнейший успех.
Применение локального поиска при решении задач удовлетворения ограничений стало популярным после публикации [799] с описанием метода эмуляции отжига (см. главу 4), который широко используется для решения задач планирования. Эвристика с минимальными конфликтами была впервые предложена в [601] и независимо разработана в [1058]. В [1447] показано, как эта эвристика может использоваться для решения задачи с 3 000 000 ферзей меньше чем за минуту. Этот поразительный успех локального поиска на основе эвристики с минимальными конфликтами при решении задачи с п ферзями привел к переоценке характера и распространения “легких”
и “трудных” задач. В [244] исследовалась сложность задач CSP, сформированных случайным образом, и было обнаружено, что почти все такие задачи являются либо тривиально легкими, либо не имеют решений. “Трудные” экземпляры задач встречаются, только если параметры генератора задач устанавливаются в некотором узком диапазоне, в пределах которого лишь примерно половина задач является разрешимой. Этот феномен рассматривается дополнительно в главе 7.
Исследования, касающиеся структуры и сложности задач CSP, начались с [499], где было показано, что поиск в деревьях с совместимыми дугами происходит без каких-либо возвратов. Аналогичные результаты применительно к ациклическим гиперграфам были получены в области теории баз данных [92]. Со времени публикации этих статей достигнут значительный прогресс в части получения более общих результатов, касающихся связи между сложностью решения задачи CSP и структурой ее графа ограничений. Понятие ширины дерева было введено специалистами по теории графов Робертсоном и Сеймуром [1295]. Дектер и Перл [372], [373], основываясь на работе Фрейдера, применяли то же понятие (названное ими индуцированной шириной) к задачам удовлетворения ограничений и разработали подход с древовидной декомпозицией, кратко описанный в разделе 5.4. Опираясь на эту работу и на результаты из области теории баз данных, Готлобб и др. [585], [586] разработали понятие ширины гипердерева, которое основано на методе характеризации задачи CSP как гиперграфа. Они не только показали, что любую задачу CSP с шириной гипердерева ivможно решить за время O(nw+1logn), но и обосновали утверждение, что критерий ширины гипердерева превосходит все ранее предложенные критерии “ширины” в том смысле, что в некоторых случаях ширина гипердерева является конечной, тогда как ширина, определяемая другими критериями, — неограниченной.
В литературе можно найти несколько хороших обзоров с описанием методов решения задач CSP, включая [73], [370] и [866], а также энциклопедические сборники статей [368] и [968]. В [1194] приведен обзор разрешимых классов задач CSP и описаны как методы структурной декомпозиции, так и методы, основанные на свойствах областей определения или свойствах самих ограничений. В [831] приведен аналитический обзор алгоритмов поиска с возвратами, а в [56] приведен обзор, характеризующийся большей практической направленностью. В [987] и [1514] эта тематика рассматривается гораздо более глубоко, чем было возможно ее представить в данной главе. Некоторые интересные приложения описаны в сборнике статей [500], который вышел под редакцией Фрейдера и Макворта. Статьи на тему удовлетворения ограничений регулярно публикуются в журнале Artificial Intelligence и в специализированном журнале Constraints. Основным местом встречи специалистов в этой области является конференция International Conference on Principles and Practice of Constraint Programming, часто называемая просто СР.
Упражнения
Самостоятельно сформулируйте определения следующих понятий: проблема удовлетворения ограничений, ограничение, поиск с возвратами, совместимость дуги, обратный переход и минимизация конфликтов.
Сколько решений имеет задача раскрашивания карты, показанная на рис. 5.1?
Объясните, почему при поиске решения задачи CSP одна из хороших эвристик состоит в том, что следует выбирать переменную, которая является наиболее ограниченной, и вместе с тем выбирать наименее ограничительное значение.
Рассмотрите задачу составления (а не решения) кроссвордов: подбора слов, которые укладываются в прямоугольную сетку. Эта сетка, которая указывается как часть задания, определяет, какие квадраты пусты и какие затенены. Предположим, что предоставлен список слов (например, словарь) и задача состоит в том, чтобы заполнить пустые квадраты с использованием любого подмножества из этого списка. Точно сформулируйте эту задачу следующими двумя способами.
Как общую задачу поиска. Выберите соответствующий алгоритм поиска и определите эвристическую функцию, если, по вашему мнению, она необходима. Как лучше заполнять пустые квадраты: одновременно по одной букве или по одному слову?
Как задачу удовлетворения ограничений. Должны ли переменные быть представлены в виде слов или букв?
Какая формулировка, по вашему мнению, является наилучшей? Объясните, почему?
Приведите точные формулировки каждой из перечисленных ниже задач в виде задач удовлетворения ограничений.
^ Планирование покрытия пола прямоугольниками. Найти в большом прямоугольнике неперекрывающиеся места для размещения меньших прямоугольников.
М Составление расписания занятий. Определены следующие исходные данные: постоянное количество преподавателей и классов, список предлагаемых занятий и список возможных временных интервалов для занятий. С каждым преподавателем связано множество занятий, которые он может проводить.
Решите криптоарифметическую задачу, приведенную на рис. 5.2, вручную, с помощью поиска с возвратами, предварительной проверки, а также на основе эвристик с MRV и наименее ограничительным значением.
(а® В табл. 5.1 приведены результаты проверки производительности различных алгоритмов при решении задачи с п ферзями. Проведите испытания тех же алгоритмов при решении задач раскрашивания карты, формируемых случайным образом, с помощью следующего метода: разбросать п точек на единичном квадрате; выбрать точку X случайным образом, соединить X прямой линией с ближайшей точкой У, такой, что хеще не соединена с У, и соединительная линия не пересекает какую-либо другую линию; повторять предыдущий шаг до тех пор, пока не будет исключена возможность проводить дальнейшие соединения. Сформируйте таблицу производительности для наибольшего значения п, с которым удастся справиться с помощью этих алгоритмов, используя как d=4, так и d=3 цветов. Прокомментируйте полученные вами результаты.
Воспользуйтесь алгоритмом АС-3, чтобы показать, что проверка совместимости дуг позволяет обнаружить несовместимость частичного присваивания (WA=red, V=blue} для задачи, показанной на рис. 5.1.
Какова в наихудшем случае временная сложность при прогоне алгоритма АС- 3 применительно к задаче CSP с древовидной структурой?
Алгоритм АС-3 помещает обратно в очередь каждую дугу (Xk, XJ каждый раз, когда любое значение удаляется из области определения xi? даже если каждое значение Хк совместимо с несколькими оставшимися значениями Xi. Предположим, что для каждой дуги (Xk,Xi) отслеживается количество оставшихся значений Xi? которые являются совместимыми с каждым значением Хк. Объясните, как можно эффективно обновлять эти числа, и тем самым докажите, что совместимость дуг можно обеспечить за суммарное время О (n2d2).
Покажите, как можно преобразовать одно тернарное ограничение, такое как “А+В=С”, в три бинарных ограничения с использованием вспомогательной переменной. Может быть принято предположение о конечных областях определения. (Подсказка. Предусмотрите использование новой переменной, которая принимает значения, являющиеся парами других значений, и примените такие ограничения, как “X является первым элементом пары У”.) Затем покажите, как можно трактовать аналогичным образом ограничения больше чем с тремя переменными. Наконец, покажите, как можно устранить унарные ограничения, модифицируя области определения переменных. На этом завершается демонстрация того, что любую задачу CSP можно преобразовать в задачу CSP только с бинарными ограничениями.
Ш Предположим, что известно, будто граф имеет множество разрыва цикла, содержащее не больше к узлов. Опишите простой алгоритм поиска минимального множества разрыва цикла, время прогона которого не намного превышает O(nk) для задачи CSPc п переменными. Найдите в литературе методы обнаружения приближенно минимальных множеств разрыва цикла за время, которое полиномиально зависит от размера множества разрыва. Обеспечивает ли наличие таких алгоритмов практическую применимость метода поиска на основе множества разрыва цикла?
Рассмотрите приведенную ниже логическую головоломку. В пяти домах, имеющих разный цвет, живут лица пяти национальностей, которые предпочитают разные сорта сигарет, пьют разные напитки и держат разных домашних питомцев. На основе следующих фактов найдите ответ на вопрос: “В каком доме держат зебру и в каком доме пьют воду?”
Англичанин живет в доме красного цвета.
Испанец держит собаку.
Норвежец живет в первом доме слева.
Сигареты “ Куле” курят в доме желтого цвета.
Человек, курящий “Честерфилд”, живет рядом с домом человека, который держит лису.
Норвежец живет рядом с домом синего цвета.
Человек, курящий “Уинстон”, держит улиток.
Человек, курящий “Лаки Страйк”, пьет апельсиновый сок.
Украинец пьет чай.
Японец курит “Парламент”.
Сигареты “Куле” курят в доме, находящемся рядом с домом, где держат лошадь.
Кофе пьют в доме зеленого цвета.
Дом зеленого цвета находится непосредственно справа (с точки зрения того, кто решает эту задачу) от дома цвета слоновой кости.
Молоко пьют в среднем доме.
Обсудите различные представления этой задачи в виде задачи CSP. По каким причинам следовало бы предпочесть одно представление другому?
6 Поиск В УСЛОВИЯХПРОТИВОДЕЙСТВИЯ
В этой главе рассматриваются проблемы, возникающие при попытке агента планировать наперед в мире, где другие агенты составляют планы, направленные против него.
Игры
В главе 2 представлены мультиагентные варианты среды, в которых каждый конкретный агент вынужден принимать во внимание действия других агентов и устанавливать, как они повлияют на его собственное благополучие. Непредсказуемость действий этих прочих агентов может потребовать в процессе решения задачи агентом учета многих возможных непредвиденных ситуаций, как было описано в главе 3. Различие между кооперативными и конкурентными мультиагентными вариантами среды также было показано в главе 2. Наличие конкурентных вариантов среды, в которых цели агентов конфликтуют, приводит к возникновению задач поиска в условиях противодействия, часто называемых играми.
В математической теории игр, одной из ветвей экономики, любые мультиагентные варианты среды рассматриваются как игры, при условии, что влияние каждого агента на других является “значительным”, независимо от того, являются ли агенты кооперативными или конкурентными. В искусственном интеллекте “играми” обычно называют довольно специфические формы взаимодействия агентов, которые теоретиками игр именуются как детерминированные, поочередные, охватывающие двух игроков М игры с нулевой суммой и с полной информацией. В терминологии, принятой в данной книге, это соответствует детерминированным, полностью наблюдаемым вариантам среды, в которых имеются два агента, обязанных чередовать свои действия, и в которых значения полезности в конце игры всегда равны и противоположны. Например, если один игрок выигрывает игру в шахматы (+1), другой игрок обязательно проигрывает (-1). В подобной ситуации условия противо-
действия возникают именно из-за такого противопоставления функций полезности агентов. В данной главе будут кратко рассматриваться игры с несколькими игроками, игры с ненулевой суммой и стохастические игры, но надлежащее обсуждение теории игр откладывается до главы 17.
Игры заставляли людей напрягать свои интеллектуальные способности (иногда до угрожающей степени) на протяжении всего существования цивилизации. В силу своего абстрактного характера игры являются привлекательным объектом исследований и в области искусственного интеллекта. Состояние игры можно легко представить, а поведение агентов обычно ограничено небольшим количеством действий, результаты которых определяются с помощью точных правил. Спортивные игры, такие как крокет и хоккей с шайбой, имеют гораздо более сложные описания, значительно больший диапазон возможных действий и довольно неточные правила, определяющие допустимость действий. За исключением проблематики создания робота-футболиста эти спортивные игры не привлекают значительного интереса в сообществе специалистов по искусственному интеллекту.
Ведение игр было одной из первых задач, рассматриваемых в области искусственного интеллекта. К 1950 году, почти сразу же после того, как компьютеры стали программируемыми, шахматами уже интересовались Конрад Цузе (изобретатель первого программируемого компьютера и разработчик первого языка программирования), Клод Шеннон (основоположник теории информации), Норберт Винер (создатель современной теории управления) и Алан Тьюринг. С тех пор уровень игры с применением компьютеров неуклонно повышался и достиг того, что компьютеры превзошли людей в шашках и игре “Отелло” (“реверси”), побеждали чемпионов (но не всегда) в шахматах и нардах, а также стали конкурентоспособными во многих других играх. Основным исключением остается игра го, в которой компьютеры пока еще выступают на любительском уровне.
Игры, в отличие от большинства учебных задач, которые рассматривались в главе 3, интересны тем, что в них очень трудно найти решение. Например, шахматы характеризуются в среднем коэффициентом ветвления, примерно равным 35, а игра часто продолжается до 50 ходов со стороны каждого игрока, поэтому дерево поиска имеет приблизительно 35100 или 10154 узлов (хотя граф поиска включает “всего лишь” около 1040 различных узлов). Поэтому игры, как и реальная жизнь, требуют способности принимать хоть какие-то решения, даже если вычисление оптимального решения неосуществимо. Кроме того, игры сурово наказывают за неэффективность. Притом что реализация поиска А*, в два раза менее эффективная по сравнению с другой реализацией, просто потребует вдвое больше времени для получения окончательного решения, шахматная программа, вдвое менее эффективно использующая отведенное ей время, по-видимому, потерпит поражение на самых ранних этапах игры, даже при всех прочих равных условиях. Поэтому исследователи, работающие в области ведения игр, стали авторами многих интересных идей, касающихся того, как обеспечить наилучшее возможное использование времени.
Начнем описание данной темы с определения понятий оптимального хода игры и алгоритма его поиска. Затем рассмотрим методы выбора хорошего хода в условиях ограниченного времени. Отсечение позволяет игнорировать те части дерева поиска, которые не оказывают влияния на окончательный выбор, а эвристические функции оценки позволяют приближенно рассчитывать истинную полезность состояния без проведения полного поиска. В разделе 6.5 рассматриваются такие игры, включающие элемент случайности, как нарды; кроме того, в данной главе рассматривается
бридж, который включает элементы М неполной информации, поскольку не все карты видны каждому игроку. Наконец, в этой главе будет описано, как новейшие программы ведения игр постепенно преодолевают сопротивление людей в борьбе с этими программами и каковы направления будущих разработок.
Принятие оптимальных решений в играх
В данной главе речь идет об играх с двумя игроками, которые будут именоваться МАХ и MIN по причинам, которые вскоре станут очевидными. Игрок МАХ ходит первым, после чего игроки делают ходы по очереди до тех пор, пока игра не закончится. В конце игры игроку-победителю присваиваются очки, а на побежденного налагается штраф. Игра может быть формально определена как своего рода задача поиска с описанными ниже компонентами.
Начальное состояние, которое включает позицию на доске и определяет игрока, который должен ходить.
Функция определения преемника, возвращающая список пар (move, state), каждая из которых указывает допустимый ход и результирующее состояние.
^ Проверка терминального состояния, которая определяет, что игра закончена. Состояния, в которых игра закончена, называются терминальными состояниями.
Функция полезности (называемая также целевой функцией, или функцией вознаграждения), которая сообщает числовое значение терминальных состояний. В шахматах результатом является победа, поражение или ничья, со значениями +1, -1 или 0. Некоторые игры имеют более широкий диапазон возможных результатов; например, количество очков в нардах может составлять от +192 до -192. В настоящей главе в основном рассматриваются игры с нулевой суммой, хотя будут также кратко упоминаться игры с ненулевой суммой.
Начальное состояние и допустимые ходы каждой стороны определяют М дерево игры для данной игры. На рис. 6.1 показана часть дерева игры в крестики-нолики. Из начального состояния игрок МАХ имеет девять возможных ходов. Ходы чередуются так, что МАХ ставит значок X, a MIN значок О, до тех пор пока не будут достигнуты листовые узлы, соответствующие терминальным состояниям, таким, что один игрок поставил три своих значка в один ряд или заполнены все клетки. Число под каждым листовым узлом указывает значение полезности соответствующего терминального состояния с точки зрения игрока МАХ; предполагается, что высокие значения являются благоприятными для игрока МАХ и неблагоприятными для игрока MIN (именно поэтому в теории этим игрокам присвоены такие имена). Задача игрока МАХ состоит в использовании дерева поиска (особенно данных о полезности терминальных состояний) для определения наилучшего хода.
Оптимальные стратегии
При решении обычных задач поиска оптимальное решение для игрока мах должно представлять собой последовательность ходов, ведущих к цели — к терминальному состоянию, которое соответствует выигрышу. С другой стороны, в игре
участвует также игрок MIN, который имеет другое мнение по этому поводу. Это означает, что игрок МАХ должен найти надежную ^ стратегию, позволяющую определить ход игрока МАХ в начальном состоянии, затем ходы игрока МАХ в состояниях, ставших результатом любого возможного ответа игрока MIN, а затем ходы МАХ в состояниях, ставших результатом любого возможного ответа MIN на те ходы, и т.д. Грубо говоря, оптимальная стратегия приводит к итогу, по меньшей мере, такому же благоприятному, как и любая другая стратегия, в тех условиях, когда приходится играть с противником, не допускающим ошибок. Прежде всего рассмотрим, как найти эту оптимальную стратегию, даже притом что для МАХ часто будет неосуществимой задача ее исчерпывающего вычисления в играх, более сложных, чем крестики-нолики.
МАХ(Х)
MIN (О)MIN (О)МАХ(Х)МАХ(Х)MIN (О)MIN (О)
MIN (О)
MIN (О)
МАХ(Х)
МАХ(Х)
MIN (О)
MIN (О)
Заключительное состояние TERMINALПолезностьЗаключительное состояние TERMINALПолезность
Заключительное состояние TERMINAL
Полезность
Заключительное состояние TERMINAL
Полезность
Рис. 6.1. (Частичное) дерево поиска для игры крестики-нолики. Верхний узел представляет собой начальное состояние, а первым ходит игрок МАХ, ставя значок X в пустой клетке. На этом рисунке показана часть дерева поиска, в которой демонстрируются чередующиеся ходы игроков MIN (значок О) и МАХ (значок X). Ходы выполняются до тех пор, пока в конечном итоге не будет достигнуто одно из терминальных состояний, которым могут быть назначены данные о полезности в соответствии с правилами игры '
Даже такие простые игры, как крестики-нолики, являются слишком сложными, чтобы можно было привести в этой книге для них полное дерево игры, поэтому перейдем к описанию тривиальной игры, показанной на рис. 6.2. Возможные коды игрока МАХ из корневого узла обозначены как а1$ а2 и а3. Возможными ответами на ход ах для игрока MIN являются Ьх, Ь2, Ь3 и т.д. Данная конкретная игра заканчивается после того, как каждый игрок, МАХ и MIN, сделают по одному ходу. (Согласно терминологии теории игр, это дерево имеет глубину в один ход и состоит из сделанных двумя участниками ходов, каждый из которых называется ^ полуходом.) Полезности терминальных состояний в этой игре находятся в пределах от 2 до 14.
Рис. 6.2. Дерево игры с двумя полуходами. Узлы ▲ представляют собой “узлы МАХ”, в которых очередь хода принадлежит игроку МАХ, а узлы ▼ рассматриваются как “узлы МIN”. Терминальные узлы показывают значения полезности для МАХ; остальные узлы обозначены их минимаксными значениями. Лучшим ходом игрока МАХ от корня является а г, поскольку ведет к преемнику с наибольшим минимаксным значением, а наилучшим ответом MIN является bi, поскольку ведет к преемнику с наименьшим минимаксным значениемРис. 6.2. Дерево игры с двумя полуходами. Узлы ▲ представляют собой “узлы МАХ”, в которых очередь хода принадлежит игроку МАХ, а узлы ▼ рассматриваются как “узлы МIN”. Терминальные узлы показывают значения полезности для МАХ; остальные узлы обозначены их минимаксными значениями. Лучшим ходом игрока МАХ от корня является а г, поскольку ведет к преемнику с наибольшим минимаксным значением, а наилучшим ответом MIN является bi, поскольку ведет к преемнику с наименьшим минимаксным значением
Рис. 6.2. Дерево игры с двумя полуходами. Узлы ▲ представляют собой “узлы МАХ”, в которых очередь хода принадлежит игроку МАХ, а узлы ▼ рассматриваются как “узлы МIN”. Терминальные узлы показывают значения полезности для МАХ; остальные узлы обозначены их минимаксными значениями. Лучшим ходом игрока МАХ от корня является а г, поскольку ведет к преемнику с наибольшим минимаксным значением, а наилучшим ответом MIN является bi, поскольку ведет к преемнику с наименьшим минимаксным значением
Рис. 6.2. Дерево игры с двумя полуходами. Узлы ▲ представляют собой “узлы МАХ”, в которых очередь хода принадлежит игроку МАХ, а узлы ▼ рассматриваются как “узлы МIN”. Терминальные узлы показывают значения полезности для МАХ; остальные узлы обозначены их минимаксными значениями. Лучшим ходом игрока МАХ от корня является а г, поскольку ведет к преемнику с наибольшим минимаксным значением, а наилучшим ответом MIN является bi, поскольку ведет к преемнику с наименьшим минимаксным значением
При наличии дерева игры оптимальную стратегию можно определить, исследуя минимаксное значение каждого узла, которое можно записать как MinimaxValue (п). Минимаксным значением узла является полезность (для МАХ) пребывания в соответствующем состоянии, при условии, что оба игрока делают ходы оптимальным образом от этого узла и до узла, обозначающего конец игры. Очевидно, что минимаксным значением терминального состояния является просто его полезность. Более того, если есть выбор, игрок мах должен предпочесть ход, ведущий в состояние с максимальным значением, а игрок MIN — ведущий в состояние с минимальным значением. Поэтому имеет место приведенное ниже соотношение.
Minimax-Value(п) =
<Utility(n), если п<Utility(n), если птерминальное состояниетерминальное состояние
<Utility(n), если п
<Utility(n), если п
терминальное состояние
терминальное состояние
шахsG Successors(n)шахsG Successors(n)Minimax-Value(s), если nMinimax-Value(s), если nузел MAXузел MAXminsG Successors (n)minsG Successors (n)Minimax-Value(s), если nMinimax-Value(s), если nузел MINузел MIN
шах
sG Successors(n)
шах
sG Successors(n)
Minimax-Value(s), если n
Minimax-Value(s), если n
узел MAX
узел MAX
min
sG Successors (n)
min
sG Successors (n)
Minimax-Value(s), если n
Minimax-Value(s), если n
узел MIN
узел MIN
Применим эти определения к дереву игры, показанному на рис. 6.2. Терминальные узлы на низшем уровне уже обозначены числами, которые указывают их полезность. Первый узел min, обозначенный как в, имеет трех преемников со значениями 3, 12 и 8, поэтому его минимаксное значение равно 3. Аналогичным образом, другие два узла MIN имеют минимаксное значение, равное 2. Корневым узлом является узел МАХ; его преемники имеют минимаксные значения 3, 2 и 2, поэтому сам корневой узел имеет минимаксное значение 3. Можно также определить понятие ^ минимаксного решения, принимаемого в корне дерева: действие ат является оптимальным выбором для игрока МАХ, поскольку ведет к преемнику с наивысшим минимаксным значением.
В этом определении оптимальной игры для игрока мах предполагается, что игрок MIN также играет оптимальным образом: он максимизирует результат, соответствующий наихудшему исходу игры для мах. А что было бы, если игрок min не играл оптимальным образом? В таком случае можно легко показать (упр. 6.2), что игрок МАХ добился бы еще большего. Могут существовать другие стратегии игры против соперников, играющих неоптимальным образом, которые позволяют добиться большего, чем минимаксная стратегия; но эти стратегии обязательно действуют хуже против соперников, играющих оптимально.
Минимаксный алгоритм
^ Минимаксный алгоритм (листинг 6.1) вычисляет минимаксное решение из текущего состояния. В нем используется простое рекурсивное вычисление минимаксных значений каждого состояния-преемника с непосредственной реализацией определяющих уравнений. Рекурсия проходит все уровни вплоть до листьев дерева, а затем минимаксные значения М резервируются по всему дереву по мере обратного свертывания рекурсии. Например, в дереве, показанном на рис. 6.2, алгоритм вначале выполнил рекурсию с переходом на нижние уровни до трех нижних левых узлов и применил к ним функцию полезности Utility, чтобы определить, что значения полезности этих узлов соответственно равны 3, 12 и 8. Затем алгоритм определяет минимальное из этих значений, 3, и возвращает его в качестве зарезервированного значения узла в. Аналогичный процесс позволяет получить зарезервированные значения 2 для узла С и 2 для узла D. Наконец, берется максимальное из значений 3, 2 и 2 для получения зарезервированного значения 3 корневого узла.
Листинг 6.1. Алгоритм вычисления минимаксных решений. Он возвращает действие, соответствующее наилучшему возможному ходу, т.е. действие, ведущее к результату с наилучшей полезностью, в соответствии с предположением, что противник играет с целью минимизации полезности. Функции Max-Value и Min-Value используются для прохождения через все дерево игры вплоть до листьев, что позволяет определить зарезервированное значение некоторого состояния
function Minimax-Decision(state) returns действие action
inputs: state, текущее состояние игры
v <— Max-Value(state) return действие action в множестве Successors(state) co значением v
function Max-Value(state) returns значение полезности if Terminal-Test(state) then return Utility(state) .
for a, s in Successors(state) do v <— Max(v, Min-Value(s)) return v
function Min-Value(state) returns значение полезности if Terminal-Test(state) then return Utility(state)
for a, s in Successors(state) do v <- Min(v, Max-Value(s)) return v
Этот минимаксный алгоритм выполняет полное исследование дерева игры в глубину. Если максимальная глубина дерева равна шив каждом состоянии имеются Ь допустимых ходов, то временная сложность этого минимаксного алгоритма составляет 0(1^). Для алгоритма, который формирует сразу всех преемников, пространственная сложность равна О(Ьш), а для алгоритма, который формирует преемников по одному, — О(л1) (см. с. 131). Безусловно, в реальных играх такие затраты времени полностью неприемлемы, но данный алгоритм служит в качестве основы математического анализа игр, а также более практичных алгоритмов.
Оптимальные решения в играх с несколькими игроками
Многие популярные игры допускают наличие больше чем двух игроков. Рассмотрим, как можно распространить идею минимаксного алгоритма на игры с несколькими игроками. С точки зрения технической реализации это сделать несложно, но при этом возникают некоторые новые и интересные концептуальные проблемы.
Вначале необходимо заменить единственное значение для каждого узла вектором значений. Например, в игре с тремя игроками, в которой участвуют игроки А, в и С, с каждым узлом ассоциируется вектор <vA,vB,vc>. Для терминальных состояний этот вектор задает полезность данного состояния с точки зрения каждого игрока. (В играх с двумя игроками и нулевой суммой двухэлементный вектор может быть сокращен до единственного значения, поскольку значения в нем всегда противоположны.) Простейшим способом реализации такого подхода является применение функции utility, которая возвращает вектор значений полезности.
Теперь необходимо рассмотреть нетерминальные состояния. Рассмотрим узел в дереве игры, показанном на рис. 6.3, который обозначен как X. В этом состоянии игрок С выбирает, что делать. Два варианта ведут к терминальным состояниям с векторами полезности < vA=l, vB=2 , vc=6> и < vA=4, vB=2, vc=3>. Поскольку 6 больше чем 3, игрок С должен выбрать первый ход. Это означает, что если достигнуто состояние X, то дальнейшая игра приведет к терминальному состоянию с полезностями <vA=l, vB=2 , vc=6>. Следовательно, зарезервированным значением X является этот вектор. Вообще говоря, зарезервированное значение узла п представляет собой вектор полезности такого узла-преемника, который имеет наивысшее значение для игрока, выбирающего ход в узле п.
Любой, кто играет в игры с несколькими игроками, такие как Diplomacy™ (“Дипломатия”), быстро узнает, что в них происходит гораздо больше событий, чем в играх с двумя игроками. В играх с несколькими игроками обычно создаются
альянсы между игроками, либо формальные, либо неформальные. К тому же иногда по мере развития игры альянсы то формируются, то разрушаются. Как можно понять такое поведение? Являются ли альянсы естественным следствием выбора оптимальных стратегий для каждого игрока в игре с несколькими игроками? Как оказалось, они действительно могут стать таким следствием. Например, предположим, что игроки Айв имеют слабые позиции, а игрок С — более сильную позицию. В таком случае и для А, и для В часто бывает оптимальным решение атаковать С, а не друг друга, поскольку иначе С уничтожит каждого из них по отдельности. Таким образом, сотрудничество становится следствием чисто эгоистичного поведения. Безусловно, как только игрок С ослабнет под совместным натиском, альянс потеряет свой
смысл и соглашение может нарушить либо игрок А, либо игрок в. В некоторых случаях явно выраженные альянсы просто становятся конкретным выражением того, что и так произошло бы. А в других случаях попытка нарушить альянс вызывает общественное осуждение, поэтому игроки должны класть на весы немедленно достигаемую выгоду от нарушения альянса и долговременный убыток, возникающий из- за того, что их не будут считать заслуживающими доверия. Дополнительная информация об этих сложностях в игре приведена в разделе 17.6.
Ход игрока
Рис. 6.3. Первые три полухода игры с тремя игроками (А, В, С/ Каждый узел обозначен значениями, достигаемыми с точки зрения каждого участника. Наилучший ход обозначен стрелкой, исходящей из корня
Если игра не имеет нулевую сумму, то сотрудничество может также возникать даже при наличии всего двух игроков. Допустим, что имеется терминальное состояние с полезностями <vA=1000, vB=1000> и что 1000 — максимальная возможная полезность для каждого игрока. В таком случае оптимальная стратегия для обоих игроков заключается в том, чтобы делать все возможное для достижения этого состояния; это означает, что игроки автоматически вступают в сотрудничество для достижения обоюдно желаемой цели.
Альфа-бета-отсечение
При минимаксном поиске проблема состоит в том, что количество состояний игры, которые должны быть исследованы в процессе поиска, зависит экспоненциально от количества ходов. К сожалению, такую экспоненциальную зависимость устранить невозможно, но фактически существует возможность сократить ее наполовину. Весь секрет состоит в том, что вычисление правильного минимаксного решения возможно без проверки каждого узла в дереве игры. Это означает, что можно позаимствовать идею отсечения, описанную в главе 4, чтобы исключить из рассмотрения большие части дерева. Конкретный метод, рассматриваемый в данной главе, называется ^ альфа-бета-отсечением. Будучи применен к стандартному минимаксному дереву, этот метод возвращает такие же ходы, которые вернул бы минимаксный метод, но отсекает ветви, по всей вероятности, не способные повлиять на окончательное решение.
Снова рассмотрим дерево игры с двумя полуходами (см. рис. 6.2) и еще раз проведем расчет оптимального решения, на сей раз обращая особое внимание на то, что известно на каждом этапе этого процесса. Пояснения к данным этапам вычисления
приведены на рис. 6.4. Результат состоит в том, что минимаксное решение можно выявить, даже не приступая к вычислению значений двух листовых узлов.
Рис. 6.4. Этапы вычисления оптимального решения для дерева игры, показанного на рис. 6.2; в каждой точке известен ряд возможных значений для каждого узла: первый лист, расположенный ниже узла В, имеет значение 3. Поэтому В, который является узлом MIN, имеет, самое большее, значение 3 (а); второй лист, расположенный ниже узла В, имеет значение 12 (б); игрок MIN должен избегать этого хода, поэтому значение В, все еще самое большее, равно 3; третий лист, расположенный ниже узла В, имеет значение 8; мы проверили всех преемников узла В, поэтому значение В в точности равно 3 (в). Теперь можно сделать вывод, что значение корня, самое меньшее, равно 3, поскольку игрок МАХ в корне делает выбор со значением 3; первый лист, находящийся ниже С, имеет значение 2. Поэтому С, который представляет собой узел MIN, имеет, самое большее, значение 2. Но известно, что узел В позволяет достичь значения 3, поэтому игрок МАХ ни в коем случае не должен выбирать узел С. Это означает, что нет смысла проверять остальных преемников узла С. Это — пример применения альфа-бета-отсечения (г). Первый лист, находящийся ниже D, имеет значение 14, поэтому D имеет, самое большее, значение 14. Оно все еще выше, чем наилучшая альтернатива для игрока МАХ (т.е. 3), поэтому необходимо продолжить исследование преемников узла D. Следует также отметить, что теперь определены предельные значения всех преемников корневого узла, поэтому значение корня также равно, самое большее, 14 (д); второй преемник D имеет значение 5, поэтому снова приходится продолжать исследование. Значение третьего преемника равно 2, поэтому теперь значение D точно равно 2. В корневом узле игрок МАХ принимает решение сделать ход, ведущий к узлу В, что позволяет ему получить значение 3 (е)
Этот подход может также рассматриваться под другим углом — как упрощение формулы для получения минимаксного значения Minimax-Value. Допустим, что
два преемника узла С на рис. 6.4, еще не обработанные в процессе вычисления, имеют значения х и у, и предположим, что z — минимальное значение среди х и у. В таком случае значение корневого узла можно найти следующим образом:
Minimax-Value (root) = max(min(3, 12, 8), min(2, x, у) , min(14, 5, 2)) = max(3, min(2, x, y) , 2 ) = max(3, z, 2)где z < 2
= 3
Иными словами, значение корневого узла, а следовательно, и минимаксное решение не зависит от значений отсеченных листовых узлов х и у.
Альфа-бета-отсечение может применяться к деревьям любой глубины; к тому же часто возникает возможность отсекать целые поддеревья, а не просто листья. Общий принцип состоит в следующем: рассмотрим узел п, находящийся где-либо в дереве (рис. 6.5), такой, что участник игры со стороны наблюдателя (назовем его Игрок) имеет возможность выбрать ход, ведущий к этому узлу. Но если Игрок имеет лучший выбор т либо в родительском узле узла п, либо в любой другой точке выбора, находящейся еще выше в дереве, то узел п никогда не будет достигнут в игре, происходящей в действительности. Поэтому после получения достаточной информации об узле п (путем исследования некоторых из его потомков) для того, чтобы с полной уверенностью прийти к этому заключению, можно выполнить его отсечение.
Рис. 6.5. Альфа-бета-отсечение: общий случай. Если для Игрока узел m лучше чем п, то узел п никогда не встретится в игре
Напомним, что минимаксный поиск осуществляется в глубину, поэтому в любой момент времени достаточно рассматривать узлы вдоль единственного пути в дереве. Алгоритм альфа-бета-отсечения получил свое название по следующим двум параметрам, которые представляют пределы в зарезервированных значениях, присутствующих во всех узлах вдоль этого пути:
а = значение наилучшего варианта (т.е. варианта с самым высоким значением), который был до сих пор найден в любой точке выбора вдоль пути для игрока мах;
Р = значение наилучшего варианта (т.е. варианта с самым низким значением), который был до сих пор найден в любой точке выбора вдоль пути для игрока MIN.
Алгоритм альфа-бета-поиска в процессе своей работы обновляет значения а и 0, а также отсекает оставшиеся ветви в узле (т.е. прекращает рекурсивные вызовы), как только становится известно, что значение текущего узла хуже по сравнению с текущим значением а или 0 для игрока МАХ или MIN соответственно. Полный алгоритм приведен в листинге 6.2. Рекомендуем читателю проследить за его поведением применительно к дереву, показанному на рис. 6.4.
Листинг 6.2. Алгоритм альфа-бета-поиска. Обратите внимание на то, что применяемые здесь процедуры остаются такими же, как и процедуры алгоритма Minimax, приведенного в листинге 6.1, за исключением двух строк, введенных как в процедуру Min-Value, так и в Max-Value, которые сопровождают значения а и 0 (а также выполняют соответствующие действия по дальнейшей передаче этих параметров)
function Alpha-Beta-Search(state) returns действие action inputs: state, текущее состояние в игре
v <— Max-Value (state, -«>, +“)
return действие action из множества Successors(state) co значением v
function Max-Value(state, a, 0) returns значение полезности inputs: state, текущее состояние в игре
значение наилучшей альтернативы для игрока МАХ вдоль пути к состоянию state
значение наилучшей альтернативы для игрока MIN вдоль пути к состоянию state
if Terminal-Test(state) then return Utility(state)
V <— -oo for a, s in Successors(state) do v <— Max(v, Min-Value(s, a, 0) ) if v > P then return v а <— Max (a, v) return v
function Min-Value(state, a, 0) returns значение полезности inputs: state, текущее состояние в игре
а, значение наилучшей альтернативы для игрока МАХ вдоль пути к состоянию state
значение наилучшей альтернативы для игрока MIN вдоль пути к состоянию state
if Terminal-Test(state) then return Utility(state)
V <— 4-oo for a, s in Successors(state) do v <- Min(v, Max-Value(s, a, 0) ) if v < a then return v P <- Min(0, v) return v
Эффективность алгоритма альфа-бета-отсечения в высшей степени зависит от того, в каком порядке происходит проверка преемников. Например, на рис. 6.4, д, е невозможно было бы вообще выполнить отсечение каких-либо преемников узла D, поскольку в первую очередь были бы сформированы наихудшие преемники (с точки зрения игрока MIN). А если бы в первую очередь был сформирован третий преемник, то была бы возможность отсечь двух остальных. На основании этого можно сделать вывод, что имеет смысл стремиться исследовать в первую очередь таких преемников, которые, по всей вероятности, могут стать наилучшими.
Если принять допущение, что это может быть сделано, то окажется, что в алгоритме альфа-бета-отсечения для определения наилучшего хода достаточно исследовать только Okld^^^ узлов, а не 0(2^) узлов, как при использовании минимаксного алгоритма. Это означает, что эффективный коэффициент ветвления становится равным д/ь, а не Ь; например, для шахмат он равен 6, а не 3 5. Иными словами, за такое же время альфа-бета-поиск позволяет заглянуть в дерево игры примерно в два раза дальше по сравнению с минимаксным поиском. А если исследование преемников происходит в случайном порядке, а не по принципу первоочередного выбора наилучших вариантов, то при умеренных значениях b общее количество исследованных узлов будет составлять примерно O(b3m/4). В случае шахмат применение довольно простой функции упорядочения (например, такой, в которой в первую очередь рассматриваются взятия фигур, затем угрозы, затем ходы вперед, а после этого ходы назад) позволяет оставаться в пределах, не превышающих удвоенное значение результата Olti^2}, который может быть получен в наилучшем случае. Добавление динамических схем упорядочения ходов, в частности, таких, в которых в первую очередь проверяются ходы, обозначенные как наилучшие на предыдущем этапе, позволяют подойти совсем близко к этому теоретическому пределу.
Как было отмечено в главе 3, наличие повторяющихся состояний в дереве поиска может вызвать экспоненциальное увеличение стоимости поиска. В играх повторяющиеся состояния встречаются часто из-за возникновения ^ транспозиций — различных перестановок последовательностей ходов, которые оканчиваются в одной и той же позиции. Например, если белые имеют в своем распоряжении ход а1? на который черные могут ответить ходом 2^, а также еще один не связанный с ним ход а2 на другой стороне доски, на который может быть дан ответ Ь2, то обе последовательности, [ ах, Ьт, а2, Ь2 ] и [ ах, Ь2, а2, Ьт ], оканчиваются в одной и той же позиции (как и перестановки, начинающиеся с а2). Поэтому целесообразно сохранять оценку каждой конкретной позиции в хэш-таблице при первом ее возникновении, чтобы не приходилось вычислять ее повторно при последующих возникновениях. По традиции хэш- таблица с ранее встретившимися позициями называется М таблицей транспозиций; она по сути идентична списку closed в алгоритме Graph-Search (см. с. 139). Использование таблицы транспозиций может оказать чрезвычайно эффективное воздействие, которое иногда выражается в удваивании достижимой глубины поиска в шахматах. С другой стороны, если существует возможность вычислять оценки со скоростью в несколько миллионов узлов в секунду, то практически нет смысла хранить данные обо всех этих узлах в таблице транспозиций. Для выбора наиболее ценных из этих узлов были опробованы различные стратегии.
Неидеальные решения, принимаемые
В РЕАЛЬНОМ ВРЕМЕНИ
Минимаксный алгоритм формирует все пространство поиска игры, а алгоритм альфа-бета-отсечения позволяет отсекать значительные его части. Тем не менее при использовании алгоритма альфа-бета-отсечения все еще приходится выполнять поиск вплоть до терминальных состояний, по крайней мере, в некоторой области пространства поиска. Обычно задача достижения такой глубины на практике не осуществима, поскольку ходы должны быть сделаны за какое-то приемлемое время, как правило, не больше чем за несколько минут. Вместо этого в статье Шеннона Programming a computer for playing chess от 1950 года было предложено, чтобы программы прекращали поиск раньше времени и применяли к состояниям какую-то эвристическую функцию оценки, по сути, преобразуя нетерминальные узлы в терминальные листья. Другими словами, в этой статье было предложено модифицировать минимаксный поиск или альфа-бета-поиск в двух отношениях: заменить функцию полезности эвристической функцией оценки Eval, которая дает оценку полезности данной позиции, а проверку терминальной позиции заменить М проверкой останова, которая позволяет решить, когда следует применять функцию Eval.
Функции оценки
Функция оценки возвращает прогноз ожидаемой полезности игры из данной конкретной позиции по аналогии с тем, как эвристические функции, описанные в главе 4, возвращают прогнозируемое значение расстояния до цели. Идея такого “оценщика” в то время, когда Шеннон предложил ею воспользоваться, была не нова. В течение многих столетий шахматисты (и поклонники других игр) разработали способы выработки суждений о стоимости позиции, поскольку люди еще более ограничены в объемах поиска, который может быть ими выполнен, чем компьютерные программы. Должно быть очевидно, что производительность любой программы ведения игры зависит от качества применяемой функции оценки. Неточная функция оценки приведет агента к позициям, которые окажутся проигрышными. Поэтому возникает важный вопрос — как именно следует проектировать хорошие функции оценки?
Во-первых, функция оценки должна упорядочивать терминальные состояния таким же образом, как и настоящая функция полезности; в противном случае использующий ее агент может выбрать неоптимальные ходы, даже обладая способностью просчитывать все ходы до конца игры. Во-вторых, вычисления не должны занимать слишком много времени! (В функции оценки можно было бы вызывать Minimax- Decision в качестве процедуры и вычислять точную стоимость данной позиции, но это поставило бы под сомнение то, к чему мы стремимся, — экономию времени.) В-третьих, для нетерминальных состояний значения этой функции оценки должны строго коррелировать с фактическими шансами на выигрыш.
Выражение “шансы на выигрыш” на первый взгляд может показаться странным. В конце концов, шахматы — это же не игра с элементами случайности: в ней безусловно известно текущее состояние и для определения следующего хода не нужно бросать жребий. Но если поиск должен прекращаться в нетерминальных состояниях, то в данном алгоритме будет обязательно оставаться неопределенность в отно-
шении окончательных исходов для этих состояний. Неопределенность такого рода вызвана вычислительными, а не информационными ограничениями. Из-за ограниченного объема вычислений, которые разрешено выполнить в функции оценки для данного конкретного состояния, лучшее, что она может сделать, — это принять какое-то предположение в отношении конечного результата.
Рассмотрим эту идею немного более конкретно. Функции оценки чаще всего действуют по принципу вычисления различных ^ характеристик данного состояния, например, в шахматах одной из таких характеристик является количество пешек, принадлежащих каждой из сторон. Эти характеристики, вместе взятые, определяют различные категории, или классы эквивалентности состояний: состояния из каждой категории имеют одни и те же значения для всех своих характеристик. Вообще говоря, любая конкретная категория включает некоторые состояния, которые ведут к победе, к ничьей или поражению. Функция оценки не позволяет определить, какими являются те или иные состояния, но способна вернуть единственное значение, которое отражает процентную долю этих состояний в каждом результате. Например, предположим, полученный опыт показывает, что 72% состояний, встретившихся в данной категории, ведут к победе (полезность +1); 20% — к поражению (-1) и 8% к ничьей (0). В таком случае приемлемой оценкой для состояний этой категории становится взвешенное среднее, или дожидаемое значение: (0.72х+1) + (0.20х-1) + (0.08x0) =0.52. В принципе, ожидаемое значение можно определить для каждой категории, получив в итоге функцию оценки, применимую для любого состояния. Как и в случае терминальных состояний, функция оценки не обязана возвращать фактические ожидаемые значения, при условии, что упорядочение состояний остается тем же самым.
На практике для проведения анализа такого рода требуется учитывать слишком много категорий и поэтому накопить слишком много опыта, чтобы можно было оценить все вероятности выигрыша. Вместо этого в большинстве функций оценки вычисляются отдельные представленные в числовом виде значения вклада, зависящего от каждой характеристики, после чего эти значения комбинируются для поиска суммарного значения. Например, в учебниках по шахматам для начинающих можно найти приближенные оценки ^ стоимости материала для каждой фигуры: например, такие, что пешка имеет стоимость 1, конь или слон — 3, ладья — 5, а ферзь — 9. Другие характеристики, такие как “хорошая пешечная структура” и “безопасность короля”, могут оцениваться как равные, скажем, половине стоимости пешки. После этого стоимости таких характеристик просто складываются для получения оценки позиции. Надежное преимущество, эквивалентное стоимости пешки, расценивается как значительная вероятность выигрыша, а надежное преимущество в три пешки должно почти наверняка обеспечить победу, как показано на рис. 6.6, а. В математике функция оценки такого типа называется ^ взвешенной линейной функцией, поскольку она может быть представлена следующим образом:
п
Eval(s) = ^ifi(s) + w2f2(s) + ... + ^nfn(s) = ^ ^ ^i(s) i=l
где каждый коэффициент wi представляет собой вес, а каждая функция fi оценивает некоторую характеристику позиции. В шахматах функция f^ может определять количество на доске фигур каждого вида, а коэффициент Wi — оценивать стоимости этих фигур (1 за пешку, 3 за слона и т.д.).
а) Ход белыха) Ход белыхб) Ход белыхб) Ход белыхРис. 6.6. Две немного разные шахматные позиции: черные имеют преимущество в одного коня и двух пешек и должны выиграть партию (а); черные проигрывают после того, как белые берут ферзя (б)Рис. 6.6. Две немного разные шахматные позиции: черные имеют преимущество в одного коня и двух пешек и должны выиграть партию (а); черные проигрывают после того, как белые берут ферзя (б)
а) Ход белых
а) Ход белых
б) Ход белых
б) Ход белых
Рис. 6.6. Две немного разные шахматные позиции: черные имеют преимущество в одного коня и двух пешек и должны выиграть партию (а); черные проигрывают после того, как белые берут ферзя (б)
Рис. 6.6. Две немного разные шахматные позиции: черные имеют преимущество в одного коня и двух пешек и должны выиграть партию (а); черные проигрывают после того, как белые берут ферзя (б)
На первый взгляд метод вычисления суммы стоимостей характеристик может показаться приемлемым, но в действительности он основан на очень радикальном допущении, что вклад каждой характеристики не зависит от стоимости других характеристик. Например, присваивая слону стоимость 3, мы игнорируем тот факт, что слоны становятся более мощными в конце игры, когда имеют большой объем пространства для маневра. По этой причине в современных программах для шахмат и других игр используются также нелинейные комбинации характеристик. Например, пара слонов может стоить немного больше по сравнению с удвоенной стоимостью одного слона, а слон стоит немного больше в конце игры, чем в начале.
Внимательный читатель должен был заметить, что все эти характеристики и веса не входят в состав шахматных правил! Они были выработаны в течение столетий на основе опыта игры людей в шахматы. Применение этих характеристик и весов на основе описанной линейной формы оценки позволяет добиться наилучшей аппроксимации по отношению к истинному упорядочению состояний по стоимости. В частности, опыт показывает, что надежное материальное преимущество больше чем в один пункт, по всей вероятности, приводит к выигрышу при всех прочих равных условиях; преимущество в три пункта является достаточным почти для безусловной победы. В таких играх, где опыт указанного вида отсутствует, веса функции оценки могут быть получены с помощью методов машинного обучения, приведенных в главе 18. Является обнадеживающим тот факт, что применение указанных методов к шахматам подтвердило, что слон действительно имеет стоимость, примерно равную трем пешкам.
Прекращение поиска
Следующий этап состоит в том. что алгоритм Alpha-Beta-Search должен быть модифицирован так, чтобы он вызывал эвристическую функцию Eval, когда возникает необходимость остановить поиск. С точки зрения реализации необходимо
заменить две строки в листинге 6.2, в которых упоминается функция TerminalTest, следующей строкой:
if Cutoff-Test(state, depth) then return Eval(state)
Необходимо также предусмотреть выполнение определенных технических операций для того, чтобы текущее значение глубины depth наращивалось при каждом рекурсивном вызове. Наиболее прямолинейный подход к управлению объемом поиска состоит в том, что должен устанавливаться фиксированный предел глубины, чтобы функция Cutoff-Test (state, depth) возвращала значение true при всех значениях depth, превышающих некоторую фиксированную глубину d. (Она должна также возвращать true для всех терминальных состояний, как было предусмотрено и в функции Terminal-Test.) Глубина d выбрана таким образом, чтобы используемое время не превышало допустимое по правилам игры.
Более надежный подход состоит в использовании метода итеративного углубления, который определен в главе 3. По окончании отведенного времени программа возвращает ход, выбранный по итогам наиболее глубокого завершенного поиска. Однако подобные подходы могут приводить к ошибкам, обусловленным приближенным характером функции оценки. Еще раз рассмотрим простую функцию оценки для шахмат, основанную на учете преимущества в материале. Предположим, что программа выполняет поиск до предела глубины, достигая позиции, приведенной на рис. 6.6, б, где черные имеют перевес на одного коня и две пешки. Программа сообщила бы об этом как об эвристическом значении данного состояния, объявив тем самым, что это состояние, по всей вероятности, приведет к победе черных. Но на следующем ходу белые берут ферзя черных без компенсации. Поэтому в действительности данная позиция является выигрышной для белых, но об этом можно было бы узнать, только заглянув вперед еще на один полуход.
Очевидно, что требуется более сложная проверка останова. Функция оценки должна применяться только к позициям, которые являются ^ спокойными, т.е. характеризующимися низкой вероятностью того, что в них в ближайшем будущем произойдут резкие изменения в стоимости. Например, в шахматах такие позиции, в которых могут быть сделаны желательные взятия фигур, не являются спокойными для такой функции оценки, в которой учитывается лишь материал. Неспокойные позиции могут быть дополнительно развернуты до тех пор, пока не будут достигнуты спокойные позиции. Подобный дополнительный поиск называется М поиском спокойных позиций; иногда он ограничивается тем, что в нем рассматриваются только ходы определенных типов, такие как ходы со взятием фигур, что позволяет быстро устранять все неопределенности в этой позиции.
Задача устранения М эффекта горизонта является более сложной. Этот эффект возникает, если программа сталкивается с каким-то ходом противника, который причиняет серьезный ущерб и в конечном итоге является неизбежным. Рассмотрим шахматную позицию, приведенную на рис. 6.7. Черные превосходят белых по количеству материала, но если белые смогут продвинуть свою пешку с седьмой горизонтали на восьмую, то пешка станет ферзем и обеспечит легкую победу белых. Черные могут отсрочить этот итог на 14 полуходов, объявляя шах белым с помощью ладьи, но пешка неизбежно станет ферзем. Одним из недостатков поиска на фиксированную глубину является то, что применяемый при
этом алгоритм не позволяет определить, что такие отвлекающие ходы не способны предотвратить ход с превращением пешки в ферзя. В этом случае принято считать, что отвлекающие ходы выводят неизбежный ход с превращением пешки в ферзя “за пределы горизонта поиска” — в то место, где опасный ход невозможно обнаружить.
По мере того как совершенствование аппаратных средств, применяемы^ для ведения игры в шахматы, приводит к увеличению глубины поиска, становится все более возможным то, что эффект горизонта будет возникать не так часто, поскольку очень длинные последовательности ходов, позволяющие отсрочить выполнение нежелательного хода, Возникают крайне редко. Для предотвращения эффекта горизонта без слишком значительного увеличения стоимости поиска оказалось также весьма эффектным использование М одинарных расширений. Одинарным расширением называется ход, который “безусловно лучше” по сравнению со всеми другими ходами в данной конкретной позиции. Поиск с одинарным расширением позволяет выйти за обычные пределы глубины поиска без внесения значительных издержек, поскольку в нем коэффициент ветвления равен 1. (Поиск спокойной позиции может рассматриваться как один из вариантов одинарных расширений.) На рис. 6.7 поиск с одинарным расширением позволяет найти выполняемый в конечном итоге ход превращения пешки в ферзя, при условии, что ходы черных с объявлением шаха и ходы белых королем могут быть определены как “безусловно лучшие” по сравнению с другими вариантами.
Ход черных
Рис. 6.7. Проявление эффекта горизонта. Серия шахов черной ладьей приводит к принудительному выводу неизбежного хода белых с превращением пешки в ферзя “за горизонт”, в связи с чем эта позиция начинает казаться допускающей выигрыш черных, тогда как фактически она является выигрышной для белых
До сих пор речь шла о том, что прекращение поиска на определенном уровне и выполнение альфа-бета-отсечения, по-видимому, не влияет на результат. Существует также возможность выполнять ^ предварительное отсечение, а это означает, что некоторые ходы в данном конкретном узле отсекаются немедленно,
без дальнейшего рассмотрения. Очевидно, что большинство людей, играющих в шахматы, рассматривают лишь несколько ходов из каждой позиции (по крайней мере, сознательно). К сожалению, этот подход является довольно опасным, поскольку нет никакой гарантии того, что не произойдет отсечение лучшего хода. А если отсечение применяется недалеко от корня, результат может оказаться катастрофическим, поскольку слишком часто возникают такие ситуации, что программа пропускает некоторые “очевидные” ходы. Предварительное отсечение может использоваться безопасно в особых ситуациях (например, если два хода являются симметричными или эквивалентными по каким-то другим признаками, то необходимо рассматривать только один из них) или при анализе узлов, которые находятся глубоко в дереве поиска.
В результате совместного использования всех методов, описанных выше, появляется возможность создать программу, которая неплохо играет в шахматы (или другие игры). Предположим, что реализована функция оценки для шахмат, предусмотрена разумная проверка останова в сочетании с поиском спокойной позиции, а также предусмотрена большая таблица транспозиций. Кроме того, предположим, что, затратив целые месяцы на скрупулезную разработку программ, функционирующих на уровне битов, мы получили возможность формировать и оценивать примерно миллион узлов в секунду на новейшем персональном компьютере, что позволяет выполнять поиск приблизительно среди 200 миллионов узлов в расчете на каждый ход при стандартном контроле времени (три минуты на каждый ход). Коэффициент ветвления для шахмат составляет в среднем примерно 3 5, а3 55 равно приблизительно 50 миллионам, поэтому при использовании минимаксного поиска мы получим возможность заглядывать вперед лишь приблизительно на пять полуходов. Такая программа, хотя и не совсем некомпетентная, может быть легко обманута человеком, игроком в шахматы среднего уровня, который иногда способен планировать на шесть или восемь полуходов вперед. Альфа- бета-поиск позволяет достичь глубины приблизительно в 10 полуходов, что приводит к усилению игры до уровня мастера. В разделе 6.7 описаны дополнительные методы отсечения, которые позволяют увеличить эффективную глубину поиска примерно до 14 полуходов. Чтобы достичь уровня гроссмейстера, требуется тщательно настроенная функция оценки и большая база данных с записями оптимальных ходов в дебюте и эндшпиле. Не мешало бы также иметь суперкомпьютер для эксплуатации на нем такой программы!
Игры, которые включают элемент случайности
В реальной жизни происходит много непредсказуемых внешних событий, из-за которых люди попадают в непредвиденные ситуации. Эта непредсказуемость отражается во многих играх за счет включения элемента случайности, такого как метание жребия. Таким образом, игры с элементов случайности позволяют нам на один шаг приблизиться к реальности и поэтому имеет смысл рассмотреть, как это отражается на процессе принятия решений.
Одной из типичных игр, в которых сочетается удача и искусство, являются нарды. Перед каждым своим ходом игрок бросает кубики для определения допустимых
ходов. Например, в позиции игры в нарды, приведенной на рис. 6.8, белым выпали очки 6-5 и они имеют четыре возможных хода.
Рис. 6.8. Типичная позиция игры в нарды. Цель игры состоит в том, чтобы снять с доски все фишки. Белые ходят по часовой стрелке к полю 25, а черные — против часовой стрелки к полю 0. Фишка может переходить на любое поле, если на нем не находится несколько фишек противника; если же на этом поле есть только одна фишка противника, она попадает в плен и должна начать свое движение с самого начала. В показанной здесь позиции белые после метания жребия получили очки 6-5 и должны выбирать среди четырех допустимых ходов: (5-10,5-11), (5-11,19-24), (5-10,10-16) и (5-11,11-16)
Хотя белым известно, каковы их допустимые ходы, они не знают, какие очки принесет метание жребия черным, и поэтому не могут определить, какими будут допустимые ходы черных. Это означает, что белые не имеют возможности сформировать стандартное дерево игры такого типа, которое встретилось нам в шахматах, а также крестиках-ноликах. Дерево игры в нарды, кроме узлов мах и min, должно включать ^ узлы жеребьевки. Узлы жеребьевки обозначены на рис. 6.9 кружками. Ветви, ведущие от каждого узла жеребьевки, обозначают возможные результаты метания жребия, поэтому каждая из них отмечена надписью с указанием количества очков и вероятности, с которой могут быть получены эти очки. Существуют 36 различных сочетаний очков на двух кубиках, и все они являются равновероятными; но поскольку такие сочетания очков, как 6-5 и 5-6, являются одинаковыми, имеется только 21 различимое сочетание очков. Вероятность появления шести дублей (от 11 до 6-6) равна 1/36, а каждое из 15 остальных различных сочетаний очков имеет вероятность 1/18.
Рис. 6.9. Схематическое изображение дерева игры для одной из позиций игры в нарды
Следующий этап состоит в том, чтобы понять, как следует принимать правильные решения. Безусловно, и в этом случае требуется найти такой ход, который ведет к наилучшей позиции. Однако результирующие позиции не имеют определенных минимаксных значений. Вместо этого существует возможность вычислить только ожидаемое значение, в котором ожидаемый результат устанавливается с учетом всех возможных выпадений жребия, которые могут произойти. Это приводит к обобщению минимаксного значения для детерминированных игр до М ожидаемого минимаксного значения (expectiminimax value) для игр с узлами жеребьевки. Терминальные узлы и узлы МАХ и MIN (для которых известны результаты жеребьевки) применяются точно так же, как и прежде, а узлы жеребьевки оцениваются путем получения взвешенного среднего значений, полученных в результате всех возможных выпадений жребия, т.е. следующим образом:
Expectiminimax(п) =
<Utility(n), если п - терминальное состояние
maxExpectiminimax(s), если п - узел МАХ
sG Successors(n)
m^nExpectiminimax(s), если n - узел MIN
sG Successors(n)
y^P(s)-Expectiminimax (s) , если n - узел жеребьевки
VsG Successors (n)
где функция определения преемника для узла жеребьевки п просто дополняет состояние п каждым возможным выпадением жребия для формирования каждого преемника s,aP(s) — вероятность, с которой происходит выпадение жребия. Результаты вычисления этих уравнений могут резервироваться рекурсивно во всех узлах вплоть до корня дерева точно так же, как и в минимаксном алгоритме. Оставляем читателю проработку всех деталей этого алгоритма в качестве упражнения.
Оценка позиции в играх с узлами жеребьевки
По аналогии с минимаксными значениями, очевидный подход к использованию ожидаемых минимаксных значений состоит в том, чтобы останавливать поиск в некоторой точке и применять функцию оценки к каждому листу. На первый взгляд может показаться, что функции оценки для таких игр, как нарды, должны быть полностью подобными функциям оценки для шахмат, ведь от них требуется лишь то, чтобы они присваивали более высокие оценки лучшим позициям. Но в действительности наличие узлов жеребьевки означает, что требуется более тщательный анализ смысла таких оценочных значений. На рис. 6.10 показано, что происходит в играх с элементами случайности — при использовании функции оценки, которая присваивает листьям значения [1,2,3,4], наилучшим является ход А3, а если присваиваются значения [1,20,30,400], наилучшим становится ход д2. Поэтому программа ведет себя полностью по-разному, если вносятся изменения в шкалу некоторых оценочных значений! Как оказалось, такой чувствительности к изменению шкалы можно избежать при условии, что функция оценки представляет собой положительную линейную трансформацию вероятности выигрыша из некоторой позиции (или, в более общем смысле, ожидаемой полезности данной позиции). В этом состоит важное и общее свойство ситуаций, связанных с наличием неопределенности, и это свойство дополнительно рассматривается в главе 16.
Рис. 6.10. Пример того, что в результате трансформации оценочных значений листьев, при которой не изменяется упорядочение этих значений, наилучший ход становится другимРис. 6.10. Пример того, что в результате трансформации оценочных значений листьев, при которой не изменяется упорядочение этих значений, наилучший ход становится другим
Рис. 6.10. Пример того, что в результате трансформации оценочных значений листьев, при которой не изменяется упорядочение этих значений, наилучший ход становится другим
Рис. 6.10. Пример того, что в результате трансформации оценочных значений листьев, при которой не изменяется упорядочение этих значений, наилучший ход становится другим
Сложность оценки ожидаемых минимаксных значений
Если бы в программе были заранее известны все выпадения жребия, которые должны произойти в течение остальной части игры, то поиск решения в игре с жеребьевкой был бы полностью аналогичным поиску решения в игре без жеребьевки, который осуществляется минимаксным алгоритмом поиска за время О (If). Но поскольку в алгоритме, использующем ожидаемые минимаксные значения, рассматриваются также все возможные последовательности выпадения жребия, для его работы требуется время O(tfif), где п — количество различных вариантов выпадения жребия.
Даже если глубина поиска ограничена некоторой небольшой величиной d, из-за таких дополнительных затрат времени, намного более значительных по сравнению с минимаксным алгоритмом, в большинстве игр с элементами случайности становится неосуществимым стремление заглянуть в дерево поиска на очень большую глубину. В нардах п равно 21, а b обычно составляет приблизительно 20, но в некоторых ситуациях может достигать величины 4000 для выпадений жребия, включающих повторяющиеся очки. По-видимому, все, на что можно рассчитывать, — это заглянуть вперед на три полухода.
Еще один способ размышления об этой проблеме состоит в следующем: преимуществом альфа-бета-поиска является то, что в нем игнорируются будущие направления развития игры, которые просто не должны быть реализованы, если в игре всегда выбирается наилучший ход. Поэтому альфа-бета-поиск сосредоточивается на наиболее вероятных событиях. В играх с жеребьевкой вероятных последовательностей ходов не может быть, поскольку, для того, чтобы были сделаны данные ходы, вначале должен выпасть правильный жребий, который сделал бы их допустимыми. В этом заключается общая проблема, возникающая в любой такой ситуации, когда в картину мира вмешивается неопределенность: количество вариантов дальнейших действий умножается в чрезвычайной степени, а формирование подробных планов действий становится бессмысленным, поскольку мир, скорее всего, будет играть совсем в другую игру.
Несомненно, читателю уже приходила в голову мысль, что к деревьям игр с узлами жеребьевки, по-видимому, можно было бы применить какой-то метод, подобный альфа-бета-отсечению. Как оказалась, такая возможность действительно существует. Анализ узлов MIN и МАХ остается неизменным, но можно также обеспечить отсечение узлов жеребьевки с использованием некоторой доли изобретательности. Рассмотрим узел жеребьевки С, приведенный на рис. 6.9, и определим, что будет происходить со значением этого узла по мере исследования и оценки его дочерних узлов. Можно ли найти верхний предел значения С до того, как будут проверены все его дочерние узлы? (Напомним, что именно это требуется в альфа-бета-поиске для того, чтобы можно было выполнить отсечение узла и его поддерева.) На первый взгляд такое требование может показаться невыполнимым, поскольку значение узла С представляет собой среднее значение его дочерних узлов. А до тех пор пока не будут рассмотрены все выпадения жребия, это среднее может представлять собой что угодно, поскольку сами неисследованные дочерние узлы могут иметь вообще любое значение. Тем не менее, если будут установлены пределы допустимых значений функции полезности, то появится возможность определять пределы и этого среднего. Например, если будет установлено, что все значения полезности находятся в пределах от
+3 до -3, то значения листовых узлов становятся ограниченными, а это, в свою очередь, позволяет установить верхний предел значения узла жеребьевки, не рассматривая все его дочерние узлы.
Карточные игры
Карточные игры интересны не только тем, что они часто бывают связаны с денежными ставками, но и по многим другим причинам. Количество различных вариантов карточных игр чрезвычайно велико, но в данной главе мы сосредоточимся на таких вариантах, в которых карты тасуют случайным образом в начале игры и каждый игрок получает на руки карты, которые он не показывает другим игрокам. К таким играм относятся бридж, вист, “Червы” и некоторые виды покера.
На первый взгляд может показаться, что карточные игры полностью аналогичны играм с жеребьевкой: раздача карт происходит случайным образом, а сами карты определяют, какие ходы могут быть сделаны каждым игроком. Однако в картах вся жеребьевка происходит с самого начала! Это замечание будет обсуждаться ниже более подробно и будет показано, что такая особенность рассматриваемых карточных игр весьма полезна на практике. Вместе с тем, это замечание одновременно является совершенно неправильным по очень интересным причинам.
Представьте себе, что два игрока, мах и min, разыгрывают какую-то реальную раздачу по четыре карты в бридже с двумя игроками, в котором открыты все карты. На руках находятся следующие карты, и игрок МАХ должен ходить первым:
MAX: V 6 ♦ 6 * 9 8 MIN: V 4 * 2 * 10 5
Предположим, что игрок МАХ ходит с карты * 9. Теперь должен ходить игрок MIN, который может выбросить карту * 10 или * 5. Игрок MIN кладет карту * 10 и забирает взятку. Затем очередь хода переходит к игроку MIN, который ходит картой * 2. У игрока МАХ масти пика нет (и поэтому он не может забрать эту взятку), следовательно, он обязан выбросить какую-то другую карту. Очевидным вариантом является карта ♦ 6, поскольку две другие оставшиеся карты являются старшими. Теперь, какой бы картой не ходил игрок MIN во время следующего розыгрыша, игрок МАХ возьмет две оставшиеся взятки и игра окончится ничьей, при двух взятках у каждого игрока. С использованием подходящего варианта минимаксного поиска (см. упр. 6.12) можно легко показать, что фактически ход картой * 9, сделанный игроком МАХ, был оптимальным.
Теперь заменим карты на руках игрока MIN и вместо карты v 4 введем карту ♦ 4:
MAX: V 6 ♦ 6 * 9 8 MIN: ♦ 4 * 2 * 10 5
Рассматриваемые два случая являются полностью симметричными: ход игры будет одинаковым, за исключением того, что при розыгрыше второй взятки игрок МАХ выбросит карту v 6. Игра снова окончится ничьей при двух взятках у каждого игрока, и ход картой * 9 является оптимальным.
До сих пор все шло хорошо. А теперь скроем одну из карт игрока MIN и допустим, что игрок МАХ знает, что у игрока MIN на руках либо первая раздача (с картой v 4), либо вторая раздача (с картой ♦ 4), но он не знает, какая именно из них. Игрок МАХ рассуждает следующим образом.
Ход картой * 9 является оптимальным решением в игре против первой и второй раздачи на руках игрока MIN, поэтому теперь этот ход должен быть оптимальным, поскольку известно, что на руках у игрока MIN имеется один из этих двух вариантов раздачи.
На более обобщенном уровне можно сказать, что игрок мах использует подход, который может быть назван “усреднением по прогнозам”. Идея его состоит в том, чтобы при наличии карт на руках у противника, которые не видны игроку, оценивать каждый возможный вариант действий, вначале вычисляя минимаксное значение этого действия применительно к каждой возможной раздаче карт, а затем вычисляя ожидаемое значение по всем раздачам с использованием вероятности каждой раздачи.
Если читатель посчитает такой подход разумным (или если он не может судить о нем, поскольку не знаком с бриджем), то ему следует поразмыслить над приведенным ниже рассказом.
Первый день. Дорога А ведет к куче золотых слитков; дорога В ведет к развилке. Если вы от развилки пойдете налево, то найдете гору драгоценностей, а если пойдете направо, то попадете под автобус.
Второй день. Дорога А ведет к куче золотых слитков; дорога В ведет к развилке. Если вы от развилки пойдете направо, то найдете гору драгоценностей, а если пойдете налево, то попадете под автобус.
Третий день. Дорога А ведет к куче золотых слитков; дорога В ведет к развилке. Если вы от развилки выберете правильное направление, то найдете гору драгоценностей, а если неправильное, то попадете под автобус.
Очевидно, что в первые два дня решение выбрать дорогу в не лишено смысла, но в третий день ни один человек в здравом уме не выберет дорогу в. Однако именно такой вариант подсказывает метод усреднения по прогнозам: дорога в является оптимальной в ситуациях, возникающих в первый и второй дни, поэтому она оптимальна и в третий день, поскольку должна иметь место одна из двух предыдущих ситуаций. Вернемся к карточной игре: после того как игрок мах пойдет картой * 9, игрок MIN заберет взятку картой * 10. Как и прежде, min пойдет с карты * 2, но теперь игрок мах окажется перед развилкой на дороге без каких-либо указаний. Если игрок МАХ выбросит карту v 6, а у игрока MIN все еще будет оставаться карта v 4, то эта карта v 4 станет козырной и игрок МАХ проиграет игру. Аналогичным образом, если игрок МАХ выбросит карту ♦ 6, а у игрока MIN все еще будет оставаться карта ♦ 4, игрок МАХ также проиграет. Поэтому игра с первым ходом картой * 9 ведет к ситуации, в которой игрок МАХ имеет 50%- ную вероятность проигрыша. (Для него было бы гораздо лучше вначале сыграть картами v 6 и ♦ 6, гарантируя для себя ничейную игру.)
Из всего этого можно извлечь урок, что при недостатке информации игрок должен учитывать, какую информацию он будет иметь в каждый момент игры. Недостаток алгоритма, применяемого игроком мах, состоит в том, что в нем предполагается, будто при каждой возможной раздаче игра будет развиваться так, как если бы все карты оставались видимыми. Как показывает данный пример, это вынуждает игрока МАХ действовать таким образом, как будто неопределенность разрешится, когда настанет время. Кроме того, в алгоритме игрока МАХ никогда не принимается решение, что нужно собирать информацию (или предоставлять информацию партнеру), поскольку этого не требуется делать в рамках каждой отдельной раздачи; тем не менее в таких играх, как бридж, часто бывает целесообразно сыграть такой кар-
той, которая помогла бы кое-что узнать о картах противника или сообщить партнеру о своих собственных картах. Такие стереотипы поведения формируются автоматически оптимальным алгоритмом ведения игр с неполной информацией. Подобный алгоритм выполняет поиск не в пространстве состояний мира (под этим подразумеваются карты, находящиеся на руках у игроков), а в пространстве доверительных состояний (представлений о том, кто какие карты имеет и с какими вероятностями). Авторы смогут объяснить этот алгоритм должным образом в главе 17 после разработки всего необходимого вероятностного инструментария. А в данной главе необходимо также остановиться на одном заключительном и очень важном замечании: в играх. с неполной информацией лучше всего выдавать противнику как можно меньше информации, а наилучший способ сделать это чаще всего состоит в том, чтобы действовать непредсказуемо. Вот почему санитарные врачи, посещая для проверки предприятия общественного питания, не сообщают заранее о своих визитах.
Современные игровые программы
Публичная демонстрация программ ведения игр представляет собой для искусственного интеллекта примерно то же, что и участие в автогонках международного масштаба для автомобильной промышленности — суперсовременные игровые программы действуют поразительно быстро, чрезвычайно тщательно настроенные компьютеры воплощают в себе наиболее качественные инженерные решения, но это все не предназначено для рядового покупателя. А некоторые исследователи даже считают, что ведение игр представляет собой нечто, не имеющее отношения к основному направлению развития искусственного интеллекта. Тем не менее эта область продолжает порождать не только всеобщее восхищение, но и постоянный поток инноваций, которые затем усваиваются более широким сообществом разработчиков.
^ Шахматы. В 1957 году Герберт Саймон предсказал, что через 10 лет компьютеры победят человека — чемпиона мира по шахматам. Через сорок лет программа Deep Blue победила Гарри Каспарова в показательном матче из шести игр. Саймон ошибся, но лишь с коэффициентом 4. Каспаров писал:
Решающей игрой в этом матче была вторая партия, которая оставила глубокий след в моей памяти... Мы наблюдали события, которые намного превосходили самые невероятные ожидания в отношении того, насколько хорошо компьютер будет способен предвидеть долговременные позиционные последствия своих решений. Машина отказалась перейти в позицию, имеющую явное, но кратковременное преимущество, продемонстрировав вполне человеческое ощущение опасности [774].
Программа Deep Blue была создана Мьюрреем Кэмпбеллом, Фенгсюнг Су и Джозефом Хоаном из компании IBM [216] на основе проекта Deep Thought, разработанного ранее Кэмпбеллом и Су в университете Карнеги—Меллона (Carnegie—Mellon University — CMU). Компьютер-победитель представлял собой параллельный компьютер с 30 процессорами IBM RS/6000. На этом компьютере эксплуатировались средства “программного поиска” и 480 специализированных СБИС шахматных процессоров, которые осуществляли выработку ходов (включая упорядочение ходов), “аппаратного поиска” для последних нескольких уровней дерева и проводилась оценка листовых узлов. В программе Deep Blue в среднем осуществлялся поиск 126 миллионов узлов в секунду, а пиковая скорость достигала 330 миллионов узлов в
секунду. Эта программа формировала вплоть до 30 миллиардов позиций в расчете на каждый ход, обычно достигая глубины поиска 14. Основой этой программы является стандартный альфа-бета-поиск с итеративным углублением на основе таблицы транспозиций, но ключом к успеху этой программы, по-видимому, стала ее способность вырабатывать расширения, выходящие за пределы глубины поиска для достаточно интересных линий форсирующих/форсированных ходов. В некоторых случаях этот поиск достигал глубины в 40 полуходов. Функция оценки охватывала свыше 8000 характеристик, причем многие из них описывали в высшей степени специфичные шаблоны расположения фигур. Использовался справочник дебютов, состоящий примерно из 4000 позиций, а также база данных с 700 000 игр гроссмейстеров, из которой программа могла извлекать согласованные рекомендации. Кроме того, в этой системе применялась большая база данных эндшпилей, состоящая из позиций с решениями, в которой содержались все позиции с пятью фигурами и многие позиции с шестью фигурами. Использование этой базы данных привело к значительному увеличению эффективной глубины поиска, что позволило программе Deep Blue в некоторых случаях играть идеально даже за много ходов до мата.
Успех программы Deep Blue укрепил и без того широко распространенное мнение, что прогресс в области ведения компьютерных игр достигается главным образом за счет все более мощного аппаратного обеспечения; к тому же распространение таких взглядов стимулировалось компанией IBM. Создатели программы Deep Blue, с другой стороны, утверждают, что важную роль сыграло также расширение поиска и применение продуманной функции оценки [216]. Более того, нам известно, что некоторые новейшие алгоритмические усовершенствования позволяют программам, работающим на стандартных персональных компьютерах, побеждать на каждом мировом чемпионате по компьютерным шахматам с 1992 года и часто наносить поражение противникам с массовой параллельной архитектурой, способным выполнять поиск в 1000 раз большего количества узлов в секунду. Для сокращения эффективного коэффициента ветвления меньше чем до 3 (по сравнению с фактическим коэффициентом ветвления, составляющим около 35) применяются всевозможные эвристики отсечения. Наиболее важной из них является эвристика с ^ пустым ходом, в которой вырабатывается хороший нижний предел значения позиции с использованием поверхностного поиска, в котором противнику в начале игры разрешается сделать ход дважды. Этот нижний предел часто позволяет выполнять альфа- бета-отсечение без затрат на полный поиск в глубину. Является также важным метод М отсечения ненужных ходов, который позволяет решить заранее, какие ходы вызовут альфа-бета-отсечение в узлах-преемниках.
Группа разработчиков Deep Blue отказалась воспользоваться шансом провести матч-реванш, предложенный Каспаровым. Вместо этого в одном из самых последних крупных соревнований в 2002 году против чемпиона мира Владимира Крамника выступила программа Fritz. Матч из восьми игр окончился ничьей. Условия этого матча были гораздо более благоприятными для человека, и в качестве аппаратного обеспечения использовался обычный персональный компьютер, а не суперкомпьютер. Тем не менее Крамник прокомментировал этот матч так: “Теперь очевидно, что эта самая лучшая программа и чемпион мира играют примерно на равных”.
^ Шашки. Начиная с 1952 года Артур Самюэл из компании IBM в свое свободное время занимался разработкой программы игры в шашки, которая совершенствовала с помощью обучения свою собственную функцию оценки, играя сама с собой
тысячи раз. Эта идея будет описана более подробно в главе 21. Программа Самюэла вначале играла на уровне новичка, но всего лишь через несколько дней игры с самой собой усовершенствовалась до такого уровня, что стала побеждать Самюэла (хотя он не был сильным игроком). В 1962 году эта программа победила Роберта Нили, чемпиона игры в шашки “вслепую”, благодаря ошибке с его стороны. Многие в то время посчитали, что компьютеры уже играют в шашки лучше людей, но фактически этого еще не произошло. Тем не менее, если учесть то, что вычислительное оборудование, использовавшееся Самюэлом (компьютер IBM 704), имело 10 000 слов основной памяти, магнитную ленту для долговременного хранения и процессор с частотой 0,000001 ГГц, эта победа остается большим достижением.
Превзойти данное достижение пытались многие, и, наконец, Джонатан Шеффер со своими коллегами разработал программу Chinook, которая работает на обычных персональных компьютерах и использует альфа-бета-поиск. В программе Chinook применяется заранее вычисленная база данных из всех 444 миллиардов позиций с восьмью или меньшим количеством шашек на доске, что позволяет ей играть в эндшпиле безошибочно. Программа Chinook заняла второе место в 1990 году на открытом чемпионате США и завоевала право сделать заявку на участие в мировом чемпионате. Но затем эта программа столкнулась с проблемой в лице Мэриона Тинсли. Доктор Тинсли был чемпионом мира свыше 40 лет, проиграв за все это время только три партии. В первом матче против программы Chinook Тинсли потерпел свое четвертое и пятое поражение, но выиграл матч со счетом 20,5-18,5. Матч на звание чемпионата мира в августе 1994 года между Тинсли и программой Chinook закончился преждевременно, поскольку Тинсли был вынужден сдаться из-за ухудшения состояния здоровья. Программа Chinook была официально признана чемпионом мира.
Шеффер считает, что при наличии достаточной вычислительной мощи база данных с эндшпилями может быть увеличена до такой степени, что прямой поиск из начальной позиции будет всегда достигать решенных позиций, т.е. задача игры в шашки должна быть полностью решена. (Программа Chinook иногда объявляла о своем выигрыше на пятом ходу.) Исчерпывающий анализ такого рода может быть выполнен вручную для игры в крестики-нолики 3x3 и с помощью компьютера для игр Qubic (объемные крестики-нолики 4x4x4), гомоку (пять в ряд) и Nine-Men’s Morris (Мельница) [524]. В замечательной работе Кена Томпсона и Льюиса Стиллера [1464] приведены решения всех шахматных эндшпилей с пятью фигурами и некоторых эндшпилей с шестью фигурами, причем эти результаты предоставлены для всеобщего доступа в Internet. Стиллер обнаружил один вариант, в котором достигался форсированный мат, но он состоял из 262 ходов; этот результат вызвал некоторый переполох, поскольку в шахматных правилах установлено, чтобы в течение 50 ходов происходил хоть какой-то “прогресс”, иначе засчитывается ничья.
Игра ^ “Отелло”, называемая также “Реверси”, по-видимому, более популярна как компьютерная игра, а не настольная. Она имеет меньшее пространство поиска, чем шахматы, поскольку в ней обычно имеется от 5 до 15 допустимых ходов, но опыт в оценке позиций в ней пришлось накапливать буквально с нуля. В 1997 году программа Logistello [209] победила человека — чемпиона мира, Такеси Мураками, со счетом 6:0. Теперь общепризнано, что люди не могут соревноваться с компьютерами в игре “Отелло”.
^ Нарды. В разделе 6.5 описано, почему из-за включения элемента неопределенности, вызванного метанием жребия, глубокий поиск становится дорогостоящей
роскошью. В области игры в нарды было предпринято много усилий по усовершенствованию функции оценки. Гэри Тесауро [1499] использовал сочетание метода обучения с подкреплением Самюэла и методов нейронных сетей (глава 20) для разработки удивительно точного средства оценки, которое использовалось при поиске на глубину 2 или 3. Сыграв против самой себя больше миллиона тренировочных игр, разработанная Гэри Тесауро программа TD-Gammon по праву заняла место среди лучших трех игроков мира. Некоторые рекомендации этой программы по выбору дебютных ходов в начальной стадии игры в нарды радикально расходились с “мудрыми” советами, передававшимися из поколения в поколение в течение многих веков.
^ Го — это наиболее популярная настольная игра в Азии, которая для полного овладения мастерством требует от профессионалов столько же усилий, как шахматы. Поскольку в ней доска имеет размеры 19x19, коэффициент ветвления начинается с 361, а эта величина слишком обременительна для обычных методов поиска. Вплоть до 1997 года вообще не было ни одной достаточно компетентной программы, но теперь программы часто делают ходы, достойные уважения. В большинстве наилучших программ сочетаются методы распознавания шаблонов (в которых используется принцип — при появлении такого-то шаблона из камней необходимо рассмотреть такой-то ход) с ограниченным поиском (для выработки решения о том, следует ли стремиться к захвату таких-то камней, не выходя за пределы данной локальной области). Ко времени написания данной книги, по-видимому, самыми сильными программами были Goemate Чен Жишинга и Go4++ Майкла Рейса, каждая из которых достигает рейтинга, примерно равного 10 кю (уровень слабого любителя). Ведение игры го — это такая область, которая, скорее всего, достигнет развития в результате интенсивных исследований с использованием более сложных методов формирования рассуждений. Успех может быть достигнут в результате обнаружения способов интеграции нескольких линий локальных рассуждений о каждой из многих слабо связанных “субигр”, на которые может быть выполнена декомпозиция всей игры го. Подобные методы имели бы колоссальную ценность для всех интеллектуальных систем в целом.
М Бридж — это игра с неполной информацией: карты любого игрока скрыты от других игроков. Кроме того, бридж — это игра с несколькими игроками, в которой участвуют четыре игрока, а не два, хотя игроки разбиты по парам на две команды. Как было показано в разделе 6.5, оптимальная игра в бридж может включать элементы сбора информации, передачи информации, введения в заблуждение и тщательного взвешивания вероятностей. Многие из этих методов используются в программе Bridge Baron™ [1441], которая выиграла в 1997 году чемпионат мира по бриджу среди компьютеров. Хотя программа Bridge Baron не играет оптимальным образом, она представляет собой одну из немногих успешно действующих систем ведения игры, в которой используются сложные, иерархические планы (см. главу 12), основанные на таких идеях высокого уровня, как импас (finessing) и сквиз (squeezing), которые знакомы игрокам в бридж.
Чемпионат мира 2000 года с большим отрывом от соперников выиграла программа GIB [559]. В программе GIB используется метод “усреднения по прогнозам” с двумя важными модификациями. Во-первых, в этой программе вместо исследования того, насколько удачным окажется каждый вариант игры по отношению к каждому варианту возможного расположения скрытых карт (количество которых может достигать 10 миллионов), исследуется случайно выбранный образец из 100 располо-
жений. Во-вторых, в программе GIB используется обобщение на основе объяснения для вычисления и кэширования общих правил оптимальной игры в виде определений различных стандартных классов ситуаций. Это позволяет данной программе принимать точное решение в отношении каждой раздачи. Тактическая точность программы GIB компенсирует ее неспособность формировать рассуждения в отношении имеющейся информации. Она финишировала на 12-м месте среди 35 участников в парных соревнованиях (в которых предусматривался только розыгрыш карт, имеющихся на руках) в чемпионате мира среди людей в 1998 году, значительно превзойдя ожидания многих специалистов в этой области.
Обсуждение изложенных сведений
Поскольку вычисление оптимальных решений в играх чаще всего является неосуществимым, во всех алгоритмах необходимо использовать некоторые предположения и допущения. Стандартный подход, основанный на использовании минимаксных значений, функций оценки и альфа-бета-отсечения, представляет собой лишь один из способов достижения этой цели. По-видимому, из-за того, что он был предложен уже давно, этот стандартный подход интенсивно развивался и стал доминировать над другими методами, участвующими в борьбе за право на существование. Некоторые специалисты в этой области считают, что такое состояние дел стало причиной отделения проблематики ведения игр от основного направления развития исследований по искусственному интеллекту, поскольку этот стандартный подход больше не предоставляет большого простора для новых открытий, позволяющих найти ответы на общие вопросы в области принятия решений. В настоящем разделе описаны некоторые альтернативные варианты.
Вначале рассмотрим минимаксный поиск. Алгоритмы минимаксного поиска позволяют выбрать оптимальный ход в данном конкретном дереве поиска, при условии, что оценки листовых узлов являются абсолютно правильными. Но в действительности оценки обычно представляют собой грубые прогнозы стоимости той или иной позиции, поэтому можно считать, что с ними связаны существенные ошибки. На рис. 6.11 показано дерево игры с двумя полуходами, для которого минимаксный поиск представляется неподходящим. Минимаксный поиск подсказывает, что должна быть выбрана правая ветвь, тогда как весьма вероятно, что истинное значение левой ветви должно быть выше. Минимаксный выбор основывается на предположении, что все узлы, отмеченные значениями 100, 101, 102 и 100, действительно лучше, чем узел, отмеченный значением 99. Однако тот факт, что узел с отметкой 99 имеет сестринские узлы с отметками 1000, наводит на мысль, что фактически он может иметь более высокое истинное значение. Один из способов справиться с этой проблемой состоит в том, чтобы использовать какую-то оценку, которая возвращает распределение вероятностей среди возможных значений. В таком случае появляется возможность вычислить распределение вероятностей для значения родительского узла с использованием стандартных статистических методов. К сожалению, обычно значения сестринских узлов являются в высшей степени коррелированными, поэтому такое вычисление может оказаться дорогостоящим и требующим больших усилий для получения информации.
Затем рассмотрим алгоритм поиска, в котором формируется дерево. Каждый проектировщик алгоритмов стремится создать такой способ вычислений, который
действует быстро и позволяет определить хороший ход. Наиболее очевидным недостатком альфа-бета-алгоритма является то, что он предназначен не только для выбора хорошего хода, но и для расчета пределов значений всех допустимых ходов. Чтобы понять, почему эта лишняя информация часто не нужна, рассмотрим позицию, в которой имеется только один допустимый ход.
Рис. 6.11. Дерево игры с двумя полуходами, для которого минимаксный поиск может оказаться неподходящим
Альфа-бета-поиск все еще вырабатывает и оценивает большое и полностью бесполезное дерево поиска. Безусловно, можно предусмотреть в этом алгоритме какую-то проверку подобной ситуации, но она просто замаскирует основную проблему: многие вычисления, выполняемые в альфа-бета-алгоритме, практически ничего не дают для решения задачи. Ситуация, в которой имеется только один допустимый ход, ненамного отличается от той, где имеется несколько допустимых ходов, притом что один из них является правильным, а остальные — явно катастрофическими. В подобной ситуации наличия “четко выраженного фаворита” было бы желательно быстро достигать решения после проведения небольшого объема поиска, чем терять время, которое можно было бы использовать продуктивнее в дальнейшем, в более проблематичной позиции. Это ведет к идее полезности развертывания узла. Хороший алгоритм поиска должен выбирать варианты развертывания узлов с высокой полезностью, т.е. те варианты, которые, со всей вероятностью, приведут к обнаружению гораздо лучшего хода. Если же отсутствуют варианты развертывания узлов, полезность которых превышает их стоимость (измеряемую в затратах времени), то алгоритм должен прекратить поиск и выбрать ход. Следует отметить, что такое усовершенствование касается не только ситуаций с явными фаворитами, но и тех случаев, когда имеются симметричные ходы, для которых сколь угодно большой объем поиска не позволит показать, что один ход лучше другого. •
Рассуждения о том, какие вычисления следует выполнять, а какие нет, называются метарассуждениями (рассуждениями о рассуждениях). Этот подход распространяется не только на ведение игр, но и в целом на рассуждения любого рода. Все вычисления выполняются для того, чтобы выработать лучшие решения, все они имеют стоимость и характеризуются определенной вероятностью достижения конкретного улучшения качества решения. Альфа-бета-поиск представляет собой реализацию метарассуждений простейшего вида, а именно теоремы о том, что некоторые ветви дерева можно игнорировать без ущерба для всей игры. Но такие метарассуждения могут проводиться гораздо лучше. В главе 16 будет показано, как сделать изложенные идеи более точными и реализуемыми.
Наконец, еще раз рассмотрим природу самого поиска. Алгоритмы эвристического поиска и ведения игр действуют путем выработки последовательностей конкретных состояний (начиная от начального состояния), а затем применения функции оценки. Безусловно, люди играют в игры иначе. В шахматах игрок часто руководствуется конкретной целью (например, поймать ферзя противника) и может использовать эту цель для избирательной выработки осуществимых планов ее достижения. Иногда такого рода подход на основе рассуждений, управляемых целью, или планирования, позволяет полностью устранить комбинаторный поиск (см. часть IV). Программа Paradise Дэвида Уилкинса [1592] — это единственная программа, в которой с успехом использовались рассуждения, управляемые целью, для игры в шахматы; она оказалась способной решать некоторые шахматные задачи, для которых требовались комбинации из 18 ходов. Тем не менее еще нет полного понимания того, как объединить эти два типа алгоритмов в надежную и эффективную систему, хотя программа Bridge Baron может рассматриваться как шаг в правильном направлении. Полностью интегрированная система стала бы значительным достижением не только в области исследований ведения игр, но и для всех исследований по искусственному интеллекту в целом, поскольку послужила бы хорошей основой для создания интеллектуального агента общего назначения.
Резюме
В этой главе были проанализированы самые разные игры с тем, чтобы можно было понять, что означают слова “оптимальная игра”, а также узнать, как научиться хорошо играть на практике. Ниже изложены наиболее важные идеи, которые рассматривались в данной главе.
Любая игра может быть определена с помощью начального состояния (которое показывает, как осуществляется подготовка доски к игре), допустимых действий в каждом состоянии, проверки терминального состояния (позволяющей определить, когда игра окончена) и функции полезности, которая применяется к терминальным состояниям.
В играх с двумя игроками и нулевой суммой, характеризующихся полной информацией, для выбора оптимальных ходов с помощью перебора узлов в глубину в дереве игры может использоваться алгоритм минимаксного поиска.
Алгоритм альфа-бета-поиска вычисляет такие же оптимальные ходы, как и алгоритм минимаксного поиска, но позволяет достичь гораздо большей эффективности, удаляя поддеревья, которые, по всей вероятности, не нужны для поиска решения.
Обычно не представляется возможным рассматривать все дерево игры (даже с помощью альфа-бета-поиска), поэтому необходимо в какой-то точке останавливать поиск и применять функцию оценки, позволяющую определить приближенное значение полезности некоторого состояния.
Ведение игр с элементами случайности можно осуществить с помощью расширения алгоритма минимаксного поиска, в котором оцениваются узлы же-
ребьевки путем определения средней полезности всех их дочерних узлов с учетом вероятности каждого дочернего узла.
Для определения оптимальных ходов в играх с неполной информацией, таких как бридж, необходимо формировать рассуждения о текущем и будущем доверительных состояниях для каждого игрока. Одна из простых аппроксимаций может быть получена путем усреднения значения данного действия по всем возможным конфигурациям недостающей информации.
Программы способны соревноваться на равных или побеждать лучших игро- ков-людей в шашках, игре “Отелло” и в нардах, а также вплотную приблизились к ним в бридже. Программа победила чемпиона мира по шахматам в одном показательном матче. В игре го программы до сих пор остаются на любительском уровне.
Библиографические и исторические заметки
Ранняя история развития механических средств ведения игр была запятнана многочисленными случаями мошенничества. Наиболее известным из них был “Турок” барона Вольфганга фон Кемпелена (1734-1804). Это устройство выдавали за автомат для игры в шахматы и смогли с его помощью обмануть очень многих, в том числе Наполеона. Лишь в дальнейшем выяснилось, что это устройство представляет собой хитроумный ящик фокусника, в котором сидит человек, хорошо играющий в шахматы [919]. Игры с участием этого устройства проводились с 1769 по 1854 годы. В 1846 году Чарльз Бэббидж (который был в восторге от “Турка”) участвовал в одной из первых серьезных дискуссий на тему осуществимости задачи ведения игр в шахматы и шашки с помощью вычислительного устройства [1089]. Он также спроектировал, но не построил машину специального назначения для игры в крестики-нолики. Первая настоящая машина для ведения игры была построена примерно в 1890 году испанским инженером Леонардо Торресом и Кеведо. Она была специально предназначена для ведения шахматного эндшпиля “KRK” (King and Rook vs. King — король и ладья против короля) и гарантировала победу из любой позиции в игре с этими тремя фигурами.
В качестве первоисточника идеи алгоритма минимаксного поиска часто называют статью, опубликованную в 1912 году Эрнстом Цермело, основоположником современной теории множеств [1642]. К сожалению, эта статья содержала несколько ошибок, а алгоритм минимаксного поиска не был в ней описан.правильно. Солидный фундамент теории игр был создан в оригинальной работе Theory of Games and Economic Behavior [1546], которая содержала анализ, показывающий, что для некоторых игр требуются стратегии, которые являются рандомизированными (или становятся непредсказуемыми для противников по каким-то иным причинам). Дополнительная информация на эту тему приведена в главе 17.
На заре компьютерной эры возможность создания компьютерных шахмат интересовала многих важных деятелей в этой области. Конрад Цузе [1651] (первый, кто спроектировал программируемый компьютер) разработал довольно подробные предложения, касающиеся того, как может быть решена эта задача. Во влиятельной книге Cybernetics (Кибернетика) Норберта Винера [1589] обсуждался один возможный
проект создания шахматной программы и были высказаны идеи минимаксного поиска, останова на заданной глубине и применения функций оценки. Клод Шеннон [1395] изложил основные принципы создания современных программ ведения игр гораздо более подробно, чем Винер. Он ввел понятие поиска спокойной позиции, а также высказал некоторые идеи в отношении избирательного (неисчерпывающего) поиска в дереве игры. Слейтор [1430] и комментаторы его статьи также рассматривали возможности ведения игры в шахматы с помощью компьютера. В частности, Гуд [574] разработал понятие спокойной позиции независимо от Шеннона.
В 1951 году Алан .Тьюринг написал первую компьютерную программу, способную вести полную игру в шахматы [1521]. Но программа Тьюринга фактически никогда не эксплуатировалась на компьютере; она была испытана путем моделирования вручную в партии против очень слабого игрока-человека, который ее победил. Между тем, Д.Г. Принц [1238] написал и проверил на практике программу, которая решала шахматные задачи, но не могла вести полную игру. Первая программа, способная вести полную игру в стандартные шахматы, была написана Алексом Бернстейном [112], [113].
Джон Маккарти сформулировал идею альфа-бета-поиска в 1956 году, но не опубликовал свое открытие. В шахматной программе NSS [1128] используется упрощенная версия альфа-бета-поиска; она представляет собой первую шахматную программу, в которой было введено это усовершенствование. По данным Нильссона [1141], в программе игры в шашки Артура Самюэла [1349], [1350] также использовался альфа-бета-поиск, хотя Самюэл об этом не упоминал в опубликованных отчетах о своей системе. Статьи с описанием альфа-бета-поиска были опубликованы вначале 1960-х годов [198], [625], [1427]. Одна из реализаций полного альфа-бета- поиска описана Слаглем и Диксоном [1428] применительно к программе ведения игры калах. Кроме того, альфа-бета-поиск использовался в шахматной программе “Kotok-McCarthy”, написанной студентом Джоном Маккарти [847]. Кнут и Мур [810] изложили историю создания алгоритма альфа-бета-поиска, а также привели доказательство его правильности и представили результаты анализа временной сложности. Проведенный ими анализ альфа-бета-поиска со случайным упорядочиванием преемников показал его асимптотическую сложность О( (b/logb)d), что представляло собой довольно мрачный прогноз, поскольку соответствующий ему эффективный коэффициент ветвления b/logb не намного меньше, чем само значение Ь. После этого они отметили, что указанная асимптотическая формула является точной только для Ь>1000 или таких порядков величин, тогда как часто упоминаемое значение О (b3d/4) относится к тому диапазону коэффициентов ветвления, который чаще всего встречается в настоящих играх. Перл [1187] показал, что альфа- бета-поиск является асимптотически оптимальным среди всех алгоритмов поиска в дереве игры на постоянную глубину.
В первом шахматном матче между компьютерами участвовала программа Kotok— McCarthy и программа “ITEP” (Institute of Theoretical and Experimental Physics), написанная в середине 1960-х годов в Московском институте теоретической и экспериментальной физики (ИТЕФ) [4]. Этот межконтинентальный матч проводился по телеграфу. Он закончился в 1967 году победой программы ITEP со счетом 3:1. Первой шахматной программой, которая успешно соревновалась с людьми, была про-
грамма МасНаск 6 [594]. Ее рейтинг, примерно равный 1400, был намного выше 1000 — уровня начинающего, но все же далеко не достигал рейтинга 2800 или больше, который требовался для выполнения предсказания Герберта Саймона, высказанного в 1957 году, что компьютерная программа станет чемпионом мира по шахматам через 10 лет [1419].
Начиная с первого Североамериканского чемпионата АСМ по компьютерным шахматам, проведенного в 1970 году, между шахматными программами разгорелась серьезная конкуренция. Программы, разработанные в начале 1970-х годов, стали чрезвычайно сложными, насыщенными всевозможными ухищрениями, которые были предназначены для устранения некоторых ветвей поиска, выработки приемлемых ходов и т.д. В 1974 году в Стокгольме проводился первый чемпионат мира по компьютерным шахматам, в котором победила Kaissa [5], еще одна программа, разработанная в ИТЕФ. В программе Kaissa использовался гораздо более прямолинейный подход к организации исчерпывающего альфа-бета-поиска в сочетании с поиском спокойных позиций. Перспективность этого подхода была подтверждена убедительной победой программы Chess 4.6 на чемпионате мира по компьютерным шахматам в 1977 году. Программа Chess 4.6 исследовала до 400 000 позиций за каждый ход и имела рейтинг 1900.
Последняя версия разработанной Гринблаттом программы МасНаск 6 была первой шахматной программой, которая эксплуатировалась на специализированном аппаратном обеспечении, разработанном специально для шахмат [1094], но первой программой, в которой удалось добиться заметного успеха благодаря использованию заказного аппаратного обеспечения, была программа Belle [286]. Применявшееся в программе Belle аппаратное обеспечение для выработки ходов и оценки позиции позволяло ей исследовать несколько миллионов позиций за каждый ход. Программа Belle достигла рейтинга 2250 и стала первой программой уровня мастера. В университете CMU бывшим чемпионом мира по игре в шахматы по переписке Хансом Берлинером и его студентом Карлом Эбелингом была разработана система Hitech, также представлявшая собой компьютер специального назначения, который обеспечивал быстрое вычисление функций оценки [428], [108]. Система Hitech, которая вырабатывала около 10 миллионов позиций за ход, стала чемпионом Северной Америки по компьютерным шахматам в 1985 году и оказалась первой программой, которая смогла победить гроссмейстера-человека в 1987 году. Система Deep Thought, которая также была разработана в университете CMU, явилась еще одним шагом в направлении чистого ускорения поиска [697]. Она достигла рейтинга 2551 и стала предшественником системы Deep Blue. В 1980 году была основана премия Фредкина (Fredkin), в которой было предложено 5000 долларов за первую программу, достигшую уровня мастера, 10 000 долларов за первую программу, достигшую рейтинга 2500 USCF (United States Chess Federation — Шахматная федерация США) (что примерно соответствует уровню гроссмейстера), и 100 000 долларов за первую программу, победившую чемпиона мира по шахматам. Премию 5000 долларов получила программа Belle в 1983 году, премию 10 000 долларов — система Deep Thought в 1989 году, а премию 100 000 долларов — система Deep Blue за победу над Гарри Каспаровым в 1997 году. Необходимо учитывать, что успех Deep Blue был обусловлен не только усовершенствованием аппаратных средств, но и применением лучших алгоритмов [216], [696]. Применение таких методов, как эвристика нулевого хода [90], привело к созданию программ, которые стали весьма избирательными в своих поисках. В последних трех чемпионатах мира по компьютерным шахматам, проводив-
шихся в 1992, 1995 и 1999 годах, победили программы, работающие на стандартных персональных компьютерах. По-видимому, наиболее полное описание современной шахматной программы предоставлено Эрнстом Хейнцем [644], чья программа DarkThought получила самый высокий рейтинг среди некоммерческих программ для персональных компьютеров на чемпионате мира 1999 года.
Для преодоления проблем, связанных со “стандартным подходом”, кратко описанных в разделе 6.7, было предпринято несколько попыток. По-видимому, первым избирательным алгоритмом поиска, в котором учитывались некоторые теоретические обоснования методов сокращения поиска, был В* [105], в котором предпринята попытка устанавливать интервальные пределы возможных значений узла в дереве игры, а не давать единственную точечную оценку. Листовые узлы выбираются для развертывания в целях уточнения пределов верхнего уровня до тех пор, пока не обнаруживается ход, который “безусловно является наилучшим”. Палей [1165] развил идею алгоритма В*, используя распределения вероятностей значений вместо интервалов. В алгоритме поиска конспиративного числа (conspiracy number search) Дэвида Маккаллестера [1004] предусмотрено развертывание листовых узлов, которые, изменяя свои значения, могут вынудить программу предпочесть новый ход от корня. В алгоритме MGSS* [1331] используются описанные в главе 16 методы теории решений для оценки стоимости развертывания каждого листа с точки зрения ожидаемого усовершенствования качества решения, формируемого от корня. Этот алгоритм превзошел альфа-бета-алгоритм, применяемый в игре “Отелло”, несмотря на то, что в нем проводился поиск среди узлов, количество которых было на порядок меньше. Вообще говоря, подход, принятый в алгоритме MGSS*, может применяться для управления размышлениями в любой форме.
Альфа-бета-поиск во многих отношениях представляет собой аналог поиска на основе метода ветвей и границ, который был превзойден поиском А* в случае с одним агентом, если не считать того, что альфа-бета-поиск рассчитан на двух игроков. Алгоритм SSS* [1466] может рассматриваться как поиск А* для двух игроков; в нем для достижения того же решения никогда не развертывается больше узлов, чем в алгоритме альфа-бета-поиска. В его первоначальной форме алгоритм SSS* предъявлял чрезмерные требования к памяти и характеризовался значительными вычислительными издержками на сопровождение очереди, поэтому был практически не применимым. Тем не менее на основе алгоритма RBFS была разработана версия SSS* с линейно возрастающими потребностями в пространстве [843]. Плат и др. [1214] разработали новый подход к реализации алгоритма SSS* как комбинации альфа-бета-поиска и таблиц транспозиции, показали, как преодолеть недостатки первоначального алгоритма, и создали новый вариант, называемый MTD(0, который нашел свое применение во многих превосходных программах.
Д.Ф. Бил [89] и Дана Нау [1113], [1114] изучали недостатки минимаксного поиска, касающиеся приближенных оценок. Они показали, что при некоторых предположениях о независимости распределения листовых значений в дереве применение минимаксного поиска может привести к получению таких значений для корня, которые фактически являются менее надежными, чем полученные с помощью непосредственного использования самой функции оценки. В книге Перла Heuristics [1188] дано частичное объяснение этого кажущегося парадокса и приведен анализ многих алгоритмов ведения игр. Баум и Смит [83] предложили заменить алгоритм минимаксного поиска алгоритмом, основанном на учете вероятностей, и показали, что он приводит к осуществлению лучших вариантов выбора в некоторых играх.
Но объем теоретических результатов исследования влияния останова поиска на разных уровнях и применения функций оценки все еще остается недостаточным.
Алгоритм поиска на основе ожидаемого минимаксного значения был предложен Дональдом Мичи [1043], хотя, безусловно, он непосредственно следует из принципов оценки дерева игры, выдвинутых фон Нейманом и Моргенштерном. Брюс Боллард [65] распространил метод альфа-бета-отсечения на деревья с узлами жеребьевки. Первый успешно действующей программой игры в нарды была разработанная Берлинером программа BKG [104], [107]; в ней использовалась сложная, сконструированная вручную функция оценки, а поиск осуществлялся только на глубину 1. Это была первая программа, которая смогла победить чемпиона мира — человека в одной из основных классических игр [106]. По завершении соревнований Берлинер сразу же объявил, что это был очень короткий показательный матч (а не матч чемпионата мира) и что программе BKG очень повезло со жребием. Работа Герри Тесауро, приведшая вначале к созданию программы Neurogammon [1498], а затем TD-Gammon [1500], показала, что гораздо лучшие результаты могут быть достигнуты с помощью обучения с подкреплением. Эта тема будет рассматриваться более подробно в главе 21.
Первой из классических игр, полное решение которой было найдено компьютером, оказались не шахматы, а шашки. Кристофер Стрейчи [1469] написал первую работоспособную программу игры в шашки. Шеффер [1357] составил очень доступный отчет о разработке программы Chinook, ставшей чемпионом мира по шашкам, в котором все факты изложены “без прикрас”.
Первые программы для игры го были разработаны немного позднее по сравнению с программами для шашек и шахмат [906], [1281], а их развитие происходило более медленно. Райдер [1334] использовал подход, основанный исключительно на использовании поиска в сочетании с всевозможными методами избирательного отсечения для преодоления колоссального коэффициента ветвления, характерного для этой игры. Зобрист [1650] применил правила “условие-действие”, которые способны предложить приемлемые ходы при обнаружении известных шаблонов. Рейтман и Уилкокс [1280] добились хороших результатов, сочетая применение правил и поиска, поэтому большинство современных программ было разработано на основе этого гибридного подхода. Мюллер [1103] подытожил современное состояние работы в области компьютеризации игры го и привел в своей книге много ссылок. Аншелевич [33] использовал подобные методы для создания программы для игры гекс. Описания современных разработок можно найти в журнале Computer Go Newsletter, который публикует организация Computer Go Association.
Работы по компьютерному ведению игры появляются во многих разных источниках. В трудах конференции Heuristic Programming in Artificial Intelligence, имеющей довольно дезориентирующее название, публикуются отчеты о компьютерных олимпиадах, в рамках которых проводятся весьма разнообразные игры. Имеется также несколько отредактированных сборников важных статей об исследованиях в области ведения игр [920], [921], [98 8]. Международная ассоциация компьютерных шахмат (International Computer Chess Association — I CCA), основанная в 1977 году, публикует ежеквартальный журнал ICGA Journal (который раньше носил название ICCA Journal). В серийно выпускаемой антологии Advances in Computer Chess публикуются важные статьи, начиная со статьи Кларке [268]. В томе 134 журнала Artificial Intelligence (2002) содержатся описания современных программ для шахмат, “Отелло”, гекса, сёги (японские шахматы), го, нард, покера, Scrabble™ (“Эрудит”) и др.
Упражнения
В этой задаче рассматриваются основные концепции ведения игр с использованием в качестве примера игры в крестики-нолики. Определим Хп как коли. чество строк, столбцов или диагоналей, в которых находится точно п значков X и ни одного значка О. Аналогичным образом, Оп — это количество строк, столбцов или диагоналей, в которых находятся только п значков О. Функция полезности присваивает +1 любой позиции с х3=1 и -1 любой позиции с О3 = 1. Все остальные терминальные позиции имеют полезность 0. Для нетерминальных позиций используется линейная функция оценки, определенная как Eval (s) =ЗХ2 (s) +Хг (s) - (ЗО2 (s) +Oi (s) ).
Сколько приблизительно существует возможных вариантов игры в крестики-нолики?
Покажите полное дерево игры, начиная от пустой доски вплоть до глубины 2 (т.е. глубины, на которой на доске имеется один значок X и один значок О), учитывая симметрию позиций.
Проставьте в этом дереве оценки всех позиций на глубине 2.
С использованием алгоритма минимаксного поиска проставьте в дереве зарезервированные значения для позиций на глубине 1 и 0 и воспользуйтесь этими значениями для выбора наилучшего начального хода.
Обведите кружками узлы на глубине 2, которые не оценивались бы в случае применения альфа-бета-отсечения, исходя из предположения, что эти узлы вырабатываются в порядке, оптимальном для альфа-бета-отсечения.
Докажите следующее утверждение: для каждого дерева игры значение полезности, полученное игроком МАХ с использованием минимаксных решений в игре против неоптимально действующего игрока min, никогда не будет ниже значений полезности, полученных в игре против оптимально действующего игрока MIN. Можете ли вы показать дерево игры, в котором игрок мах может действовать еще лучше, используя неоптимальную стратегию против неоптимально действующего игрока min?
Рассмотрим игру с двумя игроками, показанную на рис. 6.12.
©
©
1234
Рис. 6.12. Начальная позиция простой игры. Игрок А ходит первым. Два игрока ходят по очереди, и каждый игрок должен переместить свою фишку в открытый смежный квадрат в любом направлении. Если противник занимает смежный квадрат, то игрок может перенести свою фишку через фишку противника на следующий открытый квадрат, если он имеется. (Например, если фишка А стоит в квадрате 3, а фишка В — в квадрате 2, то А снова может перейти в квадрат 1.) Игра заканчивается после того, как один из игроков достигает противоположного конца доски. Если игрок А достигает квадрата 4 первым, то значение этой игры для А равно +1; если игрок в достигает квадрата 1 первым, то значение этой игры для игрока А равно -1.
Нарисуйте полное дерево игры с использованием следующих соглашений:
записывайте каждое состояние как (sA, sB), где sA и sB обозначают местонахождения фишек;
обводите квадратом каждое терминальное состояние и записывайте для него значение игры в кружке;
обводите двойными квадратами циклические состояния (состояния, которые уже появлялись на пути к корню). Поскольку не ясно, как присваивать значения циклическим состояниям, обозначайте каждое из них знаком ? в кружке.
Обозначьте каждый узел его зарезервированным минимаксным значением (также в кружке). Объясните, как вы учитывали значения ? и почему.
Объясните, почему стандартный алгоритм минимаксного поиска в этом дереве игры потерпит неудачу, и вкратце опишите, каким образом вы могли бы его исправить, опираясь на ваш ответ на пункт б). Приведет ли модифицированный вами алгоритм к получению оптимальных решений для всех игр с циклами?
Эту игру с четырьмя клетками можно обобщить до п клеток для любого п>2. Докажите, что игрок А побеждает, если число п — четное, и проигрывает, если число п — нечетное.
6s Реализуйте генераторы хода и функции оценки для одной или нескольких из следующих игр: калах, “Отелло”, шашки и шахматы. Сконструируйте агента общего назначения для ведения игры на основе альфа-бета-поиска, в котором используется ваша реализация. Сравните эффективность увеличения глубины поиска, усовершенствования способа упорядочения ходов и улучшения функции оценки. Насколько близко приближается полученный вами эффективный коэффициент ветвления к идеальному случаю самого совершенного упорядочения ходов?
Разработайте формальное доказательство правильности алгоритма альфа- бета-отсечения. Для этого рассмотрите ситуацию, показанную на рис. 6.13. Вопрос заключается в том, следует ли выполнять отсечение в узле п5, который представляет собой узел МАХ и является одним из потомков узла пг. Основная идея такова, что отсечение должно выполняться тогда и только тогда, когда можно показать, что минимаксное значение пх не зависимо от значения П}.
Значение узла пг определяется с помощью выражения
П1 = min(n2,n2i, ...,п2ь2)
Найдите аналогичное выражение для узла п2, а следовательно, выражение для узла пх в терминах значений узла п^.
Допустим, что 21 — минимальное (или максимальное) значение узлов слева от узла ni на глубине 2, минимаксное значение которого уже известно. Аналогичным образом, допустим, что г^ — минимальное (или максимальное) значение неисследованных узлов справа от п£ на глубине 2. Перепишите ваше выражение для узла пт в терминах значений 1£ и rie
Теперь переформулируйте это выражение для того, чтобы показать, что значение узла п^ не должно превышать некоторый предел, полученный на основе значений 21, для того, чтобы оно могло повлиять на значение узла пг.
Повторите этот процесс для того случая, когда п5 является узлом MIN.
Рис. 6.13. Ситуация, возникающая при определении того, следует ли отсекать узел n j
ё] Ш Реализуйте алгоритм поиска по ожидаемому минимаксному значению и алгоритм *-альфа-бета-поиска, который описан Баллардом [65], для отсечения деревьев игры с узлами жеребьевки. Испытайте эти алгоритмы в такой игре, как нарды, и проведите измерения эффективности отсечения в *-альфа- бета-поиске.
Докажите, что после положительной линейной трансформации листовых значений (т.е. трансформации значения х в ax+b, где а>0) выбор хода в дереве игры остается неизменным, даже если в нем имеются узлы жеребьевки.
Рассмотрите описанную ниже процедуру выбора ходов в играх с узлами жеребьевки:
Сформируйте некоторые последовательности метания жребия (скажем, 50) вплоть до подходящей глубины (скажем, 8).
После того как результаты метания жребия становятся известными, дерево игры преобразуется в детерминированное. Для каждой последовательности метания жребия найдите решение результирующего детерминированного дерева игры с помощью альфа-бета-поиска.
С использованием этих результатов оцените значение каждого хода и выберите наилучший.
Будет ли эта процедура действовать успешно? Почему да (или почему нет)?
Опишите и реализуйте среду ведения игры в реальном времени с несколькими игроками, где время образует часть состояния среды, а игрокам выделяются фиксированные промежутки времени.
Опишите или реализуйте описания состояний, генераторы ходов, проверки терминальных состояний, функции полезности и функции оценки для одной или нескольких из следующих игр: монополия, Scrabble (“Эрудит”), бридж
(под этим подразумевается вариант бриджа с заключением соглашения) и покер (выберите свой любимый вариант).
Тщательно изучите, как взаимодействуют события жеребьевки и частичная информация в каждой из игр, упомянутых в упр. 6.10.
Для какой из них подходит стандартная модель на основе ожидаемых минимаксных значений? Реализуйте этот алгоритм и примените его в вашем агенте для ведения игры после внесения соответствующих изменений в среду ведения игры.
Для какой из этих игр подходит схема, описанная в упр. 6.8?
Обсудите вопрос о том, как можно было бы воспользоваться фактом, что в некоторых играх игроки не имеют одинаковые знания о текущем состоянии.
В алгоритме минимаксного поиска принято предположение, что игроки делают ходы по очереди, но в таких карточных играх, как вист и бридж, следующую взятку разыгрывает первым тот, кто взял предыдущую взятку.
Модифицируйте алгоритм таким образом, чтобы он правильно действовал в этих играх. Для этого можно принять предположение, что имеется функция winner (s), которая сообщает, какой игрок взял только что разыгранную взятку (если она имеется).
Нарисуйте дерево игры для первой пары карт, имеющихся на руках, показанной на с. 262.
В программе игры в шашки Chinook широко используются базы данных с эндшпилями, которые предоставляют точные значения для каждой позиции с восемью или меньшим количеством шашек. Каким образом можно обеспечить эффективное формирование таких баз данных?
Обсудите вопрос о том, насколько успешно может применяться стандартный подход к ведению игры в таких играх, как теннис, пул (род игры на бильярде) и крокет, которые происходят в непрерывном физическом пространстве состояний.
Опишите, как изменятся алгоритмы минимаксного поиска и альфа-бета-поиска для случая игр с ненулевой суммой с двумя игроками, в которых каждый игрок имеет собственную функцию полезности. Может быть принято предположение, что каждый игрок знает функцию полезности другого игрока. Если в этих двух функциях нет ограничений полезности терминальных состояний, возможно ли отсечение какого-либо узла с помощью альфа-бета-поиска?
Предположим, что имеется шахматная программа, способная оценивать 1 миллион узлов в секунду. Выберите компактное представление состояния игры для хранения в таблице транспозиций. Сколько примерно записей удастся вам поместить в таблицу на 500 Мбайт, находящуюся в памяти? Будет ли этого достаточно для поиска в течение трех минут, отведенных на один ход? Сколько операций поиска в таблице вы сможете выполнить за время, которое потребуется для одной оценки? Теперь предположим, что таблица транспозиций больше, чем для нее отведено оперативной памяти. Сколько узлов вы сможете оценить за время, которое требуется для выполнения одного поиска надиске с использованием стандартного аппаратного обеспечения жесткого диска?
Часть III
Знания и рассуждения
Логические агенты282
Логика первого порядка341
Логический вывод в логике первого порядка380
440440Представление знаний
440
440
7 Логические агенты
В данной главе описано, как проектировать агентов, которые обладают способностью формировать представления о мире, используют процесс логического вывода для получения новых представлений о мире, а также применяют эти новые представления для определения того, что следует делать.
В этой главе приведено вводное описание агентов, действующих на основе знаний (или просто агентов на основе знаний). Рассматриваемые здесь понятия (представление знаний и процессы рассуждения, которые связывают знания с действительностью) являются центральными во всей сфере искусственного интеллекта.
Вполне очевидно, что люди многое знают и обладают способностью рассуждать. Кроме того, знания и рассуждения очень важны для искусственных агентов, поскольку обеспечивают формирование успешных способов поведения, которых было бы очень трудно добиться иным образом. В этой главе будет показано, что знания о результатах действий позволяют агентам, решающим задачи, успешно действовать в сложных вариантах среды. В отличие от них рефлексные агенты были способны найти путь от Арада до Бухареста только благодаря слепой удаче. Однако знания агентов, решающих задачи, являются очень специфичными и недостаточно гибкими. Шахматная программа способна рассчитать допустимые ходы для короля того цвета, за который она играет, но не обладает многими другими полезными сведениями, например, о том, что ни одна фигура не может стоять одновременно на двух разных клетках. Агенты, основанные на знаниях, способны воспользоваться знаниями, выраженными в очень общих формах, комбинируя и рекомбинируя информацию в соответствии с бесчисленным множеством внешних условий. Часто этот процесс может быть весьма далеким от потребностей текущего момента; это можно сравнить с тем, как математик доказывает абстрактную теорему или астроном вычисляет ожидаемую продолжительность существования Земли.
Кроме того, знания и рассуждения играют решающую роль, когда приходится действовать в частично наблюдаемых вариантах среды. Агент, основанный на знаниях, способен сочетать общие знания с результатами текущих восприятий, чтобы иметь возможность выявить скрытые аспекты текущего состояния, прежде чем выбирать действия. Например, терапевт диагностирует пациента (т.е. выявляет болезненное состояние, которое недоступно непосредственному наблюдению), прежде чем выбрать способ лечения. Некоторая часть знаний, используемых терапевтом,
находится в форме правил, полученных с помощью учебников и учителей, а еще одна часть представлена в форме ассоциативных образов, которые терапевт не всегда может описать словами. Но если эти ассоциации складываются в уме терапевта, они также относятся к области знаний.
Для понимания естественного языка требуется также выявление скрытых аспектов состояния, в частности намерений говорящего. Услышав фразу: “Джон увидел алмаз через окно и страстно пожелал его получить”, мы знаем, что слово “его” относится к алмазу, а не к окну; мы рассуждаем, возможно даже подсознательно, с помощью имеющихся у нас знаний об относительной ценности этих предметов. Аналогичным образом, услышав фразу: “Джон бросил кирпич в окно и разбил его”, мы понимаем, что слово “его” относится к окну. Рассуждения позволяют нам справиться практически с бесконечным количеством форм выражения мысли, используя конечный запас обыденных знаний. Сталкиваясь с неоднозначностью подобного рода, агенты, решающие задачи, испытывают затруднения, поскольку применяемый в них способ представления задач с непредвиденными ситуациями обусловливает экспоненциальный рост количества рассматриваемых вариантов.
Не менее важная причина, по которой следует заниматься изучением агентов, основанных на знаниях, состоит в том, что такие агенты характеризуются значительной гибкостью. Они способны принимать к исполнению новые задачи, выраженные в форме явно поставленных целей, они могут быстро достигать компетентности, получая инструкции или усваивая новые знания, полученные из своей среды, кроме того, они способны приспосабливаться к изменениям в своей среде, обновляя соответствующие знания.
Изложение темы, рассматриваемой в данной главе, начинается с описания общего проекта агента, приведенного в разделе 7.1. В разделе 7.2 представлена новая простая среда (мир вымышленных существ — вампусов) и показано, как функционирует агент, основанный на знаниях, без углубления в какие-либо технические подробности. После этого в разделе 7.3 представлены основные принципы логики. Логика будет служить основным средством представления знаний во всей части III данной книги. Знания логических агентов всегда являются определенными — каждое высказывание в этом мире является либо истинным, либо ложным, хотя агент может не знать о существовании некоторых высказываний.
С точки зрения изложения учебного материала логика обладает тем преимуществом, что служит простым примером одного из способов представления для агентов, основанных на знаниях, но логика имеет некоторые серьезные ограничения. Очевидно, что значительная часть рассуждений, осуществляемых людьми и другими агентами в частично наблюдаемых вариантах среды, основана на оперировании знаниями, которые являются неопределенными. Логика не позволяет должным образом представить такую неопределенность, поэтому в части V рассматривается теория вероятностей, которая дает такую возможность. В частях VI и VII рассматриваются многие другие способы представления (в том числе основанные на континуальной математике), такие как сочетания гауссовых распределений, нейронных сетей и других представлений.
В разделе 7.4 этой главы представлена простая логика, называемая пропозициональной логикой. Несмотря на то что она является гораздо менее выразительной по сравнению с логикой первого порядка (глава 8), пропозициональная логика может служить для иллюстрации всех основных понятий логики. Кроме того, существует
хорошо разработанная технология формирования рассуждений в пропозициональной логике, которая будет описана в разделах 7.5 и 7.6. Наконец, в разделе 7.7 рассматривается сочетание понятия логических агентов с технологией пропозициональной логики, применяемое для создания некоторых простых агентов, действующих в мире вампуса. В этом разделе указаны некоторые ограничения пропозициональной логики, которые послужили стимулом к разработке более мощных версий логики, рассматриваемых в следующих главах.
Агенты, основанные на знаниях
Центральным компонентом любого агента, основанного на знаниях, является его ^ база знаний, или сокращенно КВ (Knowledge Base). Неформально базу знаний можно определить как множество М высказываний. (Здесь слово “высказывание” используется в качестве формального термина. Смысл этого термина близок, но не идентичен понятию высказывания в английском и других естественных языках.) Каждое высказывание выражено на языке, называемом ^ языком представления знаний, и представляет некоторое утверждение о мире.
Должен существовать определенный способ добавления новых высказываний к базе знаний, а также способ извлечения из этой базы тех знаний, которые в ней содержатся. Стандартными названиями для этих операций являются соответственно Tell и Ask. Обе такие операции могут быть связаны с проведением ^ логического вывода, т.е. могут потребовать получения новых высказываний из старых. В ^ логических агентах, которые служат основной темой исследования данной главы, логический вывод должен подчиняться тому фундаментальному требованию, что ответ на запрос к базе знаний, переданный с помощью операции Ask, должен следовать из того, что было сообщено базе знаний (или точнее, введено с помощью операции Tell) до сих пор. Ниже будет дано более точное определение важного понятия “логического следствия”. А на данный момент будем считать, что в соответствии с этим понятием в процессе логического вывода не должны выполняться операции, не подчиняющиеся строгим правилам.
Общая схема программы агента, основанного на знаниях, приведена в листинге 7.1. Как и все агенты, описанные в данной книге, этот агент принимает на входе результаты акта восприятия percept и возвращает действие action. Агент поддерживает базу знаний, КВ, которая может первоначально содержать некоторые М фоновые знания. После каждого вызова программа агента выполняет три этапа. Во-первых, программа вводит в базу знаний с помощью операции Tell результаты акта восприятия, во- вторых, передает в базу знаний с помощью операции Ask запрос о том, какое действие следует предпринять. В процессе поиска ответа на этот запрос могут быть проведены исчерпывающие рассуждения в отношении текущего состояния мира, результатов возможных последовательностей действий и т.д. В-третьих, агент регистрирует свой выбор с помощью операции Tell и выполняет действие. Вторая операция Tell необходима для передачи в базу знаний информации о том, что гипотетическое действие action действительно было выполнено.
Подробные сведения о языке представления скрыты в трех функциях, которые реализуют интерфейс между датчиками и исполнительными механизмами, а также
между основным представлением и системой формирования рассуждений. Функция Make-Percept-Sentence формирует высказывание, подтверждающее, что агент получил результаты данного конкретного акта в текущий момент времени. Функция Make-Action-Query формирует высказывание, представляющее собой запрос о том, какое действие должно быть выполнено в текущий момент времени. Наконец, функция Make-Action-Sentence формирует высказывание, подтверждающее, что выбранное действие было выполнено. Подробные сведения о механизме логического вывода скрыты внутри функций Tell и Ask. Эти подробные сведения будут представлены в следующих разделах.
Листинг 7.1. Универсальный агент, основанный на знаниях
function КВ-Agent (percept) returns действие action static: KB, база знаний
t, счетчик, обозначающий время, первоначально равный О
Tell(КБ, Make-Percept-Sentence(percept, t)) action <— Ask(KB, Make-Action-Query(t)) Tell(KB, Make-Action-Sentence(action, t)) t <- t + 1 return action
Алгоритм агента, приведенный в листинге 7.1, внешне кажется весьма аналогичным алгоритмам агентов с поддержкой внутреннего состояния, описанных в главе 2. Однако в силу приведенных выше определений операций Tell и Ask агента, основанного на знаниях, уже нельзя рассматривать как произвольную программу для вычисления действий. Он уже больше подходит для описания на ^ уровне знаний, в котором для фиксации его поведения требуется указать лишь то, что известно агенту и каковы его цели. Например, автоматизированный агент — водитель такси может иметь своей целью доставку пассажира в район Марин Каунти и знать, что этот район находится в г. Сан-Франциско и что мост “Золотые ворота” является единственным возможным связующим звеном между пунктом отправления и пунктом назначения. В таком случае вполне можно рассчитывать на то, что автоматизированный водитель поедет через мост “Золотые ворота”, поскольку ему известно, что именно так он достигнет цели. Следует отметить, что данный анализ не зависит от того, как будет действовать водитель такси на ^ уровне реализации. Не имеет никакого значения, реализованы ли его знания географии в виде связных списков или растровых изображений карт, а также проводит ли он рассуждения, манипулируя строками символов, хранящимися в регистрах, или распространяя зашумленные сигналы по сетям из нейронов.
Как уже упоминалось во введении к этой главе, ^ агент, основанный на знаниях, может быть создан путем передачи ему с помощью операции Tell той информации, которую ему требуется знать. Первоначальная программа агента, применяемая до того, как агент начнет получать результаты актов восприятия, создается путем добавления одного за другим тех высказываний, которые представляют знания проектировщика о данной среде. А если удается спроектировать язык представления, позволяющий легко выражать эти знания в форме высказываний, то задача создания агента чрезвычайно упрощается. Описанный выше подход называется ^декларативным
подходом к созданию системы. В отличие от этого процедурный подход требует представления желаемых правил поведения непосредственно в виде кода программы. Но сведение к минимуму роли явных форм представления и формирования рассуждений позволяет добиться создания гораздо более эффективных систем. Агенты обоих этих типов рассматриваются в разделе 7.7. В 1970-1980-х годах приверженцы этих двух подходов вступили в ожесточенные дебаты. Однако теперь стало ясно, что успешно действующий агент должен сочетать в своем проекте и декларативные, и процедурные элементы.
Кроме передачи основанному на знаниях агенту с помощью операции Tell той информации, которую ему требуется знать, может также потребоваться предоставить ему механизмы, позволяющие обучаться самостоятельно. Эти механизмы, которые рассматриваются в главе 18, обеспечивают получение общих знаний о среде с помощью ряда актов восприятия. Такие знания могут быть включены в базу знаний агента и использоваться для принятия решений. Благодаря этому агент может стать полностью автономным.
Все эти возможности по представлению, формированию рассуждению и обучению опираются на результаты в области теории и практики логики как отрасли математики, накопленные в течение многих столетий. Но прежде чем перейти к описанию теории и практики, создадим простой мир, на примере которого сможем проиллюстрировать их применение.
Мир вампуса
М Мир вампуса — это пещера, состоящая из залов, соединенных проходами. Где- то по этой пещере бродит вампус — страшный зверь, который поедает всех, кто входит в зал, где он находится. Вампус может быть убит агентом, но у агента есть только одна стрела. В некоторых залах есть бездонные ямы, в которые попадают все, кто проходит через эти залы (все кроме вампуса, который слишком велик для того, чтобы в них провалиться). Единственное, что утешает живущих в этой среде, — это возможность найти кучу золота. Хотя мир вампуса является довольно скромным с точки зрения современных стандартов компьютерных игр, он представляет собой превосходную испытательную среду для интеллектуальных агентов. Первым, кто предложил использовать мир вампуса для такой цели, был Майкл Генезерет.
Пример мира вампуса показан на рис. 7.1. Точное определение среды этой задачи, соответствующее требованиям, которые приведены в главе 2, дано с помощью следующего описания PEAS.
Показатели производительности. За то, что агент находит золото, он получает +1000 очков, за то, что агент попадает в яму или его съедает вампус, ему назначается -1000 очков, он отдает -1 очко за каждое выполненное действие и -10 очков —- за использование стрелы.
Среда. Залы расположены в виде решетки 4x4. Агент всегда начинает движение с квадрата, обозначенного как [1,1], и смотрит вправо. Местонахождения золота и вампуса выбираются случайным образом с равномерным распределением из числа квадратов, отличных от начального квадрата. Кроме того, в
каждом квадрате, отличном от начального, с вероятностью 0,2 может находиться яма.
Рис. 7.1. Пример мира вампуса. Агент находится в нижнем левом углу
Исполнительные механизмы. Агент может двигаться вперед, поворачиваться влево и вправо на 9 0°. Агент погибает жалкой смертью, если входит в квадрат, где имеется яма или живой вампус. (Входить в квадрат с мертвым вампусом безопасно, но при этом приходится чувствовать неприятный запах.) Попытка продвижения вперед остается безрезультатной, если перед агентом находится стена. Чтобы схватить объект, находящийся в том же квадрате, где находится агент, можно воспользоваться действием Grab. С помощью действия Shoot можно пустить стрелу по прямой линии в том направлении, куда смотрит агент. Стрела продолжает движение до тех пор, пока она либо не попадет в вампуса (и убьет его), либо не ударится в стену. У агента имеется только одна стрела, поэтому какой-либо эффект оказывает лишь первое действие Shoot.
Датчики. У агента имеется пять датчиков, каждый из которых сообщает только один элемент информации:
в квадрате, где находится вампус, а также в квадратах, непосредственно (а не по диагонали) соседних по отношению к этому квадрату, агент чувствует неприятный запах (восприятие Stench);
в квадратах, непосредственно соседних с ямой, агент будет чувствовать ветерок (восприятие Breeze);
в квадрате, где находится золото, агент видит блеск (восприятие G1 i t ter);
когда агент наталкивается на стену, он чувствует удар (восприятие Bump).
перед тем как пораженный стрелой вампус умирает, он испускает жалобный крик, который разносится по всей пещере (восприятие Scream).
Результаты актов восприятия передаются агенту в форме списка из пяти символов; например, если есть неприятный запах и ветерок, но нет блеска, удара или крика, агент воспринимает результаты акта восприятия [Stench, Breeze,None,None,None].
В упр. 7.1 предлагается определить среду вампуса в соответствии с различными измерениями, приведенными в главе 2. Основная сложность для данного агента состоит в том, что он с самого начала не знает конфигурацию своей среды; по- видимому, для преодоления этого незнания нельзя обойтись без логических рассуждений. В большинстве экземпляров мира вампуса для агента существует возможность безопасно получить золото. Но иногда агенту приходится выбирать: вернуться ли домой с пустыми руками или рисковать жизнью, чтобы найти золото. Около 21% вариантов среды являются совершенно неблагоприятными, поскольку золото находится в яме или окружено ямами.
Проследим за агентом для мира вампуса, действующим на основе знаний, который изучает среду, показанную на рис. 7.1. Первоначальная база знаний агента содержит правила существования в этой среде, которые были описаны выше; в частности, агент знает, что находится в квадрате [1,1] и что квадрат [1,1] является безопасным. Мы увидим, как расширяются знания агента по мере того, как поступают результаты новых актов восприятия и выполняются действия.
Первым восприятием является VNone, None, None, None, None], на основании которого агент может сделать вывод, что соседние по отношению к нему квадраты являются безопасными. На рис. 7.2, а показано состояние знаний агента в этот момент. Мы будет перечислять (некоторые) высказывания из базы знаний с использованием буквенных обозначений, таких как в (чувствуется ветерок) и ОК (безопасно — ни ямы, ни вампуса), проставленных в соответствующих квадратах. С другой стороны, на рис. 7.1 изображен сам этот мир.
1,4
2,4
3,4
4,4
0 - агент
В - ветерок
G - блеск, золото
ОК - безопасный квадрат
Р -яма
S - запах
V - посещенный квадрат
W -вампус
1,4
2,4
3,4
4,4
1,3
2,3
3,3
4,3
1,3
2,3
3,3
4,3
1,2
ок
2,2
3,2
4,2
1,2
ок
2,2 Р?
3,2
4,2
1,1
в
ок
2,1
ок
3,1
4,1
U
V ок
21 0
В ок
3,1 р«)
4,1
а)б)
Рис. 7.2. Первый шаг, выполненный агентом в мире вампуса: первоначальная ситуация, возникшая после восприятия [None, None, None, None, None ] (а); ситуация после одного хода, в котором получено восприятие /"None, Breeze, None, None, None] (6)
На основании того факта, что в квадрате [1,1] не было ни неприятного запаха, ни ветерка, агент может сделать вывод, что квадраты [1,2] и [2,1] свободны от опасности. Для указания этого они отмечены обозначением ОК. Осторожный агент переходит только в такой квадрат, о котором известно, что в нем есть отметка ок. Предположим, что агент решил двинуться вперед, в квадрат [2,1], и была создана сцена, показанная на рис. 7.2, б.
Агент обнаруживает ветерок в квадрате [2,1], поэтому в одном из соседних квадратов должна быть яма. По правилам игры яма не может находиться в квадрате [1,1], поэтому она должна быть в квадрате [2,2], или [3,1], или в том и другом. Обозначение Р? на рис. 7.2, б указывает на возможность наличия ямы в этих квадратах. В данный момент известен только один квадрат с отметкой ок, который еще не был посещен. Поэтому благоразумный агент поворачивается кругом и возвращается в квадрат [ 1,1 ], а затем переходит в квадрат [1,2].
Новым восприятием в квадрате [1,2] является [ Stench, None, None, None, None], что приводит к состоянию знаний, показанному на рис. 7.3, а. Наличие неприятного запаха в квадрате [1,2] означает, что где-то рядом есть вампус. Но вампус не может находиться в квадрате [1,1] по правилам игры и не может быть в квадрате [2,2] (поскольку агент обнаружил бы неприятный запах, находясь в квадрате [2,1]). Поэтому агент может сделать вывод, что вампус находится в квадрате [1,3]. На это указывает обозначение W!. К тому же из отсутствия восприятия Breeze в квадрате [1,2] следует, что в квадрате [2,2] нет ямы. Тем не менее мы уже пришли к выводу, что яма должна быть в квадрате [2,2] или [3,1], а это означает, что она действительно находится в квадрате [3,1]. Это — весьма сложный логический вывод, поскольку в нем объединяются знания, полученные в разное время в различных местах, и в нем решение о выполнении важного шага сделано на основании отсутствия определенного восприятия. Такой логический вывод превосходит способности большинства животных, но является типичным для рассуждений такого рода, которые выполняются логическими агентами.
1,4
2,4
3,4
4,4
0 -агент В - ветерок G - блеск, золото ОК - безопасный квадрат
Р - яма
S - запах
V - посещенный квадрат
W -вампус
1,4
2,4 Р?
3,4
4,4
1,3 W!
2,3
3,3
4,3
1,3 W!
23 0
S G в
3,3 р9
4,3
1’20
S ок
2,2
ОК
3,2
4,2
*-2 S V ок
2,2
V ОК
3,2
4,2
1,1
V ок
2,1 в V ок
3,1 Р!
4,1
1,1
V ок
2^ в V ок
3,1 pt
4,1
а)
' б)
Рис. 7.3. Два последних этапа в ходе деятельности агента: после третьего хода, когда было получено восприятие [Stench, None, None, None, None] (а); после пятого хода, когда было получено восприятие /"Stench,Breeze,Glitter,None,None] (6)
Теперь агент доказал сам себе, что в квадрате [2,2] нет ни ямы, ни вампуса, поэтому может обозначить этот квадрат меткой ОК, чтобы в него перейти. Мы не показываем состояние знаний агента в квадрате [ 2,2 ], а просто предполагаем, что агент повернулся и перешел в квадрат [ 2,3 ], в результате чего было получено состояние, показанное на рис. 7.3, б. В квадрате [2,3] агент обнаруживает блеск, поэтому должен схватить золото и тем самым закончить игру.
^ В каждом случае, когда агент выводит заключение из доступной ему информации, гарантируется правильность этого заключения, если доступная информация является правильной. В этом состоит фундаментальное свойство логических рассуждений. В оставшейся части данной главы будет показано, как создавать логических агентов, которые могут представлять необходимую информацию и делать выводы, описанные в предыдущих абзацах.
Логика
В этом разделе приведен краткий обзор всех фундаментальных понятий, касающихся логических представлений и рассуждений. Описание конкретных сведений о какой-либо определенной форме логики откладывается до следующего раздела. Вместо этого в данном разделе используются неформальные примеры из мира вам- пуса и из знакомой всем области арифметики. Авторы приняли такой довольно необычный подход, поскольку идеи логики являются гораздо более универсальными и привлекательными, чем обычно предполагается.
В разделе 7.1 было указано, что базы знаний состоят из высказываний. Эти высказывания выражаются в соответствии с ^ синтаксисом языка представления, который определяет форму всех высказываний, рассматриваемых как построенные правильно. Понятие синтаксиса является достаточно очевидным в обычной арифметике: “х+у=4” — правильно построенное высказывание, а “х2у+ = ” — нет. Синтаксис логических языков (и арифметики в том числе) обычно формируется так, чтобы с его помощью было удобно писать статьи и книги. Существуют буквально десятки различных форм представления синтаксиса; в некоторых из них используются греческие буквы и сложные математические символы, а в других — довольно привлекательные на вид схемы со стрелками и кружками. Однако во всех случаях высказывания в базе знаний агента представляют собой реальные физические конфигурации (части) агента. Формирование рассуждений сводится к выработке этих конфигураций и манипулированию ими.
Логика должна также определять ^ семантику языка. Говоря неформально, семантика касается “смысла” высказываний. В логике это определение становится более точным. Семантика языка определяет ^ истинность каждого высказывания применительно к каждому из ^ возможных миров. Например, обычная семантика, принятая в арифметике, определяет, что высказывание “х+у=4” истинно в мире, где хравно 2 и у равно 2, но ложно в мире, где х равно 1 и у равно 1. В стандартной логике каждое высказывание должно быть либо истинным, либо ложным в каждом из возможных миров — в ней не может быть каких-либо “промежуточных состояний”.
В дальнейшем, если потребуется уточнить какое-то определение, то вместо выражения один из “возможных миров” будет использоваться термин ^модель. (Кроме того, для указания на то, что высказывание а является истинным в модели т,
будет использоваться фраза “т является моделью а”.) Возможные миры могут рассматриваться как (потенциально) реальные варианты среды, в которых может находиться или не находиться агент, а модели представляют собой математические абстракции, каждая из которых устанавливает, является ли истинным или ложным каждое высказывание, относящееся к данной модели. Неформально, например, можно рассматривать х и у как количество мужчин и женщин, которые сидят за столом для игры в бридж, а высказывание х+у=4 становится истинным, когда общее количество игроков равно четырем. В таком случае формально допустимые модели представляют собой все возможные присваивания целочисленных значений переменным х и у. Каждое такое присваивание устанавливает истинность любого высказывания в арифметике, переменными которого являются х и у.
Теперь, после рассмотрения понятия истинности, мы можем перейти к теме, касающейся логических рассуждений. Для этого необходимо определить понятие логического ^ следствия между высказываниями — идею о том, что одно высказывание может логически следовать из другого высказывания. В математических обозначениях применяется следующая запись:
ОС Р
которая означает, что высказывание ос влечет за собой высказывание р. Формальное определение логического следствия является таковым: ос ^ Р тогда и только тогда, когда в любой модели, в которой высказывание ос является истинным, Р также истинно. Другой способ выразить эту мысль состоит в том, что если а является истинным, высказывание Р также является истинным. Неформально выражаясь, истинность высказывания Р “содержится” в истинности высказывания ос. Понятие следствия применяется и в арифметике, например, из выражения х+у=4 следует выражение 4=х+у Очевидно, что в любой модели, в которой х+у=4 (например, в такой модели, в которой х равно 2 и у равно 2), справедливо также, что 4=х+у. Вскоре будет показано, что любая база знаний может рассматриваться как некоторое утверждение, и в этой книге будет часто идти речь о том, что из некоторой базы знаний следует некоторое высказывание.
Анализ такого же типа можно применить и к примеру рассуждений о мире вам- пуса, приведенному в предыдущем разделе. Рассмотрим ситуацию, показанную на рис. 7.2, б*, агент ничего не обнаружил в квадрате [ 1,1 ], а в квадрате [2,1] почувствовал ветерок. Эти восприятия в сочетании со знаниями агента о правилах существования мира вампуса (описание PEAS на с. 286) составляют его базу знаний. Агенту необходимо узнать (кроме всего прочего), имеются ли ямы в соседних квадратах, [1,2], [2,2] и [ 3,1 ]. В каждом из этих трех квадратов может находиться или не находиться яма, поэтому (в данном конкретном примере) существуют 2=8 возможных моделей. Они показаны3 на рис. 7.4.
В моделях, которые противоречат тому, что знает агент, база знаний становится ложной; например, база знаний ложна в любой модели, в которой квадрат [1,2] имеет яму, поскольку в квадрате [1,1] не чувствуется ветерок. Существуют факти-
чески только три модели, в которых база знаний является истинной, и они показаны на рис. 7.4 как подмножество моделей. Теперь рассмотрим два возможных вывода:
ai = "В квадрате [1,2] нет ямы"
Рис. 7.4. Возможные модели, описывающие наличие ям в квадратах [1,2], [2,2] и [3,1], которые основаны на тех наблюдениях, что в квадрате [ 1,1 ] нет ничего, а в квадрате [2,1] чувствуется ветерок: модели с базой знаний и высказыванием «1 (в квадрате [1,2] нет ямы) (а); модели с базой знаний и высказыванием а2(в квадрате [2,2] нет ямы) (б)
Эти модели на рис. 7.4, а и б обозначены соответственно как «1 и а2. Проанализировав все возможные ситуации, мы обнаружили следующее:
в каждой модели, в которой база знаний является истинной, высказывание ai также является истинным.
Поэтому кв 1= ар в квадрате [1,2] нет ямы. Кроме того, можно убедиться в следующем:
в некоторых моделях, в которых база знаний является истинной, высказывание а2 ложно.
Поэтому кв ^ а2: агент не может прийти к заключению, что в квадрате [2,2] нет ямы. (К тому же он не может сделать и вывод, что в квадрате [2,2] есть яма.)
В предыдущем примере не только проиллюстрирован процесс формирования логических следствий, но и показано, как можно применять определение логического следствия для формирования заключений, т.е. для проведения ^ логического вывода. Алгоритм логического вывода, проиллюстрированный на рис. 7.4, называется ^ проверкой по моделям, поскольку в нем осуществляется перебор всех возможных моделей для проверки того, что высказывание а является истинным во всех моделях, в которых истинна база знаний.
Чтобы лучше понять, что такое логическое следствие и логический вывод, можно представить себе, что множество всех логических заключений, полученных из базы данных, — это стог сена, а высказывание a — это иголка. Логическое следствие на-
поминает утверждение о том, что в стоге сена есть иголка, а логический вывод можно сравнить с ее поиском. Это различие между понятиями логического следствия и логического вывода отражено и в формальных обозначениях: если некоторый алгоритм логического вывода i позволяет вывести логическим путем высказывание а из базы знаний кв, то можно записать следующее:
кв hi а
Эта формула читается так: “высказывание ос получено путем логического вывода из базы знаний КВ с помощью алгоритма 1” или “алгоритм i позволяет вывести логическим путем высказывание а из базы знаний кв”.
Алгоритм логического вывода, позволяющий получить только такие высказывания, которые действительно следуют из базы знаний, называется ^ непротиворечивым, или ^ сохраняющим истинность. Непротиворечивость — это в высшей степени желательное свойство. Противоречивая процедура логического вывода в ходе своей работы по сути создает то, чего нет на самом деле: объявляет об обнаружении несуществующих иголок. Можно легко показать, что алгоритм проверки по моделям, если он применим, является непротиворечивым.
Желательным является также свойство ^ полноты: алгоритм логического вывода называется полным, если позволяет вывести любое высказывание, которое следует из базы знаний. Когда речь идет о настоящих стогах сена, имеющих конечный объем, то представляется вполне очевидным, что систематическое исследование всегда позволяет определить, есть ли иголка в данном стоге сена. Но со многими базами знаний связан бесконечно большой стог сена, состоящий из следствий, поэтому обеспечение полноты становится важной проблемой. К счастью, существуют полные процедуры логического вывода для многих форм логики, которые являются достаточно выразительными для того, чтобы они могли справиться со многими базами знаний.
Выше фактически был описан процесс формирования рассуждений, выводы которого гарантированно являются истинными в любом мире, в котором истинны предпосылки; в частности, ^ если база знаний является истинной в реальном мире, то любое высказывание ос, полученное логическим путем из этой базы знаний с помощью непротиворечивой процедуры логического вывода, является также истинным в реальном мире. Итак, несмотря на то, что процесс логического вывода оперирует с “синтаксисом” (а фактически с внутренними физическими конфигурациями, такими как биты в регистрах или картины электрических возбуждений в мозговых структурах), этот процесс соответствует связям реального мира, согласно которым некоторые аспекты реального мира имеют место благодаря тому, что имеют место другие аспекты реального мира. Это соответствие между миром и его представлением продемонстрировано на рис. 7.5.
Предложения ► Предложение
Влечет за собой
ПредставлениеРР
Аспекты Аспектреального мира Следует реального мира
Рис. 7.5. Высказывания представляют собой элементы физической конфигурации агента, а формирование рассуждений — это процесс создания новых элементов физической конфигурации из существующих. Процесс формирования логических рассуждений должен гарантировать, что новые элементы конфигурации будут представлять те аспекты мира, которые действительно следуют из аспектов, представленных существующими элементами конфигурации
Последняя проблема, которая должна быть решена применительно к логическим агентам, — это проблема ^ обоснования: установления связи между процессами логических рассуждений и реальной средой, в которой существует агент, если эта связь действительно имеется. В частности, эта проблема касается вопроса о том, ^ как узнать, что база знаний является истинной в реальном мире? (В конце концов, ведь база знаний — просто “синтаксические конструкции” в голове агента.) Это — философская проблема, которой посвящено очень много книг (см. главу 26). Простой ответ состоит в том, что указанная связь создается с помощью датчиков агента. Например, наш агент для мира вам- пуса имеет датчик запаха. Обнаружив неприятный запах, программа агента создает соответствующее высказывание. Это означает, что если данное высказывание действительно находится в базе знаний, то является истинным и в реальном мире. Поэтому смысл и истинность высказываний, в которых выражаются результаты восприятий, определяются с помощью процессов формирования ощущений и составления высказываний, которые ими порождаются. А что можно сказать об остальных знаниях агента, который, например, считает, что вампуса можно обнаруживать из соседних квадратов, куда доносится его неприятный запах? Это — не прямое представление единственного акта восприятия, а общее правило, которое, возможно, было выведено из опыта восприятий, но не идентично утверждениям с описанием этого опыта. Выработка подобных общих правил в процессе формирования высказываний называется обучением и является темой части VI данной книги. Обучение чревато ошибками. Может оказаться, что вампусы распространяют неприятный запах во все дни, кроме 29 февраля високосного года, поскольку в эти дни вампусы принимают ванну. Поэтому в реальном мире база знаний может оказаться не истинной, но если агент оснащен хорошими процедурами обучения, у него есть повод для оптимизма.
Пропозициональная логика: очень простая логика
В этом разделе будет представлена очень простая логика, называемая ^пропозициональной логикой. Здесь рассматривается синтаксис пропозициональной ло-
гики и ее семантика — способ определения истинности высказываний. Затем мы рассмотрим понятие следствия (отношения между одним высказыванием и другим высказыванием, которое следует из него) и определим, как с помощью этого понятия можно получить простой алгоритм для логического вывода. Безусловно, все это происходит в мире вампуса.
Синтаксис
Синтаксис пропозициональной логики определяет допустимые высказывания. ^ Атомарные высказывания (неделимые синтаксические элементы) состоят из одного пропозиционального символа. Каждый такой символ обозначает высказывание, которое может быть либо истинным, либо ложным. Для обозначения подобных символов в данном разделе используются прописные буквы: Р, Q, R и т.д. Эти обозначения являются произвольными, но часто выбираются таким образом, чтобы они имели для читателя какое-то мнемоническое значение. Например, символ Wli3 может использоваться для обозначения высказывания, согласно которому вампус находится в квадрате [1,3]. (Напомним, что символы, подобные Wi,3, являются атомарными; это означает, что w, 1 и 3 не следует рассматривать как осмысленные части этого символа.) Существуют два пропозициональных символа, имеющих постоянный смысл: True — тождественно истинное высказывание, a False — тождественно ложное высказывание.
^ Сложные высказывания формируются из более простых высказываний с помощью ^ логических связок. Широко применяются пять описанных ниже логических связок.
-I (нет). Такое высказывание, как -М,3, называется ^ отрицанием высказывания И71,3. ^Литерал представляет собой либо атомарное высказывание (положительный литерал), либо отрицаемое атомарное высказывание (отрицательный литерал).
л (и). Высказывание, основной связкой которого является а, такое как ^1,з а Рзл, называется ^ конъюнкцией; его части называются конъюнктами. (Символ а напоминает букву “А” в слове “And” — ”И”.)
v (или). Высказывание, в котором используется связка v, такое как (^1,з а Р3/1) v w2,2, называется ^дизъюнкцией дизъюнктов (И71/3 а рзл) и W2,2- (Исторически обозначение v произошло из латинского слова “vel”, которое означает “или”. Большинство людей находят, что форму этой связки проще всего запомнить как перевернутый символ а.)'
=> (влечет за собой). Такое высказывание, как (£¥lz 3 а Рзл) => -1^2,2, называется М импликацией (или условным высказыванием). Его ^ предпосылкой, или антецедентом, является (^1/3 a рзл) , а его ^ заключением, или консеквентом, является -1^2,2- Импликации называют также правилами, или утверждениями if-then (если-то). В других книгах символ импликации иногда записывается как D или -к
<^ (если и только если). Высказывание наподобие Wi,3 <^ W2t2 называется ^ двухсторонней импликацией.
Формальная грамматика пропозициональной логики показана в листинге 7.2; те, кто не знаком с системой обозначений BNF, должны обратиться за дополнительными сведениями нас. 1.
Листинг 7.2. Грамматика высказываний пропозициональной логики в форме BNF (Backus-Naur Form — форма Бэкуса-Наура)
Sentence —» AtomicSentence | ComplexSen tence Atomic Sentence —» True | False | Symbol
Symbol -^. P | Q | R | ...
Complexsentence —» UlSentence
| ( Sentence a Sentence }
| ( Sentence v Sentence )
| ( Sentence => Sentence )
| ( Sentence <=> Sentence )
Обратите внимание на то, что эта грамматика предъявляет строгие требования к использованию круглых скобок: каждое высказывание, сформированное с помощью бинарных связок, должно быть заключено в круглые скобки. Это гарантирует полную непротиворечивость синтаксиса. Такое требование также означает, что следует писать, например, ( (А а В) => С), например, вместо А а В => С. Но для удобства чтения мы будем часто опускать круглые скобки, полагаясь вместо них на использование порядка предшествования связок. Это аналогично правилам предшествования, используемым в арифметике, например, выражение аЫс читается как ( (ab) +с), а не как а (b+с), поскольку операция умножения имеет более высокий приоритет, чем сложение. Порядок предшествования в пропозициональной логике (от высшему к низшему) состоит в следующем: -i, a, v, => и <=>. Поэтому высказывание
-Л? V Q A R ^ s
эквивалентно высказыванию
( ИР) V (QaRH => s
Определение порядка приоритета не позволяет устранить неоднозначность при чтении таких высказываний, как А а в а С, которое может быть прочитано как ( (А а В) а С) или (А а (В а С) ). Но поскольку эти два прочтения, согласно семантике, описанной в следующем разделе, означают одно и то же, допускаются высказывания, подобные А а В а С. Разрешаются также высказывания наподобие Av В v СиА ^ В ^ С. А такие высказывания, как А => в => С, не допускаются, поскольку для них соответствующие два прочтения имеют разный смысл; мы настаиваем на том, что в этом случае должны использоваться круглые скобки. Наконец, в данной книге иногда вместо круглых скобок используются квадратные, если это позволяет немного упростить понимание данного высказывания.
Семантика
Определив синтаксис пропозициональной логики, мы можем приступить к определению ее семантики. Семантика диктует правила выявления истинности высказывания по отношению к конкретной модели. В пропозициональной логике любая
модель просто фиксирует истинностное значение (true или false) для каждого пропозиционального символа. Например, если в высказываниях некоторой базы знаний используются пропозициональные символы Plt2, Р2.2 и P3,i, то одна из возможных моделей состоит в следующем:
mi = (Pi,2 = false, Р2,2 = false, P3,i = true}
При наличии трех пропозициональных символов существует 23=8 возможных моделей; именно столько моделей показано на рис. 7.4. Однако следует отметить, что с тех пор, как мы определили синтаксис, модели стали чисто математическими объектами, которые не обязательно должны быть связаны с миром вампуса. Например, Р1/2 — это просто символ; он может означать, что “в квадрате [1,2] есть яма” или “я буду в Париже сегодня и завтра”.
Семантика пропозициональной логики должна определять, как следует вычислять истинностное значение любого высказывания при наличии модели. Эта процедура выполняется рекурсивно. Все высказывания формируются из атомарных высказываний и пяти связок, поэтому необходимо указать, как следует вычислять истинность атомарных высказываний, а затем — как вычислять истинность высказываний, сформированных с помощью каждой из этих пяти связок. Задача вычисления истинности атомарных высказываний, как показано ниже, является простой.
Высказывание True истинно в любой модели, а высказывание False ложно в любой модели.
Истинностное значение любого другого пропозиционального символа должно быть указано непосредственно в модели. Например, в модели ту приведенное выше высказывание Р1<2 является ложным.
Для определения истинности сложных высказываний применяются правила, подобные приведенному ниже.
Для любого высказывания s и любой модели т высказывание -.s является истинным в модели in тогда и только тогда, когда s является ложным в модели т.
Эти правила позволяют свести задачу определения истинности сложных высказываний к задаче определения истинности более простых высказываний. Правила определения истинности для каждой связки могут быть подытожены в виде ^ истинностной таблицы, которая определяет истинностное значение сложного высказывания для каждого возможного присваивания значений истинности его компонентам. Истинностные таблицы для рассматриваемых пяти логических связок приведены в табл. 7.1. С использованием этих таблиц истинностное значение любого высказывания s применительно к любой модели т может быть вычислено с помощью простого процесса рекурсивной оценки. Например, высказывание -iPi,2 л (Р2,2 v P3,i), оцениваемое в модели ть приводит к получению true а (false v true) = true a true = true. В ynp. 7.3 предложено написать алгоритм PL-True? (s,m), который вычисляет истинностное значение любого высказывания s пропозициональной логики в модели т.
Выше было сказано, что любая база знаний состоит из множества высказываний. Теперь можно показать, что логическая база знаний представляет собой конъюнкцию этих высказываний. Это означает, что, начиная с пустой базы знаний кв и применяя операции Tell (КВ, Si) , ...,Tell (КВ, Sn), мы получим: KB=SiA...ASn.
Таким образом, базы знаний и высказывания могут рассматриваться как взаимозаменяемые понятия.
Таблица 7.1. Истинностные таблицы для пяти логических связок. Чтобы воспользоваться этой таблицей, например для вычисления значения Р v Q, когда Р является истинным, a Q — ложным, вначале необходимо найти в левой части таблицы строку, в которой Р имеет значение true, a Q— false (третья строка). Затем нужно искать запись в этой строке, соответствующую столбцу Р v Q, чтобы определить результат — true. Еще один способ поиска истинностного значения состоит в том, что каждая строка может рассматриваться как модель, а записи под каждым столбцом для этой строки — как утверждение о том, является ли соответствующее высказывание истинным в данной модели
р
Q
-tP
P A Q
P V Q
P => Q
P ^ Q
false
false
true
false
false
true
true
false
true
true
false
true
true
false
true
false
false
false
true
false
false
true
true
false
true
true
true
true
Истинностные таблицы для связок д (“и”), v (“или”) и -. (“нет”) почти полностью соответствуют интуитивным представлениям о смысле таких же слов естественного языка. Основным источником возможной путаницы является то, что высказывание Р v Q истинно, если истинными являются Р, или Q, или оба эти высказывания. Есть также другая связка, называемая “исключительное ИЛИ” (сокращенно “XOR” — exclusive OR), которая принимает ложное значение, если оба дизъюнкта являются истинными. В отношении того, какое обозначение следует применять для связки “исключительное ИЛИ”, нет общего согласия; двумя возможными вариантами являются v и ©.
Истинностная таблица для связки => на первый взгляд может показаться озадачивающей, поскольку не совсем соответствует интуитивному пониманию выражений “Р влечет за собой Q”, или “если Р, то Q”. Но прежде всего необходимо отметить, что пропозициональная логика не требует, чтобы между высказываниями Р и Q устанавливались какие-либо причинно-следственные отношения или отношения, определяющие их релевантность применительно к друг другу. Высказывание “то, что 5 — нечетное число, влечет за собой то, что Токио — столица Японии”, — это истинное высказывание пропозициональной логики (при нормальной интерпретации), даже несмотря на то, что в естественном языке определенно кажется странным. Еще один источник путаницы состоит в том, что любая импликация является истинной, если ее антецедент ложен. Например, высказывание “то, что 5 — четное число, влечет за собой что, что Сэм умен”, является истинным, независимо от того, умен ли Сэм. Это может показаться странным, но приобретает смысл, если рассматривать высказывание в форме “Р => Q” как утверждение: “Если Р истинно, то я утверждаю, что Q истинно. В противном случае я не высказываю никаких утверждений”. Единственный вариант, при котором это высказывание может принять значение false, состоит в том, чтобы высказывание Р было истинным, a Q — ложным.
Истинностная таблица для двухсторонней импликации, Р <=> Q, показывает, что это высказывание является истинным, если истинны и Р => Q, и Q => Р. В словес-
ной форме соответствующее высказывание часто записывают следующим образом: “Р тогда и только тогда, когда Q”, или сокращенно “Рттогда Q” (ттогда — не опечатка). Правила для мира вампуса лучше всего записывать с помощью связки <^. Например, в некотором квадрате чувствуется ветерок, если в соседнем квадрате имеется яма, а ветерок в некотором квадрате может чувствоваться, только если в одном из соседних квадратов имеется яма. Поэтому нам потребуются двухсторонние импликации, такие как
В1,1 <=> (Pl,2 V Р2,1)
где в1#1 означает, что в квадрате [1,1] чувствуется ветерок. Обратите внимание на то, что следующая односторонняя импликация:
Bl, 1 => ( Р1,2 V Р2,1)
в мире вампуса является истинной, но неполной. Она не позволяет исключить из рассмотрения модели, в которых высказывание В1Л ложно и Р1/2 истинно и которые нарушают правила мира вампуса. Эту мысль можно иначе выразить таким образом, что импликация требует наличия ям, если чувствуется ветерок, а двухсторонняя импликация требует также отсутствия ям, если ветерок не чувствуется.
Простая база знаний
Теперь, после определения семантики пропозициональной логики, мы можем сформировать базу знаний для мира вампуса. Для упрощения будем рассматривать только ямы; случай, в котором рассматривается также сам вампус, оставляем читателю в качестве упражнения. Мы предоставим агенту достаточный объем знаний, чтобы он мог сам формировать те логические выводы, которые были описаны неформально в разделе 7.3.
Вначале необходимо определить словарь пропозициональных символов. Для каждого 1, j:
допустим, что высказывание Р1Л является истинным, если в квадрате [1, j] имеется яма;
допустим, что В1Л является истинным, если в квадрате [1, j] чувствуется ветерок.
База знаний включает перечисленные ниже высказывания, каждому из которых для удобства присвоено отдельное обозначение.
В квадрате [1,1] отсутствует яма:
Ri: -1Р1.1
В квадрате чувствуется ветерок тогда и только тогда, когда в соседнем квадрате имеется яма. Такое высказывание должно быть сформулировано для каждого квадрата; на данный момент включены в рассмотрение только непосредственно интересующие нас квадраты:
^2 : В1Л <=> (Pl,2 V РгЛ)
Рз: Вгд <=> (Pi,i v Р2,2 v Рз,х)
Приведенные выше высказывания являются истинными во всех экземплярах мира вампуса. Теперь включим данные о восприятии ветерка для первых двух
квадратов, которые были посещены агентом в том конкретном мире, где он находится; это приведет нас к ситуации, показанной на рис. 7.2, б.
Н4 :-1В1,1
Rs* В2,1
Таким образом, база знаний состоит из высказываний RvR5. Ее можно также рассматривать как единственное высказывание (как конъюнкцию Кх а К2 а К3 а r4 а К5), поскольку она подтверждает, что все отдельно взятые высказывания в ней являются истинными.
Логический вывод
Напомним, что цель логического вывода состоит в том, чтобы определить, является ли истинным выражение КВ ^ а для некоторого высказывания а. Например, следует ли из базы знаний высказывание Р2,2? Рассматриваемый в данном разделе первый алгоритм логического вывода представляет собой непосредственную реализацию на практике определения логического следствия: перебрать (перечислить) все модели и проверить, является ли высказывание ос истинным в каждой модели, в которой база знаний КВ является истинной. Для пропозициональной логики модели представляют собой варианты присваивания значений true или false каждому пропозициональному символу. Возвратившись к примеру с миром вампуса, определим, что соответствующими пропозициональными символами являются В1Д, В2Л) Р1/Ъ pi,2, ^2,1, ^2,2 и Р3/1. При наличии семи символов могут существовать 27=128 возможных моделей; в трех из них база знаний КВ является истинной (табл. 7.2). В этих трех моделях является также истинным высказывание -зР1.2, поэтому в квадрате [1,2] нет ямы. С другой стороны, высказывание Р2,2 истинно в двух из трех моделей и ложно в одной из них, поэтому мы еще не можем определить, имеется ли яма в квадрате [2,2].
Таблица 7.2. Истинностная таблица, которая сформирована для базы знаний, определенной в тексте главы. База знаний КВ является истинной, если истинны высказывания К1-К5, а это происходит только в 3 из 128 строк. Во всех 3 строках высказывание Pi,2 ложно, поэтому в квадрате [1,2] нет ямы. С другой стороны, яма в квадрате [2,2] может быть (или не быть)
81,1
82,1
81,1
81,2
82,1
82,2
83,1
81
K2
83
84
85
KB
false
false
false
false
false
false
false
true
true
true
true
false
false
false
false
false
false
false
false
true
true
true
false
true
false
false
false
true
false
false
false
false
false
true
true
false
true
true
false
false
true
false
false
false
false
true
true
true
true
true
true
true
false
true
false
false
false
true
false
true
true
true
true
true
true
false
true
false
false
false
true
true
true
true
true
true
true
true
false
true
false
false
true
false
false
true
false
false
true
true
false
true
true
true
true
true
true
true
false
true
true
false
true
false
ческого следствия в пропозициональной логике приведен в листинге 7.3. Как и в алгоритме Backtracking-Search, приведенном на с. 131, функция TT-Entails? осуществляет рекурсивный перебор конечного пространства вариантов присваивания значений переменным. Этот алгоритм является непротиворечивым, поскольку он непосредственно реализует определение логического следствия, и полным, поскольку может применяться для любой базы знаний КВ и любого высказывания а и всегда заканчивает свою работу, при условии, что количество моделей, подлежащих проверке, является конечным.
Листинг 7.3. Алгоритм перебора истинностной таблицы для получения пропозициональных логических следствий, тт обозначает истинностную таблицу, функция PL-True? возвращает истинное значение, если некоторое высказывание является истинным в рамках некоторой модели. Переменная model представляет частично заданную модель — присваивание только некоторым переменным. Вызов функции Extend(Р, true,model) возвращает новую частично заданную модель, в которой высказывание Р имеет значение true
function TT-Entails? (КВ, ос) returns значение true или false
inputs: КВ, база знаний - высказывание в пропозициональной логике ос, запрос - высказывание в пропозициональной логике
symbols <— список пропозициональных символов в КВ и ос return TT-Check-All(КВ, а, symbols, [])
function TT-Check-All(КВ, ос, symbols, model) returns значение true или false
if Empty?(symbols) then
if PL-True? (KB, model) then return PL-True? (oc, model) else return true else do
P <— First(symbols); rest <— Rest(symbols)
return TT-Check-All (KB, oc, rest, Extend (P, true, model) and TT-Check-All (KB, oc, rest, Extend(P, false, model)
Безусловно, выражение “является конечным” не всегда означает то же, что и выражение “является небольшим”. Если КВ и а содержат в целом п символов, то количество моделей равно 2П. Таким образом, временная сложность этого алгоритма составляет О(2П). (Пространственная сложность составляет только О(п), поскольку перебор вариантов присваивания происходит по принципу поиска в глубину.) Ниже будут показаны алгоритмы, которые являются гораздо более, эффективными на практике. К сожалению, ^ каждый известный алгоритм логического вывода для пропозициональной логики в худшем случае имеет сложность, экспоненциально зависящую от размера ввода. Мы не можем рассчитывать на то, что наши алгоритмы будут действовать лучше, поскольку задача получения пропозиционального логического следствия является ko-NP-полной (см. приложение А).
Эквивалентность, допустимость и выполнимость
Прежде чем перейти к изложению подробных сведений об алгоритмах логического вывода, необходимо рассмотреть некоторые дополнительные понятия, ка-
сающиеся логического следствия. Как и само понятие следствия, эти понятия относятся ко всем формам логики, но их лучше всего показать на примере какого-то конкретного варианта логики, например пропозициональной логики.
Первым понятием является Алогическая эквивалентность: два высказывания, а и Р, являются логически эквивалентными, если они истинны в одном и том же множестве моделей. Это утверждение записывается как а <=> р. Например, можно легко показать (с помощью истинностных таблиц), что высказывания Р a Q и Q а Р логически эквивалентны; другие эквивалентности приведены в листинге 7.4. Они играют в логике практически такую же роль, какую арифметические равенства играют в обычной математике. Альтернативное определение эквивалентности является следующим: для любых двух высказываний ос и 0
ос = Р тогда и только тогда, когда ос k Р и Р к ос
(Еще раз напоминаем, что к означает логическое следствие.)
Листинг 7.4. Стандартные логические эквивалентности. Символы ос, Р и у обозначают произвольные высказывания пропозициональной логики
(а л Р) (а v Р)
=
(Р а а)
коммутативность связки а коммутативность связки v
(Р V
а)
((а
л Р) л у)
=
(ОС А
(Р А
у))ассоциативность связки а
((а
v Р) v у)
=
(ОС V
(Р V
у))ассоциативность связки v
—»(—* а)
=
ОС
устранение двойного отрицания
(а => Р)
=
н р
=> —1
ОС)контрапозиция
(а => Р)
=
(-> а
V Р)
устранение импликации
(а «■ р)
=
((а =>
р) -
\ (Р => ос) ) устранение двухсторонней импликации
~>(а а Р)
=
(-, а
V —1
Р)правило де Моргана
-i(a v р)
(-1 а
А —।
Р)правило де Моргана
(а л
* (Р v у))
=
((а а
Р)
v (ОС а у) ) дистрибутивность СВЯЗКИ А ПО V
(а v
' (Р А у) )
=
((ct v
Р)
л (ОС v у) ) дистрибутивность СВЯЗКИ V ПО А
Вторым понятием, которое нам потребуется, является А допустимость. Высказывание допустимо, если оно истинно во всех моделях. Например, высказывание Р v -зР является допустимым. Допустимые высказывания известны также под названием А тавтологий — они обязательно истинны и поэтому избыточны. Поскольку высказывание True является истинным во всех моделях, то любое допустимое высказывание логически эквивалентно True.
Для чего могут применяться допустимые высказывания? Из определения логического следствия можно вывести А теорему дедукции, которая была известна еще в древней Греции:
^° Для любых высказываний а и Р, ос k Р, если и только если высказывание (а => р^ является допустимым.
(В упр. 7.4 предлагается доказать эту теорему.) Алгоритм логического вывода, приведенный в листинге 7.3, может рассматриваться как проверка допустимости высказывания к кв => а). И наоборот, каждое допустимое высказывание в форме импликации описывает приемлемый вариант логического вывода.
Последним понятием, которое нам потребуется, является А выполнимость. Некоторое высказывание выполнимо тогда и только тогда, когда оно истинно в неко-
торой модели. Например, приведенная выше база знаний, (Rr a R2 a R3 а R4 a R5), выполнима, поскольку существует даже не одна, а три модели, в которых она истинна (см. табл. 7.2). Если некоторое высказывание а является истинным в модели т, то для обозначения этого применяется выражение, что ит ^ выполняет ос”, или что ит является моделью ос”. Выполнимость можно проверить, перебирая все возможные модели до тех пор, пока не будет найдена хотя бы одна из них, которая выполняет данное высказывание. Первой задачей в пропозициональной логике, для которой было доказано, что она является NP-полной, была задача определения выполнимости высказываний.
Многие задачи в компьютерных науках в действительно представляют собой задачи определения выполнимости. Например, во всех задачах удовлетворения ограничений, приведенных в главе 5, по сути требовалось найти ответ на вопрос о том, выполнимы ли данные ограничения при некотором присваивании. Кроме того, с помощью соответствующих преобразований по методу проверки выполнимости можно решать и задачи поиска. Безусловно, что понятия допустимости и выполнимости связаны друг с другом: высказывание ос является допустимым тогда и только тогда, когда высказывание —,ос невыполнимо, и наоборот, высказывание ос является выполнимым тогда и только тогда, когда высказывание —.ос недопустимо. На этом основании может быть также получен следующий полезный результат:
^ Высказывание ос ^ 0 истинно, если и только если высказывание (a a -i 0> невыполнимо.
Доказательство истинности высказывания 0 на основании истинности высказывания ос путем проверки невыполнимости выражения (ос а -10) точно соответствует стандартному математическому методу доказательства путем ^ приведения к абсурду (буквально, “доведение до абсурда” — reductio ad absurdum). Его также называют доказательством путем ^ опровержения, или доказательством с помощью выявления противоречия. В этом методе доказательства принимается предположение, что высказывание 0 ложно, и демонстрируется, что такое предположение приводит к противоречию с известными аксиомами ос. Подобное противоречие точно соответствует тому, что подразумевается под утверждением, что выражение (ос а -10) невыполнимо.
Шаблоны формирования рассуждений
В ПРОПОЗИЦИОНАЛЬНОЙ ЛОГИКЕ
В данном разделе рассматриваются стандартные шаблоны логического вывода, которые могут применяться для формирования цепочек заключений, ведущих к желаемой цели. Эти шаблоны логического вывода называются М правилами логического вывода. Наиболее широко известное правило называется М правилом отделения (Modus Ponens — модус поненс) и записывается следующим образом:
ос => 0, ос 0
Эта запись означает, что если даны любые высказывания в форме а => 0 и а, то из них можно вывести высказывание 0. Например, если дано (WumpusAhead а
WumpusAlive) => Shoot и (WumpusAhead л WumpusAlive), то можно вывести высказывание Shoot.
Еще одним полезным правилом логического вывода является ^ правило удаления связки “И”, в котором утверждается, что из конъюнкции можно вывести любой из ее конъюнктов:
а л р ос
Например, из высказывания (WumpusAhead л WumpusAlive) можно вывести высказывание WumpusAlive.
Рассматривая возможные истинностные значения аир, можно легко показать, что правило отделения и правило удаления связки “И” являются непротиворечивыми не только применительно к данным примерам, но и ко всем возможным высказываниям. Это означает, что данные правила могут использоваться во всех конкретных случаях, в которых они могут потребоваться, вырабатывая непротиворечивые логические выводы без необходимости перебирать все модели.
В качестве правил логического вывода можно также применять все логические эквивалентности, приведенные в листинге 7.4. Например, из эквивалентности двухсторонней импликации и двух импликаций можно получить следующие два правила логического вывода (первое из них называется правилом удаления двухсторонней импликации):
ос <=> Р(ос => р) л (Р а)
(ос => Р) л (Р => а) иа <=> Р
Но не все правила логического вывода действуют в обоих направлениях, как это. Например, нельзя применить правило отделения в противоположном направлении, чтобы получить высказывания а => Р и а из высказывания р.
Рассмотрим, как можно использовать эти правила логического вывода и эквивалентности в мире вампуса. Начнем с базы знаний, содержащей высказывания Я1-Я5, и покажем, как доказать высказывание —iPi,2> т.е. утверждение, что в квадрате [1,2] нет ямы. Вначале применим правило удаления двухсторонней импликации к высказыванию н2, чтобы получить следующее:
Кб- ( Bl, 1 => ( Р1,2 V Р2,1) ) Л ( ( Р1,2 V Р2 , 1) => Bl, 1 )
Затем применим к высказыванию Рб правило удаления связки “И” и получим:
Ку :( (Pi, 2 v Р2,1) => Bi, 1)
Из логической эквивалентности отрицаний следует:
Кв :(—iBi, i => —। (Pi, 2 v P2, i) )
Теперь можно применить правило отделения к высказыванию Р8 и к высказыванию R4 с данными восприятия (т.е. -iB1#1), чтобы получить следующее:
Kg: —I ( Р1,2 v Р2 , 1)
Наконец, применим правило де Моргана, позволяющее получить такое заключение:
Рю: ~1Р1,2 А —|Р2,1
Это означает, что ни в квадрате [ 1,2 ], ни в квадрате [2,1] нет ямы.
Приведенный выше процесс логического вывода (последовательность применения правил логического вывода) называется ^ доказательством. Процесс формирования доказательств полностью аналогичен процессу обнаружения решений в задачах поиска. В действительности, если можно было бы составить функцию определения преемника для выработки всех возможных вариантов применения правил логического вывода, это позволило бы использовать для формирования доказательств все алгоритмы поиска, приведенные в главах 3 и 4. Таким образом, вместо трудоемкого перебора моделей может применяться более эффективный способ логического вывода — формирование доказательств. Поиск может проходить в прямом направлении, от первоначальной базы знаний, и осуществляться путем использования правил логического вывода для получения целевого высказывания, или же этот поиск может проходить в обратном направлении, от целевого высказывания, в попытке найти цепочку правил логического вывода, ведущую от первоначальной базы знаний. Ниже в этом разделе рассматриваются два семейства алгоритмов, в которых используются оба эти подхода.
Из того факта, что задача логического вывода в пропозициональной логике является NP-полной, следует, что в наихудшем случае поиск доказательств может оказаться не более эффективным по сравнению с перебором моделей. Однако во многих практических случаях ^ поиск доказательства может быть чрезвычайно эффективным просто потому, что в нем могут игнорироваться не относящиеся к делу (нерелевантные) высказывания, независимо от того, насколько велико их количество. Например, в приведенном выше доказательстве, ведущем к высказыванию —uPi,2 а ^Р2,ь не упоминались высказывания В2/ь Л,ь ^2,2 или Р3/1. Их можно было не рассматривать, поскольку целевое высказывание, Р1/2, присутствует только в высказывании Р4; остальные высказывания из состава Р4 присутствуют только в Р4 и Р2, поэтому Р1? Р3 и к5 не имеют никакого отношения к доказательству. Те же рассуждения останутся справедливыми, если в базу знаний будет введено на миллион больше высказываний; с другой стороны, в этом случае простой алгоритм перебора строк в истинностной таблице был бы буквально подавлен из-за экспоненциального взрыва, вызванного стремительным увеличением количества моделей.
Это свойство логических систем фактически вытекает из гораздо более фундаментального свойства, называемого ^ монотонностью. Согласно этому свойству, множество высказываний, которые могут быть получены путем логического вывода, возрастает лишь по мере добавления к базе знаний новой информации. Для любых высказываний а и Р справедливо следующее:
если КВ к ос, то КВ л Р к ос
Например, предположим, что база знаний содержит дополнительное утверждение Р, согласно которому в этом экземпляре мира вампуса имеется точно восемь ям. Эти знания могут помочь агенту прийти к дополнительным заключениям, но не способны поставить под сомнение какое-либо уже сделанное заключение а, в частности вывод о том, что в квадрате [1,2] нет ямы. Монотонность означает, что правила логического вывода могут применяться каждый раз, когда в базе знаний обна-
руживаются подходящие предпосылки, — полученное заключение будет следствием из данного правила, независимо от того, что еще находится в базе знаний.
Резолюция
Выше было показано, что все рассматривавшиеся до сих пор правила логического вывода являются непротиворечивыми, но вопрос об их полноте применительно к алгоритмам логического вывода, в которых они используются, еще не обсуждался. Алгоритмы поиска, такие как поиск с итеративным углублением (с. 133), являются полными в том смысле, что позволяют найти любую достижимую цель, но если доступные правила логического вывода неадекватны, то цель становится недостижимой; это означает, что не существует доказательства, в котором могли бы применяться только эти правила логического вывода. Например, если мы откажемся от использования правила удаления двухсторонней импликации, то не сможем довести до конца доказательство, изложенное в предыдущем разделе. А в настоящем разделе представлено единственное правило логического вывода, правило резолюции, позволяющее получить алгоритм логического вывода, который становится полным в сочетании с любым полным алгоритмом поиска.
Начнем с использования простой версии правила резолюции в мире вампуса. Рассмотрим шаги, ведущие вверх на рис. 7.3, а: агент возвращается из квадрата [2,1] в квадрат [ 1,1 ], а затем переходит в квадрат [ 1,2 ], где он чувствует неприятный запах, но не ощущает ветерка. Введем следующие дополнительные факты в базу знаний:
812 :81,2 <=> (81,1 V Р2,2 v Р1,з)
С помощью того же процесса, который привел к получению высказывания 810, приведенного выше, мы теперь можем сделать заключение об отсутствии ям в квадратах [2,2] и [1,3] (напомним, что в отношении квадрата [1,1] уже известно, что в нем нетям):
813 :—|Р2,2
814:-1Р1,3
Кроме того, можно применить к высказыванию 83 правило удаления двухсторонней импликации, после чего применить к полученному результату в сочетании с высказыванием Р5 правило отделения, чтобы выяснить тот факт, что по меньшей мере в одном из квадратов [1,1], [2,2] или [3,1] есть яма:
81,1 v 82,2 v Рз,1
Именно здесь возникают условия, позволяющие впервые использовать правило резолюции (правило устранения противоречия): литерал -iP2,2 в высказывании Р13, противоположный литералу Р2,2 в высказывании Я15, устраняется, что приводит к получению следующего высказывания:
81,1 v Р3,1
Соответствующий ход рассуждения можно выразить словами таким образом: если по меньшей мере в одном из квадратов [1,1], [2,2] или [3,1] имеется яма, но ее нет в квадрате [2,2], то яма должна быть, по крайней мере, в квадрате [1,1]
или [3,1]. Аналогичным образом, устраняется литерал -iPi,i в высказывании Ri, противоположный литералу Р1Л в высказывании я16, что приводит к получению следующего высказывания:
Р17 : Рз,1
Соответствующий ход рассуждений можно выразить словами таким образом: если по меньшей мере в одном из квадратов [1,1] или [3,1] есть яма, но ее нет в квадрате [ 1,1 ], то она находится в квадрате [3,1]. Эти два последних этапа логического вывода представляют собой примеры применения ^ правила логического вывода, называемого правилом единичной резолюции:
li v ... v 4, т
^i у ... у ^i-i у ^i+i v ... v 4
где каждое из выражений С представляет собой литерал, а выражения 4 и я являются взаимно обратными литералами (т.е. такими литералами, что один из них является отрицанием другого). Таким образом, в правиле единичной резолюции берется ^ выражение (дизъюнкция литералов) и еще один литерал, после чего формируется новое выражение. Обратите внимание на то, что этот единственный литерал может рассматриваться как дизъюнкция из одного литерала, называемая также ^ единичным выражением.
Правило единичной резолюции может быть также обобщено до правила полной ^ резолюции:
11 V ... V lk, Л71 V ... V Л7П
^1 V ... V fi-1 V ^i + i V ... V 4 V Л11 V ... V Л7 j -1 V Mj+i V ... V Л7П
где ^ и т^ — взаимно обратные литералы. Если бы мы имели дело только с выражениями, имеющими длину два, то могли бы записать данное правило следующим образом:
11 У ^2/ ~1^2 V ^3 У 6
Это означает, что в правиле резолюции берутся два выражения и вырабатывается новое выражение, содержащее все литералы двух первоначальных выражений, за исключением двух взаимно обратных литералов. Например, может иметь место такой логический вывод:
Pl,l V Рз,1, -1P1,1 V -1Р2,2
P3,l V —iP2,2.
Процесс применения правила резолюции связан с необходимостью выполнения еще одного формального требования: результирующее высказывание должно содержать только по одной копии каждого литерала. Операция удаления дополнительных копий литералов называется ^ факторизацией. Например, после удаления про-
тивоположных друг другу литералов в выражениях {A v в) и {A v -iB) будет получено выражение (A v А), которое следует сократить до А.
Непротиворечивость правила резолюции можно легко доказать, рассматривая литерал 4- Если литерал ^ является истинным, то литерал т^ является ложным, и поэтому выражение mT v ... v т^з. v mj+1 v ... v mn должно быть истинным, поскольку дано, что истинно выражение mx v ...v mn. Если литерал 4 является ложным, то должно быть истинным выражение £х v ...v £i_1v 4+1v...v 4, поскольку дано, что истинно выражение 4 v ...v 4. Итак, литерал 4 является либо истинным, либо ложным, поэтому справедливо одно или второе из этих заключений, а именно это утверждается в правиле резолюции.
Еще более привлекательным свойством правила резолюции является то, что оно образует основу для семейства полных процедур логического вывода. с^= Любой полный алгоритм поиска, в котором применяется только правило резолюции, позволяет вывести любое заключение, которое следует из любой базы знаний в пропозициональной логике. Тем не менее необходимо сделать одно предупреждение: правило резолюции является полным только в узком смысле этого понятия. Если известно, что высказывание А истинно, правило резолюции нельзя использовать для автоматического формирования следствия A v в. Однако в этом случае правилом резолюции можно воспользоваться для поиска ответа на вопрос, является ли истинным высказывание A v в. Это свойство правила резолюции называется ^ полнотой опровержения (refutation completeness) и означает, что правило резолюции может всегда использоваться либо для подтверждения, либо для опровержения какого-то высказывания, но его нельзя применять для перебора всех истинных высказываний. В следующих двух подразделах описано, как может использоваться правило резолюции для осуществления логического вывода.
Конъюнктивная нормальная форма
Как было описано выше, правило резолюции применяется только к дизъюнкциям литералов, поэтому на первый взгляд оно распространяется только на базы знаний и запросы, состоящие из таких дизъюнкций. На каком же основании мы утверждаем, что это правило может служить основой процедуры полного логического вывода для всей пропозициональной логики? Ответ на этот вопрос состоит в том, что ^ каждое высказывание пропозициональной логики логически эквивалентно конъюнкции дизъюнкций литералов. Любое высказывание, представленное как конъюнкция дизъюнкций литералов, называется высказыванием, находящимся в ^ конъюнктивной нормальной форме, или CNF (Conjunctive Normal Form). Кроме того, ниже будет показано, что целесообразно определить также ограниченное семейство высказываний в конъюнктивной нормальной форме, называемое высказываниями в форме М k-CNF. Высказывание в форме k-CNF имеет точно к литералов в расчете на каждое выражение:
(4,1 V ... V £г,к) А ... А (4,1 V ... V 4,к)
Как оказалось, любое высказывание может быть преобразовано в высказывание в форме 3-CNF, которое имеет эквивалентное множество моделей.
Вместо доказательства этих утверждений (см. упр. 7.10) опишем простую процедуру преобразования. Проиллюстрируем эту процедуру, преобразовав высказывание К2) или В1Л <=> (Р1# 2 v Р2,i), в форму CNF. Ниже описаны соответствующие этапы.
Устранить связку <^, заменив высказывание а <=> Р высказыванием (а р) л (Р а):
(Bi,i => (Pl,2 V Р2.1) ) А ((Pl,2 V Р2,1)=> В1,1)
Устранить связку =>, заменив высказывание а => Р высказыванием -ia v Р:
(—1 В1,1 V Pi, 2 V Р2,1) А ( —1 ( Р1,2 V Р2,1) V В1, 1)
Конъюнктивная нормальная форма требует, чтобы связка -> появлялась только перед литералами, поэтому, как принято называть эту операцию, “введем связку -. внутрь выражения”, повторяя операцию применения следующих эквивалентностей из листинга 7.4:
—1(—। а) =ОС(устранениедвойногоотрицания)
-i(oc л р)=(—iOCv-1Р)(правило деМоргана)
—i(oc v Р)=(-10Сл-1Р)(правило деМоргана)
В данном примере требуется применение только одного, последнего правила:
(—iBi,i V Pi/2 V Р2,1) А ( (—iPi,2 А —iP2,l) V Bi,i)
В результате получено высказывание, содержащее вложенные связки а и v, которые применяются к литералам. Используем закон дистрибутивности, приведенный в листинге 7.4, распределяя связки v по связкам а везде, где это возможно.
(—|B1,1 V Pl z2 v Р2,1) А (—1P1,2 V В1,1) А (—1P2,1 V Bi, 1)
Теперь первоначальное высказывание представлено в форме CNF, как конъюнкция трех выражений. Это высказывание стало более сложным для чтения, но зато его можно использовать в качестве входных данных для процедуры резолюции.
Алгоритм резолюции
Процедуры логического вывода, основанные на правиле резолюции, действуют с использованием принципа доказательства путем установления противоречия, который описывался в конце раздела 7.4. Таким образом, чтобы показать, что кв ^ ос, мы покажем, что высказывание (кв л —юс) является невыполнимым. Это можно сделать, доказав, что имеет место противоречие.
Алгоритм резолюции приведен в листинге7.5. Вначале высказывание (КВ a -ia) преобразуется в форму CNF. Затем к результирующим выражениям применяется правило резолюции. В каждой паре выражений, содержащих взаимно противоположные литералы, происходит удаление этих противоположных друг другу литералов для получения нового выражения, которое добавляется к множеству существующих выражений, если в этом множестве еще нет такого выражения. Указанный процесс продолжается до тех пор, пока не происходит одно из следующих двух событий:
перестают вырабатываться какие-либо новые выражения, которые могли быть добавлены к существующим, и в этом случае из базы знаний кв не следует высказывание а;
два противоположных друг другу выражения устраняются, в результате чего создается пустое выражение; в этом случае из базы знаний кв следует высказывание а.
Листинг 7.5. Простой алгоритм резолюции для пропозициональной логики. Функция PLResolve возвращает множество всех возможных выражений, полученных путем устранения противоположных друг другу литералов из двух высказываний, которые поступают на ее вход
function PL-Resolution(КВ, a) returns значение true или false
inputs: КВ, база знаний - высказывание в пропозициональной логике а, запрос - высказывание в пропозициональной логике
clauses <— множество выражений, полученное после преобразования высказывания КВ л —>а в форму CNF new <— {}-
loop do
for each Ci, Cj in clauses do resolvents <— PL-Resolve(Ci, Cj) if множество resolvents содержит пустое выражение then return true
new <— new u resolvents
if new c clauses then return false
clauses <— clauses u new
Пустое выражение (дизъюнкция без дизъюнктов) эквивалентно высказыванию False, поскольку дизъюнкция является истинной, только если истинен по меньшей мере один из ее дизъюнктов. Еще один способ убедиться в том, что пустое выражение служит свидетельством противоречия, состоит в том, что, вернувшись к описанному выше процессу логического вывода, можно заметить, что пустое выражение возникает только после устранения двух взаимно противоположных единичных выражений, таких как Р и -1Р.
Эту процедуру резолюции можно применить для формирования очень простого логического вывода в мире вампуса. Когда агент находится в квадрате [ 1,1 ], он не чувствует ветерка, поэтому в соседних квадратах не может быть ям. Соответствующая база знаний является следующей:
КВ = R2 A R4 = (В1(1 <=> ( Р1,2 V Р2,1) ) А ~1 Bl, 1
и требуется доказать высказывание а, которое, скажем, имеет вид -iPi,2. После преобразования высказывания (КВ а -л ос) в форму CNF получим выражения, показанные в верхнем ряду на рис. 7.6. В нижнем ряду на этом рисунке показаны все выражения, полученные путем устранения противоположных друг другу литералов из всех пар выражений, приведенных в верхнем ряду. Затем после устранения литерала Рх,2, противоположного литералу -. Р1/2, будет получено пустое выражение, показанное в виде небольшого квадрата. Анализ результатов, приведенных на рис. 7.6, позволяет обнаружить, что многие этапы резолюции были бессмысленными. Например, выражение В1Л v -iBlzl v р1/2 эквивалентно выражению True v Plz2, которое эквивалентно True. Логический вывод, согласно которому выражение True является истинным, не очень полезен. Поэтому любое выражение, в котором присутствуют два взаимно дополнительных литерала, может быть отброшено.
Полнота резолюции
Чтобы завершить обсуждение правила резолюции в этом разделе, покажем, почему алгоритм PL-Resolution является полным. Для этого целесообразно ввести
понятие М резолюционного замыкания RC(S) множества выражений S, представляющего собой множество всех выражений, которые могут быть получены путем повторного применения правила резолюции к выражениям из множества S или к их производным. Революционным замыканием является множество выражений, которое вычисляется алгоритмом PL-Resolution в качестве окончательного значения переменной clauses. Можно легко показать, что множество RC(S) должно быть конечным, поскольку количество различных выражений, которые могут быть сформированы из символов Plt..., Pk, присутствующих в S, является конечным. (Следует отметить, что это утверждение не было бы истинным, если бы не применялся этап факторизации, в котором уничтожаются дополнительные копии литералов.) Поэтому алгоритм PL-Resolution всегда оканчивает свою работу.
Рис. 7.6. Чисть блок-схемы, показывающей процесс применения функции PL-Resolution для формирования простого логического вывода в мире вампуса. Здесь показано, что из первых четырех выражений, приведенных в верхнем ряду, следует выражение-Р i, 2
Теорема полноты для правила резолюции в пропозициональной логике называется ^ основной теоремой резолюции.
Если множество выражений является невыполнимым, то революционное замыкание этих выражений содержит пустое выражение.
Докажем эту теорему, показав, что справедливо противоположное ей утверждение: если замыкание RC(S) не содержит пустое выражение, то множество S выполнимо. В действительности для множества S можно создать модель с подходящими истинностными значениями для Plf..., Pk. Процедура создания такой модели описана ниже.
Для i от 1 до к:
если в множестве RC(S) имеется выражение, содержащее литерал -iPi, такое, что все другие его литералы являются ложными при данном присваивании, выбранном для Pi,. •. I Pi-i, то присвоить литералу Pi значение false;
в противном случае присвоить литералу Pi значение true. ‘
Остается показать, что это присваивание значений литералам Plf...,Pk представляет собой модель множества выражений S, при условии, что множество RC(S') является замкнутым согласно правилу резолюции и не содержит пустого выражения. Доказательство этого утверждения оставляем читателю в качестве упражнения.
Прямой и обратный логический вывод
Благодаря такой полноте алгоритм резолюции становится очень важным методом логического вывода. Однако во многих практических ситуациях вся мощь правила
резолюции не требуется. Реальные базы знаний часто содержат только выражения в ограниченной форме, называемые ^ хорновскими выражениями. Хорновское выражение представляет собой дизъюнкцию литералов, среди которых положительным является не больше чем один. Например, выражение (-iL1#1 v ^Breeze v Bltl), где ь1Л означает, что местонахождением агента является квадрат [1,1], представляет собой хорновское выражение, тогда как выражение (—иВ1#1 v Рг,2 v P2,i) таковым не является.
Ограничение, согласно которому только один литерал выражения должен быть положительным, может на первый взгляд показаться немного надуманным и бесперспективным, но фактически является очень важным по трем описанным ниже причинам.
Каждое хорновское выражение может быть записано как импликация, предпосылкой которой является конъюнкция положительных литералов, а заключением — один положительный литерал (см. упр. 7.12). Например, хорновское выражение ^L1(1 v -^Breeze v в1Л) может быть записано как импликация (Llel л Breeze) => В1Л. В этой последней форме данное высказывание становится более легким для чтения: в нем утверждается, что если агент находится в квадрате [1,1] и чувствует ветерок, то ветерок чувствуется в квадрате [1,1]. Людям проще читать и писать в такой форме высказывания, касающиеся многих областей знаний.
Хорновские выражения, подобные этому, имеющие точно один положительный литерал, называются ^ определенными выражениями. Такой положительный литерал называется ^головой выражения, а отрицательные литералы образуют ^ тело выражения. Определенное выражение без отрицательных литералов просто утверждает справедливость некоторого высказывания; такую конструкцию иногда называют ^ фактом. Определенные выражения образуют основу для логического программирования, которое рассматривается в главе 9. Хорновское выражение без положительных литералов может быть записано как импликация, заключением которой является литерал False. Например, выражение (-пй^,! v -w1/2), согласно которому вампус не может находиться одновременно в квадратах [1,1] и [1,2], эквивалентно выражению й4д л Wi,2 => False. В мире баз данных такие высказывания называются ^ ограничениями целостности и используются для обнаружения ошибок в данных. В приведенных ниже алгоритмах для простоты предполагается, что база знаний содержит только определенные выражения и не содержит ограничений целостности. Такие базы знаний мы будем называть находящимися в хорновской форме.
Логический вывод с использованием хорновских выражений может осуществляться с помощью алгоритма М прямого логического вывода и ^ обратного логического вывода, которые рассматриваются ниже. Оба эти алгоритма являются очень естественными в том смысле, что этапы логического вывода являются для людей очевидными и за ними можно легко проследить.
Получение логических следствий с помощью хорновских выражений может осуществляться за время, линейно зависящее от размера базы знаний.
Этот последний факт становится особенно приятным сюрпризом. Он означает, что процедура логического вывода оказывается весьма недорогостоящей применительно ко многим пропозициональным базам знаний, которые встречаются на практике.
Алгоритм прямого логического вывода PL-FC-Entails?(кв,qj определяет, следует ли единственный пропозициональный символ q (запрос) из базы знаний, представленной в форме хорновских выражений. Он начинает работу с известных фактов (положительных литералов) в базе знаний. Если известны все предпосылки некоторой импликации, то ее заключение добавляется к множеству известных фактов. Например, если известно, что имеют место факты Б1Л и Breeze, а в базе знаний имеется выражение (Lltl a Breeze') => В1Л, то к ней можно добавить факт В1Л. Этот процесс продолжается до тех пор, пока к базе знаний не добавляется запрос q или становится невозможным осуществление дальнейшего логического вывода. Этот подробный алгоритм приведен в листинге 7.6; главное, что следует о нем помнить, — то, что он действует за время, определяемое линейной зависимостью.
Листинг 7.6. Алгоритм прямого логического вывода для пропозициональной логики. В списке agenda (“повестка дня”) отслеживаются символы, в отношении которых известно, что они истинны, но которые еще не “обработаны”. В таблице count отслеживается информация о том, какое количество предпосылок каждой импликации еще не известно. Каждый раз, когда обрабатывается новый символ р из списка символов agenda, “стоящих на повестке дня”, количество предпосылок в таблице count сокращается на единицу для каждой импликации, в которой появляется предпосылка р. (Такие импликации могут обнаруживаться за постоянное время, если индексация базы знаний кв выполнена должным образом.) После того как количество неизвестных предпосылок для некоторой импликации достигает нуля, все эти предпосылки становятся известными, поэтому заключение этой импликации может быть добавлено к списку agenda. Наконец, необходимо следить за тем, какие символы уже были обработаны; символ, выведенный логическим путем, не следует добавлять к списку agenda, если он уже был обработан ранее. Это позволяет избежать излишней работы, а также предотвратить возникновение бесконечных циклов, которые могут быть вызваны наличием таких импликаций, как Р => Q и Q => Р
function PL-FC-Entails? (КВ, q) returns значение true или false inputs: KB, база знаний - множество пропозициональных хорновских выражений q, запрос - пропозициональный символ
local variables: count, таблица, индексированная по высказываниям, первоначально имеющая размер, соответствующий количеству предпосылок inferred, таблица, индексированная по символам, в которой каждая запись первоначально имеет значение false
agenda, список символов, первоначально включает символы, известные как истинные в базе знаний КВ
while список agenda не пуст do
р <— Pop(agenda)
unless inferred [p] doinferred [p] <— truefor each хорновское выражение с в котором присутствуетпредпосылка р doуменьшить на единицу значение count[с]if count[с] = 0 then do
if Head[с] = q then return true
Push(Head[c], agenda)
return false
Лучший способ понять этот алгоритм состоит в том, чтобы рассмотреть пример и иллюстрацию. На рис. 7.7, а показана простая база знаний из хорновских выражений, содержащая выражения Айв как известные факты. На рис. 7.7, б приведена та же база знаний, изображенная в виде графа AND-OR. В графах AND-OR кратные дуги, соединенные кривой линией, обозначают конъюнкцию (в них необходимо доказать истинность каждой дуги), а кратные дуги, не соединенные друг с другом, обозначают дизъюнкцию (достаточно доказать истинность любой из этих дуг). На этом графе можно легко проверить, как действует алгоритм прямого логического вывода. Устанавливаются значения известных листовых узлов (в данном случае А и в), а процесс логического вывода распространяется вверх по графу до тех пор, пока это возможно. При появлении любой конъюнкции процесс распространения останавливается и ожидает до тех пор, пока все конъюнкты не становятся известными, и только после этого продолжается дальше. Рекомендуем читателю подробно проработать этот пример.
P^Q UM^P B^L^M АлР^Ь АлВ^Ь А
В
а)
Рис. 7.7. Пример применения алгоритма прямого логического вывода: простая база знаний, состоящая из хорновских выражений (а); соответствующий граф AND—OR (б)
Можно легко убедиться в том, что алгоритм прямого логического вывода является непротиворечивым: каждый этап логического вывода по сути представляет собой применение правила отделения. Кроме того, алгоритм прямого логического вывода является полным: в нем может быть получено каждое атомарное высказывание, которое следует из базы знаний. Проще всего в этом можно убедиться, рассмотрев заключительное состояние таблицы inferred (после того, как этот алгоритм достигает М фиксированной точки, в которой становятся невозможными какие-либо новые этапы логического вывода). Эта таблица содержит значение true для каждого символа, выведенного логическим путем в течение этого процесса, и false — для всех других символов. Эта таблица может рассматриваться как логическая модель; более того, ^ каждое определенное выражение в первоначальной базе знаний КВ является истинным в данной модели. Чтобы убедиться в этом, предположим обратное, а именно, что некоторое выражение ах а ... a ak => b из базы знаний является
ложным в этой модели. Тогда в этой модели выражение ах а ... а ак должно быть истинным и в ней же выражение b должно быть ложным. Но это противоречит нашему предположению о том, что алгоритм достиг фиксированной точки! Поэтому можно сделать вывод, что множество атомарных высказываний, полученное логическим путем к моменту достижения фиксированной точки, определяет модель первоначальной базы знаний кв. Более того, любое атомарное высказывание д, которое следует из базы знаний кв, должно быть истинным во всех ее моделях, а также, в частности, в данной модели. Итак, любое высказывание q, которое следует из базы знаний, должно быть выведено логически данным алгоритмом.
Прямой логический вывод представляет собой пример применения общего понятия формирования логических рассуждений, М управляемых данными, т.е. рассуждений, в которых фокус внимания вначале сосредоточен на известных данных. Прямой логический вывод может использоваться в любом агенте для получения заключений на основе поступающих результатов восприятия, часто даже без учета какого- либо конкретного запроса. Например, агент для мира вампуса может сообщать с помощью операции Tell результаты своих восприятий базе знаний с использованием инкрементного алгоритма прямого логического вывода, в котором новые факты могут добавляться к “повестке дня” для инициализации новых процессов логического вывода. У людей формирование рассуждений, управляемых данными, в определенной степени происходит по мере поступления новой информации. Например, находясь дома и услышав, что пошел дождь, человек, который собирался на пикник, может решить, что придется его отменить. Но такое решение вряд ли будет принято, если он узнает, что оказался мокрым семнадцатый лепесток самой крупной розы в саду его соседа; люди держат процессы прямого логического вывода под тщательным контролем, поскольку в противном случае их просто затопил бы поток логических заключений, не имеющих ничего общего с реальностью.
Алгоритм обратного логического вывода, как указывает само его название, действует в обратном направлении от запроса. Если удается сразу же узнать, что высказывание, содержащееся в запросе q, является истинным, то не нужно выполнять никакой работы. В противном случае алгоритм находит те импликации в базе знаний, из которых следует q. Если можно доказать, что все предпосылки одной из этих импликаций являются истинными (с помощью обратного логического вывода), то высказывание q также является истинным. Будучи применен к запросу Q, показанному на рис. 7.7, этот алгоритм будет проходить вниз по графу до тех пор, пока не достигнет множества известных фактов, которые образуют основу для доказательства. Разработку подробного алгоритма оставляем читателю в качестве упражнения; как и в случае алгоритма прямого логического вывода, эффективная реализация этого алгоритма выполняет свою работу за линейное время.
Обратный логический вывод представляет собой одну из форм ^ рассуждения, направляемого целями. Такая форма является полезной при получении ответов на конкретные вопросы, наподобие следующих: “Что теперь мне следует делать?” и “Где же находятся мои ключи?” Зачастую стоимость обратного логического вывода намного меньше по сравнению со стоимостью, линейно зависящей от размера базы знаний, поскольку в этом процессе затрагиваются только факты, непосредственно относящиеся к делу. Вообще говоря, агент должен разделять работу между процессами прямого и обратного формирования рассуждений, ограничивая прямое формирование рассужде-
ний выработкой фактов, которые, по всей вероятности, будут относиться к запросам, подлежащим решению с помощью обратного логического вывода.
Эффективный пропозициональный логический вывод
В данном разделе рассматриваются два семейства эффективных алгоритмов пропозиционального логического вывода, основанного на проверке по модели: один подход основан на поиске с возвратами, а другой — на поиске с восхождением к вершине. Указанные алгоритмы входят в состав основного “инструментария” пропозициональной логики. Этот раздел может быть пропущен при первом чтении настоящей главы.
Рассматриваемые здесь алгоритмы предназначены для проверки выполнимости. Выше уже отмечалась связь между поиском модели, обеспечивающей выполнимость логического высказывания, и поиском решения задачи удовлетворения ограничения, поэтому, скорее всего, нет ничего удивительного в том, что эти два семейства алгоритмов весьма напоминают алгоритмы поиска с возвратами, описанные в разделе 5.2, и алгоритмы локального поиска, которые представлены в разделе 5.3. Тем не менее приведенные здесь алгоритмы являются чрезвычайно важными сами по себе, поскольку в компьютерных науках существует очень много комбинаторных задач, которые можно свести к проверке выполнимости пропозиционального высказывания. Любое усовершенствование алгоритмов проверки выполнимости влечет за собой колоссальные последствия, связанные с повышением нашей способности справляться со всеми сложными задачами в целом.
Полный алгоритм поиска с возвратами
Первый рассматриваемый здесь алгоритм часто называют ^ алгоритмом Дэвиса— Патпем в честь авторов оригинальной статьи, в которой он был опубликован, Мартина Дэвиса и Хилари Патнем [336]. Затем этот алгоритм фактически стал одной из версий, описанных Дэвисом, Логеманом и Лавлендом [335], поэтому мы будем называть его DPLL по первым буквам фамилий всех четырех авторов. Алгоритм DPLL принимает на входе некоторое высказывание в конъюнктивной нормальной форме — высказывание, представленное как множество выражений. Как и алгоритмы Backtracking-Search и TT-Entails?, он фактически выполняет рекурсивный перебор в глубину всех возможных моделей. Но в этом алгоритме реализованы три описанных ниже усовершенствования, и этим он отличается от простой схемы, применяемой в алгоритме TT-Entails?.
Раннее завершение. Алгоритм обнаруживает, должно ли данное высказывание быть истинным или ложным, даже с помощью частично завершенной модели. Выражение является истинным, если истинен любой его литерал, даже притом что для других литералов еще не определены истинностные значения; поэтому об истинности всего высказывания в целом можно судить еще до того, как модель будет составлена полностью. Например, высказывание (A v в) л (A v С) является истинным, если истинен литерал А, незави-
симо от значений литералов в и С. Аналогичным образом, высказывание является ложным, если ложно любое его выражение, а это происходит, если каждый литерал этого выражения является ложным. Опять-таки, такая ситуация может возникнуть задолго до того, как модель будет полностью составлена. Раннее завершение позволяет обойтись без исследования целых поддеревьев в пространстве поиска.
Эвристика чистого символа. М Чистым символом называется символ, который всегда появляется с одним и тем же “знаком” во всех выражениях. Например, в трех выражениях (A v -iB), (—iB v —iC) и (С v А) символ А является чистым, поскольку он появляется только в виде положительных литералов, чистым можно также считать символ в, который появляется только в виде отрицательных литералов, а символ С считается нечистым. Можно легко показать, что если некоторое высказывание имеет модель, то это — модель с чистыми символами, значения которым присвоены так, чтобы их литералы приняли значение true, поскольку при таком условии ни одно выражение не может стать ложным. Следует отметить, что при определении чистоты символа алгоритм может игнорировать выражения, в отношении которых уже известно, что они истинны в модели, составленной до сих пор. Например, если модель содержит присваивание В= false, то выражение НВ v -.С) уже является истинным, а символ С становится чистым, поскольку присутствует только в выражении (с v А).
Эвристика единичного выражения. Единичное выражение было определено ранее как выражение только с одним литералом. В контексте алгоритма DPLL оно также относится к выражениям, в которых в данной модели всем литералам, кроме одного, уже было присвоено значение false. Например, если модель содержит присваивание В= false, то выражение (В v —.С) становится единичным выражением, поскольку оно эквивалентно выражению (False v -iC), или просто —.С. Очевидно, для того, чтобы это выражение приняло истинное значение, литералу С должно быть присвоено значение false. Эвристика единичного выражения предусматривает присваивание значений всем таким символам до того, как происходит переход к обработке оставшейся части высказывания. Одним из важных следствий из этой эвристики является то, что любая попытка доказать (путем опровержения) истинность литерала, который уже находится в базе знаний, немедленно приводит к успеху (упр. 7.16). Следует также отметить, что присваивание значения одному единичному выражению может привести к созданию еще одного единичного выражения; например, после присваивания символу С значения false единичным становится выражение (С v А), что влечет за собой присваивание истинного значения символу А. Такое “каскадное” распространение форсированных присваиваний называется М распространением единичных выражений. Оно напоминает процесс прямого логического вывода с применением хорновских выражений, а в действительности, если рассматриваемое высказывание в конъюнктивной нормальной форме содержит только хорновские выражения, то алгоритм DPLL по сути сводится к алгоритму прямого логического вывода (см. упр. 7.17).
Алгоритм DPLL приведен в листинге 1Л. В этом листинге показана самая важная структурная часть алгоритма, которая описывает сам процесс поиска, но не представлены структуры данных, которые необходимо сопровождать для обеспечения эффективности каждого этапа поиска, а также исключены все программистские “хитрости”, которые можно было бы ввести для повышения производительности: изучение выражений, эвристики выбора переменных и операции рандомизированного перезапуска. После включения всех этих усовершенствований алгоритм DPLL, несмотря на свой почтенный возраст, становится одним из самых быстрых алгоритмов проверки выполнимости, которые когда-либо были разработаны. В частности, реализация Chaff этого алгоритма используется для решения задач проверки качества аппаратного обеспечения с миллионом переменных.
Листинг 1Л. Алгоритм DPLL для проверки выполнимости высказывания в пропозициональной логике. Принципы работы функций Find-Pure-Symbol и Find-Unit-Clause описаны в тексте; каждая из них возвращает символ (или неопределенное значение), а также истинностное значение, которое должно быть присвоено этому символу. Как и алгоритм тт-Entails?, этот алгоритм работает с частично составленными моделями
function DPLL-Satisfiable?(s) returns значение true или false inputs: s, высказывание в пропозициональной логике
clauses <— множество выражений высказывания s, преобразованного в форму представления CNF
symbols <— список пропозициональных символов в высказывании s return DPLL(clauses, symbols, [])
function DPLL(clauses, symbols, model) returns значение true или false if каждое выражение в множестве clauses имеет значение true в модели model
then return true if какое-то выражение в множестве clauses имеет значение false в модели model
then return false
P, value <— Find-Pure-Symbol(symbols, clauses, model) if значение P не является пустым
then return DPLL(clauses,symbols-P,Extend{P,value, model) ) P, value <— Find-Unit-Clause(clauses, model) if значение P не является пустым
then return DPLL(clauses,symbols-P,Extend(P,value, model) )
P <— First(symbols); rest <— Rest(symbols)
return DPLL(clauses, rest, Extend(P, true, model)) or DPLL(clauses, rest, Extend(P, false, model))
Алгоритмы локального поиска
До сих пор в данной книге было представлено несколько алгоритмов локального поиска, включая алгоритмы Hill-Climbing (с. 176) и Simulated-Annealing (с. 181). Эти алгоритмы могут непосредственно применяться для решения задач проверки выполнимости, при условии, что будет выбрана правильная функция оценки. Поскольку цель состоит в том, чтобы найти присваивание, обеспечивающее выполне-
ние каждого выражения, для этой цели может использоваться любая функция оценки, которая подсчитывает количество невыполненных выражений. Фактически именно этот критерий и применяется в алгоритме Min-Conflicts для задач CSP (с. 227). Все эти алгоритмы делают шаги в пространстве полных присваиваний, каждый раз меняя на противоположное (инвертируя) истинностное значение одного символа. Это пространство обычно содержит много локальных минимумов, для выхода из которых требуются различные формы рандомизации. В последние годы было проведено множество экспериментов с тем, чтобы можно было найти приемлемый компромисс между стремлением к “жадному” выбору наилучшего преемника и необходимостью выходить из локальных минимумов с помощью случайного выбора очередного преемника.
Одним из простейших и наиболее эффективных алгоритмов, которые были созданы в результате всей этой работы, является алгоритм, получивший название WalkSAT (листинг 7.8). При каждой итерации этот алгоритм выбирает одно невыполненное выражение, а в этом выражении выбирает один символ для инвертирования. В данном алгоритме происходит случайным образом переключение между двумя способами выбора символа для инвертирования его истинностного значения: во- первых, этап с “минимизацией конфликтов”, в котором минимизируется количество невыполненных выражений в новом состоянии, и, во-вторых, этап “случайного передвижения”, в котором один из символов выбирается случайным образом.
Листинг 7.8. Алгоритм WalkSAT для проверки выполнимости путем инвертирования значений переменных случайным образом. Существует много версий этого алгоритма
function WalkSAT(clauses, р, тах_ flips) returns выполняющую высказывание
модель model или индикатор отказа failure
inputs: clauses, множество выражений в пропозициональной логике р, вероятность выбора решения сделать ход со "случайным перемещением", которая, как правило, составляет около 0,5 max_flips, количество инверсий, которые разрешено
выполнить,прежде чем отказаться от дальнейших попыток
model <— случайно выбранное присваивание значений true/false символам в выражениях
for i = 1 to тах_flips do
if в модели model выполняется множество clauses then return model
clause <— выбранное случайным образом выражение из множества clauses, которое имеет значение false в модели model with probability р инвертировать в модели model значение случайно выбранного символа из выражения clause
else инвертировать значение того символа из выражения clause, который максимизирует количество выполненных выражений в множестве clauses
return failure
Действительно ли такой алгоритм, как WalkSAT, способен выполнять производительную работу? Очевидно, что если он возвращает некоторую модель, то входное высказывание в самом деле выполнимо. А что если он возвращает индикатор неудачи failure? К сожалению, в этом случае невозможно определить, верно ли, что
высказывание является невыполнимым, или просто этому алгоритму требуется предоставить больше шансов добиться успеха. При этом можно попытаться присвоить параметру с определением максимального количества инверсий max_flips бесконечно большое значение. В данном случае можно легко показать, что алгоритм WalkSAT в конечном итоге вернет какую-то модель (если она существует), при условии, что вероятность этого р>0. Это связано с тем, что всегда существует последовательность инверсий, ведущая к присваиванию, которое обеспечивает выполнение высказывания, и такая последовательность в конечном итоге вырабатывается в результате случайного выбора этапов перемещения. К сожалению, если параметр max_flips имеет бесконечно большое значение, а высказывание является невыполнимым, данный алгоритм никогда не заканчивает свою работу!
Из этого следует, что алгоритмы локального поиска, подобные WalkSAT, являются наиболее полезными, когда можно действительно рассчитывать на то, что решение существует; например, задачи, которые рассматривались в главах 3 и 5, обычно имеют решения. С другой стороны, локальный поиск не всегда может обнаружить невыполнимость, а именно это требуется, когда задача состоит в том, чтобы определить, следует ли какое-то высказывание из базы знаний. Например, агент не может надежно использовать локальный поиск для доказательства того, что некоторый квадрат в мире вампуса безопасен. Вместо этого он может лишь утверждать: “Я размышлял об этом в течение часа, но так и не мог найти хотя бы один из возможных миров, в котором данный квадрат не является безопасным”. А поскольку данный алгоритм локального поиска обычно позволяет действительно быстро найти модель, если она существует, то агент, использующий этот алгоритм, должен учитывать, что неудача в попытке найти модель высказывания с помощью данного алгоритма скорее всего свидетельствует о невыполнимости данного высказывания. Безусловно, такой результат — нечто иное, чем доказательство, и агент должен трижды подумать, прежде чем рискнуть своей жизнью, основываясь на подобных результатах.
Трудные задачи определения выполнимости
Теперь рассмотрим, какие показатели производительности демонстрируют алгоритмы DPLL и WalkSAT на практике. Нас особенно интересуют трудные задачи, поскольку легкие могут быть решены с помощью любого старого алгоритма. В главе 5 мы ознакомились с некоторыми удивительными открытиями в области решения задач определенного типа. Например, задача с п ферзями (которая когда-то рассматривалась как чрезвычайно сложная) при ее решении с помощью алгоритмов поиска с возвратами оказалась тривиально простой для методов локального поиска, таких как метод с минимальными конфликтами. Это связано с тем, что решения этой задачи распределены в пространстве присваиваний очень плотно и для любого начального присваивания гарантируется, что решение находится недалеко. Таким образом, задача с п ферзями является простой потому, что она ^ недостаточно ограниченна.
Если речь идет о решении задач проверки выполнимости, представленных в конъюнктивной нормальной форме, то среди них недостаточно ограниченными можно считать такие задачи, которые содержат относительно немного выражений, ограничиваю-
щих значения переменных. Например, ниже представлено выработанное случайным образом высказывание в форме 3-CNF с пятью символами и пятью выражениями.
(—1D V —\В V С) А (В V —гА V —iC) А (~1С V —\В V Е) А (Е V —\D V В) А
(В v Е v -пС)
Моделями этого высказывания являются 16 из 32 возможных вариантов присваивания, поэтому в среднем для поиска модели потребуются только две случайно выбранных гипотезы.
Так где же найти сложные задачи? Можно предположить, что если количество выражений будет увеличено, притом что количество символов останется постоянным, то задача станет более ограниченной и поиск решений окажется более затруднительным. Допустим, что т — количество выражений, ап — количество символов. На рис. 7.8, а показана вероятность того, что случайно сформированное высказывание в форме 3-CNF является выполнимым, как функция от отношения “выражение/символ”, т/п, при постоянном значении п, равном 50. Как и следовало ожидать, при малых значениях т/п эта вероятность близка к 1, а при больших значениях т/п вероятность близка к 0. На кривой вероятности начинается довольно резкий спад приблизительно после достижения значения т/п=4.3. Высказывания в форме CNF, приближающиеся к этой ^ критической точке, можно назвать “почти выполнимыми”, или “почти невыполнимыми”. Можно ли считать, что именно здесь находятся трудные задачи?
Отношение "выражение/символ", т/пОтношение "выражение/символ", т/п
а)б)
Рис. 7.8. Анализ производительности алгоритмов DPLL и WalkSAT при решении трудных задач: график, на котором показана вероятность того, что случайно сформированное высказывание в форме 3-CNF с количеством символов п=50 окажется выполнимым, как функция от отношения “выражение/символ”, m/п (а); график усредненного времени прогона алгоритмов DPLL и WalkSAT применительно к 100 выполнимым сформированным случайным образом высказываниям в форме 3-CNF с п=50, который показывает наличие узкого диапазона значений т/п вокруг критической точки (б)
На рис. 7.8, б показано время прогона алгоритмов DPLL и WalkSAT на участке вокруг этой критической точки, где наше внимание ограничивалось только выпол-
нимыми задачами. Изучение приведенных результатов позволяет сделать три вывода: во-первых, задачи, приближающиеся к критической точке, являются гораздо более трудными по сравнению с другими случайно сформированными задачами; во- вторых, даже при решении самых сложных задач алгоритм DPLL является весьма эффективным — он требует выполнения в среднем нескольких тысяч шагов по сравнению со значением количества шагов 250=Ю15, которое требуется для перебора истинностной таблицы; в-третьих, во всем этом диапазоне характеристик задач алгоритм WalkSAT работает намного быстрее, чем алгоритм DPLL.
Безусловно, эти результаты относятся только к случайно сформированным задачам. Реальные задачи не обязательно имеют такую же структуру, как случайно сформированные задачи (они могут характеризоваться разными значениями относительного количества положительных и отрицательных литералов, разными плотностями соединений между выражениями и т.д.). Тем не менее на практике алгоритм WalkSAT и подобные ему алгоритмы очень хорошо справляются также с решением реальных задач и часто не уступают самым лучшим алгоритмам специального назначения для этих задач. Такие решатели задач, как Chaff, легко справляются с задачами, состоящими из тысяч символов и миллионов выражений. На основании этих наблюдений можно сделать вывод, что некоторые комбинации эвристики с минимальными конфликтами и поведения со случайным блужданием предоставляют универсальную способность находить решения в большинстве ситуаций, в которых требуется комбинаторное формирование рассуждений.
Агенты, основанные на пропозициональной логике
В данном разделе соберем воедино все, что было описано до сих пор, для того, чтобы приступить к созданию агентов, действующих с использованием пропозициональной логики. Здесь будут рассматриваться два вида агентов: во-первых, агенты, в которых применяются алгоритмы логического вывода и база знаний, подобные показанному в листинге 7.1 универсальному агенту, основанному на знаниях, и, во- вторых, агенты, которые вычисляют значения логических высказываний непосредственно с помощью логических схем. В этом разделе будет также продемонстрировано функционирование агентов обоих типов в мире вампуса, а также показано, что оба они страдают от серьезных недостатков.
Поиск ям и вампусов с помощью логического вывода
Начнем с описания агента, который рассуждает логически о том, где находятся ямы, вампусы и безопасные квадраты. Агент начинает свою работу с базы знаний, в которой описаны “законы” мира вампуса. Он знает, что квадрат [1,1] не содержит яму или вампуса; это означает, что -iPi,i и -1^1Л. Для каждого квадрата [х,у] агенту известно высказывание с указанием того, как возникает ветерок:
5х,у ^ (Рх,у+1 V Рх,у-1 v Рх+1,у v Рх-1,у)(7.1)
Для каждого квадрата [х, у] агенту известно высказывание с указанием того, как возникает неприятный запах:
Sx,y ^ (^x,y+i v Wx,y-i v Wx+i,y v Wx-i,y)(7.2)
Наконец, он знает, что в мире вампуса существует точно один вампус. Соответствующее высказывание состоит из двух частей. Прежде всего необходимо указать, что имеется самое меньшее один вампус:
^1,1 V Wi,2 v ... V Й/4,3 V ^4,4
Затем необходимо указать, что существует самое большее один вампус. Один из способов формулировки этого утверждения состоит в том, что при наличии любых двух квадратов один из них обязательно должен быть свободным от вампуса. При наличии п квадратов мы получаем п(п-1) /2 таких высказываний, которые подобны по форме высказыванию -ihZlzl v -1piZlz2. Таким образом, для мира с размерами 4x4 описание начинается с общего количества 155 высказываний, содержащих 64 различных символа.
Программа агента, приведенная в листинге 7.9, сообщает в свою базу знаний с помощью операции Tell о каждом новом восприятии ветерка и неприятного запаха. (Она также обновляет некоторые обычные программные переменные для слежения за тем, где находится агент и где он побывал; дополнительная информация об этом приведена ниже.) Затем программа выбирает среди периферийных квадратов (т.е. квадратов, являющихся соседними по отношению к тем, которые уже посетил агент) такой квадрат, который должен быть проверен в следующую очередь. Агент может доказать, что периферийный квадрат [1, р] безопасен, если из базы знаний следует высказывание (-iPlz j a -il¥iz j ). На втором месте по своей привлекательности находится квадрат, который, возможно, является безопасным; таковым является квадрат, применительно к которому агент не может доказать, что в нем имеется яма или вампус, т.е квадрат, для которого из базы знаний не следует высказывание (■Pi,j v ^i,j>-
Листинг 7.9. Агент для мира вампуса, использующий пропозициональную логику для определения ям, вампусов и безопасных квадратов. Процедура Route-Problem формирует задачу поиска, решением которой является последовательность действий, ведущих от [х,у] до [i,j] и проходящих только через ранее посещенные квадраты
function PL-Wumpus-Agent (percept) returns действие action inputs: percept, список результатов восприятия в форме [Stench,Breeze, Glitter] (["Неприятный запах", "Ветерок","Блеск"])
static: КВ, база знаний, первоначально содержащая лишь определения "законов функционирования" мира вампуса
х, у, orientation, позиция агента (первоначально 1,1) и его ориентация (первоначально. Right - смотрит вправо)
visited, массив, показывающий, какие квадраты были посещены, первоначально содержащий значения false
action, последнее по времени действие агента, первоначально не определено
plan, намеченная последовательность действий, первоначально пустая
обновить значения х, у, orientation, visited с учетом действия action
if stench then Tell (KB, Sx,y) else Tell (KB, —iSx,y) if breeze then Tell (KB, Bx,y) else Tell (KB, —iBx,y)
if glitter then action <— grab
else if plan не пуст then action <— Pop (plan)
else if для некоторого периферийного квадрата [i,j] результат ksk(KB, (iPij a -iWij)) имеет значение true or для некоторого периферийного квадрата [i,j] результат Ask(KB, (Pi,5 v Wij)) имеет значение false then do plan <— A*-Graph-Search (Route-Problem( [x, y] , orientation, [i, j],visited) )
action <— Pop (plan)
else action <— случайно выбранный шаг
return action
Вычисление логического следствия в процедуре Ask может быть реализовано с использованием любого из методов, описанных выше в этой главе. Очевидно, что алгоритм TT-Entails? (см. листинг7.3) является практически не применимым, поскольку в нем приходится выполнять перебор 264 строк. Алгоритм DPLL (см. листинг 7.7) осуществляет требуемый логический вывод за несколько миллисекунд в основном благодаря использованию эвристики с распространением единичных выражений. Может также использоваться алгоритм WalkSAT с учетом обычных предостережений о его неполноте. В рассматриваемых экземплярах мира вампуса неудачи в поиске модели при использовании 10 000 инверсий неизменно соответствуют невыполнимости, поэтому вероятность ошибок, вызванных неполнотой этого алгоритма, весьма мала.
В малом мире вампуса алгоритм PL-Wumpus-Agent действует весьма неплохо. Тем не менее некоторые особенности базы знаний агента остаются крайне неудовлетворительными. База знаний кв содержит “буквальные” высказывания в общей форме, приведенной в уравнениях 7.1 и 7.2, для каждого отдельного квадрата. Чем больше среда, тем крупнее должна быть такая начальная база знаний. Было бы гораздо лучше иметь только два высказывания, которые сообщают, из-за чего возникают ветерки и неприятные запахи в любых квадратах. Но такие выразительные возможности выходят за рамки пропозициональной логики. В следующей главе будет показан более выразительный логический язык, в котором можно легко представить подобные высказывания.
Слежение за местонахождением и ориентацией
Программа агента, приведенная в листинге 7.9, немного “жульничает”, поскольку в ней слежение за местонахождением осуществляется за пределами базы знаний, тогда как вместо этого следует использовать логические рассуждения. Для выполнения этих функций “должным образом” потребуются высказывания, касающиеся местонахождения. Одна из первых попыток решения этой задачи может состоять в использовании некоторого символа наподобие Llel для обозначения того, что агент находится в квадрате [1,1]. В таком случае начальная база знаний могла бы включать высказывания, подобные следующим:
Li,i л FacingRight a Forward => L2,i
Однако сразу же обнаруживается, что такой способ является неприменимым. Если агент начинает движение с квадрата [1,1], глядя вправо, и передвигается вперед, то из базы знаний будут следовать высказывания и ь1л (о его первоначальном местонахождении), и Ь1/2 (о его новом местонахождении). Тем не менее эти высказывания не могут одновременно быть истинными! Проблема состоит в том, что эти два высказывания, касающиеся местонахождения, должны ссылаться на два различных промежутка времени. Нам требуется ввести обозначение наподобие L1^ которое означало бы, что агент находился в квадрате [1,1] в момент времени 1, l22/i — для обозначения того, что агент находился в квадрате [2,1] в момент времени 2, ит.д. Высказывания, касающиеся ориентации и действий, также должны зависеть от времени. Поэтому правильными высказываниями являются следующие:
L1!,! a FacingRight1 a Forward1 => L22,i
FacingRight a TurnLeft1 => FacingUp2
и тому подобные высказывания. Как оказалось, задача создания полной и правильной базы знаний, которая позволяла бы следить за всем, что происходит в мире вам- пуса, является весьма сложной; отложим полное обсуждение этой темы до главы 10. А в данном разделе достаточно лишь подчеркнуть такую мысль, что начальная база знаний должна содержать высказывания, подобные приведенным в двух предыдущих примерах, для каждого момента времени с, а также для каждого местонахождения. Это означает, что для каждого момента времени t и местонахождения [х,у] база знаний содержит некоторое высказывание примерно в такой форме:
Ltx,y a FacingRight a Forward^ => Lt+1x+i,y(7.3)
Но даже если мы установим верхний предел количества допустимых интервалов времени (допустим, 100), в конечном итоге база знаний заполнится десятками тысяч высказываний. Та же самая проблема возникает, если для каждого нового интервала времени добавление высказываний происходит “по мере необходимости”. Из-за такого стремительного увеличения количества высказываний база знаний становится неудобной для чтения людьми, но быстрые пропозициональные алгоритмы — решатели задач все еще способны легко справляться с задачами в мире вампуса с размерами 4x4 (они достигают предела своих возможностей в мире, размеры которого составляют приблизительно 100x100). Агенты, основанные на логических схемах, которые описаны в следующем подразделе, предоставляют частичное решение этой проблемы стремительного увеличения количества высказываний, но нам придется подождать полного решения до того, как будет разработана логика первого порядка в главе 8.
Агенты на основе логических схем
^ Агент на основе логической схемы представляет собой особую разновидность рефлексных агентов с поддержкой состояния, которые определены в главе 2. В этом агенте результаты восприятия становятся входными данными для М последовательной логической схемы — сети из М логических элементов, каждый из которых реализует какую-то логическую связку, и М регистров, каждый из который хранит истинностное значение одного высказывания. Выходами этой логической схемы являются регистры, соответствующие действиям, например, выход Grab принимает значение true, если агент
хочет что-то схватить. Если вход Glitter (блеск) связан непосредственно с выходом Grab, то агент хватает свою цель, где бы он ее не обнаружил (рис. 7.9).
Вычисления значений с помощью логических схем осуществляются по принципу ^ обработки потока данных: на каждом временном интервале устанавливаются значения входных данных и по логической схеме распространяются сигналы. Каждый раз, когда некоторый логический элемент получает на входе все необходимые данные, он вырабатывает на выходе некоторое значение. Этот процесс весьма напоминает процесс прямого логического вывода в таком графе AND-OR, какой приведен на рис. 7.7, б. .
Рис. 7.9. Часть структурной схемы агента на основе логической схемы для мира вампуса, на которой показаны входы, выходы, схема для захвата золота и схема для определения того, жив ли вампус. Регистры показаны в виде прямоугольников, а задержки на один шаг обозначаются небольшими треугольниками
В предыдущем разделе было указано, что агенты на основе логической схемы позволяют учитывать временнь/е соотношения намного более успешно, чем пропозициональные агенты на основе логического вывода. Это связано с тем, что значение, хранящееся в каждом регистре, показывает истинностное значение соответствующего пропозиционального символа в текущий момент времени t, поэтому регистр не хранит отдельные копии этого значения для каждого отдельного интервала времени. Например, можно предусмотреть регистр Alive, который должен содержать значение true, если вампус жив, и false, если он мертв. Этот регистр соответствует пропозициональному символу Alive^ поэтому в каждом временном интервале он ссылается на разные высказывания. Внутреннее состояние этого агента (т.е. его память) поддерживается путем обратного подключения выхода некоторого регистра к той же схеме через М линию задержки. Это позволяет доставить в схему информацию о состоянии регистра в предыдущем интервале времени. Один из примеров такой конструкции приведен на рис. 7.9. Значение регистра Alive формируется с помощью конъюнкции отрицания восприятия Scream и пропущенного через линию задержки значения самого регистра Alive. Действие, выполняемое этой схемой применительно к регистру Alive, можно представить в форме высказывания как следующую двухстороннюю импликацию:
Alivet <^ —iScreairf л Alive^1(7.4)
Это высказывание означает, что вампус в момент времени с жив тогда и только тогда, когда в момент времени t не был слышен его жалобный предсмертный крик (такое состояние нельзя определить по крику в момент времени с-1), и он был жив в момент времени с-1. Предполагается, что при инициализации этой логической схемы значение регистра Alive устанавливается равным true. Поэтому значение регистра Alive остается истинным до тех пор, пока не раздается жалобный крик вампуса, после чего это значение становится ложным и остается таковым. Это — именно то, что требуется.
За местонахождением агента можно следить в основном с использованием такого же способа, с помощью которого мы следим за здоровьем вампуса. Для этого требуется иметь отдельный регистр ЬХ1У для каждого значения х и у, его значение должно быть равным true, если агент находится в квадрате [х,у]. Однако логическая схема, которая присваивает значение регистру Lx,y, является гораздо более сложной по сравнению с логической схемой для регистра Alive. Например, агент находится в квадрате [1,1] в момент времени с, если он, во-первых, был здесь в момент времени с-1 и либо не двинулся вперед, либо попытался двинуться, но ударился об стену; во-вторых, находился в квадрате [1,2], смотря вниз, и двинулся вперед; в-третьих, находился в квадрате [2,1], смотря влево, и двинулся вперед. Эти три условия можно описать с помощью следующего высказывания:
1?Чд<^ (L^i а (-1 Forward^"1 v Витр^ )
v (Z^hi^ л kFacingDown^"1 a Forward^-1^(7.5)
v кЬ^д a kFacingLef tt-1 л Forward^"1') )
Схема для регистра ъгл показана на рис. 7.10. К каждому регистру местонахождения подключена аналогичная схема. В упр. 7.13, б предлагается спроектировать логическую схему для высказываний, касающихся ориентации.
Рис. 7.10. Схема определения того, находится ли агент в квадрате [1,1]. К каждому регистру с определением местонахождения и ориентации подключена аналогичная схема
Логические схемы, показанные на рис. 7.9 и 7.10, постоянно поддерживают правильные истинностные значения для регистров Alive и ЬХ/У. Однако необычным свойством логических высказываний, соответствующих этим схемам и регистрам, является то, что их правильные истинностные значения всегда можно проверить. С другой стороны, рассмотрим высказывание В414 о том, что в квадрате [4,4] чувствуется ветерок. Несмотря на то что истинностное значение этого высказывания остается постоянным, агент не сможет узнать это истинностное значение до тех пор, пока не посетит квадрат [4,4] (или не выведет логическим путем, что рядом с этим квадратом есть яма). Пропозициональная логика и логика первого порядка предназначены для того, чтобы с их помощью можно было автоматически представлять высказывания с истинными, ложными и неизвестными значениями, а логические схемы таким свойством не обладают: регистр для высказывания В4,4 обязан содержать хоть какое-то значение, либо true, либо false, даже несмотря на то, что истинные данные о том, каково его значение, еще не получены. Это означает, что значение в регистре вполне может оказаться неправильным, и это введет агента в заблуждение. Иными словами, в регистре должны быть представлены три возможных состояния (высказывание В4/4 является заведомо истинным, заведомо ложным или имеющим неизвестное значение), но в нашем распоряжении для этой цели имеется только один бит.
Решение такой проблемы состоит в использовании двух битов вместо одного. Высказывание В414 будет представлено с помощью двух регистров, которые мы будем называть К(ви) и K(-iB4,4), где к обозначает “known” (известный). (Напомним, что это все еще просто символы со сложными именами, даже несмотря на то, что они выглядят как структурированные выражения!) Если оба регистра, К(В4/4) и K(-iB4/4), содержат ложное значение, то истинностное значение В4>4 неизвестно. (А если оба они содержат истинное значение, то в базе знаний есть ошибка!) С этого времени, каждый раз, когда в некоторой части логической схемы нужно будет использовать высказывание В4<4, вместо него будет применяться высказывание к (в4,4), а когда потребуется использовать ->в4<4, вместо него будет служить к(->в4/4). Вообще говоря, каждое потенциально неопределенное высказывание можно представить двумя М высказываниями с оценкой знаний (knowledge proposition), которые позволяют определить, известно ли о том, что соответствующее высказывание является истинным, или известно, что оно ложно.
Примеры того, как использовать высказывания с оценкой знаний, будут вскоре приведены. Но вначале необходимо провести определенную работу, чтобы найти способ выяснения истинностных значений самих высказываний с оценкой знаний. Обратите внимание на то, что высказывание В4,4 имеет постоянное истинностное значение, а значения высказываний К(В4/4) и К(—1В4,4) изменяются по мере того, как агент больше узнает об этом мире. Например, высказывание К( В4< 4) вначале является ложным, а затем становится истинным, как только появляется возможность определить, что высказывание В414 является истинным, т.е. после того, как агент переходит в квадрат [4,4] и обнаруживает ветерок. С тех пор оно продолжает оставаться истинным. Таким образом, справедливо следующее уравнение:
K(B4/4)t <=» K(B4,4)t"1 V (Lt4,4 A Breeze^(7.6)
Аналогичное уравнение может быть составлено для высказывания к (-iB4,4) \ Теперь, после того как агент узнал, в каких квадратах чувствуется ветерок, он может заняться обнаружением ям. В отсутствии ямы в некотором квадрате можно быть уве-
ренным тогда и только тогда, когда в отношении одного из соседних квадратов известно, что в нем не чувствуется ветерок. Например, имеет место следующее уравнение:
К^Р4,4^ <=> K(-iB3,4)t V КНВ»,^ ПЛ)
Задача определения того, что в некотором квадрате есть яма, является более сложной — для этого в одном из соседних квадратов должен чувствоваться ветерок, который нельзя приписать наличию других ям, как показывает следующее уравнение:
К(Р4.4^ ^ (ЩВз,4^ л К^.д' л КЬРз.з)^
V (К(В4,3^ Л К№,2^ A К^Рз.З^) (7.8)
Хотя логические схемы для определения наличия или отсутствия ям являются довольно сложными, ^ в них имеется лишь постоянное количество логических элементов в расчете на каждый квадрат. Это свойство является существенным, если мы занимаемся созданием агентов на основе логической схемы, предназначенных для решения задач, масштабы которых могут увеличиваться в разумных пределах. А фактически это — свойство самого мира вампуса; среда называется проявляющей свойство локальности, если истинность каждого интересующего нас высказывания можно определить, рассматривая лишь постоянное количество других высказываний. Обоснованность классификации по признаку локальности очень сильно зависит от того, насколько точно определена “физическая структура” данной среды. Например, область определения задачи игры в минного тральщика (Minesweeper) (упр. 7.11) является нелокальной, поскольку, чтобы узнать, есть ли мина в данном квадрате, может потребоваться проверить квадраты, находящиеся от него на произвольном расстоянии. Поэтому агенты на основе логических схем не всегда практически применимы для нелокальных областей определения.
Осталась еще одна проблема, которую мы до сих пор тщательно обходили, — вопрос об М ацикличности. Логическая схема является ацикличной, если каждый путь, соединяющий выход некоторого регистра в обратном направлении с его входом, содержит промежуточный элемент задержки. Мы требуем, чтобы все схемы были ацикличными, поскольку логические схемы, являющиеся цикличными, не работают как физические устройства! Они могут переходить в режим неустойчивых колебаний, что приводит к появлению неопределенных значений. В качестве примера цикличной схемы рассмотрим следующий дополненный вариант уравнения 7.6:
КкВ4,4^ <^ КкВ4,4^-1 V кь^4,4 Breeze^ v К(Рз,4^ v K(P4,3)t (7.9)
Дополнительные дизъюнкты, к(Р3,4)fc и к(Р4,3) \ позволяют агенту определить, чувствуется ли ветерок, на основании известных данных о наличии ям в соседних квадратах, и, на первый взгляд, в этом нет ничего предосудительного. Но, к сожалению, появление ветерка зависит от наличия ям в соседних квадратах, а наличие ям зависит от того, чувствуется ли ветерок в соседних квадратах, и такая связь устанавливается с помощью уравнений, подобных уравнению 7.8. Поэтому полная логическая схема будет содержать циклы.
Сложность здесь заключается не в том, что дополненное уравнение 7.9 стало неправильным. Скорее всего, проблема состоит в том, что промежуточные зависимости, представленные подобными уравнениями, невозможно разрешить с помощью распространения истинностных значений по соответствующим логическим схемам. Ациклическая версия схемы, составленной с использованием уравнения 7.6, кото-
рая определяет наличие ветерка только с помощью прямого наблюдения, является неполной в том смысле, что могут возникать такие ситуации, когда агент на основе логической схемы окажется менее осведомленным, чем агент на основе логического вывода, использующий полную процедуру логического вывода. Например, если чувствуется ветерок в квадрате [1,1], то агент на основе логического вывода может прийти к заключению, что ветерок чувствуется также в квадрате [2,2], а агент на основе ациклической логической схемы, использующий уравнение 7.6, на это не способен. Задача создания полной логической схемы выполнима (в конце концов, логические схемы дают возможность эмулировать любой цифровой компьютер), но такая схема окажется значительно более сложной по сравнению с ациклической логической схемой.
Сопоставление двух описанных типов агентов
Агент на основе логического вывода и агент на основе логической схемы представляют собой выражение двух противоположных подходов к проектированию агентов: декларативного и процедурного. Их сравнение может быть проведено по нескольким описанным ниже параметрам.
Краткость. Агент на основе логической схемы, в отличие от агента на основе логического вывода, не обязан иметь отдельные копии своих “знаний”, относящиеся к каждому временному интервалу. Вместо этого он обращается только к данным, касающимся текущего и предыдущего временнь/х интервалов. Для обоих агентов требуются копии описаний “физической структуры” (представленные в виде высказываний или логических схем) для каждого квадрата, и поэтому они не могут хорошо приспосабливаться к более крупным вариантам среды. В тех вариантах среды, характеризующихся наличием многочисленных объектов, между которыми установлены сложные связи, количество необходимых высказываний превосходит возможности любого пропозиционального агента. Для подобных вариантов среды требуется выразительная мощь логики первого порядка (см. главу 8). Кроме того, пропозициональные агенты обоих типов плохо приспособлены для представления или решения задачи поиска пути к ближайшему безопасному квадрату. (По этой причине в алгоритме PL-Wumpus-Agent приходится прибегать к использованию алгоритма поиска.)
Вычислительная эффективность. В наихудшем случае логический вывод может потребовать времени, экспоненциально зависящего от количества символов, тогда как вычисление логического значения с помощью логической схемы требует времени, линейно зависящего от размера этой схемы (или линейно зависящего от глубины этой схемы, если она реализована в виде физического устройства). Однако на практике (как было показано выше) алгоритм DPLL выполняет требуемый логический вывод очень быстро.
Полнота. Выше было указано, что агент на основе логической схемы может быть неполным из-за ограничений, связанных с ацикличностью. Но фактически причины неполноты могут оказаться более фундаментальными. Прежде всего напомним, что продолжительность выполнения задания логической схемы линейно зависит от размера данной схемы. Это означает, что логическая схема для некоторых вариантов среды, являющаяся полной (т.е. позволяющая вычислить истинностное значение любого высказывания с определимым значением), должна быть экспоненциально больше, чем база знаний агента на основе логического вывода. В противном случае такая схема представляла бы собой реализацию некоего способа решения задачи поиска логического следствия в пропозициональной логике за время меньше экспоненциального, а это весьма маловероятно. Еще одна причина состоит в том, каков характер внутреннего состояния агента. Агент на основе логического вывода запоминает результаты каждого восприятия и обладает знаниями, либо явными, либо неявными, о каждом высказывании, которое следует из этих восприятий и начальной базы знаний. Например, получив результат восприятия В1Л, этот агент знает о наличии дизъюнкции Р1/2 v р2 1? из которой следует высказывание в212. Агент на основе логической схемы, с другой стороны, забывает все полученные ранее результаты восприятия и помнит только отдельные высказывания, хранящиеся в регистрах. Поэтому высказывания Р12 и Р2Л, отдельно взятые, становятся для него неизвестными после получения результатов первого восприятия, т.е. он не может сделать вывод о том, что истинно высказывание в2(2.
Простота конструирования. Это — очень важный вопрос, на который нелегко найти точный ответ. Безусловно, авторы данной книги считают, что намного проще сформулировать высказывание о “физической структуре” декларативно, тогда как задача создания небольших, ацикличных, не слишком неполных логических схем для непосредственного обнаружения ям представляется для них весьма сложной.
Подводя итог, можно прийти к выводу, что для согласования требований вычислительной эффективности, краткости, полноты и простоты конструирования необходимо прийти к определенным компромиссам. Если связь между восприятиями и действиями является простой (такой как связь между Glitter и Grab), оптимальным решением можно считать логическую схему, а для реализации более сложных связей может оказаться лучшим декларативный подход. Например, в такой проблемной области, как шахматы, декларативные правила являются краткими и простыми для кодирования (по крайней мере, в логике первого порядка), а логическая схема для вычисления ходов непосредственно по данным о позиции на доске была бы невообразимо огромной.
В царстве животных часто можно обнаружить различные проявления таких компромиссов. Низшие животные с очень простыми нервными системами, по- видимому, основаны на логических схемах, тогда как высшие животные, включая людей, очевидно, обладают способностью выполнять логический вывод на основе явных представлений. Это позволяет им вычислять гораздо более сложные функции агента. Люди имеют также логические схемы для реализации рефлексов, кроме того, возможно, обладают также способностью ^ компилировать декларатив-
ные представления для дальнейшего их использования в виде логических схем после того, как некоторые логические выводы становятся рутинными. Таким образом, проект гибридного агента (см. главу 2) может обладать лучшими способностями, взятыми из обоих миров.
Резюме
В данной главе приведены вводные сведения об агентах на основе знаний, а также показано, как сформулировать логическое определение, с помощью которого такие агенты могут формировать рассуждения о мире, в котором они существуют. Основные идеи этой главы перечислены ниже.
Интеллектуальным агентам требуются знания о мире для того, чтобы они могли вырабатывать хорошие решения.
Знания содержатся в агентах в форме высказываний на языке представления знаний, которые хранятся в базе знаний.
Агент на основе знаний состоит из базы знаний и механизма логического вывода. Он действует путем сохранения высказываний о мире в своей базе знаний, использования механизма логического вывода для получения новых высказываний и применения этих высказываний для принятия решения о том, какое действие следует выполнить.
Язык представления определяется с помощью его синтаксиса, который задает структуру высказываний, и его семантики, которая определяет истинность каждого высказывания в каждом из возможных миров, или модель этого высказывания.
Для понимания процесса формирования логических рассуждений крайне важно определить, как связаны логические следствия разных высказываний. Из высказывания ос следует другое высказывание Р, если Р является истинным во всех мирах, где истинно ос. Эквивалентные определения основаны на понятии допустимости высказывания ос => Р и невыполнимости высказывания ОС А -|Р.
Логический вывод — это процесс получения новых высказываний из старых. Непротиворечивые алгоритмы логического вывода обеспечивают получение только таких высказываний, которые являются логическими следствиями; полные алгоритмы обеспечивают получение всех высказываний, являющихся логическими следствиями.
Пропозициональная логика — это очень простой язык, состоящий из пропозициональных символов и логических связок. Этот язык позволяет рассматривать высказывания, в отношении которых известно, являются ли они истинными, ложными или имеют полностью неизвестное логическое значение.
При наличии постоянного словаря пропозициональных символов множество возможных моделей остается конечным, поэтому логическое следствие можно проверить, перебирая модели. Эффективные алгоритмы логического вывода на основе проверки по модели для пропозициональной логики включают мето-
ды поиска с возвратами и локального поиска и часто позволяют очень быстро решать крупные задачи.
Правила логического вывода представляют собой шаблоны непротиворечивого логического вывода, которые могут использоваться для поиска доказательств. Правило резолюции позволяет создать полный алгоритм логического вывода для баз знаний, которые представлены в конъюнктивной нормальной форме. Прямой логический вывод и обратный логический вывод — это алгоритмы логического вывода, которые чрезвычайно естественно подходят для баз знаний, представленных в форме хорновских выражений.
На основе пропозициональной логики могут быть созданы агенты двух типов: в агентах на основе логического вывода для слежения за миром и выявления его скрытых свойств используются алгоритмы логического вывода, тогда как в агентах на основе логических схем высказывания представлены в виде битов в регистрах, а обновление содержимого регистров происходит в результате распространения сигналов по логическим схемам.
Пропозициональная логика является достаточно эффективной для решения некоторых задач в отдельно взятом агенте, но не позволяет распространить свое действие в масштабах таких вариантов среды, которые обладают неограниченными размерами, поскольку не имеет достаточной выразительной мощи, которая позволила бы кратко выразить временные, пространственные и другие универсальные шаблоны связей между объектами.
Библиографические и исторические заметки
Понятие агента, который использует процесс формирования логических рассуждений для установления связи между восприятиями и действиями, было выдвинуто в статье Джона Маккарти "Programs with Common Sense" [1009], [1011]. Кроме того, Маккарти стал основоположником декларативного подхода, указав, что очень изящным является такой способ создания программного обеспечения, который предусматривает передачу агенту указаний о том, что он должен знать. В статье Аллена Ньюэлла “The Knowledge Level" [1124] подчеркнуто, что рациональные агенты могут быть описаны и проанализированы на абстрактном уровне, определяемом знаниями, которым они обладают, а не программами, которые в них выполняются. Сравнение декларативного и процедурного подходов к искусственному интеллекту было проведено Боденом [145]. Незатухающие дебаты между приверженцами этих двух подходов снова оживились, в частности, после публикации [192] и [1145].
Сама логика имеет свои истоки в древнегреческой философии и математике. Фрагменты с изложением различных логических принципов (связывающих синтаксическую структуру высказываний с их истинным или ложным значением, с их смыслом или с допустимостью доводов, в которых они фигурируют) встречаются во многих трудах Платона. Первое известное систематическое исследование логики было проведено Аристотелем, работы которого были собраны его учениками после его смерти в 322 до н.э. в виде трактата, называемого Органон. ^ Силлогизмы Аристотеля представляли собой то, что мы теперь называем правилами логического вывода. Хотя силлогизмы включали элементы и пропозициональной логики, и логики
первого порядка, сама система Аристотеля в целом была очень слабой с точки зрения современных стандартов. В ней не было места для шаблонов логического вывода, которые могли бы применяться к высказываниям с произвольной сложностью, как в современной пропозициональной логике.
Тесно связанные со школой Аристотеля мегарская и стоическая школы (которые зародились в пятом веке до н.э. и продолжали свою работу в течение нескольких столетий) ввели в научный обиход принципы систематического исследования импликации и других основных конструкций, до сих пор используемых в современной пропозициональной логике. Применение истинностных таблиц для определения логических связок было впервые предложено в трудах Филона из Мегары. Стоики приняли к использованию пять основных правил логического вывода как допустимые без доказательства, в том числе правило, которое теперь принято называть правилом отделения (Modus Ponens). Из этих пяти правил они вывели множество других правил, используя, кроме других принципов, теорему дедукции (с. 302), и имели гораздо более четкое представление о таком понятии, как доказательство, чем Аристотель. Стоики утверждали, что их логика была полной в том смысле, что они смогли описать все допустимые правила логического вывода, но от их трудов остались лишь отдельные фрагменты, по которым трудно судить об их правоте. Хорошее описание истории развития логики на примере мегарской и стоической школ, в той степени, в какой эти школы нам известны, приведено в работе Бенсона Мэйтса [1000].
Идеи о том, что логический вывод можно свести к чисто механическому процессу, применяемому к формальному языку, были высказаны Готфридом Вильгельмом Лейбницем (1646—1716). Однако собственные работы Лейбница в области математической логики обладали серьезными недостатками, поэтому он запомнился скорее как человек, выдвинувший эти идеи как цели, которые должны быть достигнуты, а не действительно предпринявший результативную попытку их достичь.
Джордж Буль [149] впервые представил полную и работоспособную систему формальной логики в своей книге The Mathematical Analysis of Logic. Логика Буля была почти полностью промоделирована на основе обычной алгебры действительных чисел, и в ней в качестве основного метода логического вывода использовалась подстановка логически эквивалентных выражений. Хотя систему Буля еще нельзя было считать полной пропозициональной логикой, она оказалась настолько близкой к таковой, что другие математики сумели быстро заполнить все недостающие части. Шрёдер [1368] описал конъюнктивную нормальную форму, тогда как хорновская форма была введена намного позднее Альфредом Хорном [675]. Первое полное описание современной пропозициональной логики (и логики первого порядка) можно найти в книге Begriffschrift (“Система обозначения понятий”) Готтлоба Фреге [496].
Первое механическое устройство для формирования логических выводов было сконструировано потомственным графом Стенхоупом (1753—1816). Машина Стенхоупа, Demonstrator, была способна обрабатывать силлогизмы и некоторые логические выводы в теории вероятностей. Уильям Стэнли Джевоне, один из тех, кто усовершенствовал и расширил результаты Буля, сконструировал в 1869 году “логическое фортепьяно” для формирования выводов в булевой логике. Занимательная и поучительная история этих и других ранних механических устройств для формирования рассуждений описана Мартином Гарднером [519]. Первой опубликованной компьютерной программой для формирования логического вывода была разработанная Ньюэллом, Шоу и Саймоном программа Logic Theorist [1127]. Эта
программа была предназначена для моделирования мыслительных процессов человека. Программа, позволяющая сформировать доказательство, была фактически спроектирована в 1954 году Мартином Дэвисом [334], но результаты работ в области создания программы Logic Theorist были опубликованы немного раньше. И программа Дэвиса от 1954 года, и программа Logic Theorist были основаны на достаточно произвольно выбранных методах, которые не оказали существенного влияния на дальнейшие работы в области автоматизированного дедуктивного вывода.
Истинностные таблицы как метод проверки допустимости или невыполнимости высказываний в языке пропозициональной логики были введены в арсенал ученых независимо Людвигом Виттгенштейном [1607] и Эмилем Постом [1231]. В 1930-х годах большие успехи были достигнуты в области создания методов логического вывода для логики первого порядка. В частности, Гёдель [565] показал, что полная процедура логического вывода в логике первого порядка может быть получена путем сведения к пропозициональной логике с использованием теоремы Эрбрана [650]. Мы снова вернемся к этой теме в главе 9, а здесь необходимо сделать важное замечание о том, что разработка эффективных пропозициональных алгоритмов в 1960-х годах мотивировалась в основном стремлением математиков создать эффективные средства доказательства теорем для логики первого порядка. Алгоритм Дэвиса- Патнем [336] был первым эффективным алгоритмом логического вывода в пропозициональной логике, но в большинстве случаев обладал меньшей эффективностью по сравнению с алгоритмом поиска с возвратами DPLL, который был введен двумя годами позже [335]. Полное правило резолюции и доказательство его полноты было опубликовано в оригинальной статье Дж.Э. Робинсона [1298], который также показал, как может осуществляться формирование рассуждений в логике первого порядка без обращения к пропозициональным методам.
Стефен Кук [289] показал, что задача определения выполнимости высказывания в пропозициональной логике является NP-полной. Поскольку определение того, является ли высказывание логическим следствием, эквивалентно задаче определения его невыполнимости, эта задача является ko-NP-полной. Известны многие подмножества пропозициональной логики, для которых задача проверки выполнимости решается за полиномиальное время; одним из таких подмножеств являются хорновские выражения. Алгоритм прямого логического вывода для хорновских выражений с линейными затратами времени предложен Доулингом и Галльером [407], которые описали свой алгоритм в виде процесса обработки потока данных, подобного распространению сигналов в логической схеме. Задача проверки выполнимости стала одним из канонических примеров сведения к NP-полным задачам; например, Кайе [782] показал, что игра Minesweeper (минный тральщик) (см. упр. 7.11) является NP-полной.
Попытки применения алгоритмов локального поиска для решения задач проверки выполнимости предпринимались различными авторами на протяжении всех 1980-х годов; все эти алгоритмы были основаны на идее минимизации количества невыполненных выражений [614]. Особенно эффективный алгоритм был разработан Гу [601] и независимо от него Селманом и др. [1382], которые назвали этот алгоритм GSAT и показали, что он способен решать широкий перечень очень трудных задач сочень большой скоростью. Алгоритм WalkSAT, описанный в этой главе, также предложен Селманом и др. [1380].
“Фазовый переход” в процессе определения выполнимости сформированных случайным образом задач к-SAT впервые был обнаружен Саймоном и Дюбуа [1421]. Эмпирические результаты, полученные Кроуфордом и Отоном [307], свидетельствуют о том, что при решении крупных сформированных случайным образом задач 3-SAT это резкое изменение характеристик возникает в диапазоне значений отношения “высказывание/переменная”, приближающихся к 4,24; кроме того, в этой статье описана очень эффективная реализация алгоритма DPLL. Байардо и Шрэг [87] описали еще одну эффективную реализацию алгоритма DPLL с использованием методов из области удовлетворения ограничений, а в [1090] описан алгоритм Chaff, который решает задачи проверки аппаратного обеспечения с миллионом переменных, ставший победителем конкурса SAT 2002. Ли и Энбулаган [926] описали эвристики, основанные на распространении единичных выражений, позволяющие создавать быстрые решатели задач. Чизман и др. [244] предоставили данные о многих задачах, связанных с задачами проверки выполнимости, и пришли к выводу, что все NP-трудные задачи обнаруживают фазовый переход. Керкпатрик и Селман [800] показали, каким образом можно использовать методы статистической физики для получения представления о том, какова точная “форма” фазового перехода. Теоретический анализ его местонахождения все еще довольно неудовлетворителен: до сих пор удалось доказать лишь то, что для случайно сформированных задач 3-SAT фазовый переход находится в диапазоне [3.003,4.598]. Кук и Митчелл [290] составили превосходный обзор результатов по этой и некоторым другим темам, касающимся выполнимости.
Самые ранние теоретические исследования показали, что алгоритм DPLL применительно к некоторым естественным распределениям задач характеризуется в среднем полиномиальной сложностью. Этот факт, который мог бы, в принципе, стать предметом восхищения, начал казаться менее восхитительным, когда Франко и Па- улл [494] показали, что те же задачи можно было бы решить за постоянное время, просто проверяя случайно выбранные варианты присваивания. Метод случайной выработки вариантов, описанный в данной главе, приводит к получению гораздо более трудных задач. Заинтересовавшись достигнутым на практике успехом в использовании локального поиска при решении таких задач, Кутсупиас и Пападимитриу [848] показали, что простой алгоритм восхождения к вершине способен решать почти все экземпляры задачи проверки выполнимости очень быстро, а это свидетельствует о том, что трудные задачи встречаются редко. Более того, Шёнинг [1365] продемонстрировал рандомизированный вариант алгоритма GSAT, для которого ожидаемое время прогона в худшем случае при решении задач 3-SAT составляет 1.333п; этот предел все еще является экспоненциальным, но гораздо более низким по сравнению с достигнутыми ранее пределами для худшего случая. Алгоритмы проверки выполнимости все еще остаются очень активной областью исследования; хорошей отправной точкой для изучения этой темы может служить сборник статей под редакцией Дю и др. [418].
Истоки идей по созданию агентов на основе логических схем можно проследить до оригинальной статьи Мак-Каллока и Питтса [1017], которая послужила началом исследований в области нейронных сетей. Вопреки сложившемуся общему мнению, эта статья касалась реализации проекта агента на основе логической схемы в мозгу. Однако агенты на основе логической схемы долго не привлекали значительного внимания
исследователей в области искусственного интеллекта. Самым заметным исключением из этого правила явились работы Стена Розеншайна [760], [1308], который разработал способы компиляции агентов на основе логических схем из декларативных описаний проблемной среды. Логические схемы для обновления высказываний, хранящихся в регистрах, тесно связаны с аксиомой состояния-преемника, разработанной для логики первого порядка Рейтером [1277]. В работах Рода Брукса [189], [190] продемонстрирована эффективность использования проектов на основе логической схемы для управления роботами; к этой теме мы вернемся в главе 25. Брукс [192] утверждает, что для искусственного интеллекта необходимы лишь проекты на основе логических схем, а методы представления и формирования логических рассуждений являются громоздкими, дорогостоящими и ненужными. Но, по мнению авторов, ни один из этих подходов, отдельно взятых, не является достаточным.
Мир вампуса был придуман Грегори Йобом [1633]. Любопытно то, что Йоб разработал этот мир, поскольку ему надоели игры, которые проводятся в мире, представленном в виде квадратной решетки: топология его первоначального мира вампуса представляла собой додекаэдр, а мы снова поместили вампуса в старую скучную квадратную решетку. Майкл Генезерет был первым, кто указал, что мир вампуса можно использовать как испытательную площадку для агентов.
Упражнения
Опишите мир вампуса в соответствии со свойствами проблемной среды, перечисленными в главе 2.
Предположим, что агент достиг пункта, показанного на рис. 7.3, а, получив такие результаты восприятия: в квадрате [1,1] — ничего, в квадрате [2,1] — ветерок, а в квадрате [1,2] — неприятный запах. В настоящий момент агента интересует содержимое квадратов [1,3], [2,2] и [3,1]. Каждый из них может содержать яму, и самое большее в одном из них может находиться вампус. На основе примера, приведенного на рис. 7.4, сконструируйте множество возможных миров. (Должно быть найдено 32 таких возможных мира.) Отметьте миры, в которых существующая база знаний является истинной, а также те, в которых истинным является каждое из следующих высказываний:
ос2 = "В квадрате [2,2] нет ямы"
0Сз = "В квадрате [1,3] есть вампус"
На основании этого покажите, что кв 1= а2 и кв 1= а3.
Рассмотрите задачу определения того, является ли некоторое высказывание пропозициональной логики истинным в данной модели.
Напишите рекурсивный алгоритм PL-True? (s,m), который возвращает true тогда и только тогда, когда высказывание s является истинным в модели ш (где т присваивает истинностное значение каждому символу в s). Этот алгоритм должен заканчивать свою работу за время, линейно зависящее от размера высказывания. (Еще один вариант состоит в том, чтобы воспользоваться версией этой функции из оперативного репозитария кода.)
Приведите три примера высказываний, в отношении которых можно определить, являются ли они истинными или ложными, в частичной модели, в которой не заданы истинностные значения для некоторых из символов.
Покажите, что в общем случае истинностное значение высказывания (если оно имеется) невозможно эффективно определить в частичной модели.
Доработайте свой алгоритм PL-True? так, чтобы он иногда позволял судить об истинностном значении по частичным моделям, сохраняя вместе с тем свою рекурсивную структуру и линейную зависимость времени прогона от размера высказывания. Приведите три примера высказываний, истинность которых в частичной модели не обнаруживается вашим алгоритмом.
Проведите исследование того, позволяет ли этот модифицированный алгоритм повысить эффективность алгоритма TT-Entails?.
Докажите каждое из приведенных ниже утверждений.
Высказывание ос является допустимым тогда и только тогда, когда True 1= ос.
Для любого высказывания ос истинно, что False 1= ос.
Истинно, что ос ^ Р тогда и только тогда, когда высказывание (ос => Р) допустимо.
Истинно, что ос = Р тогда и только тогда, когда высказывание (ос <^> Р) допустимо.
Истинно, что ос k Р тогда и только тогда, когда высказывание (ос л -л Р) недостижимо.
Рассмотрите словарь, состоящий только из четырех высказываний, А, В, С и D. Сколько существует моделей для каждого из следующих высказываний?
(А л В) v (Вл С)
A v В
А ^ В ^ С
В этой главе мы определили четыре различных бинарных логических связки.
Имеются ли какие-либо другие логические связки, которые могут оказаться полезными?
Сколько может быть определено разных бинарных связок?
Почему некоторые из них не очень полезны?
Используя любой предпочитаемый вами метод, проверьте каждую из эквивалентностей, приведенных в листинге 7.4.
Определите, является ли каждое из приведенных ниже высказываний действительным, невыполнимым или ни тем ни другим. Проверьте полученные вами результаты с помощью истинностных таблиц или правил эквивалентности, приведенных в листинге 7.4.
Smoke => Smoke
Smoke => Fire
(Smoke => Fire) => (—iSmoke => -iFire)
Smoke v Fire v -iFire
((Smoke a Heat) => Fire) ^ ((Smoke => Fire) v (Heat => Fire) )
(Smoke => Fire) => ((Smoke a Heat) => Fire)
Big v Dumb v (Big => Dumb')
(Big a Dumb') v —iDumb
(Адаптировано из [78].) Можете ли вы доказать на основании приведенных ниже рассуждений, что единорог — мифическое существо? А что насчет того, что это волшебное существо? Существо, вооруженное рогом?
Если единорог — мифическое существо, то он бессмертен, а если не мифическое, то он — смертное млекопитающее. Если единорог либо бессмертен, либо является млекопитающим, то он вооружен рогом. Единорог является волшебным существом, если он вооружен рогом.
Любое высказывание пропозициональной логики логически эквивалентно утверждению, что любой возможный мир, в котором это высказывание было бы ложным, не имеет места. На основании этого наблюдения докажите, что любое высказывание может быть записано в конъюнктивной нормальной форме.
Minesweeper (минный тральщик) — широко известная компьютерная игра, которая тесно связана с миром вампуса. Мир минного тральщика представляет собой прямоугольную решетку из N квадратов с М разбросанными по ним невидимыми минами. Агент может проверить любой квадрат; если он проверяет заминированный квадрат, его ждет немедленная смерть. В игре Minesweeper наличие мин раскрывается путем показа в каждом проверенном квадрате количества мин в квадратах, соседних по горизонтали, вертикали или диагонали. Цель игры состоит в том, чтобы проверить каждый незаминиро- ванный квадрат.
Допустим, что высказывание х£^ является истинным тогда и только тогда, когда в квадрате [ i, j ] находится мина. Составьте утверждение, согласно которому в квадратах, соседних по отношению к квадрату [1,1], имеется точно две мины, в виде высказывания, включающего определенную логическую комбинацию высказываний xi#j.
Обобщите ваше утверждение, составленное при выполнении упр. 7.11, а, и объясните, как следует формировать высказывание CNF с утверждением, что к из п соседних квадратов содержат мины.
Точно объясните, как агент может использовать алгоритм DPLL для доказательства того, что данный квадрат содержит (или не содержит мину), игнорируя глобальное ограничение, согласно которому всего имеется точно М мин.
Предположим, что глобальное ограничение конструируется с помощью метода, созданного вами при выполнении упр. 7.11, б. Как зависит количество выражений в этом ограничении от м и М? Предложите способ осуществления такой модификации алгоритма DPLL, чтобы в нем не требовалось явно представлять это глобальное ограничение.
Становятся ли недействительными какие-либо выводы, полученные при создании метода, о котором речь идет в задании 7.11, в, если учитывается это глобальное ограничение?
Приведите примеры конфигураций проверочных значений, которые порождают такие далеко идущие зависимости, что содержимое любого непроверенного квадрата может предоставить информацию о содержимом какого-то далеко отстоящего от него квадрата. (Подсказка. Рассмотрите доску с размерами Л/Х1.)
В данном упражнении рассматривается связь между выражениями и имплика- тивными высказываниями.
Покажите, что выражение (-iPx v ... v -iPm v Q) логически эквивалентно импликативному высказыванию (Px A ... A Pm) => Q.
Покажите, что каждое выражение (независимо от количества положительных литералов) может быть записано в форме (Рх а ... а рт) => (Qi v ... v Q^, где Р и Q— пропозициональные символы. База знаний, состоящая из таких высказываний, находится в ^ импликативной нормальной форме, или в форме Ковальского.
Составьте полное правило резолюции для высказываний в импликативной нормальной форме.
В этом упражнении речь идет о проектировании агента для мира вампуса на основе логической схемы.
Запишите уравнение, аналогичное уравнению 7.4, для высказывания Arrow, которое должно быть истинным, если у агента все еще есть стрела. Составьте соответствующую логическую схему.
Повторите задание 7.13, а для высказывания FacingRight (агент смотрит вправо), используя в качестве образца уравнение 7.5.
Создайте версии уравнений 1.1 и 7.8 для поиска вампуса и начертите логическую схему.
Обсудите понятие оптимального поведения в мире вампуса. Покажите, что приведенное в этой главе определение алгоритма PL-Wumpus-Agent не является оптимальным, и предложите способы его усовершенствования.
(й) Дополните алгоритм PL-Wumpus-Agent таким образом, чтобы он обеспечивал отслеживание всех относящихся к делу фактов с помощью только базы знаний.
Сколько времени потребуется, чтобы доказать высказывание КВ h= ос с помощью алгоритма DPLL, если а — литерал, который уже содержится в базе знаний кв? Объясните полученные результаты.
Проследите за поведением алгоритма DPLL при обработке приведенной на рис.
7.7 базы знаний в попытке доказать высказывание Q и сравните это поведение с тем, которое демонстрируется алгоритмом прямого логического вывода.
8 Логика первого ПОРЯДКА
В данной главе мы обращаем внимание на то, что мир состоит из множества объектов, причем некоторые из них связаны с другими объектами, а также предпринимаем попытку рассуждать об этих объектах.
В главе 7 было показано, каким образом агент, основанный на знаниях, может представлять мир, в котором он действует, и определять с помощью логического вывода, какие действия следует ему предпринять. В этой главе в качестве языка представления использовалась пропозициональная логика, которая вполне позволяет проиллюстрировать основные понятия логики и принципы функционирования агентов, основанных на знаниях. Но, к сожалению, язык пропозициональной логики слишком слаб для того, чтобы с его помощью можно было кратко представить знания о сложных вариантах среды. В настоящей главе рассматривается ^ логика первого порядка1, которая является достаточно выразительной для того, чтобы с ее помощью можно было представить значительную часть наших общих знаний. Кроме того, логика первого порядка либо становится итогом развития, либо образует основу многих других языков представления, и ей посвящены многие десятилетия интенсивных исследований. Начнем изложение этой темы с описания в разделе 8.1 всех языков представления в целом; в разделе 8.2 рассматриваются синтаксис и семантика логики первого порядка; в разделах 8.3 и 8.4 иллюстрируется использование логики первого порядка для простых представлений.
Дополнительные сведения о представлении
В данном разделе рассматривается общий характер языков представления. Здесь будет показано, чем была вызвана необходимость разработки логики первого порядка — гораздо более выразительного языка по сравнению с пропозициональной логикой, представленной в главе 7. Мы рассмотрим язык пропозициональной логики и
Логику первого порядка называют также исчислением предикатов первого порядка, и эти области знаний иногда сокращенно обозначают как FOL — First-Order Logic или FOPC — First-Order Predicate Calculus.
языки других типов, чтобы понять, в чем состоят их преимущества и недостатки. Приведенное здесь описание будет кратким, и в нем результаты многовековых размышлений, проб и ошибок сведутся всего лишь к нескольким абзацам.
Среди наиболее широко распространенных формальных языков наиболее крупным классом являются языки программирования (такие как C++, Java или Lisp). Сами программы представляют, в прямом смысле этого понятия, только вычислительные процессы, а структуры данных, применяемые в программах, могут представлять факты; например, в программе для представления содержимого мира вам- пуса может использоваться массив 4x4. Поэтому оператор World [ 2,2] ^-Pi t языка программирования представляет собой довольно естественный способ формирования утверждения о том, что в квадрате [2,2] имеется яма. (Такие способы представления могут рассматриваться как выбранные произвольным образом; системы баз данных были разработаны именно для предоставления более общего способа хранения и выборки фактов, независимого от проблемной области.) В языках программирования недостает какого-то общего механизма логического вывода фактов на основе других фактов; каждое обновление в структуре данных осуществляется с помощью процедуры, характерной для данной проблемной области, подробности устройства которой уточняются программистом на основании его знаний о проблемной области. Такой процедурный подход представляет собой резкий контраст с декларативным характером пропозициональной логики, в которой не смешиваются знания и методы логического вывода, а логический вывод осуществляется полностью независимо от проблемной области.
Еще одним недостатком применения структур данных в программах (а также, в этом отношении, и баз данных) является отсутствие удобного способа сформировать, например, такое утверждение: “В квадрате в [2,2] или [3,1] имеется яма” или “Если вампус находится в квадрате [ 1,1 ], то его нет в квадрате [2,2]”. Программы позволяют хранить для каждой переменной единственное значение, а некоторые системы допускают использование “неопределенных” значений, но в них не хватает выразительности, которая требуется для обработки частичной информации.
Пропозициональная логика — это декларативный язык, поскольку ее семантика основана на истинностных отношениях между высказываниями и возможными мирами. Кроме того, она имеет достаточную выразительную мощь для того, чтобы с ее помощью можно было обрабатывать частично заданную информацию с использованием дизъюнкции и отрицания. Пропозициональная логика обладает еще одним свойством, которое является желательным для языков представления, а именно М композициональностью. В композициональном языке смысл высказывания представляет собой функцию от смысла его частей. Например, смысл высказывания “Si,4 л Si/2” связан со смыслами высказываний “Si/4” и “Sle2”. Было бы очень странным, если бы “Si/4” означало, что в квадрате [1,4] чувствуется неприятный запах, “S;,2” — что неприятный запах чувствуется в квадрате [1,2], а выражение uSli4 a Sle2” означало бы, что квалификационный матч по хоккею с шайбой между Францией и Польшей, проходивший на прошлой неделе, закончился со счетом 1:1. Безусловно, что при отсутствии в языке представления свойства композициональности функционирование системы формирования рассуждений значительно затрудняется.
Как было показано в главе 7, пропозициональная логика не обладает достаточной выразительной мощью, которая позволяла бы кратко описывать среду с много-
численными объектами. Например, мы были вынуждены записывать отдельное правило, которое связывает между собой наличие ветерка и ям для каждого квадрата, например, таким образом:
S1.1 <=> (Р1.2 V Р2,1)
С другой стороны, на естественном языке, по-видимому, совсем несложно раз и навсегда сформулировать правило: “В квадратах, непосредственно примыкающих к ямам, чувствуется ветерок”. Синтаксис и семантика естественного языка каким-то образом позволяют кратко описать эту среду.
Даже не очень глубокие размышления наводят на мысль, что естественные языки (такие как английский или русский) действительно являются очень выразительными. Например, авторы смогли написать почти всю эту книгу на естественном языке, лишь время от времени прибегая к использованию формальных языков (включая логику, математику и язык схем). В лингвистике и философии языка давно существует традиция, в которой естественный язык по сути рассматривается как декларативный язык представления знаний и предпринимаются попытки однозначно определить его формальную семантику. Если бы такая программа исследований завершилась успехом, это имело бы большое значение для искусственного интеллекта, поскольку позволило бы непосредственно использовать естественный язык (или какую-то его производную) в системах представления и формирования рассуждений.
В соответствии с современными взглядами естественный язык выполняет немного иное назначение: служит в качестве средства общения, а не исключительно как средство представления. Когда один приятель указывает пальцем и говорит другому: “Смотри!”, он хочет этим сказать, что, допустим, в фильме Супермен наконец-то взлетел над крышами. Тем не менее нельзя утверждать, что в предложении “Смотри!” закодирован именно этот факт. Вместо этого смысл предложения на естественном языке зависит и от самого предложения, и от контекста, в котором оно было высказано. Очевидно, что невозможно сохранить такое предложение, как “Смотри!”, в базе знаний и надеяться на то, что удастся восстановить его смысл, если в базе знаний не будет также представлен контекст. А из этого следует вопрос — как же можно представить сам контекст? К тому же естественные языки являются некомпозиционными — смысл предложения, такого как “Потом она это увидела”, может зависеть от контекста, состоящего из многих предшествующих и последующих предложений. Наконец, недостатком естественных языков является неоднозначность, которая может стать причиной затруднений при формировании рассуждений. Например, Пинкер [1212] выразил эту мысль таким образом: “Когда люди говорят о косе, то их, безусловно, не затрудняет определение того, идет ли речь об элементе женской прически, или о форме береговой полосы, или о чем-то другом, а поскольку одно и то же слово может соответствовать двум идеям, сами идеи не могут выражаться отдельными словами”.
ЯЗЫК МЫШЛЕНИЯ
Философы и психологи уже в течение долгих столетий размышляют над тем, как люди и другие животные представляют знания. Очевидно, что в развитии этой способности у людей важную роль играла эволюция естественного языка. С другой стороны, многие психологические факты свидетельствуют о
том, что люди не используют язык непосредственно в своих внутренних представлениях. Например, кто сейчас может вспомнить, с какой именно из этих двух фраз начинался раздел 8.1?
• “В данном разделе рассматривается общий характер языков представления ...” • “В данном разделе рассматривается тема, касающаяся языков представления знаний ...”
Ваннер [1553] обнаружил, что участники его экспериментов делали правильный выбор в подобных тестах на уровне случайности (выбирали правильный вариант примерно в 50% попыток), но помнили содержание того, что было ими прочитано с точностью больше чем 90%. Эти данные свидетельствуют о том, что люди обрабатывают слова, а затем формируют своего рода несловесное представление, которое мы называем памятью.
Вопрос о том, какими именно являются механизмы, с помощью которых люди используют язык для обеспечения и формирования представлений различных идей, продолжает привлекать значительный интерес. В знаменитой гипотезе Сапира-Уорфа утверждается, что язык, на котором мы говорим, оказывает глубокое влияние на тот способ, с помощью которого мы мыслим и принимаем решения, в частности, используемый язык влияет на формирование структуры категорий, с помощью которых мы подразделяем мир на объекты разных типов. Уорф [1585] утверждал, что эскимосы имеют в своем языке много слов для описания снега и поэтому снег вызывает у них более разнообразные восприятия по сравнению с людьми, говорящими на других языках. Некоторые лингвисты оспаривали фактографическую основу для этого утверждения (например, Паллем [1242] показал, что в таких эскимосских языках, как юпик и инупик, и в других родственных языках северных народов, по- видимому, имеется такое же количество слов для выражения понятий, касающихся снега, как и в английском языке), а другие выступили в его поддержку [485]. Однако, по-видимому, нельзя оспаривать ту мысль, что популяции, имеющие более глубокое знакомство с некоторыми аспектами мира, разрабатывают гораздо более подробные словари для описания этих аспектов. Например, энтомологи, проводящие полевые исследования, подразделяют то, что большинство из нас называет просто жуками, на сотни тысяч видов и лично знакомы с многими из них. (Биолог Дж.Б.С. Холдейн, изучающий эволюцию насекомых, когда-то пожаловался на то, что Создатель проявляет ‘‘невероятную заботу о жуках”.) Более того, множеством терминов для обозначения снега пользуются и опытные лыжники (различая такие его состояния, как пудра, каша, пюре, простокваша, крупа, цемент, наст, сахар, асфальт, вельвет, пух, жижа и т.д.), которые в основном не известны обычному человеку. Однако остается неясным направление развития причинноследственных отношений — узнают ли лыжники об этих различиях, только изучая свои профессиональные термины, или эти различия выявляются из индивидуального опыта и становятся согласованными с теми их обозначениями, которые в данное время приняты в этом сообществе спортсменов? Данный вопрос становится очень важным в исследованиях развития детей. До сих пор мы слишком мало знаем о том, насколько связаны друг с другом обучение языку и обучение мышлению. Например, позволяют ли знания о том,
как именуется некоторое понятие, такое как бакалавр, упростить формирование идей и размышление с помощью более сложных понятий, которые включают имя исходного понятия, например претендент на звание бакалавра?
Принятый авторами подход состоит в том, что в качестве основы следует выбрать пропозициональную логику, обладающую декларативной, композиционной семантикой, которая является независимой от контекста и непротиворечивой, и создать на этой основе более выразительную логику, заимствуя идеи представления из естественного языка и избегая вместе с тем его недостатков. Изучение синтаксиса естественного языка показывает, что наиболее очевидными его элементами являются существительные и именные конструкции, которые обозначают ^ объекты (квадраты, ямы, вампу- сы), а также глаголы и глагольные конструкции, которые обозначают отношения между объектами (чувствовать ветерок, быть соседним, стрелять). Некоторые из этих отношений являются ^ функциями — отношениями, в которых в ответ на каждое “входное” значение формируется только одно “выходное” значение. Такой подход позволяет сразу же приступить к составлению перечня примеров объектов, отношений и функций, как показано ниже.
Объекты: люди, дома, числа, теории, Рональд Макдональд, цвета, бейсбольные соревнования, войны, столетия ...
Отношения: могут быть унарными отношениями, или ^ свойствами, такими как красный, круглый, поддельный, первичный, многоэтажный и т.д., либо более общими n-арными отношениями, такими как “быть братьями”, “быть больше”, “находиться внутри”, “входить в состав”, “иметь цвет”, “произойти позже”, “принадлежать”, “находиться между” и т.д.
Функции: “быть отцом”, “быть лучшим другом”, “быть третьей подачей мяча”, “быть на единицу больше”, “быть началом” и т.д.
Безусловно, почти каждое утверждение может рассматриваться как обозначающее объекты, а также их свойства или отношения. Ниже приведены некоторые примеры.
“Один плюс два равняется трем”.
Объекты: один, два, три, один плюс два; отношение: равняется; функция: плюс. (“Один плюс два” представляет собой название объекта, полученного путем применения функции “плюс” к объектам “один” и “два”. “Три” — другое название для этого объекта.)
“В квадратах, соседних с тем квадратом, где находится вампус, чувствуется неприятный запах”..
Объекты: вампус, квадраты; свойство: неприятный запах; отношение: быть соседним.
“Злой король Джон управлял Англией в 1200 году”.
Объекты: Джон, Англия, 1200 год; отношение: управлял; свойства: злой, король.
Язык логики первого порядка, синтаксис и семантику которого мы определим в следующем разделе, основан на понятиях объектов и отношений. Он стал чрезвычайно важным для математики, философии и искусственного интеллекта именно потому, что эти области знаний (а фактически основная часть повседневного человеческого существования) могут вполне продуктивно рассматриваться как касающиеся объектов
и отношений между ними. Логика первого порядка позволяет также выражать факты о некоторых или обо всех объектах во Вселенной. Это дает возможность представлять общие законы, или правила, такие как следующее утверждение: “В квадратах, соседних с тем квадратом, где находится вампус, чувствуется неприятный запах”.
Основное различие между пропозициональной логикой и логикой первого порядка заключается в том, что каждый из этих языков вносит различный ^ онтологический вклад в описание действительности, т.е. они по-разному представляют характер действительности. Например, в пропозициональной логике предполагается, что существуют лишь факты, которые относятся или не относятся к данному миру. Каждый факт может находиться в одном из двух состояний: быть истинным или ложным. В логике первого порядка приняты более широкие предположения, а именно, что мир состоит из объектов, между которыми могут быть или не быть некоторые отношения. Некоторые варианты логики специального назначения позволяют внести еще больший онтологический вклад; например, во ^ временной логике предполагается, что факты имеют место в конкретные интервалы времени и что эти интервалы (которые могут рассматриваться как бесконечно малые или конечные) являются упорядоченными. Поэтому в вариантах логики специального назначения придается первоклассный статус некоторым видам объектов особого рода (и аксиомам об этих объектах), а не просто вводятся в базу знаний их определения. В М логике высокого порядка как объекты трактуются сами отношения и функции, рассматриваемые в логике первого порядка. Эго позволяет формировать утверждения обо всех отношениях, например, если потребуется точно определить, что означает понятие транзитивного отношения. В отличие от большинства вариантов логики специального назначения, логика высокого порядка является строго более выразительной, чем логика первого порядка, в том смысле, что некоторые высказывания логики высокого порядка не могут быть выражены с помощью любого конечного количества высказываний логики первого порядка.
Логику можно также охарактеризовать по ее М эпистемологическому вкладу в познание; под этим подразумеваются возможные состояния знаний, которые она позволяет выразить в отношении каждого факта. И в пропозициональной логике, и в логике первого порядка любое высказывание представляет собой факт, и агент либо доверяет утверждению, что это высказывание истинно, либо доверяет утверждению, что оно ложно, либо не имеет мнения на этот счет. Поэтому в таких вариантах логики имеются три возможных состояния знаний, касающихся любого высказывания. С другой стороны, в тех системах, где используется теория вероятностей, может рассматриваться любая степень доверия, начиная от 0 (полное недоверие) и заканчивая 1 (полное доверие). Например, в вероятностном мире вампуса агент может доверять утверждению о том, что вампус находится в квадрате [1,3], с вероятностью 0,75. Онтологический и эпистемологический вклады пяти различных вариантов логики показаны в табл. 8.1.
Таблица 8.1. Формальные языки и показатели их онтологического и эпистемологического вкладов в познание
Язык
Онтологический вклад (что существует в мире)
Эпистемологический вклад (какую степень доверия может выражать агент в отношении фактов)
Пропозициональная логика
Факты
Истинно/ложно/неизвестно
Логика первого порядка
Факты, объекты, отношения
Истинно/ложно/неизвестно
Временная логика
Факты, объекты, отношения, интервалы времени
Истинно/ложно/неизвестно
Теория вероятностей
Факты
Степень доверия е [0,1]
Нечеткая логика
Факты со степенью истинности е [0,1]
Известное интервальное значение
В следующем разделе мы приступим к изучению подробных сведений о логике первого порядка. Так же как студенту-физику требуется определенное знакомство с высшей математикой, так и студент, изучающий искусственный интеллект, должен развить у себя способность работать с логическими обозначениями. С другой стороны, важно также не слишком увлекаться изучением специфики отдельной логической системы обозначений, поскольку в конечном итоге количество различных версий таких систем исчисляется десятками. Главное, не упустить из виду то, благодаря чему данный язык обеспечивает формирование кратких представлений и каким образом его семантика приводит к созданию непротиворечивых процедур формирования рассуждений.
Синтаксис и семантика логики первого порядка
Рис. 8.1. Модель, состоящая из пяти объектов, двух бинарных отношений, трех унарных отношений (обозначенных метками на объектах) и одной унарной функции, “быть левой ногой ”Рис. 8.1. Модель, состоящая из пяти объектов, двух бинарных отношений, трех унарных отношений (обозначенных метками на объектах) и одной унарной функции, “быть левой ногой ”
Рис. 8.1. Модель, состоящая из пяти объектов, двух бинарных отношений, трех унарных отношений (обозначенных метками на объектах) и одной унарной функции, “быть левой ногой ”
Рис. 8.1. Модель, состоящая из пяти объектов, двух бинарных отношений, трех унарных отношений (обозначенных метками на объектах) и одной унарной функции, “быть левой ногой ”
Отношения между объектами в этой модели могут быть определены различными способами. На данном рисунке показано, что Ричард и Джон — братья. Выражаясь формально, отношение — это просто множество ^ кортежей объектов, связанных друг с другом. (Кортеж — это коллекция объектов, расположенных в установленном порядке и записанных в угловых скобках, окружающих эти объекты.) Таким образом, отношение, обозначающее родство на уровне братьев в этой модели, представляет собой следующее множество:
{сРичард Львиное Сердце, король Джон>,
скороль Джон, Ричард Львиное Сердце>} (8.1)
(Здесь эти объекты были указаны на естественном языке, но читатель при желании может мысленно вставить вместо имен этих королей их портреты.) Корона находится на голове короля Джона, поэтому отношение “быть на голове” содержит только один кортеж, <корона, король Джон>. Отношения “быть братом” и “быть на голове” являются бинарными, т.е. они устанавливают связь между парами объектов. Кроме того, эта модель содержит унарные отношения, или свойства: свойство “быть человеком” является истинным и для Ричарда, и для Джона; свойство “быть королем” истинно только для Джона (предположительно потому, что к этому моменту Ричард уже был мертв); а свойство “быть короной” истинно только для короны.
Некоторые виды связей удобнее рассматривать как функции, в том смысле, что указанным образом данный конкретный объект должен быть связан только с одним объектом. Например, каждый человек имеет только одну левую ногу, поэтому в данной модели имеется унарная функция “быть левой ногой”, которая включает следующие отображения:
(8.2)(8.2)сРичард Львиное Сердце> —> левая нога Ричарда скороль Джон> —> левая нога Джона
(8.2)
(8.2)
Строго говоря, для модели в логике первого порядка требуются ^ полностью определенные функции, т.е. функции, в которых должно быть предусмотрено значение для каждого входного кортежа. Таким образом, левую ногу должна иметь и корона, а также, безусловно, каждая из левых ног. Предусмотрено некоторое формальное решение этой неприятной проблемы, возникающей из-за того, что каждый объект, который в действительности не имеет левую ногу, включая саму левую ногу, в результате применения функции получает дополнительный “невидимый” объект, представляющий собой левую ногу. К счастью, при условии, что никто не будет составлять утверждений о левых ногах объектов, не имеющих левой ноги, применять эти формальные решения не обязательно.
Символы и интерпретации
Вернемся к синтаксису языка. Нетерпеливый читатель может найти полное описание формальной грамматики логики первого порядка в листинге 8.1.
Листинг 8.1. Синтаксис логики первого порядка с оператором равенства, заданный в форме Бэкуса-Наура. (Для ознакомления с этой системой обозначений см. с. 1297.) В этом синтаксисе предусмотрены строгие правила применения круглых скобок; примечания, касающиеся круглых скобок и предшествования операторов, приведенные на с. 296, равным образом относятся и к логике первого порядка
Sentence —> AtomiсSentence
| ( Sentence Connective Sentence )
| Quantifier Variable,... Sentence
| —vSen tence
AtomicSentence —> Predicate (Term,...) | Term = Term
Term —> Function ( Term, ...)
| Constant
| Variable
Connective —> => | a | v | <=>
Quantifier —> V | 3
Constant 4 A | Xi | John | ...
Variable ч a | x | s | ...
Predicate —> Before | HasColor | Raining | ...
Function —> Mother | LeftLeg | ...
Основными синтаксическими элементами логики первого порядка являются символы, которые обозначают объекты, отношения и функции. Поэтому самй символы подразделяются на три типа: ^ константные символы, которые обозначают объекты;
предикатные символы, которые обозначают отношения, и ^ функциональные символы, которые обозначают функции. Примем соглашение, что имена этих символов будут начинаться с прописных букв. Например, могут использоваться константные символы Richard и John; предикатные символы Brother, OnHead, Person, King и Crown и функциональный символ LeftLeg. Как и применительно к пропозициональным символам, выбор имен этих символов полностью предоставляется пользова-
телю. Каждый предикатный и функциональный символ характеризуется М арностью, которая определяет количество формальных параметров.
Семантика должна связывать высказывания с моделями, для того чтобы можно было определить истинность. Чтобы иметь возможность решить такую задачу, требуется ^ интерпретация, которая определяет, на какие именно объекты, отношения и функции ссылаются те или иные константные, предикатные и функциональные символы. Одна из возможных интерпретаций для рассматриваемого примера (которую мы будем называть ^ намеченной интерпретацией) состоит в следующем:
Символ Richard обозначает Ричарда Львиное Сердце, а символ John — злого короля Джона.
Символ Brother обозначает отношение родства между братьями, т.е. множество кортежей объектов, приведенное в уравнении 8.1; символ OnHead обозначает отношение “быть на голове”, которое установлено между короной и королем Джоном; символы Person, King и Crown относятся к множествам объектов, представляющих собой людей, королей и короны.
Символ LeftLeg относится к функции “быть левой ногой”, т.е. к отображению, приведенному в уравнении 8.2.
Может быть также много других возможных интерпретаций, связывающих эти символы с данной конкретной моделью. Например, одна интерпретация отображает символ Ri chard на корону, а символ John — на левую ногу короля Джона. В этой модели имеется пять объектов, поэтому существует 25 возможных интерпретаций только для константных символов Richard и John. Обратите внимание на то, что не все объекты имеют имя, например, в данной намеченной интерпретации не предусмотрены имена для короны или для ног. Возможно также, чтобы один объект имел несколько имен; примером такой интерпретации была бы интерпретация, в которой и символ Richard, и символ John относились бы к короне. Если читатель находит, что такая возможность приводит к путанице, напомним, что в пропозициональной логике вполне допустимо иметь модель, в которой высказывания Cloudy (пасмурно) и Sunny (солнечно) одновременно являются истинными; задача исключения из рассмотрения моделей, несовместимых с нашими знаниями, возлагается на базу знаний.
Истинность любого высказывания определяется с помощью некоторой модели и некоторой интерпретации символов этого высказывания. Поэтому логическое следствие, допустимость и другие свойства высказываний определяются в терминах всех возможных моделей и всех возможных интерпретаций. Важно отметить, что количество элементов проблемной области в каждой модели может быть неограниченным, например, элементами проблемной области могут быть целые числа или действительные числа. Поэтому не ограничено количество возможных моделей, как и количество интерпретаций. Проверка логического следствия путем перебора всех возможных моделей, которая была осуществимой в пропозициональной логике, в логике первого порядка больше не может применяться. Даже если количество рассматриваемых объектов ограничено, количество их комбинаций может быть очень большим. Например, при использовании символов, рассматриваемых в данном примере, существует приблизительно 1025 комбинаций для проблемной области с пятью объектами (см. упр. 8.5).
Термы
^ Терм — это логическое выражение, которое относится к некоторому объекту. Поэтому константные символы также представляют собой термы, но не всегда удобно иметь отдельный символ для каждого отдельного объекта. Например, в естественном языке можно воспользоваться обозначением “левая нога короля Джона”, а не присваивать ноге короля имя. Именно для этого и нужны функциональные символы: вместо использования константного символа мы можем написать LeftLegi John). В общем случае сложный терм формируется с помощью функционального символа, за которым следует заключенный в круглые скобки список формальных параметров данного функционального символа. Важно помнить, что любой сложный терм — это некоторое подразумеваемое имя, выраженное в сложной форме. Это — не “вызов процедуры”, которая “возвращает значение”. Не существует такой процедуры LeftLeg, которая принимает на входе какого-то человека и возвращает его левую ногу. Мы можем рассуждать о левых ногах (например, формулировать общее правило, что каждый человек имеет таковую, и на основании этого делать вывод, что таковую должен иметь Джон), даже не предусматривая определение символа LeftLeg. Это — такая логическая операция, которая не может быть выполнена с помощью процедур в языках программирования.
Формальное определение семантики термов является несложным. Рассмотрим терм f (ti,..., tn). Функциональный символ f относится к некоторой функции в модели (назовем ее F); термы с обозначением формальных параметров относятся к объектам данной проблемной области (назовем их d1#..., dn); а сам терм в целом относится к объекту, представляющему собой значение функции F, применяемой к объектам dlf...,dn. Например, предположим, что функциональный символ LeftLeg относится к функции, показанной в уравнении 8.2, а символ John относится к королю Джону; в таком случае LeftLeg I John) относится к левой ноге короля Джона. Таким образом, интерпретация определяет для каждого терма соответствующий референт (объект, к которому относится данный терм).
Атомарные высказывания
Как было указано выше, термы позволяют ссылаться на объекты, предикатные символы — на отношения, а при их совместном использовании формируются атомарные высказывания, позволяющие констатировать факты. Атомарное высказывание состоит из предикатного символа, за которым следует заключенный в круглые скобки список термов:
Brother(Richard,John)
В соответствии с намеченной интерпретацией, приведенной выше, это атомарное высказывание констатирует тот факт, что Ричард Львиное Сердце — брат короля Джона5. Атомарные высказывания могут включать в качестве фактических параметров сложные термы. Поэтому в высказывании
Married (Father (Richard) , Mother (John) )
утверждается, что отец Ричарда Львиное Сердце был женат на матери короля Джона (опять-таки при использовании подходящей интерпретации).
Любое ^ атомарное высказывание является истинным в данной конкретной модели при данной конкретной интерпретации, если отношение, на которое ссылается его предикатный символ, соблюдается среди объектов, на которые ссылаются его параметры.
Сложные высказывания
Для формирования более сложных высказываний, как и в пропозициональном исчислении, могут использоваться логические связки. Семантика высказываний, сформированных с помощью логических связок, идентична семантике, которая рассматривается в пропозициональной логике. Ниже приведены четыре высказывания, которые являются истинными в модели, показанной на рис. 8.1, при использовании рассматриваемой намеченной интерпретации
-^Brother (LeftLeg (Richard) .John)
Brother(Richard,John) a Brother(John,Richard)
King(Richard) v King(John)
-AKing(Richard) => King(John)
Кванторы
После определения логики, которая допускает использование объектов, становится вполне естественным стремление к созданию средств, позволяющих выражать свойства целых коллекций объектов, а не перебирать эти объекты по именам. Это позволяют сделать ^ кванторы. Логика первого порядка включает два стандартных квантора, называемых кванторами всеобщности и существования.
Применение квантора всеобщности (V)
Напомним, с какими трудностями мы сталкивались в главе 7, пытаясь выразить общие правила в пропозициональной логике. С другой стороны, в логике первого порядка квинтэссенцией становятся такие правила, как: “В квадратах, соседних с тем квадратом, где находится вампус, чувствуется неприятный запах” и “Все короли являются людьми”. Первое из этих правил будет рассматриваться в разделе 8.3, а второе правило, “Все короли являются людьми”, записывается в логике первого порядка следующим образом:
Vx King(x) => Person (х)
Квантор V обычно произносится как “для всех ...”. (Следует помнить, что перевернутая буква “а” обозначает “all” — все.) Таким образом, в этом высказывании утверждается следующее: “Для всех х, если х — король, то х — человек”. Символ х на-
5 Как правило, мы будем придерживаться такого соглашения об упорядочении параметров, что р (х, у) интерпретируется как “х представляет собой Р от у”.
зывается ^ переменной. В соответствии с общепринятым соглашением в качестве переменных применяются строчные буквы. Переменная сама является термом и как таковая может также служить параметром функции, например LeftLeg(x). Терм без переменных называется М базовым термом.
Интуитивно ясно, что в высказывании Vx Р, где Р — любое логическое выражение, утверждается, что Р является истинным для каждого объекта х. Точнее, высказывание Vx Р истинно в данной модели при данной интерпретации, если выражение Р истинно при всех возможных ^ расширенных интерпретациях, сформированных из данной интерпретации, где каждая расширенная интерпретация задает элемент проблемной области, на которую ссылается объект х.
На первый взгляд такое определение может показаться сложным, но оно фактически представляет собой лишь формальное определение интуитивного смысла применения квантора всеобщности. Рассмотрим модель, показанную на рис. 8.1, и намеченную интерпретацию, которая ее сопровождает. Эту интерпретацию можно расширить следующими пятью способами:
х —> Ричард Львиное Сердце
х —> король Джон
х —> левая нога Ричарда
х —> левая нога Джона
х —> корона
Высказывание с квантором всеобщности Vx King к х^ => Person (х) является истинным при первоначальной интерпретации, если высказывание KingW => Person (х) истинно в каждой из пяти расширенных интерпретаций. Это означает, что данное высказывание с квантором всеобщности эквивалентно утверждению об истинности следующих пяти высказываний:
Ричард Львиное Сердце — король => Ричард Львиное Сердце — человек король Джон — король => король Джон — человек левая нога Ричарда — король => левая нога Ричарда — человек левая нога Джона — король => левая нога Джона — человек корона — король => корона — человек
Рассмотрим внимательно это множество утверждений. Поскольку в нашей модели единственным королем является король Джон, то во втором высказывании утверждается, что он — человек, как и следовало ожидать. А что же можно сказать об остальных четырех высказываниях, в частности о тех, в которых приведены утверждения о ногах и коронах? Являются ли они частью смысла утверждения “Все короли являются людьми”? Действительно, остальные четыре утверждения истинны в данной модели, но не позволяют ничего судить о том, можно ли считать людьми ноги, короны или даже Ричарда. Это связано с тем, что ни один из этих объектов не является королем. Рассматривая истинностную таблицу для связки => (см. табл. 7.1), можно убедиться в том, что импликация истинна, даже если ее предпосылка ложна, независимо от того, является ли истинным заключение. Таким образом, утверждая истинность высказывания с квантором всеобщности, что эквивалентно утверждению об истинности целого списка отдельных импликаций, мы в конечном итоге утверждаем об истинности правила, выраженного в виде этого высказывания, только для тех объектов, для которых предпосылка является истинной, и вообще ничего не говорим о тех объектах, для которых предпосылка ложна. Поэтому, как оказалось,
записи истинностной таблицы, относящиеся к связке =>, являются идеальным способом формулировки общих правил с кванторами всеобщности.
Распространенная ошибка, которую часто допускают даже внимательные читатели, которые прочли предыдущий абзац несколько раз, состоит в том, что они используют конъюнкцию вместо импликации. Тогда следующее высказывание:
Vx King(x) л Person (х)
становится эквивалентным таким утверждениям:
Ричард Львиное Сердце — король л Ричард Львиное Сердце — человек король Джон — король л король Джон — человек левая нога Ричарда — король л левая нога Ричарда — человек
и т.д. Очевидно, что такой ряд утверждений не передает желаемый смысл.
Применение квантора существования (3)
Квантор всеобщности позволяет формировать утверждения о каждом объекте. Аналогичным образом, мы можем формировать утверждение о некотором объекте во вселенной без его именования с помощью квантора существования. Например, чтобы выразить мысль, что на голову короля Джона возложена корона, можно записать следующее:
Зх Crown (х) л OnHead {х, John)
Квантор существования с переменной Зх читается как: “Существует х, такой, что ... ”, или “Для некоторого х...”.
Интуитивно ясно, что в высказывании Зх Р утверждается, будто выражение Р истинно по меньшей мере для одного объекта х. Точнее, высказывание Зх Р истинно в данной конкретной модели при данной конкретной интерпретации, если выражение Р истинно по меньшей мере в одной расширенной интерпретации, в которой присваивается х одному из элементов проблемной области. В данном примере это означает, что должно быть истинным по меньшей мере одно из приведенных ниже утверждений.
Ричард Львиное Сердце — корона л Ричард Львиное Сердце находится на голове Джона
король Джон — корона л король Джон находится на голове Джона
левая нога Ричарда — корона л левая нога Ричарда находится на голове Джона
левая нога Джона — корона л левая нога Джона находится на голове Джона корона — корона л корона находится на голове Джона
В рассматриваемой модели истинно пятое утверждение, поэтому в ней является истинным само первоначальное утверждение с квантором существования. Обратите внимание на то, что в соответствии с приведенным выше определением квантора существования это высказывание будет также истинным и в такой модели, в которой на короля Джона возложены две короны. Такая ситуация является полностью совместимой с первоначальным высказыванием: “На голову короля Джона возложена корона”.
Итак, логическая связка => может рассматриваться как наиболее подходящая для использования с квантором V, а логическая связка а естественным образом подходит для использования с квантором 3. В примере, который рассматривался в предыдущем разделе, применение а в качестве основной связки в сочетании с квантором V приводило к формированию слишком сильного утверждения, а использование связки => в сочетании с квантором 3 обычно приводит к формированию действительно очень слабых утверждений. Рассмотрим следующее высказывание:
Зх Crownкх) => OnHeadkx, John)
На первый взгляд может показаться, что в этом высказывании вполне успешно передана мысль о том, что на голову короля Джона возложена корона. Применяя соответствующее определение семантики, можно убедиться в том, что данное высказывание декларирует истинность по меньшей мере одного из следующих утверждений:
Ричард Львиное Сердце — корона => Ричард Львиное Сердце находится на голове Джона
король Джон — корона => король Джон находится на голове Джона левая нога Ричарда — корона => левая нога Ричарда находится
на голове Джона
и т.д. Итак, импликация истинна, если и предпосылка, и заключение являются истинными, или если ложна ее предпосылка. Поэтому, если Ричард Львиное Сердце — не корона, то первое утверждение истинно и выполняется высказывание с квантором существования. Таким образом, высказывание в форме импликации с квантором существования истинно в любой модели, содержащей объект, для которого предпосылка импликации является ложной, поэтому подобные высказывания фактически не несут почти никакой информации.
Вложенные кванторы
Часто возникает необходимость сформировать более сложные высказывания с использованием нескольких кванторов. Простейшим является случай, когда кванторы относятся к одному и тому же типу. Например, утверждение: “Братья — это люди, связанные братскими родственными узами”, может быть записано следующим образом:
Vx Vy Brother {х, у) Siblingkx.y)
Последовательно применяемые кванторы могут быть записаны как один квантор с несколькими переменными. Например, чтобы выразить мысль о том, что родственные отношения между людьми, связанными братскими узами, являются симметричным, можно составить следующее высказывание:
Мх.у Siblingkx.y) <=> Siblingky, х)
В других случаях возникает необходимость в использовании сочетания разных кванторов. Например, строка из песни “Everybody loves somebody” (Каждый кого-то любит) означает, что для каждого человека существует кто-то, кого этот человек любит:
Vx Зу Loves (х, у)
С другой стороны, чтобы сформулировать утверждение “Есть некто, кого любят все”, можно записать следующее:
Му Зх Loves кх, у)
Таким образом, порядок расположения кванторов очень важен. Он становится очевиднее после вставки круглых скобок. В высказывании Vx (Зу Loves (х, у) ) утверждается, что каждый имеет конкретное свойство, а именно то свойство, что его кто-то любит. С другой стороны, в высказывании Зх (Vy Loves (х, у) ) утверждается, что некто в мире имеет конкретное свойство, а именно свойство быть любимым всеми.
Если два квантора используются с одним и тем же именем переменной, может возникнуть некоторая путаница. Рассмотрим следующее высказывание:
Vx (Crown(x) v (Зх Brother (Richard, х) ) ]
Здесь к переменной х в атомарном высказывании Brother (Richard, х) применяется квантор существования. Общее правило состоит в том, что переменная принадлежит к самому внутреннему квантору, в котором она упоминается; это означает, что такая переменная не может стать субъектом действия любого другого квантора. Еще один способ анализа приведенного выше высказывания состоит в следующем: Зх Brother (Richard, х) — это высказывание о Ричарде (о том, что у него есть брат), а не о переменной х, поэтому размещение квантора Ухза пределами данного высказывания не оказывает на него никакого действия, и оно могло быть равным образом записано как 3z Brother (Richard, z). Но поскольку такая ситуация может стать источником путаницы, в подобных обстоятельствах мы всегда будем использовать разные переменные.
Связь между кванторами V и 3
Кванторы V и 3 фактически тесно связаны друг с другом через отрицание. Утверждение о том, что никто не любит пастернак, равносильно утверждению о том, что не существует никого, кто бы его любил, и наоборот:
Vx —Likes (х, Parsnips) эквивалентно высказыванию-i3x Likes (х, Parsnips)
По такому же принципу может быть сформирована более сложная конструкция; например, выражение “Все любят мороженое” означает, что нет никого, кто не любил бы мороженое:
Vx Likes (х, Icecream) эквивалентно высказыванию-Зх -Likes (х, Icecream)
Поскольку квантор V фактически определяет в универсуме объектов конъюнкцию, а квантор 3 определяет дизъюнкцию, нет ничего удивительного в том, что они подчиняются правилам де Моргана. Правила де Моргана для высказываний с кванторами и без кванторов приведены ниже.
Vx -iP = —Зх Р
-пР л iQ = -|(P v Q)
—iVx Р = Зх -iP
i(P A Q) Е -зР v iQ
Vx Р = —i3x —iP
Р A Q = nbP v -10)
Зх Р = -iVx —iP
Р V Q = —1(—iP A —iQ)
Таким образом, в действительности нет необходимости иметь одновременно кванторы V и 3, так же как фактически не нужны обе связки а и v. Тем не менее удобство для чтения важнее, чем экономия выразительных средств, поэтому мы будем пользоваться обоими этими кванторами.
Равенство
В логике первого порядка предусмотрен еще один способ составления атомарных высказываний, отличный от использования предикатных символов и термов, как было описано выше. Для составления утверждений о том, что два терма ссылаются на один и тот же объект, может использоваться ^ символ равенства. Например, следующее утверждение:
Fatherк John) = Henry
говорит о том, что объект, на который ссылается высказывание Father {John), и объект, указанный под именем Henry, представляет собой одно и то же. Поскольку в любой интерпретации за каждым термом закрепляется референт, т.е. объект, на который он ссылается, определение истинности любого высказывания с символом равенства сводится к проверке того, представляют ли собой референты двух термов, соединенных символом равенства, один и тот же объект.
Символ равенства может использоваться для констатации фактов, касающихся данной конкретной функции, как было только что сделано применительно к функциональному символу Father. Он может также применяться с отрицанием как указание на то, что два терма не представляют собой один и тот же объект. Чтобы выразить мысль о том, что Ричард имеет по меньшей мере двух братьев, можно записать следующее:
Зх,у Brother (х, Richard) a Brother {у, Richard) а -i(x = у)
С другой стороны, высказывание:
Зх.у Brother {х, Richard) a Brother {у, Richard)
не имеет такого намеченного смысла. В частности, оно истинно в модели, приведенной на рис. 8.1, где у Ричарда имеется только один брат. Чтобы убедиться в этом, рассмотрим расширенную интерпретацию, в которой обеим переменным, х и у, присваивается объект— король Джон. Но в результате добавления выражения -п(х=у) такие модели становятся недействительными. В качестве сокращения для -Лх=у) иногда используется обозначение х^у.
Использование логики первого порядка
Теперь, после того как мы определили выразительный логический язык, можно приступить к изучению способов его использования. Лучше всего можно сделать это с помощью примеров. Выше уже были приведены некоторые простые высказыва-
ния, иллюстрирующие различные аспекты этого логического синтаксиса; в данном разделе будут показаны более систематические представления некоторых простых проблемных областей. В проблематике представления знаний проблемной областью считается некоторая часть мира, о которой необходимо выразить некоторые знания.
Начнем с краткого описания интерфейса Tell/Ask для базы знаний в логике первого порядка. Затем рассмотрим проблемную область семейных отношений, чисел, множеств и списков, а также мира вампуса. В следующем разделе приведен более развернутый пример (электронные схемы), а в главе 10 рассматривается все, что касается данной области науки.
Утверждения и запросы в логике первого порядка
Высказывания вводятся в базу знаний с помощью операции Tell, точно так же, как и в пропозициональной логике. Такие высказывания называются ^ утверждениями. Например, можно ввести утверждения, что Джон — король и что короли — люди:
Tell(КВ, King{John))
Tell(KB, Vx King{x) => Person{x))
Мы можем задавать вопросы о содержимом базы знаний с использованием операции Ask. Например, следующее выражение:
Ask(КВ, King(John))
возвращает true. Вопросы, заданные с помощью операции Ask, называются ^запросами, или ^целями (которые не следует путать с целями, используемыми при описании желаемых состояний агента). Вообще говоря, на любой запрос, который логически следует из базы знаний, должен быть получен утвердительный ответ. Например, если в ней содержатся два утверждения, приведенные в предыдущем абзаце, то следующий запрос:
Ask(KB, Person{John))
должен также возвратить true. Кроме того, можно задавать запросы с кванторами, такие как следующий:
Ask(KB, Зх Person{x))
На этот запрос должен быть получен ответ true, но этот ответ — ни полезный, ни забавный. (Его можно сравнить с получением ответа “Да” на вопрос: “Можете ли вы сказать мне, который час?”) Запрос с переменными, на которые распространяется квантор существования, имеет смысл: “Существует ли такое значение х, что...”, и мы решаем его, предоставляя соответствующее значение х. Стандартная форма для ответа такого рода представляет собой М подстановку, или М список связывания, который является множеством пар “переменная—терм”. В данном конкретном случае, при наличии только двух утверждений, ответом должно быть {х/ John}. А если имеется больше одного возможного ответа, может быть возвращен список подстановок.
Проблемная область родства
В качестве первого примера рассмотрим проблемную область семейных отношений, или родства. Эта проблемная область включает такие факты, как “Элизабет —
мать Чарльза” и “Чарльз— отец Уильяма”, и правила наподобие того, что “Бабушка — это мать родителя”.
Очевидно, что объектами в этой проблемной области являются люди. В ней будут применяться два унарных предиката, Male (Мужчина) и Female (Женщина). Отношения родства (связи между родителями и детьми, братьями и сестрами, мужем и женой и т.д.) будут представлены с помощью бинарных предикатов: Parent (Родитель), Sibling (Брат или сестра), Brother (Брат), Sister (Сестра), Child (Ребенок), Daughter (Дочь), Son (Сын), Spouse (Супруг или супруга), Wife (Жена), Husband (Муж), Grandparent (Дедушка или бабушка), Grandchild (Внук или внучка), Cousin (Двоюродный брат или двоюродная сестра), Aunt (Тетя) и Uncle (Дядя). В качестве предикатов Mother (Мать) и Father (Отец) мы будем использовать функции, поскольку каждый человек имеет по одному из этих объектов (по крайней мере, в соответствии с законами природы).
Рассмотрим каждую из функций и предикатов, записывая все, что мы знаем о них, в терминах других символов. Например, мать — это родитель женского рода:
Ут, с Mother (с) = т <=> Female(m) л Parent (т, с)
Муж — это супруг мужского пола:
Ум,Ь Husband (h, w) <=> Male^h) a Spouse (h, w)
Мужчины и женщины — непересекающиеся категории людей:
Ух Malekx^ <=> —FemaleW
Отношения между родителями и детьми являются взаимно противоположными:
Ур,с Parent (р, с) <=> Chi Id(с,р)
Дедушка или бабушка — это родитель родителя:
Уд, с Grandparent (д, с) <=> Ур Parent (д, р) л Parent (р, с)
Брат или сестра — это еще один ребенок тех же родителей:
Ух, у Sibling(x, у) <=> х Ф у л Ур Parent (р, х) л Parent (р, у)
Формулируя подобные сведения, можно заполнить еще несколько страниц, и в упр. 8.11 предлагается сделать именно это.
Каждое из этих высказываний может рассматриваться как одна из ^ аксиом в проблемной области родства. Аксиомы обычно принято связывать чисто с математическими проблемными областями (и мы вскоре рассмотрим некоторые аксиомы для чисел), но они нужны во всех проблемных областях. Аксиомы предоставляют основную фактическую информацию, на основании которой могут быть получены логическим путем полезные заключения. Кроме того, приведенные выше аксиомы родства имеют М определения; последние представлены в форме Ух, у Р(х,у) ^ ... . Аксиомы определяют функцию Mother и предикаты Husband, Male, Parent, Grandparent и Sibling в терминах других предикатов. Но приведенные выше определения можно “свести” к базовому множеству предикатов (Child, Spouse и Female), в терминах которых в конечном итоге определяются все остальные предикаты. Это — очень естественный способ, с помощью которого создается представление некоторой проблемной области, и он аналогичен способу, применяемому при создании пакетов программного обеспечения путем последовательного определения процедур из при-
митивных библиотечных функций. Обратите внимание на то, что множество примитивных базовых предикатов не обязательно должно быть уникальным; с таким же успехом можно использовать множество Parent, Spouse и Male. Как будет показано ниже, в некоторых проблемных областях нельзя найти четко определимое базовое множество.
Не все логические высказывания о некоторой проблемной области являются аксиомами. Некоторые из них представляют собой ^ теоремы, т.е. следуют из аксиом. Например, рассмотрим утверждение, что родственные отношения между братьями и сестрами являются симметричными:
Vx,y Sibling(x, у) <=> Sibling(y, х)
Это — аксиома или теорема? В действительности это — теорема, которая логически следует из аксиомы, определяющей понятие родственных отношений между братьями и сестрами. Если в базу знаний с помощью операции Ask будет введен запрос в виде этого высказывания, то должно быть получено значение true.
С чисто логической точки зрения в базе знаний должны содержаться только аксиомы, но не теоремы, поскольку теоремы не увеличивают множество заключений, которые следуют из базы знаний. Но с практической точки зрения важным свойством теорем является то, что они уменьшают вычислительные издержки на логический вывод новых высказываний. Без них системе формирования рассуждений приходится всякий раз начинать с самых фундаментальных принципов, во многом аналогично тому, что математику приходилось бы снова выводить правила исчисления, приступая к решению каждой новой задачи.
Не все аксиомы имеют определения. Некоторые из них предоставляют более общую информацию об определенных предикатах без формулировки определений. И действительно, некоторые предикаты не имеют полного определения, поскольку мы не знаем достаточно для того, чтобы их полностью охарактеризовать. Например, нельзя найти очевидного способа закончить следующее высказывание с определением понятия человек*.
Vx Person(х) <=> ...
К счастью, логика первого порядка позволяет использовать предикат Person, не определяя его полностью. Вместо этого можно записывать частичные спецификации свойств, которыми обладает каждый человек, и свойств, которые идентифицируют некоторый объект как человека:
Vx Person(х) => ...
Vx ... => Person(х)
Аксиомы могут также представлять собой просто “голые факты”, такие как Male (Jim) и Spouse (Ji т, Laura). Такие факты формируют описания конкретных экземпляров задачи, что дает возможность находить ответы на конкретные вопросы. Ответы на эти вопросы представляют собой теоремы, которые следуют из аксиом. Но часто приходится убеждаться в том, что ожидаемые ответы получить не удается, например, можно было бы ожидать, что удастся вывести логическим путем факт Female (Laura) из аксиом Male( George) и Spouse (George, Laura), но данный факт не следует как теорема из этих аксиом. Такая ситуация свидетельствует о том, что в базе знаний не хватает какой-то аксиомы. В упр. 8.8 предлагается предоставить эту аксиому.
Числа, множества и списки
По-видимому, числа представляют собой наиболее яркий пример того, как может быть построена крупная теория из крошечного ядра аксиом. В этом разделе будет описана теория М натуральных чисел, или неотрицательных целых чисел. Для этого потребуется предикат Na tNum, который будет принимать истинное значение при использовании параметра, представляющего собой натуральное число; кроме того, требуется один константный символ, 0, и один функциональный символ, S (successor — преемник). ^ Аксиомы Пеано определяют натуральные числа и операцию сложения. Натуральные числа определяются рекурсивно:
Na tNum (0 )
Vn Na tNum (n) => Na tNum (S (n) )
Это означает, что 0 — натуральное число и для каждого объекта п, если п — натуральное число, S(n) — натуральное число. Поэтому натуральными числами являются О, S(0),S(S(0)) и т.д. Необходимы также аксиомы для ограничения действия функции определения преемника:
Vn 0 ^ S(n)
\/т,п т Ф п => S(m) ^ S(n)
Теперь мы можем определить операцию сложения в терминах функции определения преемника:
Vm Na tNum (т) => + (0,л7) = т
Vm,n NatNum(m) л NatNum^n') => +(S(m),n) = S(+(m,n))
В первой из этих аксиом утверждается, что сложение числа 0 с любым натуральным числом т приводит к получению самого числа т. Обратите внимание на использование бинарного функционального символа “+” в терме + (0,т); в обычной математике такой терм принято записывать в виде 0+т с использованием ^ инфиксной системы обозначений. (Система обозначений, которая используется в этом разделе для логики первого порядка, называется ^ префиксной.) Чтобы было удобнее читать высказывания, касающиеся чисел, здесь будет также разрешено использовать инфиксные обозначения. Кроме того, мы можем записывать как S(n) как п+1, поэтому вторая аксиома принимает следующий вид:
\/т,п NatNum(m) л Na tNum (n) => (m+l)+n = (m+n) +1
Эта аксиома сводит сложение к повторному применению функции определения преемника.
Такое использование инфиксных обозначений представляет собой пример применения ^ синтаксического упрощения, т.е расширения или сокращения стандартного синтаксиса, при котором семантика не изменяется. Любое высказывание, в котором используются такие сокращения, может быть “разупрощено” для получения эквивалентного высказывания в обычной логике первого порядка.
После определения понятия сложения становится простой задача определения умножения как повторного сложения, возведения в степень как повторного умно-
жения, целочисленного деления и определения остатков от деления, формулировки понятия простых чисел и т.д. Таким образом, вся теория чисел (включая такие ее приложения, как криптография) может быть сформирована на основе одной константы, одной функции, одного предиката и четырех аксиом.
Проблемная область М множеств также является фундаментальной не только для математики, но и для рассуждений на уровне здравого смысла. (В действительности на основе теории множеств может быть также построена теория чисел.) Необходимо иметь возможность представлять отдельные множества, включая пустое множество. Кроме того, требуется способ составления множеств с помощью добавления элемента к множеству или применения операции объединения или пересечения к двум множествам. К тому же необходимо знать, входит ли некоторый элемент в состав множества, и иметь возможность отличать множества от объектов, не являющихся множествами.
В качестве синтаксического упрощения в данном разделе будет использоваться обычный словарь теории множеств. Пустое множество представляет собой константу, которая записывается как {}. Применяется также один унарный предикат, Set, который принимает истинное значение, если его фактическим параметром является множество. Бинарными предикатами являются хе s (х — элемент множества s) и Si с s2 (sx — подмножество, не обязательно строгое, множества s2). В качестве бинарных функций применяются sx n s2 (пересечение двух множеств), sx и s2 (объединение двух множеств) и {х| s} (множество, полученное в результате присоединения элемента х к множеству s). Один из возможных наборов аксиом приведен ниже.
Единственными множествами являются пустое множество и множества, полученные путем присоединения некоторого элемента к множеству.
Vs Set(s) <=» (s = {}) v (Vx,s2 Set(s2) a s = {x|s2})
Пустое множество не имеет присоединенных к нему элементов, иными словами, не существует способа разложения множества EmptySet на меньшее множество и еще один элемент:
—iVx, s {x|s} = {}
Присоединение к множеству элемента, уже имеющегося в этом множестве, не оказывает никакого эффекта:
Vx, s хе s <^ s = {x|s}
Единственными элементами множества являются элементы, которые были к нему присоединены. Мы выразим эту мысль рекурсивно, утверждая, что х — элемент множества s тогда и только тогда, когда s эквивалентно некоторому множеству s2, к которому присоединен некоторый элемент у, где либо у совпадает с х, либо х является элементом s2:
Vx, s х е s ^ [Vy, s2 (s = {y|s2} л (x = у v x e s2))]
Множество является подмножеством другого множества тогда и только тогда, когда все элементы первого множества являются элементами второго множества: Vsi,s2 si с s2 <=» (Vx хе si => х е S2)
Два множества равны тогда и только тогда, когда каждое из них является подмножеством другого:
Vsi,s2 (Si = S2 ) <=> (Si С S2 Л S2 С Si)
Некоторый объект принадлежит к пересечению двух множеств тогда и только тогда, когда он является элементом обоих этих множеств:
Vx,si,s2 хе (si n s2) <=> (хе si л х е s2)
Некоторый объект принадлежит к объединению двух множеств тогда и только тогда, когда он является элементом того или другого множества:
Vx,si,s2 х е (si u s2) <=» (хе si v х е s2)
^ Списки подобны множествам. Различия между ними состоят в том, что списки упорядочены, а один и тот же элемент может появляться в списке несколько раз. Для списков может использоваться словарь ключевых слов Lisp: Nil — это список- константа без элементов; Cons, Append, First и Rest — функции; Find — предикат, который выполняет для списков такие же функции, какие Member выполняет для множеств. List? — предикат, принимающий истинное значение только при получении параметра, представляющего собой список. Как и в случае множеств, обычно принято использовать синтаксические упрощения в логических высказываниях, в которых применяются списки. Пустой список обозначается как [ ]. Терм Cons (х, у), где у— непустой список, записывается как [х|у]. Терм Cons (х, Nil) (т.е. список, содержащий только элемент х) записывается как [х]. Список из нескольких элементов, такой как [А, В, С], соответствует вложенному терму Cons (A, Cons (В, Cons (С, Nil) ) ). В упр. 8.14 предлагается составить аксиомы для списков.
Мир вампуса
Некоторые аксиомы пропозициональной логики для мира вампуса были приведены в главе 7. Аксиомы первого порядка, рассматриваемые в этом разделе, являются гораздо более краткими и выражают совершенно естественным способом именно то, что требуется описать в этом мире.
Напомним, что агент в мире вампуса получает вектор восприятий с пятью элементами. Соответствующее высказывание в логике первого порядка, хранящееся в базе знаний, должно включать данные о результатах восприятия и о времени, в которое они были получены; в противном случае у агента возникнет путаница в отношении того, когда и что он воспринимал. Для обозначения интервалов времени будут использоваться целые числа. Типичным высказыванием с данными о восприятии является следующее:
Percept ( [Stench, Breeze, Glitter, None, None] , 5)
где Percept — бинарный предикат; Stench и т.д. — константы, помещенные в список. Действия в мире вампуса могут быть представлены с помощью логических термов следующим образом:
Turn(Right), Turn(Left), Forward, Shoot, Grab, Release, Climb
Чтобы определить, какое действие является наилучшим, программа агента составляет примерно такой запрос:
За BestAction(а,5)
Функция Ask должна разрешить этот запрос и возвратить список связывания, такой как {a! Grab}. Затем программа агента может вернуть Grab как действие, которое
должно быть выполнено, но вначале должна ввести в свою собственную базу знаний данные о том, что будет выполнено действие Grab, с помощью операции Tell.
Из исходных данных о восприятии следуют некоторые факты о текущем состоянии, например:
Mt, s,g,m,c Percept ( [s, Breeze, g,m, c] , t) => Breeze(t)
Vt,s,b,m,c Percept([s,b,Glitter,m,c] , t) => Glitter(t)
и т.д. Эти правила являются проявлением простейшей формы процесса формирования рассуждений, называемого восприятием, который будет подробно рассматриваться в главе 24. Обратите внимание на то, что квантификация происходит по переменной t с обозначением времени. А в пропозициональной логике приходилось создавать копии каждого высказывания для каждого интервала времени.
Кроме того, в этой логике могут быть реализованы простые “рефлекторные” варианты поведения с помощью импликационных высказываний с кванторами. Например, может быть предусмотрено следующее правило:
Mt Glitterati => BestAction(Grab, tl
При наличии результатов восприятия и правил, приведенных в предыдущих абзацах, применение данного правила привело бы к желаемому заключению BestAction (Grab, 5) о том, что в данный момент следует выполнить действие Grab. Обратите внимание на соответствие между этим правилом и прямым соединением “восприятие/действие” в агенте на основе логической схемы, приведенной на рис. 7.9; соединение в этой логической схеме неявно предусматривает применение квантора к переменной, обозначающей время.
До сих пор в этом разделе все высказывания, касающиеся времени, были ^ синхронными (т.е. “одновременными”) высказываниями; это означает, что они связывали свойства некоторого состояния мира с другими свойствами того же состояния мира. А высказывания, которые допускают формирование “разновременных” рассуждений, называются ^ диахроиными; например, агенту требуется знать, как комбинировать информацию о его предыдущем местонахождении с информацией о только что выполненном действии, чтобы определить свое текущее местонахождение. Отложим обсуждение диахронных высказываний до главы 10, а пока будем просто предполагать, что в отношении предикатов, касающихся изменения местонахождения, и других предикатов, зависящих от времени, выполняется требуемый логический вывод.
Выше были представлены восприятия и действия; теперь настало время представить саму среду. Начнем с объектов. Очевидными кандидатами являются квадраты, ямы и вампус. Можно было бы присвоить имя каждому квадрату (Square1<2 и т.д.), но тогда тот факт, что Squareli2 и Square1<3 являются соседними, пришлось бы оформить как “дополнительный” факт и нам потребовалось по одному такому факту для каждой пары квадратов. Поэтому лучше использовать сложный терм, в котором строка и столбец показаны в виде целых чисел; например, списковый терм [1,2]. В таком случае определение понятия соседства любых двух квадратов можно представить следующим образом:
Мх, у, a, b Adjacent ( [х, у] , [а,Ь]) <=»
[а,Ь] е {[х+1,у], [х-1,у], [х,у+1] , [х,у-1]}
Кроме того, можно было бы присвоить имя каждой яме, но такое решение является неподходящим по другой причине: нам нет смысла проводить различия между
ямами. Гораздо проще использовать унарный предикат Pit, который принимает истинное значение в квадратах, содержащих ямы. Наконец, поскольку имеется точно один вампус, для его представления равным образом подходят и константа Wumpus, и унарный предикат (а последний способ обозначения с точки зрения вампуса может даже оказаться более почетным). Вампус проживает точно в одном квадрате, поэтому для именования этого квадрата целесообразно использовать функцию, такую как ноте к Wumpus'). Это позволяет полностью избежать необходимости применения громоздкого множества высказываний, которые требовались в пропозициональной логике для обозначения того, что вампус находится точно в одном квадрате. (А при наличии двух вампусов ситуации в пропозициональной логике стала бы еще хуже.)
Местонахождение агента меняется со временем, поэтому мы будем применять запись AtkAgent, s, t) для указания на то, что агент находится в квадрате s во время t. Зная свое текущее местонахождение, агент сможет выявлять путем логического вывода свойства текущего квадрата на основании данных о свойствах его текущего восприятия. Например, если агент находится в некотором квадрате и чувствует ветерок, то в этом квадрате чувствуется ветерок:
Vs, t At{Agent, s, t) a Breeze(t) => Breezy(s)
Нам требуется знать не то, что агент вообще почувствовал ветерок, а то, что ветерок чувствуется в определенном квадрате, поскольку известно, что ямы не могут менять своего местонахождения. Обратите внимание на то, что предикат Breezy (“в квадрате чувствуется ветерок”) не имеет параметра с обозначением времени.
Обнаружив, в каких местах чувствуется ветерок (или неприятный запах), а также, что очень важно, в каких местах не чувствуется ветерок (или неприятный запах), агент получает возможность определять логическим путем, где находятся ямы (и где находится вампус). Существуют два описанных ниже типа синхронных правил, которые позволяют делать такие логические выводы.
^ Диагностические правила
Диагностические правила ведут от наблюдаемых эффектов к раскрытию скрытых причин. В очевидных диагностических правилах, касающихся поиска ям, утверждается, что если в квадрате чувствуется ветерок, то в некотором соседнем квадрате должна находиться яма, таким образом:
Vs Breezy ks) => 3r Adjacent к r, s) a Pitkr)
С другой стороны, если в некотором квадрате не чувствуется ветерок, то ни в одном из соседних квадратов не находится яма:
Vs —Breezy ks) => -пЗг Adjacent kr, s) a Pitkr)
Объединяя эти два правила, мы получим следующее высказывание в форме двусторонней импликации:
Vs Breezy(s) <=> 3r Adjacent (r, s) a Pit (r)(8.3)
^ Причинные правила
Причинные правила отражают предполагаемую направленность причинноследственных отношений в мире: появление некоторых восприятий вызывается определенными скрытыми свойствами мира. Например, наличие ямы вызывает появление ветерка во всех соседних квадратах:
Vr Pit (г) => [Vs Adjacent (г, s) => Breezy(s) ]
А если во всех квадратах, соседних по отношению к данному конкретному квадрату, нет ям, то в данном квадрате не чувствуется ветерка:
Vs [Vr Adjacent (г, s) => -iPit(r)] => -}Breezy( s)
Приложив определенные усилия, можно показать, что эти два высказывания, вместе взятые, логически эквивалентны высказыванию с двусторонней импликацией, приведенному в уравнении 8.3. Это высказывание с двусторонней импликацией само может также рассматриваться как причинное, поскольку показывает, каким образом вырабатывается истинностное значение предиката Breezy по данным о состоянии мира.
Системы, в которых логические рассуждения формируются с помощью причинных правил, называются системами формирования рассуждений на основе модели, поскольку причинные правила образуют модель того, как действует среда. Различие между рассуждениями на основе модели и диагностическими рассуждениями является важным для многих областей искусственного интеллекта. В частности, одной из активных областей исследования остается медицинская диагностика, и в ней подходы, основанные на прямых ассоциациях между симптомами и заболеваниями (диагностический подход), постепенно вытесняются подходами, в которых используются явно заданные модели заболеваний и данные о проявлениях этих заболеваний в виде симптомов. Мы вернемся к этой теме в главе 13.
Какой бы тип представления не использовался в агенте, ^ если аксиомы правильно и полно описывают способ функционирования мира и способ выработки восприятий, то любая полная процедура логического вывода позволяет получить наиболее сильное возможное описание состояния мира при наличии всех доступных восприятий. Благодаря этому проектировщик агента получает возможность сосредоточиться на решении задачи получения правильных знаний, не слишком заботясь о том, как должны быть организованы процессы логического вывода. Кроме того, в данном разделе было показано, что логика первого порядка позволяет представить мир вампуса не менее кратко, чем первоначальное описание на естественном языке, приведенное в главе 7.
Инженерия знаний с применением логики
ПЕРВОГО ПОРЯДКА
В предыдущем разделе иллюстрировалось использование логики первого порядка для представления знаний в трех простых проблемных областях. В этом разделе рас-
сматривается общий процесс конструирования базы знаний, называемый ^ инженерией знаний. Инженером по знаниям называется специалист, который исследует конкретную проблемную область, определяет, какие понятия важны в этой проблемной области, и создает формальное представление объектов и отношений в этой проблемной области. В данном разделе процесс инженерии знаний будет проиллюстрирован на проблемной области проектирования электронных схем, которая должна быть уже довольно знакомой читателю, поэтому мы можем сосредоточиться на самих относящихся к этой теме проблемах представления знаний. Применяемый в этом разделе подход является приемлемым для разработки баз знаний специального назначения, проблемная область которых тщательно очерчена и спектр запросов известен заранее. Базы знаний общего назначения, которые предназначены для поддержки запросов, касающихся полного спектра человеческих знаний, обсуждаются в главе 10.
Процесс инженерии знаний
Безусловно, проекты в области инженерии знаний во многом отличаются друг от друга по своему содержанию, охвату и сложности, но все эти проекты включают перечисленные ниже этапы.
Идентификация задания. Инженер по знаниям должен очертить круг вопросов, которые должна поддерживать база знаний, и виды фактов, которые будут доступными применительно к каждому конкретному экземпляру задачи. Например, должна ли база знаний о вампусе предоставлять возможность выбирать действия, или от нее требуется только поиск ответов на вопросы о содержании различных компонентов среды? Должны ли факты, полученные от датчиков, включать данные о текущем местонахождении? Само задание определяет, какие знания должны быть представлены в базе, чтобы можно было связать экземпляры задачи с ответами. Этот этап аналогичен процессу PEAS проектирования агентов, описанному в главе 2.
Сбор относящихся к делу знаний. Инженер по знаниям может уже быть экспертом в рассматриваемой проблемной области или ему может потребоваться общаться с настоящими экспертами для выявления всего, что они знают — этот процесс называется ^ приобретением знаний. На этом этапе знания еще не представлены формально. Его назначение состоит в том, чтобы понять, каким должен быть спектр знаний в базе знаний, определяемый самим заданием, а также разобраться в том, как фактически функционирует рассматриваемая проблемная область.
Относящиеся к делу (релевантные) знания для мира вампуса, который определен с помощью искусственного набора правил, выявить несложно. (Но следует отметить, что определение понятия соседства квадратов не формулировалось явно в правилах функционирования мира вампуса.) Тем не менее для реальных проблемных областей задача выявления релевантных знаний может оказаться весьма сложной; например, система для эмуляции работы спроектированных СБИС может требовать или не требовать учета паразитных емкостей и поверхностных эффектов.
Определение словаря предикатов, функций и констант. В иной формулировке этот этап можно определить как преобразование важных понятий уровня
проблемной области в имена логического уровня. Для этого необходимо ответить на многие вопросы в стиле инженерии знаний. Как и от стиля программирования, от стиля инженерии знаний может существенным образом зависеть окончательный успех проекта. Например, должны ли ямы быть представлены с помощью объектов или с помощью унарного предиката, определенного на квадратах? Должна ли ориентация агента быть задана в виде функции или предиката? Должно ли местонахождение вампуса зависеть от времени? Результатом выбора наиболее подходящих средств представления становится словарь, известный под названием ^ онтологии проблемной области. Само слово онтология в данном контексте означает конкретную теорию пребывания в определенном состоянии, или теорию существования. Онтология определяет, какого рода объекты существуют, но не определяет их конкретные свойства и взаимосвязи.
Регистрация общих знаний о проблемной области. Инженер по знаниям записывает аксиомы для всех терминов словаря. Тем самым он закрепляет (в возможной степени) смысл этих терминов, позволяя эксперту проверить их содержание. На этом этапе часто обнаруживаются неправильные трактовки или пропуски в словаре, который необходимо исправить, возвратившись на этап 3 и снова пройдя данную итерацию в текущем процессе проектирования.
Составление описания данного конкретного экземпляра задачи. Если онтология хорошо продумана, этот этап будет несложным. Он сводится к написанию простых атомарных высказываний об экземплярах понятий, которые уже являются частью онтологии. Для логического агента определения экземпляров задачи поставляются датчиками, а сама “бестелесная” база знаний снабжается дополнительными высказываниями таким же образом, как традиционные программы снабжаются входными данными.
Передача запросов процедуре логического вывода и получение ответов. Именно здесь нас ожидает награда: теперь мы можем применить процедуру логического вывода к аксиомам и фактам о конкретной задаче для получения фактов, которые нам хочется узнать.
Отладка базы знаний. К сожалению, ответы на запросы при первой попытке редко оказываются правильными. Точнее, ответы будут правильными для базы знаний в том виде, в каком она написана, при условии, что процедура логического вывода является непротиворечивой, но они не будут такими, каких ожидает пользователь. Например, если недостает какой-то аксиомы, то на некоторые запросы из этой базы знаний нельзя будет найти ответ. В этом может помочь продуманный процесс отладки. Недостающие или слишком слабые аксиомы могут быть легко выявлены путем обнаружения участков, на которых неожиданно обрывается цепочка этапов логического вывода. Например, если база знаний содержит одну из диагностических аксиом, касающихся ям,
Vs Breezy (s) => 3r Adjacent (r, s) a Pit(r)
но не содержит другую, то агент не сможет доказать отсутствие ям. Неправильные аксиомы могут быть выявлены на основании того, что они представляют собой ложные утверждения о мире. Например, аксиома
Vx NumOfLegs (х, 4) => Mammal (х)
является ложной, поскольку относит к млекопитающим рептилий, амфибий и, что еще важнее, столы с четырьмя ножками. ^ Ложность этого высказывания может быть определена независимо от остальной части базы знаний. В отличие от этого, типичная ошибка в программе выглядит примерно таким образом: offset = position + 1
Невозможно определить, является ли этот оператор правильным, не изучив остальную часть программы для определения того, что, например, переменная offset используется для ссылки на текущую позицию или на позицию, которая следует за текущей позицией, а также происходит ли изменение значения переменной position в другом операторе и поэтому возникает необходимость снова изменять значение переменной offset.
Чтобы лучше понять этот процесс, состоящий из семи этапов, мы теперь применим его к расширенному примеру — к проблемной области электронных схем.
Проблемная область электронных схем
Разработаем онтологию и базу знаний, которые позволят нам рассуждать об электронных схемах такого типа, как показано на рис. 8.2. Мы будем руководствоваться описанным семиэтапным процессом инженерии знаний.
Рис. 8.2. Цифровая схема Ci, предназначенная для использования в качестве однобитового полного сумматора. На первые два входа подаются два бита, подлежащие сложению, а на третий вход подается бит переноса. На первом выходе находится сумма, а на втором — бит переноса для следующего сумматора. Эта схема включает два логических элемента XOR, два логических элемента AND и один логический элемент OR
Идентификация задания
С цифровыми схемами связано много заданий, требующих логического рассуждения. На самом высоком уровне требуется проанализировать функциональное назначение схемы. Например, действительно ли приведенная на рис. 8.2 схема выполняет сложение должным образом? Если на все входы подаются сигналы с высоким потенциалом, то каким является выход логического элемента д2? Интерес представляют также вопросы о структуре схемы. Например, каковыми являются все логические элементы, подключенные к первой входной клемме? Содержит ли эта схема
петли обратной связи? В этом и состоят задания, рассматриваемые в данном разделе. Существуют также более детализированные уровни анализа, включая те, которые относятся к определению продолжительности задержек, площади схемы, потреблению энергии, стоимости производства и т.д. Для каждого из этих уровней могут потребоваться дополнительные знания.
Сбор относящихся к делу знаний
Что мы знаем о цифровых схемах? Для наших целей достаточно знать, что они состоят из проводов и логических элементов. Сигналы распространяются по проводам к входным клеммам логических элементов, а каждый логический элемент вырабатывает на выходной клемме сигнал, который распространяется по другому проводу. Чтобы определить, какими должны быть эти сигналы, нам необходимо знать, как логические элементы преобразуют свои входные сигналы. Существует четыре основных типа логических элементов: логические элементы and, OR и XOR имеют две входные клеммы, а логический элемент NOT имеет одну входную клемму. Все логические элементы имеют одну выходную клемму. Схемы, как и логические элементы, имеют входные и выходные клеммы.
Для того чтобы рассуждать о функциональных назначениях и связях в электронной схеме, не нужно вести речь о самих проводах, о путях, по которым проложены провода, или о соединениях, в которых встречаются два провода. Играют роль только соединения между клеммами — можно утверждать, что одна выходная клемма соединена с другой, входной клеммой, не упоминая о том, что они фактически соединены проводами. В этой проблемной области имеется также множество других факторов, не имеющих отношения к нашему анализу, таких как размеры, форма, цвет или стоимость различных компонентов.
Если бы нашей целью было нечто иное, чем проверка проектов на уровне логических элементов, то онтология была бы другой. Например, если бы нас интересовала отладка неисправных электронных схем, то, по-видимому, целесообразно было бы включить в онтологию проводя, поскольку неисправный провод может исказить проходящий по нему сигнал. С другой стороны, для устранения ошибок синхронизации потребовалось бы включить в рассмотрение задержки логических элементов. А если бы мы были заинтересованы в проектировании продукта, который оказался бы прибыльным, то имели бы значение такие данные, как стоимость производства электронной схемы и ее быстродействие в сравнении с другими продуктами на рынке.
Определение словаря
Теперь нам известно, что нужно вести речь о схемах, клеммах, сигналах и логических элементах. На следующем этапе необходимо выбрать функции, предикаты и константы для их представления. Начнем с отдельных логических элементов и перейдем к схемам.
Прежде всего необходимо иметь возможность отличать один логический элемент от других логических элементов. Это можно обеспечить, присвоив логическим элементам имена с помощью констант: Х1$ Х2 и т.д. Хотя каждый логический элемент подключен к схеме своим индивидуальным способом, его поведение (способ преобразования входных сигналов в выходные) зависит только от типа. Для ссылки на тип
логического элемента может использоваться функция. Например, можно написать Type(Xi) =XOR. Тем самым вводится константа XOR для логического элемента конкретного типа; другие константы будут называться OR, AND и NOT. Функция Туре не является единственным способом регистрации онтологических различий. Для этого можно было бы использовать бинарный предикат, Type (Хх, XOR), или несколько отдельных предикатов типов, таких как X0R(Xi). Любой из этих вариантов вполне подходит, но выбирая функцию Туре, мы избегаем необходимости определять аксиому, в которой указано, что каждый отдельный логический элемент может иметь только один тип, поскольку это уже гарантирует сама семантика функций.
Затем рассмотрим клеммы. Логический элемент или цифровая схема может иметь одну или несколько входных клемм и одну или несколько выходных клемм. Можно было бы просто присвоить каждой из них имя с помощью константы, точно так же, как мы именовали логические элементы. Таким образом, логический элемент Хх мог бы иметь клеммы с именами Х^Тпу, хт1п2 и XxOutx- Но следует избегать тенденции к созданию длинных составных имен. Назвав нечто ХхТпь мы не сделаем его первой входной клеммой xz; все равно потребуется указать это с помощью явного утверждения. По-видимому, лучше именовать клеммы логического элемента с помощью функции, так же, как мы именовали левую ногу короля Джона как Lef tLeg( John). Таким образом, примем, что Тп(1,Хх) обозначает первую входную клемму для логического элемента хг. Аналогичная функция Out используется для выходных клемм.
Связь между логическими элементами может быть представлена с помощью предиката Connected, который принимает в качестве параметров имена двух клемм, как в выражении Connected (Out (1,Хх) , In (1,Х2) ).
Наконец, необходимо знать, включен или выключен сигнал. Одна из возможностей состоит в использовании унарного предиката On, который принимает истинное значение, когда сигнал на клемме включен. Тем не менее при этом затрудняется постановка таких вопросов, как: “Каковы возможные значения сигналов на выходных клеммах схемы Сх?” Поэтому введем в качестве объектов два “значения сигнала”, 1 и 0, и функцию Signal, которая принимает имя клеммы в качестве параметра и указывает значение сигнала для этой клеммы.
Регистрация общих знаний о проблемной области
Одним из признаков наличия хорошей онтологии является то, что с ее использованием требуется определить очень немного общих правил, а признаком наличия хорошего словаря служит то, что каждое правило может быть сформулировано четко и кратко. В рассматриваемом примере нам потребуется только семь приведенных ниже простых правил для описания всего, что нужно знать о цифровых схемах.
Если две клеммы соединены, то на них присутствует один и тот же сигнал:
Vtx,t2 Connected(ti, t2) => Signal (tx) = Signal (ti)
Сигнал на каждой клемме равен либо 1, либо 0 (но не имеет оба значения одновременно):
Vt Signal (t) = 1 v Signal (t) = 0 1*0
Предикат Connected является коммутативным:
Vti/t2 Connected(tx, t2) <=> Connected(t2, ti)
На выходе логического элемента OR присутствует 1 тогда и только тогда, когда на любом из его входов присутствует 1:
Vg Туре{д) = OR
Signal(Out(1,д)) = 1 фф Vn Signal{In(n, g)) = 1
На выходе логического элемента and присутствует 0 тогда и только тогда, когда на любом из его входов присутствует 0:
Vg Туре(д) = AND =>
Signal {Out (1, д) ) = 0 <=> Vn Signal (In {n, g) ) = 0
На выходе логического элемента XOR присутствует 1 тогда и только тогда, когда на его входах присутствуют разные сигналы:
Vg Туре {д') = XOR =>
Signal(Out(1,g)) = 1 <=> Signal(In(1,g)) ^ Signal{In(2 , g))
Выход логического элемента NOT противоположен его входу:
Vg {Туре{д) = NOT) => Signal (Ou t {1, g) ) * Si gnal (In (1, g) )
Составление конкретного экземпляра задачи
Схема, показанная на рис. 8.2, представлена как схема Сг со следующим описанием. Прежде всего определим типы всех логических элементов:
Туре{Хх) = XOR
Туре{Х2) = XOR
Type {Ах) = AND
Туре {А2) = AND
Туре (01) = OR
Затем покажем связи между ними:
Connected {Ou t {1, Xi) , In (1, Х2) )
Connected (In (1, Ci) , In (1, Xx) )
Connected {Out (1, Xx) , In {2 , A2) )
Connected (In (1, Ci) , In{l,Ax) )
Connected {Out (1, A2) , In{l, Ox) )
Connected {In {2 , Ci) , In (2 , Xi) )
Connected {Out {1, Ax) , In {2 , Ox) )
Connected{In{2 ,Cx) , In{2 ,Ax) )
Connected {Out {1, X2) , Out (1, Cx) )
Connected(In (3 , Cx) , In {2 ,X2) )
Connected(Out (1, Ox) , Out {2 , Cx) )
Connected{In{3 , Cx) , In{l,A2) )
Передача запросов процедуре логического вывода
Какая комбинация входов вызовет появление 0 на первом выходе схемы С\ (бит суммы) и появление 1 на втором выходе схемы Сг (бит переноса)?
31i,l2,l3 Signal (In (1, Ci) ) = li л Signal (In (2 , Ci) ) = 12 л
Signal (In (3 , Ci) ) = 1з л Signal (Out (1, Ci) ) = 0 л
Signal (Out (2 , Ci) ) = 1
Ответами являются такие подстановки значений вместо переменных 11$ 12 и 13, что результирующее высказывание следует из базы знаний. Существуют три такие подстановки:
{11/1, 12/1, 1з/0} (11/1, 12/0, 13/1} (Ii/О, 12/1, 13/1}
Каковы возможные множества значений сигналов на всех клеммах этой схемы сумматора?
12,13, oi, о2 Signal (In (1, Ci) ) = li a Signal (In (2 , Ci) ) = 12 л Signal (In (3 , Ci) ) = 13 л Signal (Out (1, Ci) ) = Oi л Signal (Out (2 , Ci) ) = o2
Этот последний запрос должен вернуть полную таблицу входов и выходов для данного устройства, которая может использоваться для проверки того, действительно ли эта схема правильно складывает свои входные данные. Это — простой пример М проверки схемы. Можно также применять приведенное здесь определение данной схемы для создания более крупных цифровых систем, для которых может осуществляться процедура проверки такого же рода (см. упр. 8.17). Для структурированной разработки базы знаний такого же рода подходят многие проблемные области, в которых более сложные понятия определяются на основе более простых понятий.
Отладка базы знаний
Эту базу знаний можно испортить многими способами для определения того, какие виды ошибочного поведения будут с этим связаны. Например, допустим, что пропущено такое утверждение, как 1^0. Тогда система внезапно потеряет способность доказывать наличие каких-либо входных сигналов для данной схемы, за исключением тех случаев, когда на входе присутствуют сигналы ООО и 110. Наличие этой проблемы можно выявить, запрашивая выводы каждого логического элемента. Например, можно ввести следующий запрос:
311,12, о Signal (In (1, Ci) ) = li л Signal (In (2 , Ci) ) = 12 л
Signal (Out (1, Xi) )
который позволит обнаружить, что выходы Хг становятся неизвестными в случае входов 10 и 01. Затем мы рассмотрим аксиому для логических элементов XOR применительно к хг:
Signal (Out (1, Xi) ) = 1 <=> Signal (In (1, Xi) ) * Signal (In (2 , Xi) )
Если известно, что входы, скажем, равны 1 и 0, то эта аксиома сводится к следующей:
Signal (Out (1, Xi) ) = 1 <=> 1 О
Теперь проблема становится очевидной: система неспособна получить заключение, что Signal (Out (1, XJ ) =1, поэтому ей необходимо сообщить, что 1*0.
Резюме
В этой главе приведены вводные сведения о логике первого порядка — языке представления, который является гораздо более мощным по сравнению с пропозициональной логикой. Ниже перечислены наиболее важные понятия, представленные в настоящей главе.
Языки представления знаний должны быть декларативными, композиционными, выразительными, независимыми от контекста и непротиворечивыми.
Различные варианты логики отличаются друг от друга по своему онтологическому вкладу и эпистемологическому вкладу. Пропозициональная логика вносит вклад только в общий объем сведений, касающихся существования фактов, а логика первого порядка позволяет наращивать объем сведений, касающихся существования объектов и отношений, поэтому приобретает значительную выразительную мощь.
Возможный мир, или модель, для логики первого порядка определяется множеством объектов, отношениями между ними и функциями, которые могут к ним применяться.
Константные символы именуют объекты, предикатные символы именуют отношения, а функциональные символы именуют функции. Интерпретация задает отображение между символами и моделью. В сложных термах функциональные символы применяются к термам для именования объекта. Истинность высказывания определяется при наличии интерпретации и модели.
Атомарное высказывание состоит из предиката, применяемого к одному или нескольким термам; оно становится истинным тогда и только тогда, когда имеет место отношение, обозначенное предикатом, между объектами, обозначенными его термами. В сложных высказываниях, так же как и в пропозициональной логике, используются связки, а высказывания с кванторами позволяют выражать общие правила.
Для разработки базы знаний в логике первого порядка требуется тщательно провести процесс анализа проблемной области, выбора словаря и составления аксиом, необходимых для поддержки желаемых процедур логического вывода.
Библиографические и исторические заметки
Даже в логике Аристотеля предпринимались попытки применять обобщения к объектам, но датой рождения подлинной логики первого порядка стало появление книги Готтлоба Фреге Begriffschrift С" Система обозначения понятий") [496], в которой были впервые введены кванторы. Предложенная в этой книге возможность вклады-
вать кванторы была большим шагом вперед, но Фреге использовал громоздкую систему обозначений. (Один из примеров таких обозначений приведен на первой странице обложки данной книги.) Современная система обозначений для логики первого порядка появилась в основном благодаря Джузеппе Пеано [1185], но ее семантика практически идентична семантике, предложенной в работе Фреге. Хотя сейчас это кажется довольно странным, но аксиомы Пеано в значительной степени обязаны своим появлением работам Грассмана [588] и Дедекинда [375].
Основным барьером на пути разработки логики первого порядка была полная концентрация усилий ученых на одноместных предикатах за счет исключения из рассмотрения многоместных реляционных предикатов. Такое сосредоточение на одноместных предикатах в логических системах было почти повсеместным, начиная от Аристотеля и включая Буля. Первая систематическая трактовка отношений была выполнена Аугустусом де Морганом [351], который цитировал следующий пример, чтобы показать, какого рода логические выводы не позволяет выполнять логика Аристотеля: “Все лошади — животные; поэтому голова лошади — это голова животного’1. Такой логический вывод неосуществим в логике Аристотеля, поскольку в любом допустимом правиле, способном поддерживать этот логический вывод, вначале необходимо проанализировать данное высказывание с использованием двухместного предиката “х — голова у”. Логика отношений была глубоко исследована Чарльзом Сандерсом Пирсом [1196], который также разработал логику первого порядка независимо от Фреге, хотя и немного позднее [1197].
Леопольд Лёвенхейм дал систематическую трактовку теории моделей для логики первого порядка в 1915 году [951]. В его статье рассматривался также символ равенства как неотъемлемая часть логики. Результаты Лёвенхейма были дополнительно расширены Торальфом Сколемом [1424]. Альфред Тарский [1490], [1491] дал явное определение понятий истинности и модельно-теоретического выполнения в логике первого порядка с использованием теории множеств.
Первым, кто предложил использовать логику первого порядка в качестве инструментального средства для создания систем искусственного интеллекта, был Маккарти [1009]. Перспективы искусственного интеллекта на основе логики значительно расширились в результате разработки Робинсоном [1298] резолюции — описанной в главе 9 полной процедуры вывода для логики первого порядка. Подход, получивший название логицистского, зародился в Станфорде ком университете. Корделл Грин [591], [592] разработал первую систему формирования рассуждений в логике первого порядка, QA3, что привело к первым попыткам создания логического робота в институте SRI [466]. Логика первого порядка была применена Зохаром Манна и Ричардом Валдингером [976] для формирования рассуждений о программах, а позднее — Майклом Генезеретом [536] для формирования рассуждений об электронных схемах. В Европе для использования в лингвистическом анализе [285] и для создания общих декларативных систем [849] было разработано логическое программирование (ограниченная форма проведения рассуждений в логике первого порядка). Кроме того, в ходе разработки проекта LCF (Logic for Computable Functions) в Эдинбурге [580] был внесен большой вклад в вычислительную логику. История этих разработок будет описана более подробно в главах 9 и 10.
Существует целый ряд хороших современных вводных учебников по логике первого порядка. Одним из наиболее удобных для чтения является [1254]. В [438] эта область знаний рассматривается в перспективе, в большей степени ориентирован-
ной на математику. В высшей степени формальная трактовка логики первого порядка, наряду с описанием более сложных тем логики, предоставлена в [94]. В [977] приведено удобное для чтения введение в логику с точки зрения компьютерных наук. В [515] дано чрезвычайно строгое математическое описание логики первого порядка, наряду со значительным объемом материала, который может использоваться в области автоматического формирования рассуждений. В книге Logical Foundations of Artificial Intelligence [537] приведено не только солидное введение в логику, но и первое систематическое описание логических агентов с восприятиями и действиями.
Упражнения
Логическая база знаний представляет мир с использованием множества высказываний без явной структуры. Аналогическое представление, с другой стороны, имеет физическую структуру, которая непосредственно соответствует структуре представляемого объекта. Возьмите дорожную карту своей страны в качестве образца аналогического представления фактов о стране. Двухмерная структура карты соответствует двухмерной поверхности данного региона.
Приведите пять примеров символов на языке карты.
Явным высказыванием называется высказывание, фактически формулируемое разработчиком представления. Неявным высказыванием называется высказывание, которое следует из явных высказываний в соответствии со свойствами аналогического представления. Приведите по три примера неявных и явных высказываний на языке карты.
Приведите три примера сведений о физической структуре территории вашей страны, которые не могут быть представлены на языке карты.
Приведите два примера фактов, которые гораздо легче выразить на языке карты, чем на языке логики первого порядка.
Приведите еще два примера полезных аналогических представлений. Каковы преимущества и недостатки каждого из этих языков, логического и аналогического?
Рассмотрите базу знаний, содержащую только два высказывания: Р(а) и PW . Следует ли из этой базы знаний высказывание Vx Р(х)? Объясните свой ответ в терминах моделей.
Является ли допустимым высказывание Зх, у х = у? Объясните, почему.
Напишите такое логическое высказывание, что каждый мир, в котором оно является истинным, содержит точно один объект.
Рассмотрите словарь символов, который содержит с константных символов, рк предикатных символов с арностью к каждый и fk функциональных символов с арностью к каждый, где 1<к<А. Допустим, что размер проблемной области ограничен значением D. Для каждой конкретной комбинации “интерпретация/модель” каждый предикатный или функциональный символ отображается, соответственно, на отношение или функцию с той же арностью. Может быть принято предположение, что функции в этой модели допускают, чтобы некоторые входные кортежи не имели значения для этой
функции (т.е. чтобы значение было невидимым объектом). Выведите формулу определения количества возможных комбинаций “интерпретация/модель” для проблемной области с D элементами. Не учитывайте необходимость устранения избыточных комбинаций.
Представьте приведенные ниже высказывания в логике первого порядка, используя совместимый словарь (который вы должны определить).
Некоторые студенты участвовали в экзамене по французскому языку весной 2001 года.
Каждый студент, который участвует в экзамене по французскому языку, сдает его.
Только один студент участвовал в экзаменах по греческому языку весной 2001 года.
Лучшая оценка по греческому всегда выше чем лучшая оценка по французскому.
Каждый человек, который покупает страховой полис, умен.
Ни один человек не покупает дорогой страховой полис.
Существует агент, который продает страховой полис только людям, которые не застрахованы.
Есть некий парикмахер, который бреет всех мужчин в городе, которые не бреются сами.
Любой человек, рожденный в Великобритании, каждым из родителей которого является британский гражданин или британский резидент, является британским гражданином по рождению.
Любой человек, рожденный вне Великобритании, одним из родителей которого является британский гражданин по рождению, является британским гражданином по происхождению.
Политические деятели могут постоянно вводить некоторых людей в заблуждение, они также могут вводить в заблуждение всех людей некоторое время, но они не могут постоянно вводить в заблуждение всех людей.
Представьте высказывание: “Все немцы говорят на одном и том же языке” в исчислении предикатов. Используйте предикат Speaks кх, 1), который означает, что лицо х говорит на языке 1.
Какая аксиома необходима, чтобы вывести логически факт Female к Laura'), если даны факты Malek Лт) и Spouse к Jim, Laura) ?
Напишите общее множество фактов и аксиом, чтобы представить утверждение: “Веллингтон слышал о смерти Наполеона” и правильно ответить на вопрос: “Наполеон слышал о смерти Веллингтона?”
Запишите в логике первого порядка факты о мире вампуса, представленные в разделе 7.5 с помощью пропозициональной логики. Насколько более компактной является новая версия?
Составьте аксиомы с описанием предикатов Grandchild (Внук или внучка), GreatGrandparent (Прадедушка или прабабушка), Brother (Брат), Sister (Сестра), Daughter (Дочь), Son (Сын), Aunt (Тетя), Uncle (Дядя), BrotherlnLaw (Брат мужа или жены), Si s ter InLaw (Сестра мужа или жены) и
FirstCousin (Двоюродный брат или двоюродная сестра). Найдите правильное определение m-го кузена или кузины в n-м колене и запишите это определение в логике первого порядка.
Теперь запишите основные факты, изображенные в генеалогическом дереве, приведенном на рис. 8.3. С использованием подходящей системы формирования логических рассуждений введите в базу знаний с помощью операции Tell все записанные вами высказывания, а затем определите с помощью операции Ask, кто является внуками или внучками Элизабет (Elizabeth), братьями мужа Дианы (Diana), а также прадедушкой и прабабушкой Сары (Sarah).
George И Mum
Рис. 8.3. Типичное генеалогическое дерево. Символ х соединяет супругов, а стрелки указывают на детей
Запишите высказывание с утверждением, что функция + является коммутативной. Следует ли это высказывание из аксиом Пеано? В случае положительного ответа объясните, почему; в случае отрицательного ответа приведите модель, в которой эти аксиомы являются истинными, а ваше высказывание — ложным.
Объясните, в чем ошибка в следующем предлагаемом определении предиката принадлежности к множеству, е :
Vx, S X Е {х| s}
Vx, S X Е S => Vy X E {y|s}
Используя в качестве примеров аксиомы множества, запишите аксиомы для проблемной области списков, включая все константы, функции и предикаты, упомянутые в данной главе.
Объясните, в чем ошибка в следующем предлагаемом определении соседних квадратов в мире вампуса:
Vx,y Adjacent к [х,у] , [х+1,у] ) л Adjacent к [х,у] , [х,у+1] )
Запишите аксиомы, требуемые для формирования рассуждений о местонахождении вампуса, с использованием константного символа Wumpus и бинарного предиката In к Wumpus, Location). Не забудьте учесть, что существует только один вампус.
й) Дополните словарь, приведенный в разделе 8.4, чтобы определить правила сложения для n-битовых двоичных чисел. Затем сформулируйте описание четырехбитового сумматора, показанного на рис. 8.4, и составьте запросы, необходимые для проверки того, что это описание действительно правильно.
Рис. 8.4. Четырехбитовый сумматорРис. 8.4. Четырехбитовый сумматор%3Z2ХхX.
Рис. 8.4. Четырехбитовый сумматор
Рис. 8.4. Четырехбитовый сумматор
+^3^KjГо
Z4Z3Z2Z]z0
Представление схемы, приведенное в этой главе, является более подробным, чем это необходимо, если нас интересуют только функциональные возможности этой схемы. В более простой формулировке рассматриваются любые логические элементы или цифровые схемы с т входами и п выходами с использованием предиката, имеющего м+п параметров, такого, что предикат принимает истинное значение тогда и только тогда, когда входы и выходы согласованы. Например, логические элементы NOT могут быть описаны с помощью бинарного предиката NOT(i,o), для которого известны значения NOT (0,1) и NOT (1,0). Композиции логических элементов определяются с помощью конъюнкций предикатов логических элементов, в которых наличие разделяемых переменных указывает на прямые соединения. Например, схема nand может состоять из элементов and и not:
V11, i2 , оа, о NAND (11, i2 , о) <=> AND (li, 12 , оа) л NOT(oa,o)
С использованием этого представления определите однобитовый сумматор, приведенный на рис. 8.2, и четырехбитовый сумматор, приведенный на рис. 8.4, и объясните, какими запросами вы бы воспользовались для проверки таких проектов. Какого рода запросы, поддерживаемые представлением, описанным в разделе 8.4, не поддерживаются данным представлением?
Получите бланк заявки на оформление паспорта для гражданина своей страны, выясните, какие правила определяют права человека на получение паспорта, и переведите эти правила на язык логики первого порядка в соответствии с этапами, описанными в разделе 8.4.
9 Логический вывод
В ЛОГИКЕ ПЕРВОГО ПОРЯДКА
В этой главе будут определены эффективные процедуры получения ответов на вопросы, сформулированные в логике первого порядка.
В главе 7 определено понятие логического вывода и показано, как можно обеспечить непротиворечивый и полный логический вывод для пропозициональной логики. В данной главе эти результаты будут дополнены для получения алгоритмов, позволяющих найти ответ на любой вопрос, сформулированный в логике первого порядка и имеющий ответ. Обладать такой возможностью очень важно, поскольку в логике первого порядка можно сформулировать практически любые знания, приложив для этого достаточные усилия.
В разделе 9.1 представлены правила логического вывода для кванторов и показано, как можно свести вывод в логике первого порядка к выводу в пропозициональной логике, хотя и за счет значительных издержек. В разделе 9.2 описана идея унификации и показано, как эта идея может использоваться для формирования правил логического вывода, которые могут применяться непосредственно к высказываниям в логике первого порядка. После этого рассматриваются три основных семейства алгоритмов вывода в логике первого порядка: прямой логический вывод и его применение к дедуктивным базам данных и продукционным системам рассматриваются в разделе 9.3; процедуры обратного логического вывода и системы логического программирования разрабатываются в разделе 9.4; а системы доказательства теорем на основе резолюции описаны в разделе 9.5. Вообще говоря, в любом случае следует использовать наиболее эффективный метод, позволяющий охватить все факты и аксиомы, которые должны быть выражены в процессе логического вывода. Но следует учитывать, что формирование рассуждений с помощью полностью общих высказываний логики первого порядка на основе метода резолюции обычно является менее эффективным по сравнению с формированием рассуждений с помощью определенных выражений с использованием прямого или обратного логического вывода.
Сравнение методов логического ВЫВОДА В ПРОПОЗИЦИОНАЛЬНОЙ ЛОГИКЕ И ЛОГИКЕ ПЕРВОГО ПОРЯДКА
В этом и следующих разделах будут представлены идеи, лежащие в основе современных систем логического вывода. Начнем описание с некоторых простых правил логического вывода, которые могут применяться к высказываниям с кванторами для получения высказываний без кванторов. Эти правила естественным образом приводят к идее, что логический вывод в логике первого порядка может осуществляться путем преобразования высказываний в логике первого порядка, хранящихся в базе знаний, в высказывания, представленные в пропозициональной логике, и дальнейшего использования пропозиционального логического вывода, а о том, как выполнять этот вывод, нам уже известно из предыдущих глав. В следующем разделе указано одно очевидное сокращение, которое приводит к созданию методов логического вывода, позволяющих непосредственно манипулировать высказываниями в логике первого порядка.
Правила логического вывода для кванторов
Начнем с кванторов всеобщности. Предположим, что база знаний содержит следующую стандартную аксиому, которая передает мысль, содержащуюся во многих сказках, что все жадные короли — злые:
Vx Kingkx) л Greedy кх) => Evilkx)
В таком случае представляется вполне допустимым вывести из нее любое из следующих высказываний:
KingkJohn) a Greedy (John) => EvilkJohn)
KingkRichard) a Greedy к Richard) => EvilkRichard)
KingkFatherkJohn)) a Greedy к Father к John)) => Evil(Father(John))
Согласно правилу ^ конкретизации высказывания с квантором всеобщности (сокращенно UI — Universal Instantiation), мы можем вывести логическим путем любое высказывание, полученное в результате подстановки базового терма (терма без переменных) вместо переменной, на которую распространяется квантор всеобщности. Чтобы записать это правило логического вывода формально, воспользуемся понятием подстановки, введенным в разделе 8.3. Допустим, что Subst(0,а) обозначает результат применения подстановки 0 к высказыванию а. В таком случае данное правило для любой переменной v и базового терма д можно записать следующим образом:
Vv ос
Subst({v/g}, а)
Например, три высказывания, приведенные выше, получены с помощью подстановок {x/John}, {х/ Richard} и 1х/ Father к John) }.
Соответствующее правило ^ конкретизации высказывания с квантором существования (Existential Instantiation — EI) для квантора существования является немного более сложным. Для любых высказывания ос, переменной уи константного символа к, который не появляется где-либо в базе знаний, имеет место следующее:
Эу ос
Subst ({v/ к}, ос)
Например, из высказывания
Эх Crown кх) л OnHead (х, John)
можно вывести высказывание
Crown к Сх) л OnHead к Сх, John)
при условии, что константный символ Сх не появляется где-либо в базе знаний. По сути, в этом высказывании с квантором существования указано, что существует некоторый объект, удовлетворяющий определенному условию, а в процессе конкретизации просто присваивается имя этому объекту. Естественно, что это имя не должно уже принадлежать другому объекту. В математике есть прекрасный пример: предположим, мы открыли, что имеется некоторое число, которое немного больше чем 2,71828 и которое удовлетворяет уравнению dkxY) /dy=xY для х. Этому числу можно присвоить новое имя, такое как е, но было бы ошибкой присваивать ему имя существующего объекта, допустим, л. В логике такое новое имя называется ^ сколсмовской константой. Конкретизация высказывания с квантором существования — это частный случай более общего процесса, называемого сколемизацией, который рассматривается в разделе 9.5.
Конкретизация высказывания с квантором существования не только сложнее, чем конкретизация высказывания с квантором всеобщности, но и играет в логическом выводе немного иную роль. Конкретизация высказывания с квантором всеобщности может применяться много раз для получения многих разных заключений, а конкретизация высказывания с квантором существования может применяться только один раз, а затем соответствующее высказывание с квантором существования может быть отброшено. Например, после того как в базу знаний будет добавлено высказывание Kill kMurderer, Victim), становится больше не нужным высказывание Эх Kill кх, Victim). Строго говоря, новая база знаний логически не эквивалентна старой, но можно показать, что она ^ эквивалентна с точки зрения логического вывода, в том смысле, что она выполнима тогда и только тогда, когда выполнима первоначальная база знаний.
Приведение к пропозициональному логическому выводу
Получив в свое распоряжение правила вывода высказываний с кванторами из высказываний без кванторов, мы получаем возможность привести вывод в логике первого порядка к выводу в пропозициональной логике. В данном разделе будут изложены основные идеи этого процесса, а более подробные сведения приведены в разделе 9.5.
Основная идея состоит в следующем: по аналогии с тем, как высказывание с квантором существования может быть заменено одной конкретизацией, высказы-
вание с квантором всеобщности может быть заменено множеством всех возможных конкретизаций. Например, предположим, что наша база знаний содержит только такие высказывания:
Vx King(x) л Greedy(x) => Evil(x)
King (John)
Greedy (John)
Brother(Richard,John) (9.1)
Затем применим правило конкретизации высказывания с квантором всеобщности к первому высказыванию, используя все возможные подстановки базовых термов из словаря этой базы знаний — в данном случае {x/John} и {х/Richard}. Мы получим следующие высказывания:
King(John) a Greedy (John) => Evil (John)
King(Richard) a Greedy (Richard) => Evil(Richard)
и отбросим высказывание с квантором всеобщности. Теперь база знаний становится по сути пропозициональной, если базовые атомарные высказывания (King (John), Greedy (John) и т.д.) рассматриваются как пропозициональные символы. Поэтому теперь можно применить любой из алгоритмов полного пропозиционального вывода из главы 7 для получения таких заключений, как Evil (John).
Как показано в разделе 9.5, такой метод ^ пропозиционализации (преобразования в высказывания пропозициональной логики) может стать полностью обобщенным; это означает, что любую базу знаний и любой запрос в логике первого порядка можно пропозиционализировать таким образом, чтобы сохранялось логическое следствие. Таким образом, имеется полная процедура принятия решения в отношении того, сохраняется ли логическое следствие... или, возможно, такой процедуры нет. Дело в том, что существует такая проблема: если база знаний включает функциональный символ, то множество возможных подстановок базовых термов становится бесконечным! Например, если в базе знаний упоминается символ Father, то существует возможность сформировать бесконечно большое количество вложенных термов, таких как Father(Father(Father(John) ) ). А применяемые нами пропозициональные алгоритмы сталкиваются с затруднениями при обработке бесконечно большого множества высказываний.
К счастью, имеется знаменитая теорема, предложенная Жаком Эрбраном [650], согласно которой, если некоторое высказывание следует из первоначальной базы знаний в логике первого порядка, то существует доказательство, которое включает лишь конечное подмножество этой пропозиционализированной базы знаний. Поскольку любое такое подмножество имеет максимальную глубину вложения среди его базовых термов, это подмножество можно найти, формируя вначале все конкретизации с константными символами (Richard и John), затем все термы с глубиной 1 (Father (Richard) и Father (John)), после этого все термы с глубиной 2 и т.д. до тех пор, пока мы не сможем больше составить пропозициональное доказательство высказывания, которое следует из базы знаний.
Выше был кратко описан один из подходов к организации вывода в логике первого порядка с помощью пропозиционализации, который является полным, т.е. позволяет доказать любое высказывание, которое следует из базы знаний. Это — важное достижение, если учесть, что пространство возможных моделей является бесконечным. С другой стороны, до тех пор пока это доказательство не составлено, мы не
знаем, следует ли данное высказывание из базы знаний! Что произойдет, если это высказывание из нее не следует? Можем ли мы это определить? Как оказалось, для логики первого порядка это действительно невозможно. Наша процедура доказательства может продолжаться и продолжаться, вырабатывая все более и более глубоко вложенные термы, а мы не будем знать, вошла ли она в безнадежный цикл или до получения доказательства остался только один шаг. Такая проблема весьма напоминает проблему останова машин Тьюринга. Алан Тьюринг [1518] и Алонсо Черч [255] доказали неизбежность такого состояния дел, хотя и весьма различными способами.
Вопрос о следствии для логики первого порядка является полуразрешимым; это означает, что существуют алгоритмы, которые позволяют найти доказательство для любого высказывания, которое следует из базы знаний, но нет таких алгоритмов, которые позволяли бы также определить, что не существует доказательства для каждого высказывания, которое не следует из базы знаний.
Унификация и поднятие
В предыдущем разделе описан уровень понимания процесса вывода в логике первого порядка, который существовал вплоть до начала 1960-х годов. Внимательный читатель (и, безусловно, специалисты в области вычислительной логики, работавшие в начале 1960-х годов) должен был заметить, что подход на основе пропозицио- нализации является довольно неэффективным. Например, если заданы запрос Evil (х) и база знаний, приведенная в уравнении 9.1, то становится просто нерациональным формирование таких высказываний, как King(Richard) л Greedy (Richard) => Evi 1 (Ri chard). И действительно, для любого человека вывод факта Evil (John) из следующих высказываний кажется вполне очевидным:
Vx King(x) л Greedy (х) => Evil(x)
King(John)
Greedy (John)
Теперь мы покажем, как сделать его полностью очевидным для компьютера.
Правило вывода в логике первого порядка
Процедура вывода того факта, что Джон — злой, действует следующим образом: найти некоторый х, такой, что х — король их — жадный, а затем вывести, что х — злой. Вообще говоря, если существует некоторая подстановка 0, позволяющая сделать предпосылку импликации идентичной высказываниям, которые уже находятся в базе знаний, то можно утверждать об истинности заключения этой импликации после применения 0. В данном случае такой цели достигает подстановка {х/ John}.
Фактически можно обеспечить выполнение на этом этапе вывода еще больше работы. Предположим, что нам известно не то, что жаден Джон — Greedy (John), а что жадными являются все:
Vy Greedy (у)(9.2)
Но и в таком случае нам все равно хотелось бы иметь возможность получить заключение, что Джон зол — Evil (John), поскольку нам известно, что Джон — ко-
роль (это дано) и Джон жаден (так как жадными являются все). Для того чтобы такой метод мог работать, нам нужно найти подстановку как для переменных в высказывании с импликацией, так и для переменных в высказываниях, которые должны быть согласованы. В данном случае в результате применения подстановки [х/ John, у/ John} к предпосылкам импликации King(х) и Greedy (х) и к высказываниям из базы знаний King (John) и Greedy к у) эти высказывания становятся идентичными. Таким образом, теперь можно вывести заключение импликации.
Такой процесс логического вывода может быть представлен с помощью единственного правила логического вывода, которое будет именоваться ^ обобщенным правилом отделения (Generalized Modus Ponens): для атомарных высказываний р^ Pi' ид, если существует подстановка 9, такая, что Subst (0,Pi' ) =Subst (0,pj, то для всех i имеет место следующее:
Pl', Р2 ' / ..., Pn' / (Р1 А р2 А ... А рп д)
Subst(9, д)
В этом правиле имеется п+1 предпосылка: п атомарных высказываний Pi' и одна импликация. Заключение становится результатом применения подстановки 0 к следствию д. В данном примере имеет место следующее:
Pi — это Kingkx)Р2 — это Greedy(х) q — это Evil(х)Pi — это Kingkx)Р2 — это Greedy(х) q — это Evil(х)Pi' — это KingkJohn)
Pi — это Kingkx)
Р2 — это Greedy(х) q — это Evil(х)
Pi — это Kingkx)
Р2 — это Greedy(х) q — это Evil(х)
P2' — это Greedy ку) 0 — это Vx/John, у/John} Subst(9, q) — это Evil к John)
Можно легко показать, что обобщенное правило отделения — непротиворечивое правило логического вывода. Прежде всего отметим, что для любого высказывания р (в отношении которого предполагается, что на его переменные распространяется квантор всеобщности) и для любой подстановки 0 справедливо следующее правило:
р 1= Subst (9,р)
Это правило выполняется по тем же причинам, по которым выполняется правило конкретизации высказывания с квантором всеобщности. Оно выполняется, в частности, в любой подстановке 0, которая удовлетворяет условиям обобщенного правила отделения. Поэтому изрг' ,... ,рп' можно вывести следующее:
Subst(9,pi') а ... a Subst(9,pn')
а из импликации рх а ... а рп => д—следующее:
Subst(9,pi) а ... a Subst(9,Pn) => Subst (9, q)
Теперь подстановка 0 в обобщенном правиле отделения определена так, что Subst (0,Pi' ) = Subst (0,р^ для всех 1, поэтому первое из этих двух высказываний точно совпадает с предпосылкой второго высказывания. Таким образом, выражение Subst (0, g) следует из правила отделения.
Как принято выражаться в логике, обобщенное правило отделения представляет собой ^ поднятую версию правила отделения — оно поднимает правило отделения из пропозициональной логики в логику первого порядка. В оставшейся части этой главы будет показано, что могут быть разработаны поднятые версии алгоритмов прямого логического вывода, обратного логического вывода и резолюции, представленных в главе 7. Основным преимуществом применения поднятых правил логиче-
ского вывода по сравнению с пропозиционализацией является то, что в них предусмотрены только те подстановки, которые требуются для обеспечения дальнейшего выполнения конкретных логических выводов. Единственное соображение, которое может вызвать недоумение у читателя, состоит в том, что в определенном смысле обобщенное правило вывода является менее общим, чем исходное правило отделения (с. 303): правило отделения допускает применение в левой части импликации любого отдельно взятого высказывания ос, а обобщенное правило отделения требует, чтобы это высказывание имело специальный формат. Но оно является обобщенным в том смысле, что допускает применение любого количества выражений р^'.
Унификация
Применение поднятых правил логического вывода связано с необходимостью поиска подстановок, в результате которых различные логические выражения становятся идентичными. Этот процесс называется ^ унификацией и является ключевым компонентом любых алгоритмов вывода в логике первого порядка. Алгоритм Unify принимает на входе два высказывания и возвращает для них М унификатор, если таковой существует:
Unify (p,q) = 0 где Subst(9,р) = Subst (9, g)
диться в базе знаний.Unify(Knows(John,х) , Unify(Knows(John,x), Unify(Knows(John,x), Unify(Knows(John,x),диться в базе знаний.Unify(Knows(John,х) , Unify(Knows(John,x), Unify(Knows(John,x), Unify(Knows(John,x),Рассмотрим несколько примеров того, как должен действовать алгоритм Unify. Предположим, что имеется запрос Knows (John, х) — кого знает Джон? Некоторые ответы на этот запрос можно найти, отыскивая все высказывания в базе знаний, которые унифицируются с высказыванием Knows (John, х). Ниже приведены результаты унификации с четырьмя различными высказываниями, которые могут нахо-
диться в базе знаний.
Unify(Knows(John,х) , Unify(Knows(John,x), Unify(Knows(John,x), Unify(Knows(John,x),
диться в базе знаний.
Unify(Knows(John,х) , Unify(Knows(John,x), Unify(Knows(John,x), Unify(Knows(John,x),
Knows (John, Jane) ) = Vx/Jane}
Knows (у, Bill) ) = {x/Bill,у/John}
Knows (y, Mother (y) ) ) = (у/ John, x/Mother (John) }
Knows(x,Elizabeth)) = fail
Последняя попытка унификации оканчивается неудачей (fail), поскольку переменная х не может одновременно принимать значения John и Elizabeth. Теперь вспомним, что высказывание Knows (х, Elizabeth) означает “Все знают Элизабет”, поэтому мы обязаны иметь возможность вывести логически, что Джон знает Элизабет. Проблема возникает только потому, что в этих двух высказываниях, как оказалось, используется одно и то же имя переменной, х. Возникновения этой проблемы можно избежать, М стандартизируя отличие (standardizing apart) одного из этих двух унифицируемых высказываний; под этой операцией подразумевается переименование переменных в высказываниях для предотвращения коллизий имен. Например, переменную х в высказывании Knows (х, Elizabeth') можно переименовать в z17 (новое имя переменной), не меняя смысл этого высказывания. После этого унификация выполняется успешно:
Unify (Knows (John, х) , Knows (zn, Elizabeth) ) = (х/ Elizabeth, zn / John}
С дополнительными сведениями о том, с чем связана необходимость в стандартизации отличия, можно ознакомиться в упр. 9.7.
Возникает еще одна сложность: выше было сказано, что алгоритм Unify должен возвращать такую подстановку (или унификатор), в результате которой два параметра становятся одинаковыми. Но количество таких унификаторов может быть больше единицы. Например, вызов алгоритма Unify (Knows(John, х) ,Knows (у, z) ) может возвратить {у/ John, х/z} или [у/John, х/John, z/John}. Первый унификатор позволяет получить в качестве результата унификации выражение Knows (John, z), а второй дает Knows (John, John). Но второй результат может быть получен из первого с помощью дополнительной подстановки {z/ John}; в таком случае принято считать, что первый унификатор является более общим по сравнению со вторым, поскольку налагает меньше ограничений на значения переменных. Как оказалось, для любой унифицируемой пары выражений существует единственный ^наиболее общий унификатор (Most General Unifier — MGU), который является уникальным вплоть до переименования переменных. В данном случае таковым является {у/ John, x/z}.
Алгоритм вычисления наиболее общих унификаторов приведен в листинге 9.1. Процесс его работы очень прост: рекурсивно исследовать два выражения одновременно, “бок о бок”, наряду с этим формируя унификатор, но создавать ситуацию неудачного завершения, если две соответствующие точки в полученных таким образом структурах не совпадают. При этом существует один дорогостоящий этап: если переменная согласуется со сложным термом, необходимо провести проверку того, встречается ли сама эта переменная внутри терма; в случае положительного ответа на данный вопрос согласование оканчивается неудачей, поскольку невозможно сформировать какой-либо совместимый унификатор. Из-за этой так называемой ^ проверки вхождения (occur check) сложность всего алгоритма становится квадратично зависимой от размера унифицируемых выражений. В некоторых системах, включая все системы логического программирования, просто исключается такая проверка вхождения и поэтому в результате иногда формируются противоречивые логические выводы, а в других системах используются более развитые алгоритмы со сложностью, линейно зависящей от времени.
Листинг 9.1. Алгоритм унификации. Алгоритм действует путем поэлементного сравнения структур входных высказываний. В ходе этого формируется подстановка 0, которая также является параметром функции Unify и используется для проверки того, что дальнейшие сравнения совместимы со связываниями, которые были определены ранее. В составном выражении, таком как F( А, В), функция Ор выбирает функциональный символ F, а функция Args выбирает список параметров (А, в)
function Unify(х, у, 9) returns подстановка, позволяющая сделать х и у идентичными
inputs: х, переменная, константа, список или составной терм у, переменная, константа, список или составной терм О, подстановка, подготовленная до сих пор (необязательный параметр, по умолчанию применяется пустой терм)
if 9 = failure then return failure
else if x = у then return 9
else if Variable?(x) then return Unify-Var(x, y, 9) else if Variable?(y) then return Unify-Var(y, x, 9) else if Compound?(x) and Compound?(y) then
return Unify(Args[х] , Args[у] , Unify(Op[х] , Op[у], 0) ) else if List?(x) and List?(y) then
return Unify(Rest[x] , Rest[y], Unify(First[x] , Firstly], 0) ) else return failure
function Unify-Var(var, x, 9) returns подстановка inputs: var, переменная x, любое выражение
подстановка, подготовленная до сих пор
if {var/val} Е 9 then return Unify(val, x, 9)
else if {x/val} e 9 then return Unify(var, val, 9) else if Occur-Check?(var, x) then return failure else return добавление {var/x} к подстановке 9
Хранение и выборка
В основе функций Tell и Ask, применяемых для ввода информации и передачи запросов в базу знаний, лежат более примитивные функции Store и Fetch. Функция Store (s) сохраняет некоторое высказывание s в базе знаний, а функция Fetch (g) возвращает все унификаторы, такие, что запрос q унифицируется с некоторым высказыванием из базы знаний. Описанная выше задача, служившая для иллюстрации процесса унификации (поиск всех фактов, которые унифицируются с высказыванием Knows (John, х)), представляет собой пример применения функции Fetch.
Проще всего можно реализовать функции Store и Fetch, предусмотрев хранение всех фактов базы знаний в виде одного длинного списка, чтобы затем, после получения запроса q, можно было просто вызывать алгоритм Unify (q, s} для каждого высказывания s в списке. Такой процесс является неэффективным, но он осуществим, и знать об этом — это все, что нужно для понимания последней части данной главы. А в оставшейся части данного раздела описаны способы, позволяющие обеспечить более эффективную выборку, и он может быть пропущен при первом чтении.
Функцию Fetch можно сделать более эффективной, обеспечив, чтобы попытки унификации применялись только к высказываниям, имеющим определенный шанс на унификацию. Например, нет смысла пытаться унифицировать Knows (John, х) и Brother (Richard, John). Такой унификации можно избежать, ^индексируя факты в базе знаний. Самая простая схема, называемая ^ индексацией по предикатам, предусматривает размещение всех фактов Knows в одном сегменте, а всех фактов Brother — в другом. Сами сегменты для повышения эффективности доступа можно хранить в хэш-таблице.
Индексация по предикатам является удобной, когда имеется очень много предикатных символов, но лишь небольшое количество выражений в расчете на каждый символ. Однако в некоторых приложениях имеется много выражений в расчете на
каждый конкретный предикатный символ. Например, предположим, что налоговые органы желают следить за тем, кто кого нанимает, с использованием предиката Employs кх, у). Такой сегмент, возможно, состоящий из миллионов нанимателей и десятков миллионов наемных работников, был бы очень большим. Для поиска ответа на такой запрос, как Employs кх, Richard) (“Кто является нанимателем Ричарда?”), при использовании индексации по предикатам потребовался бы просмотр всего сегмента.
Поиск ответа на данный конкретный запрос стал бы проще при использовании индексации фактов и по предикату, и по второму параметру, возможно, с использованием комбинированного ключа хэш-таблицы. В таком случае существовала бы возможность просто формировать ключ из запроса и осуществлять выборку именно тех фактов, которые унифицируются с этим запросом. А для ответа на другие запросы, такие как Employs (AIMA. org, у), нужно было бы индексировать факты, комбинируя предикат с первым параметром. Поэтому факты могут храниться под разными индексными ключами, что позволяет моментально сделать их доступными для разных запросов, с которыми они могли бы унифицироваться.
Если дано некоторое высказывание, которое подлежит хранению, то появляется возможность сформировать индексы для всех возможных запросов, которые унифицируются с ними. Применительно к факту Employs (AIMA. org, Richard) воз
можны следующие запросы:
Employs (AIMA. org, Richard)Employs kx, Richard)Employs(AIMA.org, у)Employs kx, y)Employs (AIMA. org, Richard)Employs kx, Richard)Employs(AIMA.org, у)Employs kx, y)Является ли организация AIMA.org нанимателем Ричарда?
Employs (AIMA. org, Richard)
Employs kx, Richard)
Employs(AIMA.org, у)
Employs kx, y)
Employs (AIMA. org, Richard)
Employs kx, Richard)
Employs(AIMA.org, у)
Employs kx, y)
Кто является нанимателем Ричарда?
Для кого является нанимателем организация AIMA.org?
Кто для кого является нанимателем?
Employs(x,y)Employs(x,y)Employs(x, Richard)Employs(AIMA.org,у)Employs(x, Richard)Employs(AIMA.org,у)Employs(x,y)Employs(x,y)Employs(x,John) Employs(x,x) Employs(John,y)Employs(x,John) Employs(x,x) Employs(John,y)Employs(John,John)6)Employs(John,John)6)Как показано на рис. 9.1, а, эти запросы образуют ^ решетку обобщения. Такая решетка обладает некоторыми интересными свойствами. Например, дочерний узел любого узла в этой решетке может быть получен из его родительского узла с помощью единственной подстановки, а “наибольший” общий потомок любых двух узлов является результатом применения наиболее общего унификатора для этих узлов. Та часть решетки, которая находится выше любого базового факта, может быть сформирована систематически (упр. 9.5). Высказывание с повторяющимися константами имеет несколько иную решетку, как показано на рис. 9.1, б. Наличие функциональных символов и переменных в высказываниях, подлежащих хранению, приводит к появлению еще более интересных структур решетки.
Employs(x,y)
Employs(x,y)
Employs(x, Richard)Employs(AIMA.org,у)
Employs(x, Richard)Employs(AIMA.org,у)
Employs(x,y)
Employs(x,y)
Employs(x,John) Employs(x,x) Employs(John,y)
Employs(x,John) Employs(x,x) Employs(John,y)
Employs(John,John)
6)
Employs(John,John)
6)
Employs(AIMA. org, Richard) a)
Puc. 9.1. Примеры решеток обобщения: решетка обобщения, самым нижним узлом которой является высказывание Employs (AIMA. org,Richard; (а);решетка обобщения для высказывания Employs (John, John; (б)
Только что описанная схема применяется очень успешно, если решетка содержит небольшое количество узлов. А если предикат имеет п параметров, то решетка включает О(2П) узлов. Если же разрешено применение функциональных символов, то количество узлов также становится экспоненциально зависимым от размера термов в высказывании, подлежащем хранению. Это может вызвать необходимость создания огромного количества индексов. В какой-то момент затраты на хранение и сопровождение всех этих индексов перевесят преимущества индексации. Для выхода из этой ситуации можно применять какой-либо жесткий подход, например сопровождать индексы только на ключах, состоящих из некоторого предиката плюс каждый параметр, или адаптивный подход, в котором предусматривается создание индексов в соответствии с потребностями в поиске ответов на запросы того типа, которые встречаются наиболее часто. В большинстве систем искусственного интеллекта количество фактов, подлежащих хранению, является достаточно небольшим для того, чтобы проблему эффективной индексации можно было считать решенной. А что касается промышленных и коммерческих баз данных, то эта проблема стала предметом значительных и продуктивных технологических разработок.
Прямой логический вывод
Алгоритм прямого логического вывода для пропозициональных определенных выражений приведен в разделе 7.5. Его идея проста: начать с атомарных высказываний в базе знаний и применять правило отделения в прямом направлении, добавляя все новые и новые атомарные высказывания до тех пор, пока не возникнет ситуация, в которой невозможно будет продолжать формулировать логические выводы. В данном разделе приведено описание того, как можно применить этот алгоритм к определенным выражениям в логике первого порядка и каким образом он может быть реализован эффективно. Определенные выражения, такие как Situation^Response, особенно полезны для систем, в которых логический вывод осуществляется в ответ на вновь поступающую информацию. Таким образом могут быть определены многие системы, а формирование рассуждений с помощью прямого логического вывода может оказаться гораздо более эффективным по сравнению с доказательством теорем с помощью резолюции. Поэтому часто имеет смысл попытаться сформировать базу знаний с использованием только определенных выражений, чтобы избежать издержек, связанных с резолюцией.
Определенные выражения в логике первого порядка
Определенные выражения в логике первого порядка весьма напоминают определенные выражения в пропозициональной логике (с. 312): они представляют собой дизъюнкции литералов, среди которых положительным является один и только один. Определенное выражение либо является атомарным, либо представляет собой импликацию, антецедентом (предпосылкой) которой служит конъюнкция положительных литералов, а консеквентом (следствием) — единственный положительный литерал. Ниже приведены примеры определенных выражений в логике первого порядка.
King(x) л Greedy(х) => Evil (х)
King (John)
Greedy (у)
В отличие от пропозициональных литералов, литералы первого порядка могут включать переменные, и в таком случае предполагается, что на эти переменные распространяется квантор всеобщности. (Как правило, при написании определенных выражений кванторы всеобщности исключаются.) Определенные выражения представляют собой подходящую нормальную форму для использования в обобщенном правиле отделения.
Не все базы знаний могут быть преобразованы в множество определенных выражений из-за того ограничения, что положительный литерал в них должен быть единственным, но для многих баз знаний такая возможность существует. Рассмотрим приведенную ниже задачу.
Закон гласит, что продажа оружия недружественным странам, осуществляемая любым американским гражданином, считается преступлением. В государстве Ноуноу, враждебном по отношению к Америке, имеются некоторые ракеты, и все ракеты этого государства были проданы ему полковником Уэстом, который является американским гражданином.
Мы должны доказать, что полковник Уэст совершил преступление. Вначале все имеющиеся факты будут представлены в виде определенных выражений в логике первого порядка, а в следующем разделе будет показано, как решить эту задачу с помощью алгоритма прямого логического вывода.
“...продажа оружия враждебным странам, осуществляемая любым американским гражданином, является преступлением”:
American (х) a Weapon(y) a Sells (х, у, z) a Hostile(z)
=> Criminal (х)(9.3)
“В государстве Ноуноу... имеются некоторые ракеты”. Высказывание Зх Owns(Nono,х) л Missile(x) преобразуется в два определенных выражения путем устранения квантора существования и введения новой константы мх:
Owns (Nono, Mi)(9.4)
Missile(Mi)(9.5)
“...все ракеты этого государства были проданы ему полковником Уэстом”:
Missile (х) a Owns (Nono, х) => Sells (West, х, Nono)(9.6)
Нам необходимо также знать, что ракеты — оружие:
Missile(х) => Weapon (х)■(9.7)
Кроме того, мы должны знать, что государство, враждебное по отношению к Америке, рассматривается как “недружественное”:
Enemy (х, America) => Hostile (х)(9.8)
“.. .полковником Уэстом, который является американским гражданином”:
American (Wes t)(9.9)
“В государстве Ноуноу, враждебном по отношению к Америке... ”:
Еп emy(Non о, America)(9.10)
Эта база знаний не содержит функциональных символов и поэтому может служить примером класса баз знаний языка ^ Datalog, т.е. примером множества определенных выражений в логике первого порядка без функциональных символов. Ниже будет показано, что при отсутствии функциональных символов логический вывод становится намного проще.
Простой алгоритм прямого логического вывода
Как показано в листинге 9.2, первый рассматриваемый нами алгоритм прямого логического вывода является очень простым. Начиная с известных фактов, он активизирует все правила, предпосылки которых выполняются, и добавляет заключения этих правил к известным фактам. Этот процесс продолжается до тех пор, пока не обнаруживается ответ на запрос (при условии, что требуется только один ответ) или больше не происходит добавление новых фактов. Следует отметить, что факт не является “новым”, если он представляет собой ^ переименование известного факта. Одно высказывание называется переименованием другого, если оба эти высказывания идентичны во всем, за исключением имен переменных. Например, высказывания Likes (х, IceCream^ и Likes (у, IceCream^ представляют собой переименования по отношению друг к другу, поскольку они отличаются лишь выбором имени переменной, х или у, они имеют одинаковый смысл — все любят мороженое.
Листинг 9.2. Концептуально простой, но очень неэффективный алгоритм прямого логического вывода. В каждой итерации он добавляет к базе знаний кв все атомарные высказывания, которые могут быть выведены за один этап из импликационных высказываний и атомарных высказываний, которые уже находятся в базе знаний
function FOL-FC-Ask(КВ, ос) returns подстановка или значение false inputs: КВ, база знаний - множество определенных выражений первого порядка
ос, запрос - атомарное высказывание
local variables: new, новые высказывания, выводимые в каждой итерации
repeat until множество new не пусто new <— {} for each высказывание г in КВ do (pi л ... л рп д) <— Standardize-Apart(г) for each подстановка 0, такая что Subst (0,piA...Apn) = Subst (9, Pl ' A. ..APn 1 ) ДЛЯ некоторых Pl',...,Pn' в базе знаний КВ
д' <— Subst (6, д) if выражение д' не является переименованием некоторого высказывания, которое уже находится в КВ, или рассматривается как элемент множества new then do добавить д' к множеству new ф <— Unify (д' , ос) if значение ф не представляет собой fail then return ф добавить множество new к базе знаний КВ return false
Для иллюстрации работы алгоритма FOL-FC-Ask воспользуемся описанной выше задачей доказательства преступления. Импликационными высказываниями являются высказывания, приведенные в уравнениях 9.3, 9.6—9.8. Требуются следующие две итерации.
В первой итерации правило 9.3 имеет невыполненные предпосылки.
Правило 9.6 выполняется с подстановкой (х/м^ и добавляется высказывание Sells (West, Mlt Nono).
Правило 9.7 выполняется с подстановкой (х/м^ и добавляется высказывание Weapon (Мт).
Правило 9.8 выполняется с подстановкой (x/Nono*) и добавляется высказывание Hostilе(Nono).
На второй итерации правило 9.3 выполняется с подстановкой (x/West, y/Mlf z/Nono} и добавляется высказывание Criminal (West).
Сформированное дерево доказательства показано на рис. 9.2. Обратите внимание на то, что в этот момент невозможны какие-либо новые логические выводы, поскольку каждое высказывание, заключение которого можно было бы найти с помощью прямого логического вывода, уже явно содержится в базе знаний КВ. Такое состояние базы знаний называется фиксированной точкой (fixed point) в процессе логического вывода. Фиксированные точки, достигаемые при прямом логическом выводе с использованием определенных выражений первого порядка, аналогичны фиксированным точкам, возникающим при пропозициональном прямом логическом выводе (с. 315); основное различие состоит в том, что фиксированная точка первого порядка может включать атомарные высказывания с квантором всеобщности.
Рис. 9.2. Дерево доказательства, сформированное путем прямого логического вывода в примере доказательства преступления. Первоначальные факты показаны на нижнем уровне, факты, выведенные логическим путем в первой итерации, — на среднем уровне, а факт, логически выведенный во второй итерации, — на верхнем уровне
Свойства алгоритма FOL-FC-Ask проанализировать несложно. Во-первых, он является непротиворечивым, поскольку каждый этап логического вывода представляет собой применение обобщенного правила отделения, которое само является непротиворечивым. Во-вторых, он является полным применительно к базам знаний
с определенными выражениями; это означает, что он позволяет ответить на любой запрос, ответы на который следуют из базы знаний с определенными выражениями. Для баз знаний Datalog, которые не содержат функциональных символов, доказательство полноты является довольно простым. Начнем с подсчета количества возможных фактов, которые могут быть добавлены, определяющего максимальное количество итераций. Допустим, что к — максимальная арность (количество параметров) любого предиката, р — количество предикатов и п — количество константных символов. Очевидно, что может быть не больше чем рпк различных базовых фактов, поэтому алгоритм должен достичь фиксированной точки именно после стольких итераций. В таком случае можно применить обоснование приведенного выше утверждения, весьма аналогичное доказательству полноты пропозиционального прямого логического вывода (см. с. 315). Подробные сведения о том, как осуществить переход от пропозициональной полноты к полноте первого порядка, приведены применительно к алгоритму резолюции в разделе 9.5.
При его использовании к более общим определенным выражениям с функциональными символами алгоритм FOL-FC-Ask может вырабатывать бесконечно большое количество новых фактов, поэтому необходимо соблюдать исключительную осторожность. Для того случая, в котором из базы знаний следует ответ на высказывание запроса q, необходимо прибегать к использованию теоремы Эрбрана для обеспечения того, чтобы алгоритм мог найти доказательство (случай, касающийся резолюции, описан в разделе 9.5). А если запрос не имеет ответа, то в некоторых случаях может оказаться, что не удается нормально завершить работу данного алгоритма. Например, если база знаний включает аксиомы Пеано:
Na tNum (0 )
Vn Na tNum (п^ => Na tNum (S (n) )
то в результате прямого логического вывода будут добавлены факты Na tNum (S' (0) ), NatNumlSlSW ) ), Na tNum( S( S( S( 0) ) ) ) и т.д. Вообще говоря, избежать возникновения этой проблемы невозможно. Как и в общем случае логики первого порядка, задача определения того, следуют ли высказывания из базы знаний, сформированной с использованием определенных выражений, является полуразрешимой.
Эффективный прямой логический вывод
Алгоритм прямого логического вывода, приведенный в листинге 9.2, был спроектирован не с целью обеспечения эффективного функционирования, а, скорее, с целью упрощения его понимания. Существуют три возможных источника осложнений в его работе. Во-первых, “внутренний цикл” этого алгоритма предусматривает поиск всех возможных унификаторов, таких, что предпосылка некоторого правила унифицируется с подходящим множеством фактов в базе знаний. Такая операция часто именуется М согласованием с шаблоном и может оказаться очень дорогостоящей. Во-вторых, в этом алгоритме происходит повторная проверка каждого правила в каждой итерации для определения того, выполняются ли его предпосылки, даже если в базу знаний в каждой итерации вносится лишь очень немного дополнений. В-третьих, этот алгоритм может вырабатывать много фактов, которые не имеют отношения к текущей цели. Устраним каждый из этих источников неэффективности по очереди.
Согласование правил с известными фактами
Проблема согласования предпосылки правила с фактами, хранящимися в базе знаний, может показаться достаточно простой. Например, предположим, что требуется применить следующее правило:
Missile(х) => Weapon(х)
Для этого необходимо найти все факты, которые согласуются с выражением Missile(x); в базе знаний, индексированной подходящим образом, это можно выполнить за постоянное время в расчете на каждый факт. А теперь рассмотрим правило, подобное следующему:
Missile(х) л Owns(Nono,х) => Sells(West,х, Nono)
Найти все объекты, принадлежащие государству Ноуноу, опять-таки можно за постоянное время в расчете на каждый объект; затем мы можем применить к каждому объекту проверку, является ли он ракетой. Но если в базе знаний содержится много сведений об объектах, принадлежащих государству Ноуноу, и лишь немного данных о ракетах, то было бы лучше вначале найти все ракеты, а затем проверить, какие из них принадлежат Ноуноу. Это — проблема ^упорядочения конъюнктов: поиск упорядочения, позволяющего решать конъюнкты в предпосылке правила таким образом, чтобы общая стоимость решения была минимальной. Как оказалось, задача поиска оптимального упорядочения является NP-трудной, но имеются хорошие эвристики. Например, эвристика с наиболее ограниченной переменной, применявшаяся при решении задач CSP в главе 5, подсказывает, что необходимо упорядочить конъюнкты так, чтобы вначале проводился поиск ракет, если количество ракет меньше по сравнению с количеством всех известных объектов, принадлежащих государству Ноуноу.
Между процедурами согласования с шаблоном и удовлетворения ограничений действительно существует очень тесная связь. Каждый конъюнкт может рассматриваться как ограничение на содержащиеся в нем переменные; например, Missile(х) — это унарное ограничение на х. Развивая эту идею, можно прийти к выводу, что ^ существует возможность представить любую задачу CSP с конечной областью определения как единственное определенное выражение наряду с некоторыми касающимися ее базовыми фактами. Рассмотрим приведенную на рис. 5.1 задачу раскраски карты, которая снова показана на рис. 9.3, а. Эквивалентная формулировка в виде одного определенного выражения приведена на рис. 9.3, б. Очевидно, что заключение Colorable() можно вывести из этой базы знаний, только если данная задача CSP имеет решение. А поскольку задачи CSP, вообще говоря, включают задачи 3-SAT в качестве частных случаев, на основании этого можно сделать вывод, что ^ задача согласования определенного выражения с множеством фактов является NP-трудной.
То, что во внутреннем цикле алгоритма прямого логического вывода приходится решать NP-трудную задачу согласования, может показаться на первый взгляд довольно неприятным. Тем не менее, есть следующие три фактора, благодаря которым эта проблема предстает немного в лучшем свете.
Напомним, что большинство правил в базах знаний, применяемых на практике, являются небольшими и простыми (подобно правилам, используемым в примере доказательства преступления), а не большими и сложными (как в формулировке задачи CSP, приведенной на рис. 9.3). В мире пользователей
баз данных принято считать, что размеры правил и арности предикатов не превышают некоторого постоянного значения, и принимать во внимание только М сложность данных, т.е. сложность логического вывода как функции от количества базовых фактов в базе данных. Можно легко показать, что обусловленная данными сложность в прямом логическом выводе определяется полиномиальной зависимостью.
Diff (wa, nt) л Diff (wa, sa) а Diff(nt,q)лDiff(nt,sa)л Diff(q, nsw) л Diff(q,sa) л Diff (nsw, v) л Diff(nsw, sa) a Dijf(v,sa) => Colorable()
Diff (Red, Blue) Diff (Red, Green) Diff (Green, Red) Diff (Green, Blue) Diff (Blue, Red) Diff (Blue, Green)
6)
Рис. 9.3. Иллюстрация связи между процессами согласования с шаблоном и удовлетворения ограничений: граф ограничений для раскрашивания карты Австралии (см. рис. 5.1) (а); задача CSP раскрашивания карты, представленная в виде единственного определенного выражения (б). Обратите внимание на то, что области определения переменных заданы неявно с помощью констант, приведенных в базовых фактах для предиката Diff
Могут рассматриваться подклассы правил, для которых согласование является наиболее эффективным. По сути, каждое выражение на языке Datalog может рассматриваться как определяющее некоторую задачу CSP, поэтому согласование будет осуществимым только тогда, когда соответствующая задача CSP является разрешимой. Некоторые разрешимые семейства задач CSP описаны в главе 5. Например, если граф ограничений (граф, узлами которого являются переменные, а дугами — ограничения) образует дерево, то задача CSP может быть решена за линейное время. Точно такой же результат остается в силе для согласования с правилами. Например, если из карты, приведенной на рис. 9.3, будет удален узел SA, относящийся к Южной Австралии, то результирующее выражение примет следующий вид:
Diff(wa,nt) л Diff (nt, q) л Diff(q, nsw) л Diff (nsw, v) => ColorableO
что соответствует сокращенной задаче CSP, показанной на рис. 5.7. Для решения задачи согласования с правилами могут непосредственно применяться алгоритмы решения задач CSP с древовидной структурой.
Можно приложить определенные усилия по устранению излишних попыток согласования с правилами в алгоритме прямого логического вывода, что является темой следующего раздела.
Инкрементный прямой логический вывод
Когда авторы демонстрировали в предыдущем разделе на примере доказательства преступления, как действует прямой логический вывод, они немного схитрили; в частности, не показали некоторые из согласований с правилами, выполняемые алгоритмом, приведенным в листинге 9.2. Например, во второй итерации правило
Missile (х) => Weapon (х)
согласуется с фактом MissilekMV) (еще раз), и, безусловно, при этом ничего не происходит, поскольку заключение Weapon к м^ уже известно. Таких излишних согласований с правилами можно избежать, сделав следующее наблюдение: ^ каждый новый факт, выведенный в итерации t, должен быть получен по меньшей мере из одного нового факта, выведенного в итерации t-1. Это наблюдение соответствует истине, поскольку любой логический вывод, который не требовал нового факта из итерации t-1, уже мог быть выполнен в итерации t-1.
Такое наблюдение приводит естественным образом к созданию алгоритма инкрементного прямого логического вывода, в котором в итерации t проверка правила происходит, только если его предпосылка включает конъюнкт р^, который унифицируется с фактом Pi', вновь выведенным в итерации t-1. Затем на этапе согласования с правилом значение р^ фиксируется для согласования с рг', но при этом допускается, чтобы остальные конъюнкты в правиле согласовывались с фактами из любой предыдущей итерации. Этот алгоритм в каждой итерации вырабатывает точно такие же факты, как и алгоритм, приведенный в листинге 9.2, но является гораздо более эффективным.
При использовании подходящей индексации можно легко выявить все правила, которые могут быть активизированы любым конкретным фактом. И действительно, многие реальные системы действуют в режиме “обновления”, при котором прямой логический вывод происходит в ответ на каждый новый факт, сообщенный системе с помощью операции Tell. Операции логического вывода каскадно распространяются через множество правил до тех пор, пока не достигается фиксированная точка, а затем процесс начинается снова, вслед за поступлением каждого нового факта.
Как правило, в результате добавления каждого конкретного факта в действительности активизируется лишь небольшая доля правил в базе знаний. Это означает, что при повторном конструировании частичных согласований с правилами, имеющими некоторые невыполненные предпосылки, выполняется существенный объем ненужной работы. Рассматриваемый здесь пример доказательства преступления слишком мал, чтобы на нем можно было наглядно показать такую ситуацию, но следует отметить, что частичное согласование конструируется в первой итерации между следующим.правилом:
American (х) л Weaponry) л Sells (х, у, z) л Hostile (z) => Criminalkx)
и фактом American (West). Затем это частичное согласование отбрасывается и снова формируется во второй итерации (в которой данное правило согласуется успешно). Было бы лучше сохранять и постепенно дополнять частичные согласования по мере поступления новых фактов, а не отбрасывать их.
В ^ rete-алгоритме была впервые предпринята серьезная попытка решить эту проблему. Алгоритм предусматривает предварительную обработку множества пра-
вил в базе знаний для формирования своего рода сети потока данных (называемой rete-сетью), в которой каждый узел представляет собой литерал из предпосылки какого-либо правила. По этой сети распространяются операции связывания переменных и останавливаются после того, как в них не удается выполнить согласование с каким-то литералом. Если в двух литералах некоторого правила совместно используется какая-то переменная (например, Sells1х, у, z) д Hostile^ в примере доказательства преступления), то варианты связывания из каждого литерала пропускаются через узел проверки равенства. Процессу связывания переменных, достигших узла n-арного литерала, такого как Sells (х, у, z^, может потребоваться перейти в состояние ожидания того, что будут определены связывания для других переменных, прежде чем он сможет продолжаться. В любой конкретный момент времени состояние rete-сети охватывает все частичные согласования с правилами, что позволяет избежать большого объема повторных вычислений.
Не только сами rete-сети, но и различные их усовершенствования стали ключевым компонентом так называемых М продукционных систем, которые принадлежат к числу самых первых систем прямого логического вывода, получивших широкое распространение. В частности, с использованием архитектуры продукционной системы была создана система Хсоп (которая первоначально называлась R1) [1026]. Система Хсоп содержала несколько тысяч правил и предназначалась для проектирования конфигураций компьютерных компонентов для заказчиков Digital Equipment Corporation. Ее создание было одним из первых очевидных успешных коммерческих проектов в развивающейся области экспертных систем. На основе той же базовой технологии, которая была реализована на языке общего назначения Ops-5, было также создано много других подобных систем.
Кроме того, продукционные системы широко применяются в ^ когнитивных архитектурах (т.е. моделях человеческого мышления), в таких как ACT [31] и Soar [880]. В подобных системах “рабочая память” системы моделирует кратковременную память человека, а продукции образуют часть долговременной памяти. В каждом цикле функционирования происходит согласование продукций с фактами из рабочей памяти. Продукции, условия которых выполнены, могут добавлять или удалять факты в рабочей памяти. В отличие от типичных ситуаций с большим объемом данных, наблюдаемых в базах данных, продукционные системы часто содержат много правил и относительно немного фактов. При использовании технологии согласования, оптимизированной должным образом, некоторые современные системы могут оперировать в реальном времени больше чем с миллионом правил.
Не относящиеся к делу факты
Последний источник неэффективности прямого логического вывода, по- видимому, свойствен самому этому подходу и также возникает в контексте пропозициональной логики (см. раздел 7.5). Прямой логический вывод предусматривает выполнение всех допустимых этапов логического вывода на основе всех известных фактов, даже если они не относятся к рассматриваемой цели. В примере доказательства преступления не было правил, способных приводить к заключениям, не относящимся к делу, поэтому такое отсутствие направленности не вызывало каких-либо проблем. В других случаях (например, если бы в базу знаний было внесено несколь-
ко правил с описанием кулинарных предпочтений американцев и цен на ракеты) алгоритм FOL-FC-Ask вырабатывал бы много нерелевантных заключений.
Один из способов предотвращения формирования нерелевантных заключений состоит в использовании обратного логического вывода, как описано в разделе 9.4. Еще одно, второе решение состоит в том, чтобы ограничить прямой логический вывод избранным подмножеством правил; этот подход обсуждался в контексте пропозициональной логики. Третий подход сформировался в сообществе пользователей дедуктивных баз данных, для которых прямой логический вывод является стандартным инструментальным средством. Идея этого подхода состоит в том, чтобы перезаписывать множество правил с использованием информации из цели так, что в процессе прямого логического вывода рассматриваются только релевантные связывания переменных (принадлежащие к так называемому ^ магическому множеству). Например, если целью является Criminal к West), то правило, приводящее к заключению Criminal (х), может быть перезаписано для включения дополнительного конъюнкта, ограничивающего значение х, следующим образом:
Magic кх) л American (х) л Weaponky) л Sells кх, у, z) л Hostile(z) => Criminal кх)
Факт Magic к West) также добавляется в базу знаний. Благодаря этому в процессе прямого логического вывода будет рассматриваться только факт о полковнике Уэсте, даже если база знаний содержит факты о миллионах американцев. Полный процесс определения магических множеств и перезаписи базы знаний является слишком сложным для того, чтобы мы могли заняться в этой главе его описанием, но основная идея состоит в том, что выполняется своего рода “универсальный” обратный логический вывод от цели для выяснения того, какие связывания переменных нужно будет ограничивать. Поэтому подход с использованием магических множеств может рассматриваться как гибридный между прямым логическим выводом и обратной предварительной обработкой.
Обратный логический вывод
Во втором большом семействе алгоритмов логического вывода используется подход с обратным логическим выводом, представленный в разделе 7.5. Эти алгоритмы действуют в обратном направлении, от цели, проходя по цепочке от одного правила к другому, чтобы найти известные факты, которые поддерживают доказательство. Мы опишем основной алгоритм, а затем покажем, как он используется в логическом программировании, представляющем собой наиболее широко применяемую форму автоматизированного формирования рассуждений. В этом разделе будет также показано, что обратный логический вывод имеет некоторые недостатки по сравнению с прямым логическим выводом, и описаны некоторые способы преодоления этих недостатков. Наконец, будет продемонстрирована тесная связь между логическим программированием и задачами удовлетворения ограничений.
Алгоритм обратного логического вывода
Простой алгоритм обратного логического вывода, FOL-BC-Ask, приведен в листинге 9.3. Он вызывается со списком целей, содержащим единственный элемент
(первоначальный запрос) и возвращает множество всех подстановок, которые удовлетворяют этому запросу. Список целей можно рассматривать как “стек” целей, ожидающих отработки; если все они могут быть выполнены, то текущая ветвь доказательства формируется успешно. В алгоритме берется первая цель из списка и выполняется поиск в базе знаний всех выражений, положительный литерал которых (или голова) унифицируется с целью. При обработке каждого такого выражения создается новый рекурсивный вызов, в котором предпосылки (или тело) выражения добавляются к стеку целей. Напомним, что факты представляют собой выражения с головой, но без тела, поэтому, если какая-то цель унифицируется с известным фактом, то к стеку не добавляются какие-то подцели, а сама эта цель считается получившей решение. На рис. 9.4 показано дерево доказательства для получения факта Criminal (West) из высказываний, приведенных в уравнениях 9.3—9.10.
WM^ ооо
Рис. 9.4. Дерево доказательства, сформированное путем обратного логического вывода для доказательства того, что полковник Уэст совершил преступление. Это дерево следует читать в глубину, слева направо. Чтобы доказать факт Criminal (West;, необходимо доказать четыре конъюнкта, находящихся под ним. Некоторые из них находятся в базе знаний, а другие требуют дальнейшего обратного логического вывода. Связывания для каждой успешной унификации показаны после соответствующей подцели. Обратите внимание на, что после успешного достижения одной подцели в конъюнкции ее подстановка применяется для последующих подцелей. Таким образом, к тому времени, как алгоритм FOL- BC-Ask достигает последнего конъюнкта, первоначально имевшего форму Hostile (т.), переменная z уже связана с Nono
Листинг 9.3. Простой алгоритм обратного логического вывода
function FOL-ВС-Ask(КВ, goals, 0) returns множество подстановок inputs: КВ, база знаний
goals, список конъюнктов, образующих запрос (подстановка 0 уже применена)
0, текущая подстановка, первоначально пустая подстановка {} local variables: answers, ответы - множество подстановок,
первоначально пустое
if список goals пуст then return {9}
q' <— Subst(0, First(goals))
for each высказывание г in КВ, где Standardize-Apart(г) = (pi л ... a pn => д) и О' <— Unify(g, д') является выполнимым new_goals[pi,... ,pn|Rest (goals) ]
answers <— FOL-ВС-Ask(KB, new_goals, Compose(O', 9)) u answers return answers
В этом алгоритме используется ^ композиция подстановок. Здесь Compose (0i, 02) — это подстановка, результат которой идентичен результату применения каждой подстановки по очереди, следующим образом:
Subst (Compose (91,02)/р) = Subst (92, Subst (9i, p) )
В данном алгоритме текущие связывания переменных, которые хранятся в подстановке 0, компонуются со связываниями, возникающими в результате унификации цели с головой выражения, что приводит к получению нового множества текущих связываний для рекурсивного вызова.
Алгоритм обратного логического вывода в том виде, в каком он был приведен в этом разделе, безусловно, представляет собой алгоритм поиска в глубину. Это означает, что его потребности в пространстве линейно зависят от размера доказательства (если на данный момент пренебречь тем, какой объем пространства требуется для накопления решений). Это также означает, что обратный логический вывод (в отличие от прямого логического вывода) страдает от проблем, обусловленных наличием повторяющихся состояний и неполноты. Эти проблемы и некоторые потенциальные решения будут рассматриваться ниже, но вначале покажем, как обратный логический вывод используется в системах логического программирования.
Логическое программирование
Логическое программирование — это технология, позволяющая довольно близко приблизиться к воплощению декларативного идеала, описанного в главе 7, согласно которому системы должны конструироваться путем представления знаний на некотором формальном языке, а задачи решаться путем применения процессов логического вывода к этим знаниям. Такой идеал выражен в следующем уравнении Роберта Ковальского:
Алгоритм = Логика + Управление
Одним из языков логического программирования, намного превосходящим все прочие по своей распространенности, является ^ Prolog. Количество его пользователей насчитывает сотни тысяч. Он используется в основном в качестве языка быстрой разработки прототипов, а также служит для решения задач символических манипуляций, таких как написание компиляторов [1536] и синтаксический анализ текстов на естественном языке [1208]. На языке Prolog было написано много экспертных систем для юридических, медицинских, финансовых и других проблемных областей.
Программы Prolog представляют собой множества определенных выражений, записанных в системе обозначений, немного отличающейся от используемой стандартной логики первого порядка. В языке Prolog прописные буквы применяются для обозначения переменных, а строчные —- для обозначения констант. Выражения записываются с головой, предшествующей телу; символ : - служит для обозначения
импликации, направленной влево, запятые разделяют литералы в теле, а точка обозначает конец высказывания, как показано ниже.
criminal(X) :- american(X), weapon(Y) , sells(X,Y,Z), hostile(Z).
Язык Prolog включает “синтаксические упрощения” (syntactic sugar) для обозначения списков и арифметических выражений. Например, ниже приведена программа Prolog для предиката append (X, Y, Z), которая выполняется успешно, если список Z представляет собой результат дополнения списка Y списком X.
append([],Y,Y).
append([А|х],Y,[А|Z]) :- append(X,Y,Z).
На естественном языке эти выражения можно прочитать так: во-первых, дополнение списка Y пустым списком приводит к получению того же списка Y, и, во- вторых, [А | Z] — это результат дополнения списка Y списком [А | X], при условии, что Z — это результат дополнения списка Y списком X. Такое определение предиката append на первый взгляд кажется весьма подобным соответствующему определению на языке Lisp, но фактически является гораздо более мощным. Например, в систему можно ввести запрос append (А, В, [1,2] ) — какие два списка можно дополнить один другим, чтобы получить [1,2]? Система возвратит следующие решения:
А= [ ]В=[1,2]
А=[1]В=[2]
А=[1,2] В=[]
Выполнение программ Prolog осуществляется по принципу обратного логического вывода с поиском в глубину, при котором попытка применения выражений выполняется в том порядке, в каком они записаны в базу знаний. Но некоторые описанные ниже особенности языка Prolog выходят за рамки стандартного логического вывода.
В нем предусмотрено множество встроенных функций для выполнения арифметических операций. Литералы, в которых используются соответствующие функциональные символы, “доказываются” путем выполнения кода, а не осуществления дальнейшего логического вывода. Например, цель “X is 4+3” достигается успешно после связывания переменной X со значением 7. С другой стороны, попытка достижения цели “5 is X+Y” оканчивается неудачей, поскольку эти встроенные функции не обеспечивают решения произвольных уравнений.
В языке предусмотрены встроенные предикаты, вызывающие при их выполнении побочные эффекты. К ним относятся предикаты ввода-вывода и предикаты assert/retract для модификации базы знаний. Такие предикаты не имеют аналогов в логике и могут порождать некоторые эффекты, вызывающие путаницу, например, если факты подтверждаются (и вводятся в базу знаний) некоторой ветвью дерева доказательства, которая в конечном итоге оканчивается неудачей.
В языке Prolog допускается определенная форма отрицания —отрицание как недостижение цели. Отрицаемая цель not Р считается доказанной, если системе не удается доказать Р. Таким образом, следующее высказывание: alive(X) :- not dead(X).
можно прочитать так: “Любого следует считать живым, если нельзя доказать, что он мертв”.
В языке Prolog предусмотрен оператор равенства, “=”, но он не обладает всей мощью логического равенства. Цель с оператором равенства достигается успешно, если в ней два терма являются унифицируемыми, а в противном случае попытка ее достижения оканчивается неудачей. Таким образом, цель X+Y=2+3 достигается успешно, после связывания переменной х со значением 2, a Y — со значением 3, а попытка достижения цели mornings tar=evenings tar оканчивается неудачей. (В классической логике последнее равенство может быть или не быть истинным.) Не могут быть подтверждены (введены в базу знаний) какие-либо факты или правила, касающиеся равенства.
Из алгоритма унификации Prolog исключена проверка вхождения. Это означает, что могут быть сделаны некоторые противоречивые логические выводы; такая проблема возникает редко, за исключением тех ситуаций, когда язык Prolog используется для доказательства математических теорем.
Решения, принятые при проектировании языка Prolog, представляют собой компромисс между стремлениями обеспечить декларативность и вычислительную эффективность (по крайней мере, эффективность в той ее трактовке, которая существовала в период разработки языка Prolog). Мы вернемся к этой теме после рассмотрения того, как реализована система Prolog.
Эффективная реализация логических программ
Подготовка программ Prolog к выполнению может осуществляться в двух режимах: интерпретация и компиляция. Интерпретация по существу представляет собой применение алгоритма FOL-BC-Ask, приведенного в листинге 9.3, к программе, представленной в виде базы знаний. Предыдущее предложение включает слова “по существу”, поскольку в интерпретаторах Prolog предусмотрены всевозможные усовершенствования, предназначенные для максимального повышения скорости работы. Здесь рассматриваются только два таких усовершенствования.
Во-первых, вместо формирования списка всех возможных ответов для каждой подцели перед переходом к следующей подцели интерпретаторы Prolog вырабатывают один ответ и “дают обещание” выработать остальные после того, как будет полностью исследован текущий ответ. Такое “обещание” оформляется как ^ точка выбора (choice point). После того как в процессе поиска в глубину завершается исследование возможных решений, вытекающих из текущего ответа, и происходит возврат к точке выбора, в этой точке используемые структуры данных дополняются, чтобы в них можно было включить новый ответ для данной подцели и сформировать новую точку выбора. Такой подход позволяет экономить и время, и пространство, а также обеспечивает создание очень простого интерфейса для отладки, поскольку постоянно существует лишь единственный путь решения, подлежащий рассмотрению.
Во-вторых, в приведенной в данной главе простой реализации алгоритма FOL- BC-Ask много времени затрачивается на выработку и компоновку подстановок. В языке Prolog подстановки реализуются с использованием логических переменных, позволяющих сохранить в памяти их текущее связывание. В любой момент времени каждая переменная в программе является либо несвязанной, либо связанной с некоторым значением. Эти переменные и значения, вместе взятые, неявно определяют подстановку для текущей ветви доказательства. Любая попытка продления пути позволяет лишь добавить новые связывания переменных, поскольку стремление ввести другое связывание для уже связанной переменной приводит к неудачному завершению унификации. После того как попытка продления пути поиска оканчивается неудачей, система Prolog возвращается к предыдущей точке выбора и только после этого получает возможность отменить связывания некоторых переменных. Такая операция отмены выполняется благодаря тому, что данные обо всех переменных, для которых было выполнено связывание, отслеживаются в стеке, называемом ^ контрольным стеком (trail). По мере того как в функции Unify-Var осуществляется связывание каждой новой переменной, эта переменная задвигается в контрольный стек. Если попытка достижения некоторой цели оканчивается неудачей и наступает время возвратиться к предыдущей точке пункта выбора, отменяется связывание каждой из этих переменных по мере их выталкивания из контрольного стека.
Но даже в самых эффективных интерпретаторах Prolog, в связи с издержками на поиск по индексу, унификацию и формирование стека рекурсивных вызовов, требуется выполнение нескольких тысяч машинных команд в расчете на каждый этап логического вывода. В действительности интерпретатор постоянно ведет себя так, как если бы он никогда до сих пор не видел данную программу; например, ему приходится каждый раз находить выражения, которые согласуются с целью. С другой стороны, откомпилированная программа Prolog представляет собой процедуру логического вывода для конкретного множества выражений, поэтому ей известно, какие выражения согласуются с целью. В процессе компиляции система Prolog по сути формирует миниатюрную программу автоматического доказательства теоремы для каждого отдельного предиката, устраняя тем самым основную часть издержек интерпретации. Эта система позволяет также применять ^ открытый код для процедуры унификации каждого отдельного вызова, что позволяет избежать необходимости проведения явного анализа структуры терма (подробные сведения об унификации с открытым кодом приведены в [1557]).
Наборы команд современных компьютеров плохо согласуются с семантикой Prolog, поэтому большинство компиляторов Prolog компилирует программу в промежуточный язык, а не непосредственно в машинный язык. Наиболее широко применяемым промежуточным языком является язык WAM (Warren Abstract Machine — абстрактная машина Уоррена) получивший название в честь Дэвида Г.Д. Уоррена, одного из создателей первого компилятора Prolog. Язык WAM представляет собой абстрактное множество команд, которое подходит для преобразования в него программ Prolog и может интерпретироваться или транслироваться в машинный язык. Другие компиляторы транслируют программу Prolog в программу на языке высокого уровня, таком как Lisp или С, а затем используют компилятор этого языка для трансляции в машинный язык. Например, определение предиката Append может быть откомпилировано в код, показанный в листинге 9.4. Ниже приведено несколько замечаний, заслуживающих упоминания в этой связи.
Листинг 9.4. Псевдокод, представляющий собой результат компиляции предиката Append. Функция New-Variable возвращает новую переменную, отличную от всех других переменных, использовавшихся до сих пор. Процедура Call (continuation) продолжает выполнение с заданным продолжением continuation
procedure Append(ах, у, az, continuation)
trail <— Global-Trail-Pointer()
if ax = [] and Unify(y, az) then Call(continuation) Reset-Trail(trail)
a <— New-Variable(); x <— New-Variable(); z <— New-Variable() if Unify(ax, [a | x]) and Unify(az, [a | z] )
then Append(x, y, z, continuation)
Выражения предиката Append преобразуются в процедуру, а этапы логического вывода осуществляются путем вызова этой процедуры, поэтому не приходится выполнять поиск соответствующих выражений в базе знаний.
Как было описано выше, текущие связывания переменных хранятся в контрольном стеке. На первом этапе выполнения этой процедуры текущее состояние контрольного стека сохраняется в памяти, поэтому оно может быть восстановлено с помощью функции Reset-Trail, если попытка выполнения первого выражения окончится неудачей. Это приводит к отмене всех связываний, сформированных при первом вызове процедуры Unify.
Сложнейшей частью этой программы является использование ^ продолжений для реализации точек выбора. Продолжение может рассматриваться как структура данных, в которой упакованы процедура и список параметров, вместе взятые, определяющая, что следует делать дальше, после успешного достижения текущей цели. Дело в том, что после достижения цели не было бы достаточно просто возвратить управление из процедуры, подобной Append, поскольку успех может быть достигнут несколькими способами, и каждый из них должен быть исследован. Параметр continuation, определяющий продолжение, позволяет решить эту проблему, поскольку он может быть вызван после каждого успешного достижения цели. В приведенном здесь коде процедуры Append, если первый параметр является пустым, то предикат Append достиг успеха. Затем вызывается продолжение с помощью процедуры Call (притом что в контрольном стеке находятся все подходящие связывания) для того, чтобы определить, что делать дальше. Например, если процедура Append вызвана на верхнем уровне дерева доказательства, то структура данных continuation будет использоваться для вывода информации о связывании переменных.
До того как Уоррен выполнил свою работу по внедрению компиляции в системы логического вывода на языке Prolog, средства логического программирования работали слишком медленно для того, чтобы они действительно могли найти широкое применение. Компиляторы, разработанные Уорреном и другими специалистами, позволили достичь скоростей обработки кода Prolog, способных конкурировать с языком С в самых различных стандартных эталонных тестах [1536]. Безусловно, тот факт, что теперь появилась возможность написать планировщик или синтаксиче-
ский анализатор текста на естественном языке, состоящий из нескольких десятков строк на языке Prolog, говорит о том, что этот язык становится более подходящим (по сравнению с языком С) для создания прототипов большинства исследовательских проектов в области искусственного интеллекта небольших масштабов.
Значительное повышение скорости позволяет также обеспечить распараллеливание работы. Организация параллельного выполнения может осуществляться по двум направлениям. Первое направление, получившее название ^ ИЛИ-параллелизма, исходит из возможности унификации цели со многими различными выражениями в базе знаний. Каждая из этих операций унификации приводит к появлению независимой ветви в пространстве поиска, которая может привести к потенциальному решению, и поиск решений по всем таким ветвям может осуществляться параллельно. Второе направление, называемое ^ И-параллелизмом, исходит из возможности параллельного решения каждого конъюнкта в теле некоторой импликации. Задача достижения И-параллелизма является более сложной, поскольку для поиска решений всей конъюнкции требуются совместимые связывания для всех переменных. Поэтому при обработке каждой конъюнктивной ветви необходимо обеспечивать обмен данными с другими ветвями для гарантированного достижения глобального решения.
Избыточный логический вывод и бесконечные циклы
Теперь рассмотрим, в чем состоит ахиллесова пята языка Prolog: несогласованность между организацией поиска в глубину и деревьями поиска, которые включают повторяющиеся состояния и бесконечные пути. Рассмотрим следующую логическую программу, позволяющую определить, существует ли путь между двумя точками в ориентированном графе:
path(X,Z) :- link(X,Z).
path(X,Z) :-path(X,Y), link(Y,Z).
На рис. 9.5, а приведен простой граф, состоящий из трех узлов, который описан с помощью фактов link(а,Ь) и link(Ь,с). При использовании этой программы запрос path(а,с) вырабатывает дерево доказательства, показанное на рис. 9.6, а. С другой стороны, если эти два выражения расположены в таком порядке:
path(X,Z) :- path(X,Y), link(Y,Z).
path(X,Z) :- link(X,Z).
то система Prolog следует по бесконечному пути, как показано на рис. 9.6, б. Поэтому система Prolog является неполной, как и программа автоматического доказательства теоремы для определенных выражений (как показано в этом примере, даже применительно к программам, соответствующим формату языка Datalog), поскольку для некоторых баз знаний эта система оказывается неспособной доказать высказывания, которые из них следуют. Следует отметить, что алгоритм прямого логического вывода не подвержен этой проблеме: сразу после вывода фактов path(а,Ь), path (Ь, с) и pa th (а, с) процесс прямого логического вывода останавливается.
Обратный логический вывод с поиском в глубину сталкивается также с проблемами, обусловленными излишними вычислениями. Например, при поиске пути от узла Ах к узлу J4 на рис. 9.5, б система Prolog выполняет 877 этапов логического вывода, большинство из которых связано с поиском всех возможных путей к узлам, не позволяющим достичь цели. Такая проблема аналогична проблеме повторяющихся состоя-
ний, которая описывалась в главе 3. Общее количество этапов логического вывода может определяться экспоненциальной зависимостью от количества базовых фактов, вырабатываемых в процессе вывода. А если бы вместо этого применялся прямой логический вывод, то можно было бы ограничиться выработкой, самое большее, п2 фактов path (X, Y), связывающих п узлов. При этом для решения задачи, приведенной на рис. 9.5, б, потребовалось бы только 62 этапа логического вывода.
а)б)
Рис. 9.5. Иллюстрация недостатков языка Prolog: поиск пути от А до С может привести систему Prolog к созданию бесконечного цикла (а); граф, в котором каждый узел связан с двумя случайно выбираемыми преемниками на следующем уровне; для поиска пути от Aido J4 требуется 877этапов логического вывода (б)
а) б)
Рис. 9.6. Иллюстрация того, что работа программы Prolog зависит от расположения взаимосвязанных выражений: успешное доказательство того, что путь от А до С существует (а); бесконечное дерево доказательства, формируемое из-за того, что выражения находятся в “неправильном” порядке (б)
Применение прямого логического вывода при решении задач поиска в графе представляет собой пример ^ динамического программирования, в котором решения подзадач формируются инкрементно из решений меньших подзадач и кэшируются для предотвращения повторного вычисления. Аналогичный эффект в системе обратного логического вывода может быть достигнут с помощью запоминания (memoization), т.е. кэширования решений, найденных для подцелей, по мере их обнаружения, а затем повторного применения этих решений после очередного появления той же подцели, вместо повторения предыдущих вычислений. Этот подход применяется в системах ^табулированного логического программирования (tabled logic programming), в которых для реализации метода запоминания используются
эффективные механизмы сохранения и выборки. В табулированном логическом программировании объединяется целенаправленность обратного логического вывода с эффективностью динамического программирования, присущей прямому логическому выводу. Кроме того, эти системы являются полными применительно к программам в формате Datalog, а это означает, что программисту приходится меньше беспокоиться о бесконечных циклах.
Логическое программирование в ограничениях
В приведенном выше описании прямого логического вывода (раздел 9.3) было показано, как можно представить задачи удовлетворения ограничений (Constraint Satisfaction Problem — CSP) в виде определенных выражений. Стандартный язык Prolog позволяет решать подобные задачи точно таким же способом, как и алгоритм поиска с возвратами, приведенный в листинге 5.1.
Поскольку поиск с возвратами предусматривает полный перебор областей определения переменных, он может применяться только для решения задач CSP с конечными областями определения. В терминах Prolog это можно перефразировать таким образом, что для любой цели с несвязанными переменными должно существовать конечное количество решений. (Например, цель dif f (q, sa), которая определяет, что штаты Квинсленд и Южная Австралия должны быть окрашены в разные цвета, имеет шесть решений, если допускается применение трех цветов.) Задачи CSP с бесконечными областями определения (например, с целочисленными или вещественными переменными) требуют применения совсем других алгоритмов, таких как распространение пределов или линейное программирование.
Приведенное ниже выражение выполняется успешно, если подставленные в него три числа удовлетворяют неравенству треугольника.
triangle(X,Y,Z) :-
Х>=0, Y>=0, Z> = 0, X+Y>=Z, Y+Z>=X, X+Z>=Y.
Если системе Prolog передан запрос triangle (3,4,5), он будет выполнен безукоризненно. С другой стороны, после передачи запроса triangle (3,4, Z) решение не будет найдено, поскольку подцель z>=0 не может быть обработана системой Prolog. Возникающая при этом сложность состоит в том, что переменные в системе Prolog должны находиться только в одном из двух состояний: несвязанные или связанные с конкретным термом.
Связывание переменной с конкретным термом может рассматриваться как крайняя форма ограничения, а именно как ограничение равенства. ^ Логическое программирование в ограничениях (Constraint Logic Programming — CLP) позволяет ограничивать, а не связывать переменные. Решением для программы в логике ограничений является наиболее конкретное множество ограничений, налагаемых на переменные запроса, которое может быть определено с помощью базы знаний. Например, решением запроса triangle (3,4, Z) является ограничение 7>=Z>=1. Программы в стандартной логике представляют собой частный случай программ CLP, в которых ограничения решения должны быть не ограничениями сравнения, а ограничениями равенства, т.е. связываниями.
Системы CLP включают различные алгоритмы решения задач с ограничениями для таких вариантов ограничений, которые разрешены к использованию в языке.
Например, система, позволяющая использовать линейные неравенства с переменными, имеющими вещественные значения, может включать алгоритм линейного программирования для решения этих ограничений. Кроме того, в системах CLP принят гораздо более гибкий подход к решению запросов стандартного логического программирования. Например, вместо использования поиска в глубину, слева направо, с возвратами, в них может применяться любой из более эффективных алгоритмов, описанных в главе 5, включая эвристическое упорядочение конъюнктов, обратный переход, определение условий формирования множества отсечения и т.д. Поэтому в системах CLP сочетаются элементы алгоритмов удовлетворения ограничений, логического программирования и дедуктивных баз данных.
Кроме того, системы CLP позволяют воспользоваться преимуществами различных методов оптимизации поиска в задачах CSP, описанных в главе 5, таких как упорядочение переменных и значений, предварительная проверка и интеллектуальный возврат. В частности, разработаны проекты нескольких систем, позволяющих программисту получить больший контроль над порядком поиска для логического вывода. Например, язык MRS [539], [1321] позволяет программисту-пользователю записывать ^ метаправила для определения того, какие конъюнкты должны быть опробованы в первую очередь. Например, пользователь может сформулировать правило с указанием, что в первую очередь следует пытаться достичь цели с наименьшим количеством переменных, или оформить характерные для проблемной области правила, касающиеся конкретных предикатов.
Резолюция
Последнее из трех рассматриваемых в данной главе семейств логических систем основано на резолюции. Как было показано в главе 7, пропозициональная резолюция — это полная процедура логического вывода для пропозициональной логики на основе опровержения. В этом разделе будет показано, как распространить резолюцию на логику первого порядка.
Проблема существования полных процедур доказательства всегда является предметом непосредственного внимания математиков. Если бы удалось найти полную процедуру доказательства для математических утверждений, это повлекло бы за собой два последствия: во-первых, вывод всех заключений мог бы осуществляться механически; во-вторых, всю математику можно было бы построить как логическое следствие некоторого множества фундаментальных аксиом. Поэтому вопрос о полноте доказательства стал в XX веке предметом наиболее важных математических работ. В 1930 году немецкий математик Курт Гёдель доказал первую ^ теорему о полноте для логики первого порядка, согласно которой любое высказывание, являющееся следствием заданных аксиом, имеет конечное доказательство. (Но никакая действительно применимая на практике процедура доказательства не была найдена до тех пор, пока Дж.Э. Робинсон не опубликовал в 1965 году алгоритм резолюции.) В 1931 году Гёдель доказал еще более знаменитую ^теорему о неполноте. В этой теореме утверждается, что любая логическая система, которая включает принцип индукции (а без этого принципа удается построить лишь очень малую часть дискретной математики), обязательно является неполной. Поэтому существуют такие высказывания, которые следуют из заданных аксиом, но в рамках данной логиче-
ской системы для них невозможно найти конечное доказательство. Иголка действительно может быть в метафорическом стоге сена, но ни одна процедура не позволяет гарантировать, что она будет найдена.
Несмотря на то, что теорема Гёделя о неполноте устанавливает определенные пределы, программы автоматического доказательства теорем на основе резолюции широко применялись и применяются для обоснования математических теорем, включая несколько таких теорем, для которых до сих пор не было известно доказательство. Кроме того, программы автоматического доказательства теорем успешно использовались для проверки проектов аппаратных средств, формирования логически правильных программ, а также во многих других приложениях.
Конъюнктивная нормальная форма для логики первого порядка
Как и в случае пропозициональной логики, для резолюции в логике первого порядка требуется, чтобы высказывания находились в конъюнктивной нормальной форме (Conjunctive Normal Form — CNF), т.е. представляли собой конъюнкцию выражений, в которой каждое выражение представляет собой дизъюнкцию литералов. Литералы могут содержать переменные, на которые, согласно принятому предположению, распространяется квантор всеобщности. Например, высказывание
Vx American (х) л Weapon (у) л Sells кх,у, z) л Hostilekz) => Criminal kx)
принимает в форме CNF следующий вид:
—Americankx) v -Weapon (у) v -iSells (х, у, z) v —Hostile^ z) v Criminal kx)
^ Каждое высказывание в логике первого порядка может быть преобразовано в эквивалентное с точки зрения логического вывода высказывание CNF. В частности, высказывание CNF является невыполнимым тогда и только тогда, когда невыполнимо первоначальное высказывание, поэтому мы получаем основу для формирования доказательств от противного с помощью высказываний CNF.
Процедура преобразования любого высказывания в форму CNF весьма подобна процедуре, применяемой в пропозициональной логике, которая показана на с. 308. Принципиальное различие связано с необходимостью устранения кванторов существования. Проиллюстрируем эту процедуру на примере преобразования в форму CNF высказывания “Каждого, кто любит всех животных, кто-то любит”, или
Vx [Vy Animal ky) => Loves kx, y) ] => [3y Loves (y, x)]
Ниже приведены этапы этого преобразования.
Устранение импликаций:
Vx [-iVy —Animal ky) v Loves kx, y) ] v [3y Lovesky, x) ]
Перемещение связок -i внутрь выражений. Кроме обычных правил для отрицаемых связок, нам нужны правила для отрицаемых кванторов. Поэтому получаем следующие правила:
—Vx р принимает вид Зх -ip
—i3x р принимает вид Vx -ip
Рассматриваемое высказывание проходит через такие преобразования:
Vx [Зу -и (—Animal (у) v Loves (х, у) ) ] v [Зу Loves (у, х) ]
Vx [Зу -v-Animal (у) л -^Loves (х, у) ] v [Зу Loves (у, х) ]
Vx [Зу Animal (у) л —^Loves (х, у) ] v [Зу Loves (у, х) ]
Обратите внимание на то, что квантор всеобщности (Vy) в предпосылке импликации стал квантором существования. Теперь это высказывание приобрело такое прочтение: “Либо существует какое-то животное, которого х не любит, либо (если это утверждение не является истинным) кто-то любит х”. Очевидно, что смысл первоначального высказывания был сохранен.
Стандартизация переменных. В высказываниях наподобие (Vx Р(х) ) v (Зх Q(x) ), в которых дважды используется одно и то же имя переменной, изменим имя одной из переменных. Это позволит в дальнейшем избежать путаницы после того, как будут удалены кванторы. Поэтому получим следующее:
Vx [Зу Animal (у) л —^Loves (х, у) ] v [3z Loves (z,x)]
Сколемизация. ^ Сколемизация — это процесс устранения кванторов существования путем их удаления. В данном простом случае этот процесс подобен применению правила конкретизации с помощью квантора существования, приведенного в разделе 9.1: преобразовать Зх Р(х) в PUL где А — новая константа. Однако, если это правило будет непосредственно применено к высказыванию, рассматриваемому в качестве примера, то будет получено следующее высказывание:
Vx [Animal (Д') л —iLoves (х, А) ] v Loves (В, х)
которое имеет полностью неправильный смысл: в нем утверждается, что каждый либо не способен любить какое-то конкретное животное А, либо его любит некоторая конкретная сущность в. В действительности первоначальное высказывание позволяет каждому человеку не быть способным любить какое- то другое животное или быть любимым другим человеком. Поэтому желательно, чтобы сущности, определяемые в процессе сколемизации, зависели отх:
Vx [Animal (F(x) ) л —Hoves (х, F(x) ) ] v Loves (G(x) , x)
где F и G — ^ сколемовские функции. Общее правило состоит в том, что все параметры сколемовской функции должны быть переменными, на которые распространяются кванторы всеобщности, в область действия которых попадает соответствующий квантор существования. Как и при использовании конкретизации с помощью квантора существования, сколемизированное высказывание является выполнимым тогда и только тогда, когда выполнимо первоначальное высказывание.
Удаление кванторов всеобщности. В данный момент на все оставшиеся переменные должны распространяться кванторы всеобщности. Кроме того, данное высказывание эквивалентно тому, в котором все кванторы всеобщности перенесены влево. Поэтому кванторы всеобщности могут быть удалены следующим образом:
[Animal (F(x) ) л -^Loves (х, F(x) ) ] v Loves (G(x) , x)
Распределение связки v no a:
[Animal (F(x) ) v Loves (G(x) , x) ] a [-VLoves [x, F(x) ) v Loves (G(x) , x) ]
На этом этапе может также потребоваться выполнить раскрытие скобок во вложенных конъюнкциях и дизъюнкциях.
Теперь рассматриваемое высказывание находится в форме CNF и состоит из двух выражений. Оно полностью недоступно для восприятия. (Помочь его понять может такое пояснение, что.сколемовская функция Г(х) указывает на животное, которое потенциально может быть нелюбимым лицом х, a G(x) указывает на кого-то, кто может любить лицо х.) К счастью, людям редко приходится изучать высказывания в форме CNF, поскольку показанный выше процесс преобразования может быть легко автоматизирован.
Правило логического вывода с помощью резолюции
Правило резолюции для выражений в логике первого порядка представляет собой поднятую версию правила резолюции для пропозициональной логики, приведенного на с. 307. Два выражения, которые, согласно принятому предположению, должны быть стандартизированными таким образом, чтобы в них не было общих переменных, могут быть подвергнуты операции резолюции, если они содержат взаимно дополнительные литералы. Пропозициональные литералы являются взаимно дополнительными, если один из них представляет собой отрицание другого, а литералы в логике первого порядка являются взаимно дополнительными, если один из них унифицируется с отрицанием другого. Поэтому имеет место следующее правило:
£1 V ... V 4/ mi V ... V Л7п
Subst (9,^1 у ...у ^i-i у £i+i у ... у £к v mi v ... у myi v mj+i v ... v mn)
где Uni fу (^i, ^m^) = 0. Например, можно применить операцию резолюции к следующим двум выражениям:
[Animal (F(x) ) v Loves (G (x) , x) ] и [-'Loves ( u, v) v —^Ki Ils ( и, v} ]
путем устранения взаимно дополнительных литералов Loves (G (х) ,х) и -^Loves [и, v) с помощью унификатора 0 = (u/G(x) , v/x} для получения следующего выражения, называемого резольвентой:
[Animal (F(x) ) v —Kills (G (x) , x) ]
Только что приведенное правило называется правилом М бинарной резолюции, поскольку в нем происходит удаление с помощью резолюции двух и только двух взаимно дополнительных литералов. Но правило бинарной резолюции, отдельно взятое, не позволяет получить полную процедуру логического вывода. С другой стороны, правило полной резолюции позволяет удалять в каждом выражении подмножества литералов, которые являются унифицируемыми. Альтернативный подход состоит в том, чтобы распространить операцию факторизации (удаления избыточных литералов) на логику первого порядка. В пропозициональной факторизации два литерала сводятся к одному, если они являются идентичными, а в факторизации первого порядка два литерала сводятся к одному, если они являются унифицируемыми.
Унификатор должен быть применен ко всему выражению. Сочетание бинарной резолюции и факторизации позволяет создать полную процедуру логического вывода.
Примеры доказательств
При использовании резолюции доказательство того, что КВ ^= а (из базы знаний следует высказывание ос) осуществляется путем доказательства невыполнимости выражения кв а -юс, т.е. путем получения пустого выражения. Алгоритмический подход, применяемый в логике первого порядка, идентичен подходу в пропозициональной логике, который показан в листинге 7.5, поэтому мы не будем здесь его повторять. Вместо этого приведем два примера доказательства. Первым из них является пример доказательства преступления, описанного в разделе 9.3. Соответствующие высказывания, преобразованные в форму CNF, выглядят следующим образом:
—Americankx) v -^Weapon (у) v —। Sells kx, у, z) v —tHostile ( z) v
Criminal kx)
-AMissilekx) v -Owns kNono, x) v Sells (West, x, Nono)
-\Enemykx, America) v Hostilekx)
-^Missile kx) v Weapon kx)
Owns kNono, Mi)
Missile kMi)
Ameri can (Wes t)
Enemy (Nono, America)
В число этих высказываний должна быть включена также отрицаемая цель -^Criminal kWest). Процедура доказательства по методу резолюции показана на рис. 9.7. Обратите внимание на его структуру: единственный “хребет” начинается с целевого выражения, и операция резолюции применяется к выражениям из базы знаний до тех пор, пока не образуется пустое выражение. В этом состоит характерная особенность применения метода резолюции к базам знаний, представленным в виде хорновских выражений. В действительности выражения, расположенные вдоль главного хребта, точно соответствуют последовательным значениям целевых переменных в алгоритме обратного логического вывода, приведенном в листинге 9.3. Это связано с тем, что для резолюции всегда выбирается выражение, положительный литерал которого унифицируется с самым левым литералом “текущего” выражения в хребте; именно это происходит при обратном логическом выводе. Таким образом, обратный логический вывод в действительности представляет собой просто частный случай резолюции, в котором применяется конкретная стратегия управления для определения того, какая операция резолюции должна быть выполнена в следующую очередь.
В рассматриваемом здесь втором примере используется сколемизация и применяются выражения, которые не являются определенными. Это приводит к созданию немного более сложной структуры доказательства. На естественном языке эта задача формулируется, как описано ниже.
Каждого, кто любит всех животных, кто-то любит.
Любого, кто убивает животных, никто не любит.
Джек любит всех животных.
Кота по имени Тунец убил либо Джек, либо Любопытство.
Действительно ли этого кота убило Любопытство?
| -American(x) v ^Weapon(y) v ^Sells(x,y,z) v ^Hostile(z) v Criminal(x) ^^РСлт/Ы^^ |
| Amer icon (West)v -Weapon(y) v ^Sells(West,y,z) v ^Hostile(z) |
| -yMissile(x) v Weapon^x)^ ^Weaponfy) v ^Sells(West,y,z) v ^Hostile(z) |
| ^Missiie(x) v -Dwns(Nono,x) v Sells(West,x,Nono) |\ ^Sel^West^pZ) v ^HostUe(z)\
| NTissi^MpY^^^Tissi^Mp v ^Owns(Nono,Mj) v ^Hostile(Nono) | | Owns(Nono,Mj) ^^^О^лх^Лоло^Ц v ^Hostile(Nono) |
| -Enemy(x,America) v Hostile(x)|
| Enemy(Nono,America) ^ | -Knemy(Nono,America) |
Puc. 9.7. Процедура доказательства с помощью резолюции того, что полковник Уэст совершил преступление
Вначале представим в логике первого порядка первоначальные высказывания, некоторые фоновые знания и отрицаемую цель G: •
Vx [Vy Animal (у) => Loves (х, у)] => [Зу Loves (у, х) ]
Vx [Зу Animal (у) л Kills (х, у)] => [V z -aLovos (z, х) ]
Vx Animal (х) => Loves (Jack, x)
Kills(Jack,Tuna) v Kills(Curiosity,Tuna)
Cat(Tuna)
Vx Cat(x) => Animal (x)
—iG. —Mills (Curiosity, Tuna)
Затем применим процедуру преобразования, чтобы преобразовать каждое высказывание в форму CNF:
Al. Animal(F(x)) v Loves(G(x),x)
A2 . -aLovcs (x, F(x) ) v Loves (G(x) , x)
-AAnimal (y) v -Mills (x,y) v —Moves (z, x)
—\Animal (x) v Loves (Jack, x)
Kills(Jack,Tuna) v Ki Ils(Curiosity, Tuna)
Cat(Tuna)
—iCat(x) v Animal (x)
-iG. —tKills( Curiosi ty, Tuna)
Доказательство с помощью метода резолюции того, что кота убило Любопытство, приведено на рис. 9.8. На естественном языке это доказательство может быть перефразировано, как показано ниже.
Предположим, что кота Тунца убило не Любопытство. Мы знаем, что это сделал либо Джек, либо Любопытство; в таком случае это должен был сделать Джек. Итак, Тунец — кот, а коты — животные, поэтому Тунец — животное. Любого, кто убивает животное, никто не любит, поэтому мы делаем вывод, что никто не любит Джека. С другой стороны, Джек любит всех животных, поэтому кто-то его любит; таким образом, возникает противоречие. Это означает, что кота убило Любопытство.
| Сдг(Гилд)^ | ^Cat(x) yAnimaI(x)\ | КШхЦаск, Типа) v KillsjCuriosity, Типа) 11 -xKills^Curiosity, ГилдГ]
| -Loves(y, х) у ^Kills(x, Типа) || -Loves(y, х) у ^Kills(x, Типа) |Г—.ZovevCF, Jack) |Г—.ZovevCF, Jack) || Animaljuna) | ^JEovtl^yTxvT^l^^| KiUs(Jack, Типа) | | -J.oves^TXx)) v Loves^G^x), х) 11 --Animal(x) v Loves Jack, х) |
| -Loves(y, х) у ^Kills(x, Типа) |
| -Loves(y, х) у ^Kills(x, Типа) |
Г—.ZovevCF, Jack) |
Г—.ZovevCF, Jack) |
|Z,ovey(G(JgcA), JgcA)~||Z,ovey(G(JgcA), JgcA)~|| -Animal(FJack))y Loves{GJack), Jack) | | AnimalJJ)) y Loves^GJ),x) |
|Z,ovey(G(JgcA), JgcA)~|
|Z,ovey(G(JgcA), JgcA)~|
Рис. 9.8. Процедура доказательства с помощью резолюции того, что кота убило Любопытство. Обратите внимание на то, что при выводе выражения Loves (G (Jack), Jack; использовалась факторизация
Такое доказательство действительно отвечает на вопрос “Действительно ли этого кота убило Любопытство?”, но часто требуется найти ответ на более общие вопросы, такие как “Кто убил кота?” Резолюция позволяет это сделать, но для получения ответа требует немного больше работы. Данная цель может быть представлена в виде выражения 3^ Kills (w, Tuna), которое после его отрицания принимает в форме CNF вид -^KiIls (w, Tuna). Повторяя доказательство, показанное на рис. 9.8, с новой отрицаемой целью, мы получим аналогичное дерево доказательства, но с подстановкой {w/ Curio si ty} в одном из этапов. Поэтому в данном случае для поиска того, кто убил кота, достаточно проследить за связываниями, которые применяются к переменным запроса в этом доказательстве.
К сожалению, в методе резолюции могут вырабатываться М неконструктивные доказательства для существующих целей. Например, в выражении -^Ki Ils (w, Tuna) после применения операции резолюции удаляется взаимно дополнительный литерал, входящий в состав выражения Kills( Jack, Tuna) v Kills(Curiosi ty, Tuna), с получением выражения Kills I Jack, Tuna), к которому снова применяется операция резолюции с использованием выражения -\Kills(w, Tuna), что приводит к получению пустого выражения. Обратите внимание на то, что в этом доказательстве переменная w имеет два различных связывания, а правило резолюции сообщает нам, что кто-то действительно убил кота Тунца — либо Джек, либо Любопытство. Но в этом для нас нет ничего нового! Одно из решений данной проблемы состоит в том, чтобы регламентировать допустимые этапы резолюции так, чтобы переменные запроса могли быть связанными только один раз в каждом конкретном доказательстве; в таком случае можно будет предусмотреть применение перехода с возвратом по всем возможным связываниям. Еще одно решение состоит в добавлении специального литерала ответа к отрицаемой цели, которая принимает вид ^Kills(w, Tuna) v Answer(w). Теперь процесс резолюции вырабатывает ответ каждый раз, когда формируется выражение, содержащее только единственный литерал ответа. Для доказательства, приведенного на рис. 9.8, таковым является выражение Answer(Curiosity). Неконструктивное доказательство привело бы к выработке выражения Answer (Curiosity) v Answer (Jack), которое не может рассматриваться как ответ и отбрасывается.
Полнота резолюции
В настоящем разделе приведено доказательство полноты резолюции. Это доказательство может пропустить без ущерба для дальнейшего понимания текста любой читатель, который готов принять его на веру.
Мы покажем, что резолюция обеспечивает М полноту опровержения (refutation completeness), а это означает, что если множество высказываний является невыполнимым, то резолюция всегда позволяет прийти к противоречию. Резолюцию нельзя использовать для выработки всех логических следствий из множества высказываний, но она может применяться для подтверждения того, что данное конкретное высказывание следует из множества высказываний. Поэтому резолюция может служить для поиска всех ответов на данный конкретный вопрос с помощью метода отрицаемой цели, который был описан выше в настоящей главе.
Примем как истинное такое утверждение, что любое высказывание в логике первого порядка (без использования равенства) может быть перезаписано в виде множества выражений в форме CNF. Это можно доказать по индукции на основе анализа формы высказывания, применяя в качестве базового случая атомарные высказывания [336]. Поэтому наша цель состоит в том, чтобы доказать следующее: ^ если S — невыполнимое множество выражений, то применение к S конечного количества этапов резолюции приведет к противоречию.
Схема нашего доказательства повторяет первоначальное доказательство, приведенное Робинсоном, с некоторыми упрощениями, которые были внесены Гене- зеретом и Нильссоном [537]. Основная структура этого доказательства показана на рис. 9.9; оно осуществляется, какописано ниже.
Любое множество предложений 5 представимо
в форме импликационных выражений
Допустим, что множество 5 невыполнимо и представленов форме импликационных выражений
| «0 Теорема Эрбрана
Некоторое множество 5'базовых экземпляров невыполнимо
|—Базовая теорема резолюции
Резолюция позволяет найти противоречие в 5'
|—— Лемма поднятия
В этом состоит доказательство по методу резолюции
противоречия в 5'
Рис. 9.9. Структура доказательства полноты резолюции
Вначале отметим, что если множество выражений S невыполнимо, то существует такое конкретное множество базовых экземпляров выражений S, что это множество также невыполнимо (теорема Эрбрана).
Затем прибегнем к базовой теореме резолюции (ground resolution theorem), приведенной в главе 7, в которой утверждается, что пропозициональная резолюция является полной для базовых высказываний.
После этого воспользуемся леммой поднятия, чтобы показать, что для любого доказательства по методу пропозициональной резолюции, в котором применяется множество базовых высказываний, существует соответствующее доказательство по методу резолюции первого порядка с использованием высказываний в логике первого порядка, из которых были получены базовые высказывания.
Теорема Гёделя о неполноте
Немного дополнив язык логики первого порядка для обеспечения возможности применять схему математической индукции в арифметике, Гёдель сумел показать в своей теореме о неполноте, что существуют истинные арифметические высказывания, которые не могут быть доказаны.
Полное доказательство этой теоремы о неполноте немного выходит за рамки настоящей книги, поскольку в своем непосредственном виде оно занимает не меньше 30 страниц, но мы здесь приведем его набросок. Начнем с логической теории чисел. В этой теории существует единственная константа, 0, и единственная функция, S (функция определения преемника). В намеченной модели интерпретации этой теории S'(0) обозначает 1, S(S(0) ) обозначает 2 и т.д., поэтому в рассматриваемом языке имеются имена для всех натуральных чисел. Кроме того, словарь языка включает функциональные символы +, х и Expt (возведение в степень), а также обычное множество логических связок и кванторов. Прежде всего, следует отметить, что множество высказываний, которые могут быть записаны на этом языке, может быть пронумеровано. (Для этого достаточно представить себе, что определен алфавитный порядок символов, а затем в алфавитном порядке расположено каждое из множеств высказываний с длиной 1, 2 и т.д.) Затем можно обозначить каждое высказывание ос уникальным натуральным числом #ос (которое называется гёделевским номером). Это — самый важный момент доказательства; в нем утверждается, что теория чисел включает отдельное имя для каждого из ее собственных высказываний. Аналогичным образом, с помощью гёделевского номера G(P) можно пронумеровать каждое возможное доказательство Р, поскольку любое доказательство — это просто конечная последовательность высказываний.
Теперь предположим, что имеется рекурсивно перечислимое множество А высказываний, которые представляют собой истинные утверждения о натуральных числах. Напомним, что высказывания из множества А можно именовать с помощью заданного множества целых чисел, поэтому можно представить себе, что на нашем языке записывается высказывание а (j, А) такого рода:
VI 1 — не гёделевский номер доказательства высказывания, гёделевским номером которого является j, где в доказательстве используются только предпосылки из множества А.
Затем допустим, что о представляет собой высказывание а(#о. А), т.е. высказывание, в котором утверждается его собственная недоказуемость из А. (Утверждение о том, что такое высказывание всегда существует, является истинным, но его нельзя назвать полностью очевидным.)
Теперь применим следующий остроумный довод: предположим, что высказывание о доказуемо из А; в таком случае высказывание о ложно (поскольку в высказывании о утверждается, что оно не может быть доказано). Но это означает, что имеется некоторое ложное высказывание, которое доказуемо из А, поэтому А не может состоять только из истинных высказываний, а это противоречит нашей предпосылке. Поэтому высказывание о не доказуемо из А. Но именно это и утверждает о самом себе высказывание о, а это означает, что о — истинное высказывание.
Итак, мы доказали (и сэкономили 29 с половиной страниц), что для любого множества истинных высказываний теории чисел и, в частности, для любого множества базовых аксиом существуют другие истинные высказывания, которые не могут быть доказаны из этих аксиом. Из этого, кроме всего прочего, следует, что мы никогда не сможем доказать все теоремы математики в пределах любой конкретной системы аксиом. Очевидно, что это открытие имело для математики очень важное значение. Значимость этого открытия для искусственного интеллекта была предметом широких обсуждений, начиная с размышлений самого Гёделя. Мы вступим в эти дебаты в главе 26.
Для того чтобы выполнить первый этап доказательства, нам потребуются три новых понятия, описанных ниже.
^ Универсум Эрбрана. Если S— множество выражений, то Hs, универсум Эр- брана для множества S, представляет собой множество всех базовых термов, которые могут быть сформированы из следующего:
функциональные символы из множества S, если они имеются;
константные символы из множества S, если они имеются; если они отсутствуют, то константный символ А.
Например, если множество S содержит только выражение -iP(x, F(x, А) ) v
-iQ(x,A) v р(х,В), то н5 представляет собой следующее бесконечное множество базовых термов:
{A,B,F{AIA) ,F(A,B) ,F(B,A) ,F{B,B) ,F(A,F(A,A) ) , ...}
M Насыщение. Если S— множество выражений, a P — множество базовых термов, то Р( S), насыщение S по отношению к Р, представляет собой множество всех базовых выражений, полученное путем применения всех возможных совместимых подстановок базовых термов из Р вместо переменных в S.
М База Эрбрана. Насыщение множества выражений S по отношению к его универсуму Эрбрана называется базой Эрбрана множества S и записывается как Hs (S). Например, если S содержит только приведенное выше выражение, то Hs (S) представляет собой следующее бесконечное множество выражений:
{—^Р (A, F (A, A) ) v -^Q{A,A} VR^A.B^,
->Р(В, F(B,A) ) v -^Q(B,A) v R(B,B),
—iP(F(A, A) , F(F(A, A) , A) ) V -iQ (F(A, A) , A) V R{F (A, A) , B) ,
-iP(F(A,B) ,F(F(A,B) ,A) ) v -nQ (F( A, B) , A) v F( F (A, В) , B) ,
Эти определения позволяют сформулировать одну из форм М теоремы Эр- брана [650]:
Если множество выражений s является невыполнимым, то существует конечное подмножество Hs (S), которое также является невыполнимым.
Допустим, что S' — конечное подмножество базовых высказываний. Теперь можно прибегнуть к базовой теореме резолюции (с. 311), чтобы показать, что резо- люционное замыкание RC(S' ) содержит пустое выражение. Это означает, что доведение до конца процесса пропозициональной резолюции применительно к S' приводит к противоречию.
Теперь, после определения того, что всегда существует доказательство по методу резолюции, в котором применяется некоторое конечное подмножество базы Эрбра- на множества S, на следующем этапе необходимо показать, что существует доказательство по методу резолюции, в котором используются выражения из самого множества S, которые не обязательно являются базовыми выражениями. Начнем с рассмотрения одного приложения правила резолюции. Из базовой леммы Робинсона следует приведенный ниже факт.
Допустим, что Сх и С2 — два выражения без общих переменных, a Сх' и С21 — базовые экземпляры Ci и с2. Если С' — резольвента сх1 и с21, то существует выражение с, такое, что, во-первых, С — резольвента Сх и С2, и, во-вторых, с — базовый экземпляр С.
Это утверждение называется клеммой поднятия (lifting lemma), поскольку оно позволяет поднять любой этап доказательства от базовых выражений к общим выражениям в логике первого порядка. Для того чтобы доказать свою основную лемму поднятия, Робинсону пришлось изобрести унификацию и определить все свойства наиболее общих унификаторов. Мы здесь не будем повторять доказательство Робинсона, а просто проиллюстрируем применение этой леммы следующим образом:
Ci = —iP(х, F(x, А) ) v ^Q(x,A) V F(x,B)
С2 = ^(G(y) , z) v Р(Я(у) , z)
Ci' = -уР(Н(В) , F(H(B) , A) ) V —iQ(H{B} , A) V R (H (В) , B)
C2' = —iN(G(B) ,F(H(B) , A) ) v P(H(B) ,F(H(B) , A) )
C" = —yN(G(B) ,F(H(B) , A) ) v -^Q(H(B) ,A) v Я(Я(В),В)
C = -iN(G(y) ,F(H(y) ,A) ) v -nQ^H^y) , A) v R(H{y),B)
Очевидно, что С’ — действительно базовый экземпляр выражения С. Вообще говоря, для того чтобы выражения Сх' и С2' имели какие-либо резольвенты, они должны быть получены путем предварительного применения к выражениям Сг и С2 наиболее общего унификатора для пары взаимно дополнительных литералов в Сх и С2. Из леммы поднятия можно легко получить аналогичное, приведенное ниже утверждение о любой последовательности применений правила резолюции.
Для любого выражения С' в резолюционном замыкании множества выражений S' существует выражение с в резолюционном замыкании множества выражений S, такое, что С' — базовый экземпляр выражения с и логический вывод С имеет такую же длину, как и логический вывод С.
Из этого факта следует, что если в резолюционном замыкании множества выражений S' появляется пустое выражение, оно должно также появиться в резолюционном замыкании множества выражений S. Это связано с тем, что пустое выражение не может быть базовым экземпляром любого другого выражения. Подведем итог: мы показали, что если множество выражений S невыполнимо, то для него существует конечная процедура логического вывода пустого выражения с помощью правила резолюции.
Поднятие способа доказательства теорем от базовых выражений к выражениям первого порядка обеспечивает огромное увеличение мощи доказательства. Это увеличение связано с тем фактом, что теперь в доказательстве первого порядка конкретизация переменных может выполняться только по мере того, как это потребуется для самого доказательства, тогда как в методах с использованием базовых выражений приходилось исследовать огромное количество произвольных конкретизаций.
Учет отношения равенства
Ни в одном из методов логического вывода, описанных до сих пор в этой главе, не учитывалось отношение равенства. Для решения этой задачи может быть принято три различных подхода. Первый подход состоит в аксиоматизации равенства — включении в базу знаний высказываний, касающихся отношения равенства. При этом необходимо описать, что отношение равенства является рефлексивным, симметричным и транзитивным, а также сформулировать утверждение, что мы можем в любом предикате или функции заменять равные литералы равными. Таким образом, требуются три базовые аксиомы и еще по одной аксиоме для каждого предиката и функции, как показано ниже.
Vx х = х
Vx,y х = у => у = х
Vx,y, Z X = у А у = Z => X = Z
Vx,y х = у => (Pi (х) <=> Pi (у) )
Vx,y X = у => (Р2(х) <^ Р2куП
Vw,X,y,Z W = у А X = Z => (Г1(^,х) = Fi(y,z))
X/W, X, у, Z W = у А X = Z => (P2(W,x) = F2 ку, z) )
При наличии в базе знаний таких высказываний любая стандартная процедура логического вывода, такая как резолюция, позволяет решать задачи, требующие формирования рассуждений с учетом отношения равенства, например находить решения математических уравнений.
Еще один способ учета отношения равенства состоит в использовании дополнительного правила логического вывода. В простейшем правиле, правиле демодуляции, берется единичное выражение х^у, после чего терм у подставляется вместо любого терма, который унифицируется с термом х в каком-то другом выражении. Более формально эту идею можно представить, как описано ниже.
^Демодуляция. Для любых термов х, у и z, где Unify(х, z) =0 и mn[z] — литерал, содержащий z, справедливо следующее:
X = у, Л71 V ... V Л7п[г]
mi V ... V mn[Subst(9,у) ]
Демодуляция обычно используется для упрощения выражений с помощью коллекции утверждений, таких как х+0=х, х^х и т.д. Это правило может быть также дополнено, чтобы можно было учитывать неединичные выражения, в которых появляется литерал со знаком равенства, как показано ниже.
М Парамодуляция. Для любых термов х, у и z, где Unify (х, z) =6, справедливо следующее:
li у ... у lk у х = у, ту у ... у mn[z]Subst (9, li v ... v Ik v mi v ... v mn[yj)
В отличие от демодуляции, парамодуляция позволяет получить полную процедуру логического вывода для логики первого порядка с отношением равенства.
В третьем подходе формирование логических рассуждений с уютом равенства полностью осуществляется с помощью расширенного алгоритма унификации. Это означает, что термы рассматриваются как унифицируемые, если можно доказать, что они становятся равными при некоторой подстановке; здесь выражение ‘‘можно доказать” допускает включение в определенном объеме рассуждений о равенстве. Например, термы 1+2 и 2 + 1 обычно не рассматриваются как унифицируемые, но алгоритм унификации, в котором известно, что х+у^у+х, способен унифицировать их с помощью пустой подстановки. ^ Унификация с учетом равенства (equational unification) такого рода может выполняться с помощью эффективных алгоритмов, разработанных с учетом данных конкретных используемых аксиом (коммутативность, ассоциативность и т.д.), а не с помощью явного логического вывода на основе этих аксиом. Программы автоматического доказательства теорем с использованием этого метода очень близки к системам логического программирования в ограничениях, описанным в разделе 9.4.
Стратегии резолюции
Как известно, повторные применения правила логического вывода на основе резолюции позволяют в конечном итоге найти доказательство, если оно существует, а в этом подразделе рассматриваются стратегии, позволяющие находить доказательства не методом перебора, а более эффективно.
Преимущественное использование единичных выражений
В этой стратегии преимущество отдается таким операциям резолюции, в которых одним из высказываний является единственный литерал (известный также как единичное выражение — unit clause). В основе этой стратегии лежит такая идея, что если осуществляются попытки получения пустого выражения, то может оказаться целесообразным отдавать предпочтение таким операциям логического вывода, в которых вырабатываются более короткие выражения. Применение операции резолюции к единичному высказыванию (такому как Р) в сочетании с любым другим высказыванием (таким как -iP v -iQ v p) всегда приводит к получению выражения (в данном случае -iQ v р), более короткого, чем это другое высказывание. Когда стратегия с преимущественным использованием единичных выражений была впервые оп-
робована в пропозициональном логическом выводе в 1964 году, она привела к резкому ускорению работы, обеспечив возможность доказывать теоремы, с которыми не удавалось справиться без использования этого метода предпочтения. Тем не менее метод предпочтения единичных выражений, отдельно взятый, не позволяет уменьшить коэффициент ветвления в задачах средних размеров до такой степени, чтобы можно было обеспечить возможность их решения с помощью резолюции. Несмотря на это, он представляет собой полезный эвристический метод, который может успешно использоваться в сочетании с другими стратегиями.
М Единичная резолюция (unit resolution) — это ограниченная форма резолюции, в которой на каждом этапе резолюции должно участвовать единичное выражение. В общем случае метод единичной резолюции является неполным, но становится полным при его применении к хорновским базам знаний. Процесс доказательства по методу единичной резолюции применительно к хорновским базам знаний напоминает прямой логический вывод.
Множество поддержки
Применение метода предпочтений, в котором в первую очередь осуществляется попытка выполнить определенные операции резолюции, вполне оправдано, но, вообще говоря, более эффективный метод может быть основан на том, что следует попытаться полностью устранить некоторые потенциальные этапы резолюции. В стратегии с использованием множества поддержки выполняется именно это. Применение данной стратегии начинается с выявления подмножества высказываний, называемого множеством поддержки (set of support). На каждом этапе резолюции высказывание из множества поддержки комбинируется с другим высказыванием, а резольвента добавляется к множеству поддержки. Если множество поддержки является небольшим по сравнению со всей базой знаний, это позволяет резко сократить пространство поиска.
При использовании этого подхода необходимо соблюдать осторожность, поскольку при неправильном выборе множества поддержки алгоритм может стать неполным. Однако, если множество поддержки сбудет выбрано так, чтобы оставшиеся высказывания, вместе взятые, оставались выполнимыми, то резолюция с помощью множества поддержки становится полной. Общепринятый подход, основанный на предположении, что первоначальная база знаний является непротиворечивой, состоит в том, чтобы в качестве множества поддержки применялся отрицаемый запрос. (В конце концов, если база знаний не является непротиворечивой, то сам факт, что запрос является следствием из нее, становится избыточным, поскольку из противоречия можно доказать все, что угодно.) Стратегия с использованием множества поддержки имеет дополнительное преимущество в том, что в ней часто вырабатываются деревья доказательства, легко доступные для понимания людей, поскольку само формирование доказательства осуществляется целенаправленно.
Резолюция с входными высказываниями
В стратегии М резолюции с входными высказываниями (input resolution) на каждом этапе резолюции комбинируется одно из входных высказываний (из базы знаний или запроса) с некоторым другим высказыванием. В доказательстве, показанном на рис. 9.7, использовались только этапы резолюции с входными высказываниями и поэтому дерево доказательства имело характерную форму в виде единого “хребта”
с отдельными высказываниями, комбинирующимися с этим хребтом. Очевидно, что пространство деревьев доказательства такой формы меньше по сравнению с пространством всех возможных графов доказательства. В хорновских базах знаний как своего рода стратегия резолюции с входными высказываниями может рассматриваться правило отделения, поскольку при использовании этого правила некоторая импликация из первоначальной базы знаний комбинируется с некоторыми другими высказываниями. Таким образом, нет ничего удивительного в том, что метод резолюции с входными высказываниями является полным применительно к базам знаний, которые находятся в хорновской форме, но в общем случае он неполон. Стратегия ^ линейной резолюции (linear resolution) представляет собой небольшое обобщение, в котором допускается применять в одной операции резолюции высказывания Рн О, если Р находится в первоначальной базе знаний или Рявляется предком Q в дереве доказательства. Метод линейной резолюции является полным.
Обобщение
В методе ^обобщения (subsumption) устраняются все высказывания, которые обобщаются некоторым существующим высказыванием из базы знаний (т.е. являются более конкретными по сравнению с ним). Например, если в базе знаний есть высказывание Р(х), то нет смысла вводить в нее высказывание Р(А) и еще меньше смысла вводить Р(А) v QkBV Обобщение позволяет поддерживать небольшие размеры базы знаний и тем самым ограничивать размеры пространства поиска.
Средства автоматического доказательства теорем
Средства автоматического доказательства теорем (называемые также средствами автоматизированного формирования рассуждений) отличаются от языков логического программирования в двух отношениях. Во-первых, большинство языков логического программирования поддерживает только хорновские выражения, тогда как средства автоматического доказательства теорем поддерживают полную логику первого порядка. Во-вторых, в программах на таком типичном языке логического программирования, как Prolog, переплетаются логика и управление. Например, выбор программистом выражения А : - в, С вместо А : - С, в может повлиять на выполнение программы. С другой стороны, в большинстве средств автоматического доказательства теорем синтаксическая форма, выбранная для высказываний, не влияет на результаты. Для средств автоматического доказательства теорем все еще требуется управляющая информации, чтобы они могли функционировать эффективно, но эта информация обычно хранится отдельно от базы знаний, а не входит в состав самого представления знаний. Большинство исследований в области средств автоматического доказательства теорем посвящено поиску стратегий управления, которые приводят к общему повышению эффективности, а не только к увеличению быстродействия.
Проект одного из средств автоматического доказательства теорем
В этом разделе описана программа автоматического доказательства теорем Otter (Organized Techniques for Theorem-proving and Effective Research) [1018]; в этом описании особое внимание будет уделено применяемой в ней стратегии управления. Подготавливая любую задачу для программы Otter, пользователь должен разделить знания на четыре описанные ниже части.
Множество выражений, известное как множество поддержки (или sos — set of support), в котором определяются важные факты о данной задаче. На каждом этапе резолюции операция резолюции применяется к одному из элементов множества поддержки и к другой аксиоме, поэтому поиск сосредоточивается на множестве поддержки.
Множество полезных аксиом (usable axiom), которое выходит за пределы множества поддержки. Эти аксиомы предоставляют фоновые знания о проблемной области. Определение границы между тем, что должно войти в состав задачи (и поэтому в множество sos) и что относится к фоновым знаниям (и поэтому должно войти в число полезных аксиом), передается на усмотрение пользователя.
Множество уравнений, известных как правила перезаписи (rewrites), или демодуляторы (demodulators). Хотя демодуляторы представляют собой уравнения, они всегда применяются в направлении слева направо, поэтому определяют каноническую форму, в которой должны быть представлены все упрощенные термы. Например, демодулятор х+0=х указывает, что любой терм в форме х+0 должен быть заменен термом х.
Множество параметров и выражений, который определяет стратегию управления. В частности, пользователь задает эвристическую функцию для управления поиском и функцию фильтрации для устранения некоторых подцелей как не представляющих интереса.
Программа Otter действует по принципу постоянного применения правила резолюции к одному из элементов множества поддержки и к одной из полезных аксиом. В отличие от системы Prolog, в этой программе используется определенная форма поиска по первому наилучшему совпадению. Ее эвристическая функция измеряет “вес” каждого выражения с учетом того, что наиболее предпочтительными являются выражения с наименьшими весами. Задача точной формулировки эвристической функции возлагается на пользователя, но, вообще говоря, вес любого выражения должен коррелировать с его размером или сложностью. Единичные выражения оцениваются как имеющие наименьший вес, поэтому такой метод поиска может рассматриваться как обобщение стратегии с преимущественным использованием единичных выражений. На каждом этапе программа Otter перемещает выражение “с наименьшим весом” из множества поддержки в список полезных аксиом и добавляет в множество поддержки некоторые непосредственные следствия применения операции резолюции к выражению с наименьшим весом и к элементам списка полезных аксиом. Программа Otter останавливается, если обнаруживает противоречие или если возникает такая ситуация, что в множестве поддержки не остается больше выражений. Алгоритм работы этой программы показан более подробно в листинге 9.5.
Листинг 9.5. Набросок структуры программы автоматического доказательства теорем otter. Эвристическое управление применяется при выборе выражения “с наименьшим весом” и в функции Filter, которая устраняет из рассмотрения такие выражения, которые не представляют интереса
procedure Otter(sos, usable)
inputs: sos, множество поддержки - выражения, определяющие решаемую задачу (глобальная переменная)
usable, множество фоновых знаний, которые потенциально могут быть релевантными для данной задачи
repeat
clause <— элемент множества sos с наименьшим весом переместить выражение clause из множество sos в множество usable
Process(Infer(clause, usable), sos) until sos = [ ] or обнаружится опровержение
function Infer(clause, usable) returns множество выражений clauses
применить правило резолюции к выражению clause и каждому элементу множества usable
возвратить полученное множество clauses после применения функции Filter
procedure Process(clauses, sos)
for each clause in clauses do
clause <— Simplify(clause) выполнить слияние идентичных литералов отбросить выражение clause, если оно представляет собой тавтологию
sos <— [clause | sos]
if clause не имеет литералов, то обнаружено опровержение if clause имеет один литерал, то искать единичное опровержение
Расширение системы Prolog
Еще один способ создания средства автоматического доказательства теорем состоит в том, чтобы начать с компилятора Prolog и дополнить его в целях получения непротиворечивого и полного средства формирования рассуждений для полной логики первого порядка. Именно этот подход был принят при создании программы PTTP (Prolog Technology Theorem Prover) [1463]. Как описано ниже, программа РТТР включает пять существенных дополнений к системе Prolog, позволяющих восстановить полноту и выразительность алгоритма обратного логического вывода.
В процедуру унификации снова вводится проверка вхождения для того, чтобы эта процедура стала непротиворечивой.
Поиск в глубину заменяется поиском с итеративным углублением. Это позволяет добиться того, чтобы стратегия поиска стала полной, а увеличение продолжительности поиска измерялось лишь постоянной зависимостью от времени.
Разрешается применение отрицаемых литералов (таких как -iP(x)). В этой реализации имеется две отдельные процедуры; в одной из них предпринимается попытка доказать Р, а в другой — доказать -iP.
Выражение с п атомами хранится в виде п различных правил. Например, при наличии в базе знаний выражения А <= в л С должно быть также предусмотрено хранение в ней этого выражения, представленного как ^в <= С a —А и как
—1С <= В л —iA Применение такого метода, известного под названием М блокирование (locking), означает, что текущая цель требует унификации только с головой каждого выражения, и вместе с тем позволяет должным образом учитывать отрицание.
• Логический вывод сделан полным (даже для нехорновских выражений) путем добавления правила резолюции с линейным входным выражением: если текущая цель унифицируется с отрицанием одной из целей в стеке, то данная цель может рассматриваться как решенная. В этом состоит один из способов рассуждения от противного. Предположим, что первоначальной целью было высказывание Р и что эта цель свелась в результате применения ряда этапов логического вывода к цели -.р. Тем самым установлено, что -.Р => Р, а это выражение логически эквивалентно Р.
Несмотря на эти изменения, программа РТТР сохраняет свойства, благодаря которым обеспечивается высокое быстродействие системы Prolog. Операции унификации все еще осуществляются посредством непосредственной модификации переменных, а отмена связывания выполняется путем разгрузки контрольного стека во время возврата. Стратегия поиска все еще основана на резолюции с применением входных выражений, а это означает, что в каждой операции резолюции участвует одно из выражений, содержащихся в первоначальной формулировке задачи (а не какое-то производное выражение). Такой подход позволяет осуществить компиляцию всех выражений из первоначальной формулировки задачи.
Основным недостатком программы РТТР является то, что пользователь должен отказаться от любых попыток взять на себя управление поиском решений. Каждое правило логического вывода в этой системе используется и в его первоначальной, и в кон- трапозитивной форме. Это может привести к выполнению таких операций поиска, которые противоречат здравому смыслу. Например, рассмотрим следующее правило:
(f(x,y) = fla.bn <= (х = а) л {у = Ь)
Если бы оно рассматривалось как правило Prolog, то применялся бы разумный способ доказательства того, что два терма f равны. Но в системе РТТР должно быть также сформировано контрапозитивное правило:
(х ^ а) <= (f(x,y) ^ f(a,b)) л (у = Ь)
По-видимому, попытка доказать, что любые два терма, х и а, являются разными, привела бы к непроизводительным затратам ресурсов.
Применение средств автоматического доказательства теорем в качестве помощников
До сих пор в этой книге любая система формирования рассуждений рассматривалась как независимый агент, который должен был принимать решения и действовать самостоятельно. Еще одно направление использования средств автоматического доказательства теорем состоит в том, что они должны служить в качестве помощников, предоставляя консультации, скажем, математикам. При эксплуатации подобных систем в режиме помощи математик действует в роли руководителя, очерчивая стратегию определения того, что должно быть сделано в следующую очередь, а затем передавая системе автоматического доказательства теорем просьбу проработать все детали. Это позволяет в определенной степени устранить проблему полураз-
решимости, поскольку руководитель научной разработки может отменить запрос и опробовать другой подход, если поиск ответа на запрос потребовал слишком много времени. Любая система автоматического доказательства теорем может также действовать в качестве М средства проверки доказательства; при ее использовании в таком режиме доказательство предоставляется человеком в виде ряда довольно крупных этапов; отдельные операции логического вывода, которые требуются для того, чтобы показать, что каждый из этих этапов является непротиворечивым, определяются системой.
В частности, М сократовское средство формирования рассуждений (socratic reasoner) представляет собой такую систему автоматического доказательства теорем, в которой функция Ask является неполной, но эта система всегда позволяет прийти к определенному решению, если ей будет задан правильный ряд вопросов. Таким образом, сократовские средства формирования рассуждений становятся хорошими помощниками, при условии, что есть руководитель, способный составить правильный ряд вызовов функции Ask. Одной из сократовских систем формирования рассуждений для математиков является Ontic [1005].
Области практического использования средств автоматического доказательства теорем
Средства автоматического доказательства теорем позволили получить новейшие математические результаты. Программа SAM (Semi-Automated Mathematics) была первой программой, с помощью которой удалось доказать одну из лемм в теории решеток [602]. Кроме того, программа Aura позволила найти ответ на многие открытые вопросы в нескольких областях математики [1621]. Программа автоматического доказательства теорем Бойера-Мура [165] применялась и дорабатывалась в течение многих лет, и ею воспользовался Натараджан Шанкар для получения первого полностью строгого формального доказательства теоремы Гёделя о неполноте [1393]. Одним из самых строгих средств автоматического доказательства теорем является программа Otter; она использовалась для решения некоторых открытых задач в области комбинаторной логики. Наиболее известные из них касаются ^ алгебры Роббинса. В 1933 году Герберт Роббинс предложил простое множество аксиом, которые, на первый взгляд, могли служить для определения булевой алгебры, но ни одного доказательства этой гипотезы найти не удавалось (несмотря на напряженную работу нескольких выдающихся математиков, включая самого Альфреда Тарского). Наконец, 10 октября 1996 года после восьми дней вычислений программа EQP (одна из версий программы Otter) нашла такое доказательство [1019].
Средства автоматического доказательства теорем могут также применяться для решения задач, связанных с М проверкой и М синтезом как аппаратных, так и программных средств, поскольку для обеих этих проблемных областей могут быть предусмотрены правильные варианты аксиоматизации. Поэтому исследования доказательства теорем проводятся не только в искусственном интеллекте, но и в таких областях, как проектирование аппаратных средств, языки программирования и разработка программного обеспечения. В случае программного обеспечения аксиомы определяют свойства каждого синтаксического элемента языка программирования. (Процесс формирования рассуждений о программах полностью аналогичен процессу формирования рассуждений о действиях в ситуационном исчислении.) Программный алгоритм проверяется путем демонстрации того, что его выходы соответствуют спецификациям для всех входов. Таким образом были проверены алго-
ритм шифрования RSA с открытым ключом и алгоритм согласования строк Бойера- Мура [166]. В случае аппаратного обеспечения аксиомы описывают способы взаимодействия сигналов и элементов схемы (один из примеров приведен в главе 8). Программой Aura [1610] был проверен проект 16-битового сумматора. Системы формирования логических рассуждений, предназначенные специально для проверки аппаратных средств, оказались способными проверять целые процессоры, включая свойства синхронизации этих процессоров [1455].
Формальный синтез алгоритмов был одним из первых направлений использования средств автоматического доказательства теорем, как и было намечено Корделлом Грином [591], который опирался на идеи, высказанные ранее Саймоном [1416]. Общий замысел состоит в том, что должна быть доказана теорема с утверждением, что “существует программа р, удовлетворяющая некоторой спецификации”. Если удается ограничить это доказательство конструктивной формой, то появляется возможность извлечь из результатов доказательства требуемую программу. Хотя полностью автоматизированный ^ дедуктивный синтез, как стало называться это направление, еще не осуществим применительно к программированию задач общего назначения, дедуктивный синтез, управляемый вручную, оказался успешным при проектировании нескольких новейших и сложнейших алгоритмов. Кроме того, активной областью исследования является синтез программ специального назначения. В области синтеза аппаратных средств программа автоматического доказательства теорем Aura применялась для проектирования схем, оказавшихся более компактными по сравнению с разработанными во всех предыдущих проектах [1609]. Для многих проектов логических схем достаточно применить пропозициональную логику, поскольку множество интересующих высказываний является фиксированным благодаря конечным размерам множества схемных элементов. В наши дни применение пропозиционального логического вывода в аппаратном синтезе является стандартным методом, имеющим много крупномасштабных областей использования (см., например, работу Новика и др. [1149]).
Те же методы теперь начинают также применяться для проверки программного обеспечения с помощью таких систем, как программа проверки моделей Spin [672]. Например, с ее помощью была проверена до и после полета программа управления космическим аппаратом Remote Agent [633].
9.6. Резюме
В этой главе приведен анализ логического вывода в логике первого порядка и многих алгоритмов его выполнения.
В первом подходе используется правило логического вывода для конкретизации кванторов в целях преобразования задачи логического вывода в форму пропозициональной логики. Как правило, этот подход характеризуется очень низким быстродействием.
Использование унификации для выявления подходящих подстановок для переменных позволяет устранить этап конкретизации в доказательствах первого порядка, в результате чего этот процесс становится гораздо более эффективным.
В поднятой версии правила отделения унификация применяется для получения естественного и мощного правила логического вывода — обобщенного правила отделения. В алгоритмах прямого логического вывода и обратного логического вывода это правило применяется к множествам определенных выражений.
Обобщенное правило отделения является полным применительно к определенным выражениям, но проблема логического следствия остается полуразрешимой. Для программ Datalog, состоящих из определенных выражений без функций, проблема логического следствия разрешима.
Прямой логический вывод используется в дедуктивных базах данных, где он может сочетаться с реляционными операциями баз данных. Он также применяется в продукционных системах, которые обеспечивают эффективное обновление при наличии очень больших наборов правил.
Прямой логический вывод для программ Datalog является полным и выполняется за время, определяемое полиномиальной зависимостью.
Обратный логический вывод используется в системах логического программирования, таких как Prolog, в которых реализована сложная технология компиляции для обеспечения очень быстрого логического вывода.
Недостатками обратного логического вывода являются излишние этапы логического вывода и бесконечные циклы; эти недостатки можно устранить путем запоминания.
Обобщенное правило логического вывода на основе резолюции позволяет создать полную систему доказательства для логики первого порядка с использованием баз знаний в конъюнктивной нормальной форме.
Существует несколько стратегий сокращения пространства поиска для систем с резолюцией без потери полноты. Эффективные средства автоматического доказательства теорем на основе резолюции использовались для доказательства интересных математических теорем, а также для проверки и синтеза программных и аппаратных средств.
Библиографические и исторические заметки
Логический вывод широко исследовался древнегреческими математиками. Аристотель тщательно исследовал один из типов логического вывода, называемый ^ силлогизмом, который представляет собой своего рода правило логического вывода. Силлогизмы Аристотеля включали элементы логики первого порядка, такие как кванторы, но были ограничены унарными предикатами. Силлогизмы классифицировались по “фигурам” и “модусам”, в зависимости от порядка термов (которые следовало бы назвать предикатами) в высказываниях и от степени общности (которую теперь принято интерпретировать с помощью кванторов), применяемой к каждому терму, а также с учетом того, является ли каждый терм отрицаемым. Наиболее фундаментальным силлогизмом является тот, который относится к первой фигуре первого модуса:
Все S суть М.
Все М суть Р.
Следовательно, все S суть Р.
Аристотель пытался доказать истинность других силлогизмов, “приводя” их к силлогизмам первой фигуры. Описание того, в чем должно состоять такое “приведение”, оказалось гораздо менее точным по сравнению с описанием, в котором были охарактеризованы сами фигуры и модусы силлогизмов.
Готтлоб Фреге, который разработал полную логику первого порядка в 1879 году, основал свою систему логического вывода на большой коллекции логически правильных схем и единственном правиле логического вывода — правиле отделения (Modus Ponens). Фреге воспользовался тем фактом, что результат применения любого правила логического вывода в форме “Из Р вывести Q” можно моделировать путем применения к высказыванию Р правила отделения наряду с логически правильной схемой Р => Q. Такой “аксиоматический” стиль представления знаний, в котором наряду с правилом отделения использовался целый ряд логически правильных схем, был принят на вооружение после Фреге многими логиками; наиболее замечательным является то, что этот стиль использовался в основополагающей книге Principia Mathematica [1584].
В подходе на основе натуральной дедукции (natural deduction), который был введен Герхардом Генценом [541] и Станиславом Яськовским [725], основное внимание было сосредоточено не на аксиоматических системах, а на правилах логического вывода. Натуральная дедукция получила название “натуральной”, поскольку в ней не требуется преобразование в нормальную форму (неудобную для восприятия человеком), а также в связи с тем, что в ней применяются такие правила логического вывода, которые кажутся естественными для людей. Правитц [1235] посвятил описанию натуральной дедукции целую книгу. Галье [515] применил подход Гентцена для разъяснения теоретических основ автоматизированной дедукции.
Крайне важным этапом в разработке глубокого математического анализа логики первого порядка явилось изобретение формы представления в виде импликационных выражений (clausal form). Уайтхед и Рассел [1584] описали так называемые правила прохождения (rules of passage) (фактически этот термин принадлежит Эрбрану [650]), которые используются для перемещения кванторов в переднюю часть формул. Торальфом Сколемом [1424] были достаточно своевременно предложены ско- лемовские константы и сколемовские функции. Общая процедура сколемизации, наряду с важным понятием универсума Эрбрана, описана в [1425].
Крайне важную роль в разработке автоматизированных методов формирования рассуждений, как до, так и после введения Робинсоном правила резолюции, играет теорема Эрбрана, названная в честь французского логика Жака Эрбрана [650]. Это отражается в применяемом нами термине “универсум Эрбрана”, а не “универсум Сколема”, даже несмотря на то, что это понятие в действительности было открыто Сколемом. Кроме того, Эрбран может считаться изобретателем операции унификации. Гёдель [565], опираясь на идеи Сколема и Эрбрана, сумел показать, что для логики первого порядка имеется полная процедура доказательства. Алан Тьюринг [1518] и Алонсо Черч [255] практически одновременно продемонстрировали, используя очень разные доказательства, что задача определения общезначимости в логике первого порядка не имеет решения. В превосходной книге Эндертона [438] все эти результаты описаны в строгой, но труднодоступной для понимания манере.
Хотя Маккарти [1009] предложил использовать логику первого порядка для представления знаний и формирования рассуждений в искусственном интеллекте, первые подобные системы были разработаны логиками, заинтересованными в получе-
нии средств автоматического доказательства математических теорем. Впервые применение метода пропозиционализации и теоремы Эрбрана предложено Абрахамом Робинсоном, а Гилмор [556] написал первую программу, основанную на этом подходе. Дэвис и Патнем [336] применили форму представления в виде импликационных выражений и разработали программу, в которой предпринимались попытки поиска противоречий путем подстановки элементов универсума Эрбрана вместо переменных для получения базовых выражений, а затем поиска пропозициональных противоречивостей среди этих базовых выражений. Правиц [1234] разработал ключевую идею, позволяющую использовать для управления процессом поиска тенденцию к обнаружению пропозициональных противоречивостей и вырабатывать термы из универсума Эрбрана, только если это необходимо для определения пропозициональной противоречивости. После дальнейшей разработки этой идеи другими исследователями Дж.Э. Робинсон (который не связан родством с Абрахамом Робинсоном) пришел к созданию метода резолюции [1298]. Примерно в то же время советским исследователем С. Масловым [994], [995] на основе немного иных принципов был разработан так называемый инверсный метод, который характеризуется некоторыми вычислительными преимуществами над пропозиционализацией. Метод соединения Вольфганга Бибеля [123] может рассматриваться как расширение этого подхода.
После разработки метода резолюции исследования в области логического вывода первого порядка стали развиваться в нескольких разных направлениях. В искусственном интеллекте метод резолюции применялся для создания систем поиска ответов на вопросы Корделлом Грином и Бертрамом Рафаэлем [593]. Несколько менее формальный подход был принят Карлом Хьюиттом [651]. Разработанный им язык Planner, хотя и не был полностью реализован, явился предшественником логического программирования и включал директивы для прямого и обратного логического вывода и для отрицания как недостижения цели. А подмножество этого языка, известное как Micro-Planner [1475], было реализовано и использовалось в системе понимания естественного языка Shrdlu [1601]. В ранних реализациях систем искусственного интеллекта большие усилия направлялись на разработку структур данных, которые должны были обеспечить эффективную выборку фактов; эти работы описаны в книгах по программированию для искусственного интеллекта [240], [479], [1148].
В начале 1970-х годов в искусственном интеллекте полностью утвердился метод прямого логического вывода как легко доступная пониманию альтернатива методу резолюции. Прямой логический вывод использовался в самых различных системах, начиная от программы автоматического доказательства геометрических теорем Невинса [1123] и заканчивая экспертной системой R1 для разработки конфигурации компьютеров VAX [1026]. Приложения искусственного интеллекта обычно охватывают большое количество правил, поэтому было важно разработать эффективную технологию согласования с правилами, особенно для инкрементных обновлений. Для поддержки таких приложений была разработана технология продукционных систем. Язык продукционных систем Ops-5 [197], [482] использовался для экспертной системы R1 и для когнитивной архитектуры Soar [880]. В язык Ops-5 был включен процесс согласования с помощью rete-алгоритма [483]. Архитектура Soar, позволяющая вырабатывать новые правила для кэширования результатов предыдущих вычислений, способна создавать очень большие множества правил; например, в системе TacAir-Soar, предназначенной для управления тренажером, моделирующим самолет-истребитель [743], количество правил превышало один миллион. Язык
CLIPS [1626] продукционных систем на основе языка С, разработанный в NASA, обеспечивал лучшую интеграцию с другими программными, аппаратными и сенсорными системами и использовался для автоматизации космической станции и разработки нескольких военных приложений.
Большой вклад в понимание особенностей прямого логического вывода внесли также работы в области исследований, известной как дедуктивные базы данных. Исследования в этой области начались с симпозиума, организованного в Тулузе в 1977 году Джеком Минкером, который собрал вместе специалистов в области логического вывода и систем баз данных [514]. В опубликованном сравнительно недавно историческом обзоре [1264] сказано: “Дедуктивные системы [баз данных] были попыткой адаптировать язык Prolog, воплощающий видение мира с «малыми данными», к миру «больших данных»”. Таким образом, цель разработок в этой области состоит в объединении технологии баз данных, которая предназначена для выборки больших множеств фактов, с технологией логического вывода на основе языка Prolog, в которой обычно осуществляется выборка одновременно только одного факта. К числу работ в области дедуктивных баз данных относятся [228] и [1525].
Важная работа, выполненная Чандрой и Нарелом [231], а также Ульманом [1524], привела к признанию языка Datalog в качестве стандартного языка для дедуктивных баз данных. Кроме того, стал стандартным “восходящий” логический вывод, или прямой логический вывод, отчасти потому, что данный метод позволяет избежать проблем, обусловленных незавершаемыми и избыточными вычислениями, которые возникают при обратном логическом выводе, и отчасти потому, что имеет более естественную реализацию в терминах основных операций реляционной базы данных. Разработка метода магических множеств для перезаписи правил Бансильоном и др. [67] позволила воспользоваться в прямом логическом выводе преимуществами целенаправленности, свойственными обратному логическому выводу. Методы табулированного логического программирования (с. 1), вступившие в конкурентную борьбу с другими методами, заимствовали преимущества динамического программирования от прямого логического вывода.
Большой вклад в понимание сложностей логического вывода внесло сообщество пользователей дедуктивных баз данных. Чандра и Мерлин [232] впервые показали, что задача согласования единственного нерекурсивного правила (в терминологии баз данных — ^ конъюнктивного запроса) может оказаться NP-трудной. Купер и Варди [870] предложили использовать понятие М сложности данных (т.е. сложности как функции размера базы данных, в которой размер правила рассматривается как постоянный) в качестве подходящего критерия эффективности получения ответов на запросы. Готтлоб и др. [586] обсудили связь между конъюнктивными запросами и задачами удовлетворения ограничений, показав, как можно использовать способ декомпозиции гипердерева для оптимизации процесса согласования.
Как уже упоминалось выше, процедуры обратного логического вывода, применяемые для логического вывода, впервые появились в разработанном Хьюиттом языке Planner [651]. Но логическое программирование как таковое развивалось независимо от этого направления разработок. Ограниченная форма линейной резолюции, называемая SL-резолюцией, была разработана Ковальским и Кюнером [853] на основе метода устранения моделей Лавленда [947]; после применения этого метода к определенным выражениям он принял вид метода М SLD-резолюции, который предоставил возможность осуществлять интерпретацию определенных выражений как про-
грамм [849-8 51]. Между тем в 1972 году французский исследователь Ален Колмерор разработал и реализовал Prolog в целях синтаксического анализа текста на естественном языке; первоначально выражения Prolog предназначались для использования в качестве правил контекстно-свободной грамматики [285], [1311]. Основная часть теоретических основ логического программирования разработана Ковальским в сотрудничестве с Колмерором. Семантическое определение с использованием наименьших фиксированных точек предложено Ван Эмденом и Ковальским [1530]. Ковальский и Коэн [274], [852] подготовили хорошие исторические обзоры истоков языка Prolog. Теоретический анализ основ языка Prolog и других языков логического программирования приведен в книге Foundations of Logic Programming [940].
Эффективные компиляторы Prolog главным образом основаны на модели абстрактной машины Уоррена (Warren Abstract Machine — WAM), разработанной Дэвидом Г.Д. Уорреном [1556]. Ван Рой [1536] показал, что благодаря применению дополнительных методов организации работы компилятора, таких как логический вывод типов, программы Prolog становятся способными конкурировать по быстродействию с программами С. Рассчитанный на 10 лет исследовательский проект создания компьютера пятого поколения, который был развернут в Японии в 1982 году, опирался полностью на язык Prolog, применяемый в качестве средства разработки интеллектуальных систем.
Методы предотвращения нежелательного зацикливания в рекурсивных логических программах были разработаны независимо Смитом и др. [1434], а также Тамаки и Сато [1487]. Кроме того, последняя статья включала данные о методе запоминания, предназначенном для логических программ, который интенсивно разрабатывался в качестве метода табулированного логического программирования Дэвидом С. Уорреном. Свифт и Уоррен [1483] показали, как дополнить машину WAM для обеспечения табуляции, что позволяет добиться быстродействия программ Datalog, превышающего на порядок быстродействие дедуктивных систем баз данных с прямым логическим выводом.
Первые теоретические работы по логическому программированию в ограничениях были выполнены Джаффаром и Лассе [722]. Джаффар и др. [723] разработали систему CLP(R) для обработки ограничений с действительными значениями. В [724] приведено описание обобщенной машины WAM, на основе которой создана машина CLAM (Constraint Logic Abstract Machine — абстрактная машина логики ограничений) для разработки спецификаций различных реализаций систем CLP. В [10] описан сложный язык Life, в котором методы CLP сочетаются с функциональным программированием и формированием рассуждений в логике наследования. В [820] описан перспективный проект использования логического программирования в ограничениях в качестве основы архитектуры управления в реальном времени, которая может применяться для создания полностью автоматических средств вождения самолетов (автопилотов).
Объем литературы по логическому программированию и языку Prolog очень велик. Одной из первых книг по логическому программированию явилась книга Logic for Problem Solving [851]. Языку Prolog посвящены, в частности, книги [175], [270] и [1405]. Превосходный обзор тематики CLP приведен в [987]. До его закрытия в 2000 году официальным журналом для публикаций в этой области был Journal of Logic Programming; теперь вместо него выпускается журнал Theory and Practice of Logic Programming. К числу основных конференций по логическому программированию
относятся International Conference on Logic Programming (ICLP) и International Logic Programming Symposium (ILPS).
Исследования в области автоматического доказательства математических теорем начались еще до того, как были впервые разработаны полные логические системы первого порядка. В разработанной Гербертом Гелернтером программе Geometry Theorem Prover [532] использовались методы эвристического поиска в сочетании с диаграммами для отсечения ложных подцелей; с помощью этой программы удалось обосновать некоторые весьма сложные результаты математических исследований в области евклидовой геометрии. Но с тех пор взаимодействие таких научных направлений, как автоматическое доказательство теорем и искусственный интеллект, не слишком велико.
На первых порах основные усилия ученых были сосредоточены на проблемах полноты. Вслед за появлением оригинальной статьи Робинсона в работах [1619] и [1620] были предложены правила демодуляции и парамодуляции для формирования рассуждений с учетом отношения равенства. Эти правила были также разработаны независимо в контексте систем перезаписи термов [811]. Внедрение средств формирования рассуждений с учетом отношения равенства в алгоритм унификации было осуществлено Гордоном Плоткиным [1217]; применение таких средств было также предусмотрено в языке Qlisp [1339]. В [752] приведен обзор средств унификации с учетом отношения равенства на основе процедур перезаписи термов. Эффективные алгоритмы для стандартной унификации были разработаны Мартелли и Монтанари [989], а также Патерсоном и Вегманом [1181].
Кроме средств формирования рассуждений с учетом отношения равенства, в программы автоматического доказательства теорем были включены всевозможные процедуры принятия решений специального назначения. В [1120] предложена получившая широкое распространение схема интеграции подобных процедур в общую схему формирования рассуждений; к другим методам относятся ‘‘резолюция теории” Стикеля [1462] и “специальные отношения” Манна и Валдингера [978].
Для метода резолюции был предложен целый ряд стратегий управления, начиная со стратегии предпочтения единичного выражения [1616]. В [1617] была предложена стратегия с использованием множества поддержки, которая позволяет обеспечить определенную целенаправленность резолюции. Линейная резолюция впервые была предложена в [948]. В [537, глава 5] приведен краткий, но исчерпывающий анализ всего разнообразия стратегий управления.
В [602] описана одна из первых программ автоматического доказательства теорем, Sam, которая позволила решить одну из открытых проблем в теории решеток. В [1621] приведен краткий обзор того, какой вклад был внесен с помощью программы автоматического доказательства теорем Aura в решение открытых проблем в различных областях математики и логики. Это описание продолжено в [1018], где перечислены достижения программы Otter, преемника программы Aura, в решении открытых проблем. В [1563] описана программа Spass— одна из сильнейших современных программ автоматического доказательства теорем. Основным справочником по программе автоматического доказательства теорем Бойера—Мура является книга A Computational Logic [165]. В [1463] рассматривается система PTTP (Prolog Technology Theorem Prover), в которой сочетаются преимущества компиляции Prolog с полнотой устранения моделей [947]. Еще одной широко применяемой программой автоматического доказательства теорем, основанной на этом подходе, является SETHEO [915]; она способна выполнять несколько миллионов логических выводов
в секунду на рабочих станциях модели 2000. Эффективной программой автоматического доказательства теорем, реализованной всего лишь в 25 строках на языке Prolog, является LeanTaP [91].
Одни из первых работ в области автоматизированного синтеза программ были выполнены Саймоном [1416], Грином [591], а также Манна и Валдингером [976]. В трансформационной системе Бурстолла и Дарлингтона [211] используется формирование рассуждений с учетом отношения равенства для синтеза рекурсивных программ. Одной из самых сильных современных систем является Kids [1435], [1436]; она действует в качестве помощника эксперта. В [979] приведено учебное введение с описанием современного состояния дел в этой области, в котором основное внимание уделено описанию собственного дедуктивного подхода этих авторов. В книге Automating Software Design [954] собрано множество статей из этой области. Обзор примеров использования логики в проектировании аппаратных средств приведен в [791]; в [267] рассматривается применение метода проверки по модели для диагностирования аппаратных средств.
Хорошим справочником по темам полноты и неразрешимости является книга Computability and Logic [150]. Многие ранние статьи в области математической логики можно найти в книге From Frege to Godel: A Source Book in Mathematical Logic [1532]. Официальным журналом для публикаций в области чистой математической логики (в отличие от автоматизированного дедуктивного логического вывода) является The Journal of Symbolic Logic. К числу учебников, посвященных автоматизированному дедуктивному логическому выводу, относятся классическая книга Symbolic Logic and Mechanical Theorem Proving [23 3], а также более новые работы [124], [776] и [1618]. Антология Automation of Reasoning [1408] включает много важных ранних статей по автоматизированному дедуктивному логическому выводу. Другие исторические обзоры приведены в [206] и [949]. Основным журналом для публикаций в области автоматического доказательства теорем является Journal of Automated Reasoning, а главной конференцией — ежегодно проводимая конференция Conference on Automated Deduction (CADE). Кроме того, исследования в области автоматического доказательства теорем тесно связаны с работами по использованию логики при анализе программ и языков программирования, которым посвящена основная конференция Logic in Computer Science.
Упражнения
Докажите на основании главных логических принципов, что процедура конкретизации с помощью квантора всеобщности является непротиворечивой и что процедура конкретизации с помощью квантора существования позволяет получить базу знаний, эквивалентную с точки зрения логического вывода.
Представляется вполне обоснованным утверждение, что из отдельного факта Likes к Jerry, IceCream) можно вывести высказывание Эх Likes (х, Icecream). Запишите общее правило логического вывода, правило ^введения квантора существования, позволяющее узаконить такой логический вывод. Тщательно сформулируйте условия, которым должны удовлетворять переменные и термы, участвующие в этом выводе.
Предположим, что база знаний содержит только одно высказывание, Зх AsHighAs (х, Everest). Какие из следующих фактов являются действительными результатами применения правила конкретизации с помощью квантора существования?
As Hi ghAs (Everes t, Everes t).
AsHighAs (Kilimanjaro, Everest).
AsHighAs (Kilimanjaro, Everest) a AsHighAs (BenNevis, Everest) (после двух применений).
Для каждой приведенной ниже пары атомарных высказываний укажите наиболее общий унификатор, если он существует.
Р(А,В,В), Р(х,у, z).
Q(y,G(A,B)),Q(G(x,x) , у).
Older(Father (у) , у), Older (Father (х) , John).
Knows (Father (у) , у), Knows (х, х).
Рассмотрите решетки обобщения, приведенные на рис. 9.1.
Составьте решетку для высказывания Employs (Mother (John) , Father(Richard)).
Составьте решетку для высказывания Employs (IBM, у) (“Компания IBM является нанимателем для всех”). Не забудьте включить запрос любого рода, который унифицируется с этим высказыванием.
Предположим, что функция Store индексирует каждое высказывание под каждым узлом в его решетке обобщения. Объясните, как должна работать функция Fetch, если некоторые из этих высказываний содержат переменные; воспользуйтесь в качестве примера высказываниями, приведенными в упр. 9.5, а и 9.5, б, а также запросом Employs (х, Father (х) ).
Предположим, что в логическую базу данных помещена часть данных переписи населения США с указанием возраста, города проживания, даты рождения и имени матери каждого лица, с использованием номеров карточек социального страхования в качестве идентифицирующих констант для каждого лица. Таким образом, например, возраст Джорджа задается выражением Аде(443- 65-1282,56). Какая из приведенных ниже схем индексации S1-S5 позволяет эффективно находить ответы на каждый из запросов Q1-Q4 (при условии, что применяется обычный метод обратного логического вывода)?
• Схемы индексации.
S1. Индекс для каждого атомарного терма в каждой позиции.
S2. Индекс для каждого первого параметра.
S3 . Индекс для каждого атомарного терма предиката.
S4. Индекс для каждой комбинации предиката и первого параметра.
S5. Индекс для каждой комбинации предиката и второго параметра и индекс для каждого первого (нестандартного) параметра.
Запросы.
Q1.Аде(443-44-4321,х).
Q2. Residesln(х,Houston).
Q3. Mother кх, у).
Q4.Age(x,34) a Resideslnkx, TinyTownUSAV
9Л. Можно было бы предположить, что стандартизация раз и навсегда отличий всех высказываний в базе знаний позволяет избежать проблемы конфликта переменных при унификации в процессе обратного логического вывода. Покажите, что для некоторых высказываний этот подход не применим. (Подсказка. Рассмотрите высказывание, одна часть которого унифицируется с другой.)
Объясните, как записать любую конкретную формулировку задачи 3-SAT произвольного размера с использованием единственного определенного выражения первого порядка и не больше 30 базовых фактов.
Запишите логические представления для приведенных ниже высказываний, применимые для использования с обобщенным правилом отделения.
Лошади, коровы и свиньи — млекопитающие.
Рожденный лошадью — лошадь.
Блюбёрд — лошадь.
Блюбёрд — родитель Чарли.
Отношения “быть рожденным” и “быть родителем” — обратные.
Каждое млекопитающее имеет родителя.
В этом упражнении для получения ответов на вопросы с помощью алгоритма обратного логического вывода используются высказывания, записанные при решении упр. 9.9.
Нарисуйте дерево доказательства, сформированное исчерпывающим алгоритмом обратного логического вывода для запроса 3h Horse {h} (“Существует некоторая лошадь”), в котором выражения согласуются в указанном порядке.
Какие особенности этой проблемной области вы обнаружили?
Какое количество решений для h фактически следует из ваших высказываний?
Можете ли вы предложить способ поиска всех этих решений? (Подсказка. Вам может потребоваться обратиться к [1434].)
Одной из известных детских английских загадок является следующая: “Brothers and sisters have I none, but that man’s father is my father’s son” (Братьев и сестер у меня нет, но отец этого человека — сын моего отца). С использованием правил из области семейных отношений (глава 8) определите, кто этот человек, о котором говорится в загадке. Вы можете применять любые методы логического вывода, описанные в этой главе. Почему, по вашему мнению, эту загадку трудно отгадать сразу?
Проследите за выполнением алгоритма обратного логического вывода, приведенного в листинге 9.3, при его применении для решения задачи доказательства преступления. Покажите, какую последовательность значений принимает переменная goals, и расположите эти значения в виде дерева.
Приведенный ниже код Prolog определяет предикат р:
Р(Х, [X I Y] ) .
Р (X, [YIZ] ) :- Р(Х, Z) .
Покажите деревья доказательства и решения для запросов р (А, [1,2,3]) и Р(2, [1, А, 3] ).
Какую стандартную операцию со списками представляет предикат Р?
й В этом упражнении рассматривается применение сортировки в языке Prolog.
Напишите выражения Prolog, которые определяют предикат sorted (L), принимающий истинное значение тогда и только тогда, когда список L отсортирован в возрастающем порядке.
Напишите на языке Prolog определение предиката perm (L, М), который принимает истинное значение тогда и только тогда, когда L — перестановка м.
Определите предикат sort (L,M) (м— отсортированная версия L) с использованием предикатов perm и sorted.
Применяйте предикат sort ко все более длинным и длинным спискам, пока вам это не надоест. Какова временная сложность вашей программы?
Реализуйте на языке Prolog более быстрый алгоритм сортировки, такой как сортировка вставкой (insert sort) или быстрая сортировка (quicksort).
й В этом упражнении рассматривается рекурсивное применение правил перезаписи с использованием логического программирования. Правилом перезаписи (или демодулятором, в терминологии программы Otter) является уравнение с указанным направлением применения. Например, правило перезаписи х+0—>х указывает, что любое выражение, которое согласуется с х+0, должно заменяться выражением х. Средства применения правил перезаписи составляют центральную часть систем формирования рассуждений с учетом отношения равенства. Для представления правил перезаписи мы будем использовать предикат rewrite (X, Y). Например, приведенное выше правило перезаписи может быть представлено как rewrite (Х+0, X). Некоторые термы являются примитивными и не могут подвергаться дальнейшим упрощениям, поэтому мы будем использовать запись primitive (0) для указания на то, что 0 — примитивный терм.
Запишите определение предиката simplify (X,Y), который принимает истинное значение, если Y — упрощенная версия X, т.е. к каким-либо подвыражениям Y больше не применимы какие-либо правила перезаписи.
Запишите коллекцию правил перезаписи для упрощения выражений, в которых применяются арифметические операторы, и примените ваш алгоритм упрощения к некоторым примерам выражений.
Запишите коллекцию правил перезаписи для символического дифференцирования и примените их наряду с определенными вами правилами упрощения для дифференцирования и упрощения выражений, в которых есть арифметические выражения, включая возведение в степень.
В этом упражнении рассматривается реализация алгоритмов поиска на языке Prolog. Предположим, что предикат successor(X,Y) принимает истинное значение, если состояние Y является преемником состояния X, и что предикат goal (X) принимает истинное значение, если X— целевое состояние. Запишите определение для предиката solve(Х,Р), который означает, что Р — путь (список состояний), начинающийся отх, оканчивающийся в целевом
состоянии и состоящий из последовательности допустимых шагов, которые определены предикатом successor. Вы обнаружите, что простейшим способом решения этой задачи является поиск в глубину. Насколько легко будет ввести эвристическое управление поиском?
Как можно воспользоваться методом резолюции для демонстрации того, что некоторое высказывание является общезначимым? Невыполнимым?
Из высказывания “Лошади — животные” следует, что “голова лошади — голова животного”. Продемонстрируйте, что этот логический вывод является допустимым, выполнив приведенные ниже этапы.
Преобразуйте предпосылку и вывод этого высказывания в язык логики первого порядка. Воспользуйтесь тремя предикатами: HeadOf (h, х) (который означает, что “Л — голова х”), Horse (х) и Animal (х).
Примените отрицание к заключению и преобразуйте предпосылку и отрицаемое заключение в конъюнктивную нормальную форму.
Воспользуйтесь правилом резолюции, чтобы показать, что заключение следует из предпосылки.
Ниже приведены два высказывания на языке логики первого порядка.
Vx Зу ( х > у )
Зу Vx ( х > у )
Допустим, что переменные пробегают по всем натуральным числам 0,1,2,...,ооичто предикат>означает “больше или равно”. При использовании такой интерпретации переведите высказывания А и в на естественный язык.
Является ли высказывание А истинным при этой интерпретации?
Является ли высказывание В истинным при этой интерпретации?
Является ли в логическим следствием А?
Является ли А логическим следствием в?
С использованием правила резолюции попытайтесь доказать, что А следует из В. Сделайте эту попытку, даже если вы считаете, что А не следует логически из В; продолжайте свои усилия до тех пор, пока доказательство не оборвется и вы не сможете продолжать дальше (поскольку оно оборвалось). Покажите унифицирующую подстановку для каждого этапа резолюции. Если доказательство окончилось неудачей, точно объясните, где, как и почему оно оборвалось.
А теперь попытайтесь доказать, что В следует из А.
Метод резолюции способен вырабатывать неконструктивные доказательства для запросов с переменными, поэтому приходится вводить специальные механизмы для извлечения только определенных ответов. Объясните, почему такая проблема не возникает при использовании баз знаний, содержащих только определенные выражения.
В этой главе было указано, что метод резолюции не может использоваться для формирования всех логических следствий из некоторого множества высказываний. Позволяет ли какой-то другой алгоритм решить эту задачу?
10 Представление ЗНАНИЙ
В этой главе показано, как использовать логику первого порядка для представления наиболее важных аспектов реального мира, таких как действия, пространство, время, мыслимые события, а в качестве примера описано осуществление покупок.
В предыдущих трех главах была описана технология агентов, основанных на знаниях: синтаксис, семантика и теория доказательства для пропозициональной логики и логики первого порядка, а также реализация агентов, в которых применяются эти варианты логики. В данной главе рассматривается вопрос о том, какое информационное наполнение следует поместить в базу знаний такого агента, т.е. как представлять факты о мире.
В разделе 10.1 описывается идея общей онтологии, которая позволяет организовать все, что существует в мире, в виде иерархии категорий. В разделе 10.2 рассматриваются основные категории объектов, веществ и мер. В разделе 10.3 обсуждаются способы представления для действий, которые играют центральную роль в создании агентов, основанных на знаниях, а также раскрывается более общее понятие событий, или пространственно-временных фрагментов. В разделе 10.4 излагаются знания об убеждениях, а в разделе 10.5 все эти знания переводятся в контекст среды осуществления покупок в Internet. В разделах 10.6 и 10.7 рассматриваются специализированные системы формирования рассуждений для представления неопределенных и изменяющихся знаний.
Онтологическая инженерия
В “учебных”, экспериментальных проблемных областях выбор представления не столь важен; для них несложно найти подходящий словарь. С другой стороны, для таких сложных проблемных областей, как осуществление покупок в Internet или управление роботом в изменяющейся физической среде, требуются более общие и гибкие способы представления. В настоящей главе показано, как создать такие представления, сосредоточиваясь на общих понятиях (таких как действия, время, физические объекты и убеждения), которые проявляются во многих разных про-
блемных областях. Способы представления таких абстрактных понятий иногда называют ^ онтологической инженерией; процесс применения этих способов связан с процессом инженерии знаний, описанным в разделе 8.4, но разворачивается в больших масштабах.
Попытка формально представить все, что существует в мире, была бы бесперспективной. Безусловно, нам не требуется фактически составлять полное описание всего, что существует в мире (требуемый для этого объем изложения был бы слишком велик даже для учебника с 1000 страниц), но мы можем оставить свободные места, в которые будут укладываться новые знания о любой проблемной области. Например, мы определим, что подразумевается под понятием физический объект, а описания подробных сведений о различных типах объектов (роботах, телевизорах, книгах или о чем-то другом) оставим на будущее. Такая общая инфраструктура понятий называется ^ верхней онтологией, поскольку принято соглашение составлять схемы онтологии, помещая общие понятия в верхней части, а более конкретные понятия — под ними, как показано на рис. 10.1.
AnythingAnythingAbstractobjectsAbstractobjectsNumbers RepresentationalObjectsNumbers RepresentationalObjectsGeneralized EventsGeneralized EventsSetsSetsSentences MeasurementsSentences MeasurementsCategoriesCategoriesTimes WeightsTimes WeightsHumansHumans
Anything
Anything
Abstractobjects
Abstractobjects
Numbers RepresentationalObjects
Numbers RepresentationalObjects
Generalized Events
Generalized Events
Sets
Sets
Sentences Measurements
Sentences Measurements
Categories
Categories
Times Weights
Times Weights
Humans
Humans
Puc. 10.1. Верхняя онтология мира, в которой показаны темы, рассматриваемые ниже в данной главе. Каждая дуга указывает на нижнее понятие, которое является уточнением верхнего
Прежде чем приступить к более подробному обсуждению онтологии, необходимо высказать одно важное предостережение. Мы решили использовать логику первого порядка для обсуждения содержания и организации знаний. Но некоторые аспекты реального мира трудно представить в логике первого порядка. Основная сложность состоит в том, что почти все обобщения имеют исключения или соблюдаются только до определенной степени. Например, хотя правило “помидоры имеют красный цвет” является достаточно удобным, некоторые помидоры имеют зеленый, желтый или оранжевый цвет. Аналогичные исключения можно указать применительно почти ко всем общим утверждениям из этой главы. Способность учитывать исключения и неопределенность является чрезвычайно важной, но она ортогональна задаче понимания общей онтологии. По этой причине мы отложим обсуждение исключений до раздела 10.6, а более общей темы неопределенной информации — до главы 13.
Для чего может применяться верхняя онтология? Еще раз рассмотрим онтологию электронных схем, описанную в разделе 8.4. В ней принято большое количество упрощающих допущений. Например, полностью исключено понятие времени. Сигналы являются постоянными и не распространяются. Структура схемы остается неизменной. А если бы потребовалось сделать эту онтологию более общей, то нужно было бы учитывать, какие значения сигналы имеют в конкретные моменты времени, а также вводить данные о длине проводников и задержках распространения. Это позволило бы моделировать временнь/е свойства схемы, и такое моделирование действительно часто осуществляется проектировщиками схем. Кроме того, можно было бы ввести более широкий перечень интересующих классов электронных элементов, например, описывая технологию (ТТЛ, МОП, КМОП и т.д.), а также спецификацию ввода-вывода. Если же нам потребовалось бы обсуждать надежность или проводить диагностику, то необходимо было бы учесть возможность неконтролируемого изменения структуры схемы или свойств электронных элементов. Чтобы учесть паразитные емкости, нужно было бы перейти от чисто топологического представления связей к более реалистичному описанию геометрических свойств.
Рассматривая мир вампуса, можно прийти к аналогичным выводам. Хотя в описание этого мира включено время, оно имеет очень простую структуру: в мире ничего не происходит, кроме действий агента, а все изменения осуществляются мгновенно. Более общая онтология, которая лучше подходила бы для описания реального мира, должна была бы позволить синхронным изменениям распространяться во времени. Кроме того, для представления информации о том, в каких квадратах имеются ямы, использовался предикат Pit. Но можно было бы разрешить применять ямы разных типов, определив несколько объектов, принадлежащих к конкретному классу ям, каждый из которых характеризуется разными свойствами. Кроме того, в этом мире могла быть предусмотрена возможность обеспечить существование других животных, кроме вампусов. В таком случае не было бы возможности точно определять вид встретившегося животного из доступных результатов восприятия, поэтому потребовалось бы разработать биологическую таксономию для мира вампуса, позволяющую агенту прогнозировать оптимальное поведение на основании скупой информации.
При использовании любой онтологии специального назначения существует возможность вносить изменения, подобные этим, для перехода к большей общности. В таком случае возникает очевидный вопрос — сходятся ли все эти онтологии к некоторой онтологии общего назначения? По истечении целых столетий философских и математических исследований на этот вопрос был дан лишь один ответ — “Возможно”. В данном разделе представлена одна из таких версий, воплощающая в себя синтез идей, собранных в течение многих веков. Онтологии общего назначения обладают двумя описанными ниже основными особенностями, которые отличают их от коллекций отдельных онтологий специального назначения.
Любая онтология общего назначения должна быть в большей или меньшей степени применимой для любой специализированной проблемной области (с добавлением аксиом конкретной проблемной области). Это означает, что в ней по мере возможности не следует ни детализировать, ни скрывать какие- либо вопросы конкретного представления.
В любой проблемной области, характеризующейся достаточно высокой значимостью, различные области знаний должны быть унифицированы, поскольку процессы формирования рассуждений и решения задач могут включать сразу несколько направлений одновременно. Например, в системе ремонта электронных схем робота необходимо формировать рассуждения и о самих схемах, с точки зрения состояния электрических соединений и физической компоновки, и о времени, поскольку последнее требуется для анализа временных свойств схем и оценки необходимых затрат труда на ремонт. Поэтому высказывания с описанием времени должны быть применимыми для комбинирования с высказываниями, описывающими пространственную компоновку, и одинаково хорошо представлять не только наносекунды и минуты, но и ангстремы и метры.
После представления в этой главе общей онтологии мы применим ее для описания проблемной области осуществления покупок в Internet. Эта проблемная область чрезвычайно хорошо подходит для упражнений в области онтологии, а также оставляет для читателя большой простор, чтобы он мог сам создавать творческие представления знаний. Достаточно представить себе, например, что агент для осуществления покупок в Internet должен знать о бесчисленном множестве тем и авторов, чтобы покупать книги на узле Amazon.com, владеть информацией о всевозможных сортах пищевых продуктов, чтобы покупать бакалейные товары на узле Peapod. com, а также иметь сведения обо всем, что можно найти на дешевой распродаже, чтобы не упустить выгодные сделки на узле Ebay. com.
Категории и объекты
Крайне важной частью любого способа представления знаний является классификация объектов по М категориям. Хотя взаимодействие с миром происходит на уровне отдельных объектов, ^ формирование рассуждений в основном происходит на уровне категорий. Например, покупатель может иметь перед собой цель купить хотя бы какой-то баскетбольный мяч, а не конкретный баскетбольный мяч, допустим, обозначенный номером ВВ9. Кроме того, категории позволяют многое предсказывать в отношении объектов после того, как эти объекты вошли в состав классификации. При этом делается заключение о наличии некоторых объектов на основании сенсорных входных данных, определяется принадлежность к категории из воспринятых свойств объектов, а затем информация о категории используется для составления прогнозов, касающихся этих объектов. Например, на основании того, что некоторый объект имеет зеленый цвет, полосатую поверхность, большой размер и круглую форму, можно сделать вывод, что это — арбуз, а исходя из этого заключить, что данный объект подходит для использования в качестве сладкого десерта.
Для представления категорий в логике первого порядка могут применяться два основных способа: представление с помощью предикатов или с помощью объектов. Это означает, что для этого можно либо применить предикат, такой как Basketball (Ь),
либо овеществить всю категорию баскетбольных мячей в виде некоторого объекта — множества баскетбольных мячей Basketballs. После этого можно сформировать высказывание Member kb, Basketballs') (которое мы будем сокращенно записывать как b е Basketballs) в качестве утверждения, что Ь — элемент категории баскетбольных мячей. Высказывание Subset {Basketballs, Balls) (сокращенно обозначаемое как Basketballs с Balls) может применяться в качестве утверждения, что Basketballs — подкатегория, или подмножество мячей Balls. Поэтому любую категорию можно рассматривать как множество элементов или считать ее более сложным объектом и полагать, будто просто так оказалось, что для этого объекта определены отношения Member и Subset.
Категории служат для организации и упрощения базы знаний с помощью ^ наследования. Если известно, что все экземпляры категории Food (пища) съедобны, и сформулировано утверждение, что Fruit (фрукты) — это подкласс класса Food, a Apples (яблоки) — подкласс класса Frui t, то становится известно, что каждое яблоко съедобно. Это определение формулируется таким образом, что отдельные яблоки наследуют свойства съедобности, в данном случае в силу своей принадлежности к категории Food.
Отношения между классами и подклассами позволяют организовывать категории в виде некоторой ^ таксономии, или таксономической иерархии. Явно заданные таксономии использовались в прикладных науках в течение многих столетий. Например, предметом систематической биологии является создание таксономии для всех существующих и исчезнувших видов; в библиографии разработана таксономия всех областей знаний, закодированная в виде десятичной системы Дьюи; а налоговые органы и другие правительственные организации разработали обширные таксономии профессий и коммерческих товаров. Кроме того, таксономия представляет собой важный аспект общих повседневных знаний.
С другой стороны, логика первого порядка позволяет легко формулировать факты о категориях, либо связывая объекты с категориями, либо применяя кванторы к их элементам, как описано ниже.
Любой объект — элемент некоторой категории, например:
ВВ9 е Basketballs
Любая категория — подкласс другой категории, например: Basketballs с Balls
Все элементы категории имеют некоторые свойства, например:
х е Basketballs => Round{x)
Элементы категории могут быть распознаны по некоторым свойствам, например:
Orange{х) л Round(х) л Diameter{х) = "9.5" л х е Balls х € Basketballs
Вся категория в целом имеет некоторые свойства, например:
Dogs е DomesticatedSpecles
Обратите внимание на то, что Dogs (Собаки) — и категория, и элемент категории DomesticatedSpecies (Домашние животные), поэтому последняя должна быть
категорией категорий. Могут даже существовать категории категорий категорий, но область их применения не так уж велика.
Хотя отношения между подклассами и классами, а также между элементами и множествами являются для категорий наиболее важными, необходимо также иметь возможность формулировать отношения между категориями, которые не являются подклассами друг друга. Например, если будет отмечено, что Males (Самцы) и Females (Самки) — подклассы класса Animals (Животные), то этим не будет сказано, что ни один самец не может одновременно быть самкой. Две или несколько категорий являются ^ непересекающимися, если они не имеют общих элементов. И даже если известно, что категории самцов и самок не пересекаются, на этом основании нельзя утверждать, что животное, не являющееся самцом, должно быть самкой, если не сформулировано дополнительное утверждение, что самцы и самки образуют ^ исчерпывающую декомпозицию категории животных. Непересекающую- ся исчерпывающую декомпозицию принято называть М сегментацией. Эти три понятия иллюстрируются в приведенных ниже примерах.
Disjoint ({Animals, Vegetables})
Exhaus tiveDecompos itionк{Americans, Canadians,Mexicans}, NorthAmericans)
Parti tion ({Males, Females}, Animals')
(Обратите внимание на то, что исчерпывающая декомпозиция ExhaustiveDecomposition североамериканцев Nor thAmerleans не является сегментацией Partition, поскольку некоторые люди имеют двойное гражданство.) Эти три предиката определены следующим образом:
Disjoint ks) <^ k^ci,c2 cies a c2es л ci*c2 => Intersection (ci, c2) = {}) ExhaustiveDecompositionкs, c) <=> (V i iec <^ 3c2 c2es л iec2) Partitionks, c) <=> Disjointks) л Exhaus tiveDecompos it ion к s, c)
Категории могут быть также определены путем указания необходимых и достаточных условий принадлежности к ним. Например, холостяк— это неженатый взрослый мужчина:
х G Bachelors <=> Unmarriedkx) л х G Adults л х G Males
Как описано во врезке “Естественные разновидности”, строгие логические определения для категорий либо не всегда возможны, либо не всегда необходимы.
Физическая композиция
Идея о том, что один объект может составлять часть другого, для нас весьма привычна. Нос — это часть лица, Румыния — часть Европы, а данная глава — часть настоящей книги. Для указания на то, что одна вещь является частью другой, используется общее отношение PartOf. Объекты могут группироваться в иерархии PartOf, напоминающие иерархию Subset (подмножество), например, как показано ниже.
PartOf к Bucharest, Romania)
Par tof к Romania, EasternEurope)
PartOf к Eas ternEurope,Europe)
PartOfк Europe,Earth)
Отношение PartOf является транзитивным и рефлексивным, т.е. для него справедливы следующие высказывания:
PartOf кх, у) л PartOf ку, z) => PartOf kx,z)
PartOf kx, x)
Поэтому можно сделать вывод, что PartOf kBucharest, Earth).
Категории ^ составных объектов часто характеризуются структурными отношениями между частями. Например, любое двуногое имеет две и только две ноги, прикрепленные к телу:
Bipedka) => Bli,l2,b Legkli) a Legk^) л Bodykb) л
PartOf kh, а) л PartOf к12, а) л PartOf kb, а) л
At tached к li, b) л Attached к I2 / b) л
21^22 л [V23 Legkl}) a PartOf (23, a) => (23 = 2i v 23 = 22) ]
Применяемая здесь система обозначения понятия “две и только две” является довольно громоздкой; мы были вынуждены указать, что ног две, что ноги не являются одинаковыми и что если кто-то из двуногих будет утверждать, что у него есть третья нога, она в конечном итоге окажется одной из его двух ног. В разделе 10.6 будет показано, что формальная система, называемая описательной логикой, позволяет проще представить ограничения типа “две и только две”.
Для категорий может быть определено отношение PartPartition, аналогичное отношению Partition (см. упр. 10.6). Любой объект состоит из частей, принадлежащих к его категориям PartPartition, и может рассматриваться как получающий некоторые свойства от собственных частей. Например, масса составного объекта — это сумма масс его частей. Обратите внимание на то, что это утверждение не распространяется на категории, не имеющие массы, даже если эти категории состоят из элементов, обладающих массой.
Кроме того, целесообразно определить составные объекты, имеющие различимые части, но не имеющие конкретной структуры. Например, может потребоваться сформулировать утверждение: “Яблоки в этой сумке весят два килограмма”. Может возникнуть соблазн приписать этот вес множеству яблок в сумке, но это было бы ошибкой, поскольку множество — это абстрактное математическое понятие, которое имеет элементы, но не имеет веса. Вместо этого необходимо ввести новое понятие, которое мы будем именовать ^ совокупностью (BunchOf). Например, если три яблока обозначены как App2e1? Apple2 и Арр1е3, то выражение
BunchOf к {Applei, Apple2, Applet )
обозначает составной объект, частями (а не элементами) которого являются три яблока. Затем эта совокупность может использоваться как обычный, хотя и не структурированный объект. Обратите внимание на то, что BunchOf к {х}) = х. Кроме того, BunchOf к Apples) — это составной объект, состоящий из всех яблок, но его не следует путать с объектом Apples — категорией или множеством всех яблок.
Определим понятие BunchOf в терминах отношения PartOf. Очевидно, что каждый элемент множества s — это часть объекта BunchOf (s):
Vx х е s => PartOf kx, BunchOf кs) )
Более того, BunchOf (s) — это наименьший объект, удовлетворяющий данному условию. Иными словами, BunchOf (s) должен быть частью любого объекта, который включает все элементы множества s в качестве части:
Vy [Vx х Е s ^> PartOf(xty)] => PartOf (BunchOf (s) , у)
Эти аксиомы представляют собой пример общего метода, называемого ^ логической минимизацией, с помощью которого любой объект может быть определен как наименьший объект, удовлетворяющий определенным условиям.
Естественные разновидности
Некоторые категории имеют строгие определения, например, некоторый объект рассматривается как треугольник тогда и только тогда, когда он является многоугольником с тремя сторонами. С другой стороны, большинство категорий в реальном мире не имеют четких определений; они называются категориями М естественных разновидностей. Например, помидоры, как правило, имеют красный цвет; их форма приближается к шарообразной; там, где в верхней части был черенок, остается углубление; диаметр их составляет примерно от пяти до десяти сантиметров; кожица тонкая, но прочная; внутри находятся мякоть, семена и сок. Тем не менее существуют экземпляры, не совсем подходящие под это описание: некоторые помидоры — оранжевые, незрелые помидоры — зеленые, бывают помидоры больше или меньше среднего, а все помидоры-сливки одинаково малы. Вместо наличия полного определения помидоров мы имеем дело с набором характеристик, позволяющих выявлять объекты, которые, безусловно, представляют собой типичные помидоры, но могут не позволить отличить их от других объектов. (Может быть, скоро появятся даже помидоры, покрытые пушком, как персики?)
В связи с этим перед любым логическим агентом возникает проблема. Агент не может быть уверен в том, что некоторый объект, ставший предметом его восприятия, действительно является помидором, и даже если бы он был уверен в этом, то не смог бы с уверенностью утверждать, какими свойствами типичных помидоров обладает данный объект. Эта проблема является неизбежным следствием того, что агенту приходится действовать в частично наблюдаемых вариантах среды.
Один из полезных подходов состоит в том, что нужно отделить сведения, истинные для всех экземпляров некоторой категории, от сведений, истинных только для типичных экземпляров. Поэтому, кроме категории Tomatoes, необходимо также предусмотреть категорию Typical (Tomatoes). Здесь функция Typical отображает категорию на подкласс, который содержит только типичные экземпляры:
Typical(с) с с
Основной объем знаний об естественных разновидностях фактически относится к их типичным экземплярам:
х е Typical (Tomatoes) => Red(x) д Round(x)
Таким образом, мы получаем возможность формулировать полезные факты о категориях без точных определений.
Сложности подготовки точных определений для большинства естественных категорий были глубоко исследованы Виттгенштейном [1608] в его книге Philosophical Investigations. Он использовал пример с играми, чтобы показать, что элементы любой категории обладают, скорее, “семейным сходством”, а не необходимыми и достаточными для их классификации характеристиками.
Полезность понятия строгого определения была также поставлена под сомнение Квайном [1252], который указал, что небесспорно даже определение “холостяка” как неженатого взрослого мужчины. Например, вряд ли является корректным такое утверждение, что “Папа Римский — холостяк”. Хотя это утверждение, строго говоря, не является ложным, сам способ употребления в нем несовместимых слов, безусловно, не заслуживает одобрения, поскольку вызывает у слушателя нежелательные ассоциации. Возможно, указанную проблему можно было бы решить, проводя различия между логическими определениями, подходящими для внутреннего представления знаний, и более утонченными критериями, касающимися корректного лингвистического словоупотребления. Последней цели можно было бы достичь, “фильтруя” утверждения, полученные после достижения первой. Кроме того, возможно, что неудачные результаты при лингвистической проверке правильности словоупотребления могут использоваться в качестве обратной связи для модификации внутренних определений, чтобы такая фильтрация стала ненужной.
Меры
И в научных, и в обыденных теориях мира объекты имеют высоту, массу, стоимость и т.д. Значения, применяемые для оценки этих свойств, называются Амерами. Обычные количественные меры можно представить довольно легко. Предположим, что вселенная включает абстрактные “объекты мер”, такие как длина, которая представляет собой длину следующего отрезка прямой: I1. Этот объект можно назвать
отрезком с длиной 1,5 дюйма, или 3,81 сантиметра. Поэтому одна и та же длина может иметь в естественном языке разные имена. С точки зрения логики такую особенность можно учесть, комбинируя М функцию единиц измерения с числом (альтернативная схема рассматривается в упр. 10.8). Если приведенному выше отрезку прямой присвоено имя Lx, то можно записать следующее:
Length(Li) = Inches(1.5) = Centimeters(3.81)
Преобразование из одних единиц измерения в другие осуществляется путем приравнивания кратных значений одной единицы другой:
Centimeters(2.54 х d) = Inches(d)
Аналогичные аксиомы могут быть записаны для фунтов и килограммов, секунд и суток, долларов и центов. Меры могут использоваться для описания объектов следующим образом:
Diameter (.Basketballs) = Inches(9.5)
ListPrice(Basketballs) = $(19)
d e Days => Duration (d) = Hours (24)
Обратите внимание на то, что $ (1) — это не долларовая купюра! Некто может иметь две долларовые купюры, но существует только один объект с именем $ (1).
Следует также отметить, что объекты Inches кО') и Centimeters(0) обозначают одну и ту же нулевую длину, но не идентичны другим нулевым мерам, таким как Seconds(0).
Простые, количественные меры можно представить легко, а проблема представления других мер становится более сложной, поскольку для них не предусмотрена согласованная шкала значений. Упражнения характеризуются сложностью, десерты — тонким вкусом, а стихи — красотой, но эти качества не могут быть обозначены числами. Можно было бы, стремясь к полной описуемости всего, отказаться от этих свойств как бесполезных с точки зрения логических рассуждений, или, что еще хуже, попытаться оценить красоту по числовой шкале. Но такое решение было бы грубой ошибкой, поскольку оно отнюдь не является необходимым. Наиболее важным свойством мер являются не конкретные числовые значения, а тот факт, что меры могут быть упорядочены.
Хотя многие меры не являются числами, все еще остается возможность сравнивать их с помощью некоторого символа упорядочения, такого как >. Например, можно предположить, что упражнения, составленные Норвигом, — более трудные, чем составленные Расселом, и что сложные упражнения не позволяют добиться высоких оценок, как показано ниже.
ei G Exercises л е2 G Exercises л Wrote kNorvig, ei) л Wrote kHussell t e-^ => Difficul tyk ei) > Difficul ty (e2)
ei e Exercises л e2 G Exercises л Difficul tyk ei) > Difficul tyk e2) => ExpectedScoreke^ < ExpectedScoreкe2)
Этого достаточно, чтобы можно было принять решение о том, какие упражнения следует выбирать на экзаменах, даже несмотря на то, что для оценки их сложности не использовались какие-либо числовые значения (тем не менее для этого необходимо иметь возможность определить, кем составлены те или иные упражнения). Такого рода монотонные связи между мерами образуют основу для качественной физики— одного из направлений искусственного интеллекта, в котором изучаются способы формирования рассуждений о физических системах без погружения в числовые расчеты и подробные уравнения. Качественная физика обсуждается в разделе с историческими заметками.
Вещества и объекты
Реальный мир может рассматриваться как составленный из примитивных объектов (частиц) и сложных объектов, состоящих из примитивных. Проведение рассуждений на уровне больших объектов, таких как яблоки и автомобили, позволяет преодолеть сложности, связанные с учетом бесконечных количеств примитивных объектов, отдельно взятых. Тем не менее существует значительная часть реальности, которая, по-видимому, не поддается никаким явным попыткам индивидуализации — деления на отдельные объекты. Мы присвоим этой части мира универсальное имя— Мвещество. Например, предположим, что перед исследователем находится немного масла и муравьед. Аналитик может утверждать, что перед ним один муравьед, но не в состоянии указать какое-то явное количество “масло-объектов”, поскольку любая часть масло-объекта — это также масло-объект, по крайней мере, до тех пор, пока не удастся дойти действительно до очень мелких его частей. В этом и состоит основное различие между веще-
ствами и объектами. Две половинки муравьеда, разрезанного пополам, уже нельзя, к сожалению, назвать двумя муравьедами.
Во многих языках, в том числе в английском, проводится четкое различие между веществами и объектами. Например, в нем можно употребить неопределенный артикль со словом “муравьед” — “an aardvark”, но нигде, кроме претенциозных калифорнийских ресторанов, не приходится слышать выражение “a butter”, обозначающее порцию масла. Лингвисты проводят различие между ^ исчисляемыми существительными, такими как муравьеды, ямы и теоремы, и М неисчисляемыми существительными, такими как масло, вода и энергия. Разработано несколько конкурирующих онтологий, которые претендуют на то, что в них учитывается это различие. В данной главе будет описана только одна из них, а остальные рассматриваются в разделе с историческими заметками.
Чтобы правильно представить понятие вещества, начнем с очевидных соображений. Нам необходимо иметь в своей онтологии в качестве объектов, по меньшей мере, достаточно большие “куски” вещества, чтобы описать способы взаимодействия с этими объектами. Например, в качестве куска масла можно было бы рассматривать то масло, которое осталось на столе от вчерашнего ужина; его можно собрать, взвесить, продать или проделать какие-то другие действия. В этом смысле кусок масла представляет собой объект, полностью аналогичный муравьеду. Назовем его Butter3. Кроме того, определим категорию Butter. Неформально всеми его элементами будут такие объекты, о которых можно сказать “Это — масло”, включая Butter3. Если не учитывать некоторые предостережения об очень малых частях вещества, которые мы пока не рассматриваем, то любая часть масло-объекта также представляет собой масло-объект:
х е Butter л PartOf (у, х) => у е Butter
Теперь мы можем утверждать, что масло плавится при температуре около 30 градусов по Цельсию:
х е Butter => MeltingPoint(х, Centigrade(30))
Продолжая его описание, можно сказать, что масло — желтое, имеет плотность меньше воды, размягчается при комнатной температуре, содержит много жиров и т.д. С другой стороны, масло не имеет конкретного размера, формы или веса. Могут быть определены более специализированные категории масла, такие как Unsal tedButter (Несоленое масло), которые также представляют собой разновидность вещества. С другой стороны, категория PoundOfBut ter (Фунт масла), которая включает в качестве элементов все масло-объекты, весящие один фунт, не является веществом! Если мы разрежем фунт масла пополам, то, к сожалению, не получим два фунта масла.
В этом анализе фактически обнаружилось следующее: существуют некоторые свойства, которые являются М внутренними, — они принадлежат к каждой части объекта, а не к самому объекту в целом. Разрезав кусок вещества пополам, получим две части, обладающие одним и тем же набором внутренних свойств, таких как плотность, точка кипения, запах, цвет, принадлежность и т.д. С другой стороны, ^ внешние свойства прямо противоположны — вес, длина, форма, назначение и пр. не сохраняются после разделения на части.
Поэтому тот класс объектов, который включает в свое определение только внутренние свойства, обозначается качественными, или неисчисляемыми существительными, а класс, который включает в свое определение только внешние свойства, обозначается количественными, или исчисляемыми существительными. Категория Stuff — это наиболее общая категория вещества, в которой не задаются какие-либо внутренние свойства, а категория Thing — это наиболее общая категория различимых объектов, в которой не задаются какие-либо внешние свойства. Все физические объекты принадлежат к обеим категориям, поэтому эти категории коэкстенсивны (равнообъемны) — они относятся к одним и тем же сущностям.
Действия, ситуации и события
Формирование рассуждений о результатах действий является центральным звеном в функционировании агента, основанного на знаниях. В главе 7 приведены примеры пропозициональных высказываний, описывающих, как действия влияют на мир вампуса, например, в уравнении 7.3 на с. 325 указано, как изменяется местонахождение агента в результате движения вперед. Одним из недостатков пропозициональной логики является необходимость иметь отдельную копию описания действия для каждого момента времени, в который может быть выполнено это действие. В данном разделе описан метод представления с использованием логики первого порядка, позволяющий избежать возникновения этой проблемы.
Онтология ситуационного исчисления
Один из очевидных способов предотвращения необходимости создавать многочисленные копии аксиом состоит в том, чтобы применить квантификацию по времени и использовать примерно такие высказывания: “ V t (для всех t) то-то и то-то является полученным в момент времени t+1 результатом выполнения такого-то действия в момент времени t”. Но в этом разделе вместо применения таких явных обозначений времени, как t+1, мы сосредоточимся на описании ситуаций, которые обозначают состояния, возникающие в результате выполнения действий. Такой подход, называемый ^ ситуационным исчислением, предусматривает использование описанной ниже онтологии.
Как и в главе 8, действия представляют собой логические термы, такие как Forward и Turn (Right). В данном разделе предполагается, что среда содержит только одного агента. (Если количество агентов больше одного, может быть вставлен дополнительный параметр для указания на то, какой агент выполняет это действие.)
1§l Ситуации представляют собой логические термы, состоящие из начальной ситуации (обычно называемой So) и всех ситуаций, которые создаются в результате применения некоторого действия в некоторой ситуации. Функция Result (a, s) (иногда называемая Do) обозначает ситуацию, возникающую в результате выполнения действия а в ситуации s. Эта идея иллюстрируется на рис. 10.2.
Рис. 10.2. Иллюстрация к понятию ситуации. В ситуационном исчислении каждая ситуация (кроме So) представляет собой результат некоторого действия
^ Флюентными называются функции и предикаты, которые изменяются от одной ситуации к другой, такие как местонахождение агента или наличие живого вампуса. Этот термин происходит от английского слова fluent, о котором в словаре сказано, что оно обозначает нечто текучее, как жидкость. В данном контексте термином “флюентный” обозначается все, что перетекает, или изменяется от одной ситуации к другой. В соответствии с общепринятым соглашением ситуация — это всегда последний параметр флюентного высказывания. Например, во флюентном высказывании -iHolding(Glf SQ) сообщается о том, что агент не владеет золотом Gy в начальной ситуации So, а в высказывании Age (Wumpus, So) обозначается возраст вампуса в ситуации So.
Допускается также использовать вневременные, или неизменные предикаты и функции. В качестве соответствующих примеров можно указать предикат Gold (Gy) и функцию Lef tLegOf ( Wumpus) .
Кроме единственных действий, имеет также смысл рассуждать о последовательностях действий. Мы можем определять результаты последовательностей действий в терминах результатов отдельных действий. Прежде всего необходимо отметить, что выполнение пустой последовательности оставляет ситуацию неизменной:
Result ( [ ] , s) = s
Выполнение непустой последовательности равносильно выполнению первого действия, а затем выполнению остальной ее части в результирующей ситуации:
Result([a Iseq), s) = Result(seq, Result(a, s))
Агент, действующий на основе ситуационного исчисления, должен быть способен определять итог некоторой конкретной последовательности действий посредством логического вывода; в этом состоит задача ^ проектирования (нахождения проекции действий на будущее). При наличии подходящего конструктивного алгоритма логического вывода он должен также обладать способностью находить последовательность действий, позволяющую достичь желаемого эффекта; в этом состоит задача ^ планирования.
Мы будем использовать пример из модифицированной версии мира вампуса, в которой можно не задумываться об ориентации агента и в которой агент может переходить с помощью действия Go из одного места в соседнее. Предположим, что агент находится в квадрате [1,1], а золото — в квадрате [1,2]. Задача состоит в том, чтобы перенести золото в квадрат [1,1]. Флюентными предикатами являются Atko.x, s) и Holdingko, s). В таком случае первоначальная база знаний может включать следующее описание:
AtkAgent, [1,1] ,S0) л At (Gi, [ 1,2 ] , So)
Но этого описания совершенно недостаточно, поскольку в нем не сказано о том, какие предикаты не являются истинными в состоянии So. (Дальнейшее обсуждение этой темы продолжается на с. 484.) Полное описание состоит в следующем:
Atko.x. So) <=> [(о = Agent л х = [1,1]) v ко = Gi л х = [1,2])]
—Molding к о, So)
Необходимо также указать, что ^ — золото и что квадраты [1,1] и [1,2] являются соседними:
Gold(Gi) л Adjacent([l,l],[l,2]) л Adjacent([1,2], [1,1])
Неплохо было бы иметь возможность доказать, что агент достигнет цели, перейдя в квадрат [1,2], схватив золото и возвратившись в квадрат [1,1], следующим образом:
AtkGi, [1,1] .Result k [Go([1,1], [ 1,2] ) , Grab(Gi) , Go ( [ 1,2 ] , [ 1,1 ] ) ] , So) )
Но гораздо интереснее составить план приобретения агентом золота и решать эту задачу, получая ответ на показанный ниже запрос, который словесно формулируется таким образом: “Какая последовательность действий seq приведет к тому, что золото окажется в квадрате [1,1]?”
3seg A t к Gi, [1,1] , Resul t к seq, So) )
Рассмотрим, что должно войти в базу знаний, с помощью которой можно было бы получать ответы на такие запросы.
Описание действий в ситуационном исчислении
В простейшей версии ситуационного исчисления каждое действие описывается с помощью двух аксиом: ^ аксиомы возможности, которая указывает, существует или не существует возможность выполнить действие, и М аксиомы результата, которая указывает, что произойдет после выполнения возможного действия. Мы будем использовать высказывание Posska, s) идя обозначения того, что возможно выполнить действие а в ситуации s. Эти аксиомы имеют показанную ниже форму.
Аксиома возможности:
Предусловия => Poss(a,s)
Аксиома результата:
Poss(a,s) => Изменения, представляющие собой результат выполнения действия
Представим эти аксиомы для модифицированного мира вампуса. Чтобы можно было сократить соответствующие высказывания, мы будем исключать кванторы всеобщности, область действия которых распространяется на все высказывание. Предполагается, что переменная s пробегает по всем ситуациям, а — по действиям, о — по объектам (включая агентов), д — по состояниям владения и не владения золотом, ахиу— по местонахождениям.
Приведенные ниже аксиомы возможности для этого состояния мира указывают, что агент может переходить из одного местонахождения в другое, соседнее местонахождение, хватать кучу золота в текущем местонахождении и отпускать золото, которое он держит.
At{Agent, х, s') л Adjacent{x, у) => Poss(Go(x, у), s')
Gold{g) л At {Agent, х, s) л At{g, х, s) => Poss (Grab (д') , s) Holdingkg, s) => Poss {Reiease {g) , s')
А в приведенных ниже аксиомах результата утверждается, что если действие возможно, то некоторые (флюентные) свойства будут иметь место в ситуации, возникающей в итоге выполнения данного действия. Переход из квадрата х в квадрат у приводит к пребыванию агента в квадрате у, схватывание золота приводит к владению золотом, а отпускание золота приводит к тому, что агент им больше не владеет.
Poss{Go{x, у), s') => At{Agent, у, Result{Go{x, у), s') )
Poss (Grab(g) , s) => Holding{g, Result {Grab {g) , s) )
Poss {Rei ease (g) , s) => -\Holding{g, Result {Release {g) , s) )
Сможем ли мы теперь доказать, что наш маленький план позволяет достичь цели, сформулировав все эти аксиомы? К сожалению, нет! Вначале все идет прекрасно; действие Go ( [ 1,1 ] , [ 1,2 ] ) действительно возможно в ситуации So и аксиома результата для Go позволяет заключить, что агент достиг квадрата [1,2]:
At{Agent, [1,2], Result{Go{[1,1], [1,2] ) ,S0) )
Теперь рассмотрим действие Grab(GJ. Необходимо показать, что оно возможно в новой ситуации, т.е. возможно следующее:
At{Gi, [1,2] , Result{Go{ [1,1] , [1,2] ) ,S0) )
К сожалению, в базе знаний нет ничего, что позволило бы обосновать такое заключение. Интуитивно можно понять, что действие агента Go не должно оказывать влияния на местонахождение золота, поэтому золото должно было все время находиться в квадрате [1,2], даже когда агент был в ситуации So. ^ Проблема состоит в том, что аксиомы результата указывают, что изменилось, но не указывают, что осталось неизменным.
Проблема представления всего того, что остается неизменным, называется М проблемой окружения (frame problem). Мы должны найти эффективное решение проблемы окружения, поскольку в реальном мире почти все и почти всегда остается
неизменным. В каждом действии затрагивается лишь крошечная часть всех флюент- ных высказываний.
Один из подходов состоит в том, что должны быть записаны явные ^ аксиомы окружения, которые указывают, что остается неизменным. Например, после перемещения агента все другие объекты остаются на месте, если только он не берет эти объекты:
At(o,x,s) л (о ^ Agent') л -}Holding( о, s) => At ( о, х, Resul t (Go (у, z) , s) )
Если имеется F флюентных предикатов и А действий, то потребуется O(AF') аксиом окружения. С другой стороны, если бы каждое действие имело самое большее Е результатов, где Е, как правило, намного меньше, чем F, то необходимо было бы иметь возможность представлять, что происходит, с помощью гораздо меньшей базы знаний, с размером О^ае^. В этом и состоит ^ проблема представительного окружения (representational frame problem). Тесно связанная с ней ^ проблема выводимого окружения (inferential frame problem) заключается в том, что нужно проектировать результаты t-шаговой последовательности действий за время О(Et), а не за время О (Ft) или O(AFt), чтобы действовать успешно. Мы будем решать каждую из этих проблем по очереди. Но даже после этого останется еще одна проблема, связанная с тем, что должны быть обеспечены все необходимые условия для успешного выполнения любого действия. Например, действие Go окончится неудачей, если в ходе его выполнения агент погибнет. В этом состоит ^ проблема спецификации (qualification problem), полное решение которой еще не найдено.
Решение проблемы представительного окружения
Для решения проблемы представительного окружения достаточно лишь немного изменить точку зрения на то, как следует записывать аксиомы. Вместо регистрации результатов каждого действия мы будем рассматривать, как каждый флюентный предикат развивается во времени. Применяемые при этом аксиомы называются ^ аксиомами состояния-преемника. Они имеют следующую форму:
Аксиома состояния-преемника:
Действие возможно =>
(Флюентное высказывание является истинным в
результирующем состоянии <=> Оно стало истинным в результате действия v оно было истинным и прежде, а действие оставило его неизменным)
Пояснив, что мы не рассматриваем невозможные действия, хотим обратить внимание читателя на то, что в приведенном выше определении используется логическая связка <=>, а не =>. Таким образом, в этой аксиоме указано, что данное флюентное высказывание будет истинным тогда и только тогда, когда выполняется его правая часть. Иными словами, истинностное значение каждого флюентного высказывания в следующем состоянии определено как функция действия и истин-
ностного значения в текущем состоянии. Это означает, что следующее состояние полностью задано текущим состоянием и поэтому нет необходимости использовать дополнительные аксиомы окружения.
В аксиоме состояния-преемника для местонахождения агента утверждается, что агент находится в квадрате у после выполнения некоторого действия, либо если это действие было возможным и заключалось в перемещении в квадрат у, либо если агент уже находился в квадрате у и его действие не заключалось в том, чтобы перемещаться куда-то в другое место:
Poss(a, s) => •
(At(Agent, у, Result^a, s) ) <=> а = Go(x, у) v (At(Agent, у, s) а а Ф Goky, z) ) )
В аксиоме для флюентного предиката Holding утверждается, что агент владеет золотом д после выполнения некоторого действия, если этим действием было схватывание золота д и такое схватывание было возможно или если агент уже владел золотом д и выполненное агентом действие не заключалось в отпускании золота:
Poss(a, s) => kHoldingkg, Resultka, s) ) <=> a = Grab(g) v kHoldingkg, s) л a ^ Release (g) ) )
^ Аксиомы состояния-преемника позволяют решить проблему представительного окружения, поскольку общий размер этих аксиом измеряется величиной в О(АЕ) литералов: каждый из Е результатов каждого из А действий упоминается один и только один раз. Литералы распределяются по F разным аксиомам, поэтому аксиомы имеют средний размер AE/F.
Внимательный читатель должен был заметить, что в этих аксиомах участвует флюентное высказывание At, касающееся агента, но не золота, поэтому мы все еще не можем доказать, что приведенный выше трехшаговый план позволяет достичь цели — переноса золота в квадрат [1,1]. Мы должны указать, что ^ неявным результатом перемещения агента из квадрата х в квадрат у является то, что переместится также все золото, которое он несет (а также все муравьи, которые заползли в это золото, все пылинки и бактерии на этих муравьях и т.д.). Учет таких неявных результатов связан с решением так называемой ^ проблемы распространения последствий (ramification problem). Более подробно мы рассмотрим эту проблему позже, но для данной конкретной проблемной области ее можно решить, дописав более общую аксиому состояния-преемника для высказывания At. В новой аксиоме, которая обобщает предыдущую версию, утверждается, что объект о находится в квадрате у, либо если агент перешел в квадрат у и о — это или агент, или то, что держит агент, либо если объект о уже находился в квадрате у и агент никуда не переходил, притом что о является или агентом, или тем, что держит агент.
Poss(a,s) =>
At (о, у, Result (a, s) ) <=> (а = Gokx, у) л (о = Agent v Holdingko, s) ) ) v (At(o, у, s) л -i(3z у ^ z a a = Goky, z) a ko = Agent v Holdingk o, s) ) ) )
Возникает еще одна формальная сложность: процесс логического вывода, в котором используются эти аксиомы, должен позволять доказывать неравенства. Про-
стейшего рода неравенство задается между константами, например Agent^G^. Общая семантика логики первого порядка допускает, чтобы разные константы ссылались на один и тот же объект, поэтому база знаний должна включать какую-то аксиому, позволяющую предотвратить такую ситуацию. В М аксиоме уникальных имен (unique names axiom) провозглашается неравенство для каждой пары констант в базе знаний. Если же это условие подразумевается в программе автоматического доказательства теорем, а не записывается в базу знаний, то называется предположением об уникальности имен (unique names assumption). Необходимо также сформулировать условие неравенства между термами действий, например, утверждение о том, что Go ( [ 1,1 ] , [1,2]) — это действие, отличное от Go ( [ 1,2 ] , [1,1]) или Grab (G^). Прежде всего необходимо указать, что каждый тип действия является различным, т.е., например, что действие Go — это не действие Grab. Для каждой пары имен действий Айв необходимо иметь:
AkXh ... , Хт) Ф Вкух, ... .Уп^
Затем требуется указать, что два терма действия с одним и тем же именем действия ссылаются на одно и то же действие тогда и только тогда, когда все участвующие в них объекты являются одинаковыми:
A(Xi,...,Xm) = A(yi,...,ym) <^ Х1 = У1 Л ... Л Хт = Ут
Все эти аксиомы, вместе взятые, называются ^ аксиомами уникального действия (unique action axiom). Такая комбинация описания начального состояния, аксиом состояния-преемника, аксиом уникальности имен и аксиом уникального действия является достаточной для доказательства того, что предлагаемый план позволяет достичь цели.
Решение проблемы выводимого окружения
Аксиомы состояния-преемника позволяют решить проблему представительного окружения, но не проблему выводимого окружения. Рассмотрим t-шаговый план р, такой, что St=Result кр, So). Чтобы определить, какие флюентные высказывания являются истинными в состоянии S^ необходимо рассмотреть каждую из F аксиом окружения в каждом из t временных шагов. Поскольку аксиомы имеют средний размер AE/F, это соответствует объему работы по логическому выводу, измеряемому величиной OkAEtL Основной объем этой работы связан с копированием флюентных высказываний в неизменном виде из описания одной ситуации в описание следующей.
Для решения проблемы выводимого окружения можно воспользоваться следующими двумя подходами. Во-первых, можно отбросить ситуационное исчисление и изобрести новую формальную систему для записи аксиом. Указанная задача была решена в таких формальных системах, как исчисление флюентных высказываний (fluent calculus). Во-вторых, можно изменить механизм логического вывода таким образом, чтобы в нем аксиомы окружения обрабатывались более эффективно. На то, что должна существовать такая возможность, указывает сам факт, что трудоемкость этого простого подхода оценивается величиной OkAEt) ; но почему она должна зависеть от количества действий А, если точно известно, какое именно действие выполняется в каждом временном шаге? Чтобы определить, как можно улучшить состояние дел, вначале рассмотрим формат аксиом окружения:
Poss(a,s) =>
Fi (Result (a, s) ) <=» (a = Ai v a = A2 ...)
v Fi (s) л (a ^ A3) л (а Ф A4) ...
Таким образом, в каждой аксиоме рассматриваются несколько действий, которые могут сделать это флюентное высказывание истинным, и несколько действий, которые могут сделать его ложным. Мы можем формализовать такие истинностные преобразования, введя предикат PosEffect (a, FJ , означающий, что в результате действия а флюентное высказывание Fi становится истинным, и предикат NegEffect (a, FO , означающий, что после выполнения действия а флюентное высказывание Fi становится ложным. Это означает, что приведенную выше систему аксиом можно переписать следующим образом:
Poss(a,s) =>
Fi (Resul t (a, s) ) <=> PosEffect (a, Fi) v VFi(s) a —NegEffeet (a, Fi) ]
PosEffect (Ai, Fi)
PosEffect(A2, Fi)
NegEffect (A3, Fi)
NegEffect (A4, Fi)
Ответ на вопрос о том, может ли такая операция формирования системы аксиом быть выполнена автоматически, зависит от точного формата аксиом окружения. Для того чтобы обеспечить использование подобных аксиом в эффективной процедуре логического вывода, необходимо провести три описанных ниже преобразования.
Проиндексировать предикаты PosEffect и NegEffect по их первому параметру таким образом, чтобы после получения информации о действии, которое произошло в момент времени с, можно было бы найти его результаты за время 0(1).
Проиндексировать аксиомы таким образом, чтобы после определения того, что Fi представляет собой результат какого-то действия, мы могли найти аксиому для Fi за время 0(1). В таком случае не придется даже рассматривать аксиомы, касающиеся тех флюентных высказываний, которые не являются результатом данного действия.
Представить каждую ситуацию каю предыдущую ситуацию плюс некоторая дельта. Таким образом, если ничего не изменяется от одного шага к другому, то не нужно вообще выполнять никакой работы. При использовании старого подхода требовалось выполнять объем работы 0(F), вырабатывая утверждение для каждого флюентного высказывания Fi (Result (a, s) ) из предыдущих Fi(s) утверждений.
Поэтому в каждом временном шаге мы рассматриваем текущее действие, собираем данные о его результатах и обновляем множество истинных флюентных высказываний. Среднее количество таких обновлений в каждом временном шаге соответствует F, поэтому общая сложность измеряется величиной O(Et). В этом и состоит решение проблемы выводимого окружения.
Исчисление времени и событий
Ситуационное исчисление вполне себя оправдывает, если существует единственный агент, выполняющий мгновенные, дискретные действия, а если действия имеют продолжительность и могут накладываться друг на друга, то ситуационное исчисление становится довольно громоздким. Поэтому мы будем рассматривать данные темы с помощью альтернативной формальной системы, известной под названием ^ исчисление событий (event calculus), которая основана на точках во времени, а не на ситуациях. (Термины “событие” и “действие” могут использоваться как взаимозаменяемые. Неформально выражаясь, “событие” обозначает более широкий класс действий, включая те, в которых нет явного агента. С описанием такого класса проще справиться с помощью исчисления событий, а не ситуационного исчисления.)
В исчислении событий флюентные высказывания становятся истинными или ложными в определенных точках во времени, а не в ситуациях, притом что само исчисление предназначено для того, чтобы с его помощью можно было формировать рассуждения, касающиеся интервалов времени. В аксиоме исчисления событий указано, что флюентное высказывание является истинным в какой-то момент времени, если действие, описываемое этим высказыванием, было инициировано некоторым событием в некоторый момент времени в прошлом и еще не закончено под влиянием какого-либо промежуточного события. Отношения Initiates и Terminates играют примерно такую же роль, как и отношение Result в ситуационном исчислении; отношение Ini tiates (е, f, t) означает, что возникновение события е во время t вызвало то, что флюентное высказывание f стало истинным, а отношение Terminates kw, f, t) означает, что высказывание f перестало быть истинным. Мы будем использовать предикат Happens (е, t) для обозначения того, что событие е произошло во время с, и предикат Clipped^ f, t, t2) для обозначения того, что высказывание f перестало быть истинным под влиянием некоторого события, происшедшего в какое-то время между t и t2. Формально эта аксиома записывается следующим образом:
Аксиома исчисления событий:
Tkf, t2) <=> Зе, t Happenske, t) л Initiateske, f, t) л kt < £2)
л -nClippedk f, t, £2)
Clippedkf, t, £2) <^ 3e, ti Happenske, ti) л Terminates к e, f, ti) л к t < ti) л к ti < t2)
Это позволяет нам получить такие же функциональные возможности, как и с использованием ситуационного исчисления, в сочетании с возможностями формировать утверждения о точках и интервалах времени, что позволяет, например, сформулировать высказывание Happens к TurnOff{Light Switch^ ,1:00), чтобы сообщить о выключении света точно в 1: 00.
Было разработано много дополнений к исчислению событий, чтобы можно было решать задачи с опосредованными событиями; событиями, имеющими продолжительность; событиями, происходящими одновременно; непрерывно изменяющимися событиями; недетерминированными результатами; причинно-следственными ограничениями и другими осложнениями. Мы вернемся к рассмотрению этих тем в следующем подразделе. Следует откровенно сказать, что в данный момент для большинства таких задач еще отсутствуют полностью удовлетворительные решения, но на пути к достижению этих решений не обнаружено каких-либо непреодолимых препятствий.
Обобщенные события
До сих пор в этой главе рассматривались две основные концепции: действия и объекты, а теперь настало время перейти к описанию того, как эти концепции укладываются во всеобъемлющую онтологию, в которой и действия, и объекты могут трактоваться как аспекты физического универсума. Мы рассматриваем конкретный универсум как имеющий и пространственное, и временное измерения. Мир вампуса характеризуется пространственным компонентом, представленным в виде двухмерной решетки, а время в нем дискретно; мир, в котором существуют люди, имеет три пространственных измерения и одно временное, причем все эти измерения непрерывны. Обобщенное событие (generalized event) состоит из аспектов некоторого “пространственно-временного фрагмента” — части этого многомерного пространственно-временного универсума. Эта абстракция позволяет обобщить большинство концепций, рассматривавшихся нами до сих пор, включая действия, местонахождения, интервалы времени, флюент- ные высказывания и физические объекты. Иллюстрация этой основной идеи приведена на рис. 10.3. Начиная с этого момента, мы будем использовать неуточненный термин “событие” для обозначения обобщенных событий.
"пространство"
World WarII
время
TwentiethCentury
Рис. 10.3. Обобщенные события. Универсум имеет три пространственных и одно временное измерения; на этом рисунке показано только одно пространственное измерение. Все события являются частью, Par tOf, этого универсума. Любое событие, такое как Вторая мировая война, WorldwarII, происходит в части пространства-времени с немного произвольными и изменяющимися во времени границами. Любой интервал Interval, такой как двадцатый век, TwentiethCentury, имеет фиксированную, ограниченную временную протяженность и максимальную пространственную протяженность, а любое место, Place, такое как Австралия, имеет примерно фиксированную пространственную протяженность и максимальную временную протяженность
Например, Вторая мировая война — это событие, которое имело место в различных точках пространства-времени, что обозначено на этом рисунке в виде серого пятна неправильной формы. Это событие можно разбить на ряд ^ подсобытий:
SubEvent(BattleOfBritain, WorldWarll)
Равным образом, Вторая мировая война — это подсобытие двадцатого столетия:
SubEvent (WorldWarll, Twentiethcentury)
Двадцатое столетие — это интервал времени. Интервалы представляют собой фрагменты пространства-времени, которые включают все пространство между двумя точками во времени. Функция Period(е) обозначает наименьший интервал, включающий событие е, а функция Duration (i) — это продолжительность времени, занятая некоторым интервалом 1, поэтому можно сформулировать высказывание Duration(Period(WorldWarll}) > years(5).
Австралия — это место, т.е. фрагмент пространства—времени с некоторыми фиксированными пространственными границами. Границы могут изменяться во времени вследствие геологических или политических изменений. Для обозначения отношения с участием подсобытия, которое имеет место, если пространственная проекция одного события является частью PartOf другого события, используется предикат In:
In(Sydney, Australia)
Функция Location (e) обозначает наименьшее место, которое включает событие е.
Как и объекты любого другого рода, события могут быть сгруппированы по категориям. Например, WorldWarll принадлежит к категории войн Wars. Чтобы сформулировать утверждение, что гражданская война происходила в Англии в 1640-х годах, можно привести следующее высказывание:
Зиг w е CivilWars л SubEvent (w, 1640s) л In(Location(w),England)
Понятие категории событий позволяет найти ответ на вопрос, которого мы избегали при описании результатов действий в разделе 10.3: на что именно ссылаются такие логические термы, как Go ( [ 1,1 ] , [1,2])? Являются ли они событиями? Ответ на этот вопрос отрицателен, что на первый взгляд может показаться неожиданным. Но в этом можно убедиться, рассмотрев план с двумя “идентичными” действиями, такой как следующий:
[Go([1,1],[1,2]),Go([1,2],[1,1]),Go([1,1],[1,2])]
В этом плане выражение Go( [1,1] , [1,2] ) не может быть именем события, поскольку в нем представлены два разных события, происходящих в разное время. Вместо этого Go ( [ 1,1 ] , [ 1,2 ] ) представляет собой имя категории событий — всех тех событий, в которых агент переходит из квадрата [1,1] в квадрат [1,2]. Приведенный выше трехшаговый план сообщает о том, что должны осуществиться экземпляры этих трех категорий событий.
Обратите внимание на то, что здесь мы впервые встретились с категориями, именованными с помощью сложных термов, а не просто константных символов. Это обстоятельство не должно стать источником новых затруднений, поскольку фактически мы
можем использовать такую структуру параметров предикатов, которая является наиболее удобной. Устранение параметров позволяет создать более общую категорию:
Go(x,y) С GoTo(y)Go(x,y) С GoFron?(x)
Аналогичным образом можно добавлять параметры для создания более конкретных категорий. Например, чтобы описать действия, осуществляемые другими агентами, можно добавить параметр с обозначением агента. Поэтому, чтобы сформулировать утверждение, что знаменитый математик Шанкар вчера прилетел из Нью- Йорка в Нью-Дели, можно записать следующее:
Зе е е Fly (Shankar, NewYork, NewDelhi) a SubEvent (e, Yesterday)
Формулы в таком виде применяются настолько часто, что мы создадим для таких формул сокращение Е(с, i), которое будет означать, что элемент категории событий с является подсобытием события или интервала i;
Е(с,i) Зе е е с л SubEven t (е, i)
Таким образом, переформулируем приведенное выше утверждение следующим образом:
E(Fly(Shankar, NewYork, NewDelhi) , Yesterday)
Процессы
События, рассматривавшиеся нами до сих пор, были тем, что принято называть ^дискретными событиями— они имеют определенную структуру. Путешествие Шанкара имело начало, середину и конец. Если бы он прервал свое путешествие на полпути, то связанное с этим событие было бы другим — не путешествием из Нью- Йорка в Нью-Дели, а, допустим, поездкой из Нью-Йорка в какой-то европейский город. С другой стороны, категория событий, обозначенная высказыванием Flying(Shankar), имеет другое качество. Если бы мы стали исследовать небольшой интервал полета Шанкара, скажем, третий двадцатиминутный отрезок времени (в течение которого он нетерпеливо ждал, когда ему принесут еще один пакетик арахиса), это событие все еще оставалось бы элементом события Flying(Shankar). В действительности такое утверждение остается истинным для любого субинтервала.
Категории событий, обладающих этим свойством, называются категориями М процессов (process) или категориями ^ вневременных событий (liquid event). Любой субинтервал процесса также является элементом той же категории процессов. Чтобы высказать мысль, что Шанкар, например, был вчера в полете в какой-то момент времени, можно использовать такую же систему обозначений, которая используется для дискретных событий:
Е(Flying(Shankar) , Yesterday)
Кроме того, часто возникает необходимость сформулировать утверждение, что некоторый процесс происходил на протяжении всего определенного временного интервала, а не просто некоторого его субинтервала. Для этого используется предикат Тследующим образом:
Т( Working(Stuart) , TodayLunchHour)
Высказывание Т(с,i) обозначает, что некоторое событие типа с происходило точно в течение интервала 1, т.е. что это событие началось и закончилось в то же время, что и сам этот интервал.
Различие между вневременными (liquid) и внутривременными (nonliquid) событиями полностью аналогично различию между веществами (или материей) и отдельными объектами. В действительности некоторые ученые называют типы вневременных событий М временными веществами (temporal substance), по аналогии с тем, что масло рассматривается как ^ пространственное вещество (spatial substance).
Концепция вневременных событий позволяет описывать не только процессы непрерывного изменения, но и процессы непрерывного “неизменения”. Такие процессы часто называют ^ состояниями (state). Например, “Шанкар находится в Нью- Йорке” — это категория состояний, для которой нами принято обозначение In (Shankar, NewYorк}. Чтобы сформулировать утверждение, что Шанкар находился весь нынешний день в Нью-Йорке, можно записать следующее:
Т(In(Shankar, NewYork} , Today}
Для формирования более сложных высказываний о состояниях и событиях могут применяться сочетания примитивных высказываний. Этот подход называется ^ исчислением флюентных высказываний (fluent calculus). В исчислении флюентных высказываний используются комбинации флюентных высказываний, а не просто отдельные флюентные высказывания. Выше уже был показан способ представления события, состоящего из двух событий, происходящих одновременно, а именно функция Both(elf е2) . В исчислении флюентных высказываний такое выражение обычно записывается сокращенно с помощью инфиксной системы обозначений: ei°e2. Например, чтобы сформулировать утверждение, что некто шел и одновременно жевал резинку, можно записать следующее:
3p,i кр е People} л T^Walklp} ° ChewGum^p},i}
Функция ° является коммутативной и ассоциативной, как и логическая конъюнкция. Могут быть также определены аналоги дизъюнкции и отрицания, но необходимо соблюдать осторожность, поскольку существуют два одинаково приемлемых способа интерпретации дизъюнкции событий. Например, утверждение, что “в течение последних двух минут агент либо шел, либо жевал резинку”, может означать, что агент либо выполнял одно или другое из этих действий в течение всего интервала времени, либо чередовал эти два действия. Для обозначения таких двух вариантов будут использоваться предикаты OneOf и Ei ther. Сложные события схематически показаны на рис. 10.4.
Рис. 10.4. Схематическая иллюстрация сложных событий: одновременное протекание двух событий Т (Both (р, q), i), обозначаемое также как Т (р °q, i) (а); осуществление одного из двух событий Т (OneOf (р, q), i ? (б); чередование двух событий Т (Either (р, qj, i; (в)
Интервалы
Время — это важный фактор для любого агента, выполняющего действия, и поэтому в области представления временных интервалов был проведен большой объем исследовательских работ. В данном разделе рассматриваются интервалы двух типов: моменты времени и продолжительные интервалы. Различие между ними состоит в том, что только моменты времени имеют нулевую продолжительность:
Partition^ {Moments, Extendedlntervals}, Intervals)
i G Moments <=> Duration (i) = Seconds (0)
Затем необходимо ввести временную шкалу и связать точки на этой шкале с моментами времени, что позволяет сформулировать понятие абсолютных значений времени. Временная шкала выбирается произвольно; в данной книге время измеряется в секундах и используется соглашение, что момент времени в полночь (среднее время по Гринвичу) 1 января 1900 года имел значение времени 0. Функции Start и End позволяют определить самый первый и самый последний моменты времени в интервале, а функция Time сообщает момент времени на временной шкале, соответствующий текущему моменту. Функция Duration измеряет разность между временем окончания и временем начала. Примеры применения этих функций приведены ниже.
Interval(i) => Duration(i) = (Time(End(i))-Time(Start(i) ) )
Time(Start(AD1900)) = Seconds(0)
Time(Start(AD2001)) = Seconds(3187324800)
Time(End(AD2001)) = Seconds(3218860800)
Duration(AD2001) = Seconds(31536000)
Для того чтобы было проще читать эти числа, обозначающие количество секунд от начала отсчета, введем также функцию Date, которая принимает шесть параметров (часы, минуты, секунды, день, месяц и год) и возвращает точку во времени:
Time(Start(AD2001)) = Date(0, 0,0,1,Jan,2001)
Date(0,20,21,24,1,1995) = Seconds(3000000000)
Предикат Meet позволяет определить, равно ли время окончания первого интервала времени начала второго интервала; эти значения времени задаются в секундах. Существует возможность определить такие предикаты, как Before, After, During и Overlap, исключительно в терминах предиката Meet, но более интуитивно понятными являются их определения в терминах точек на временной шкале (графическое представление этих предикатов приведено на рис. 10.5):
Meet(i.j) <=> Time(End(i)) = Time(Start(j))
Before(i,j) <=> Ti me (End (i) ) < Time (Start (j) )
After(j,i) <=> Before(i,j)
During(i,j) <=> Time (Start (j) ) < Time (Start (i) ) a Time (End (i) ) < Time (End (j) )
Overlap(i,j) <=> Bk During(k,i) a During(k,j)
Например, чтобы сформулировать утверждение, что царствование Елизаветы II следовало за царствованием Георга VI, а царствование Элвиса Пресли совпадало с периодом 1950-х годов, можно записать следующее:
After(ReignOf(Elizabethll),ReignOf(GeorgeVI))
Overlap (Fif ties, ReignOf (Elvis') )
Start(Fifties) = Start (AD1950 )
End(Fifties) = End(AD1959)
Рис. 10.5. Предикаты, задаваемые на временных интервалах
Флюентные высказывания и объекты
Как было указано выше, физические объекты могут рассматриваться как обобщенные события в том смысле, что любой физический объект представляет собой фрагмент пространства—времени. Например, США можно рассматривать как событие, которое началось, скажем, в 1776 году в виде союза 13 штатов и все еще продолжается в наши дни как союз 50 штатов. Мы можем описать изменяющиеся свойства объекта USA с использованием флюентных высказываний, касающихся состояния. Например, можно сформулировать утверждение, что в какой-то момент в 1999 году население США составляло 271 миллион человек:
E(Population(USA, 271000000), АГ1999)
Еще одним свойством объекта USA, которое изменяется через каждые четыре или восемь лет, если не учитывать непредвиденные происшествия, является смена президента этого государства. Можно было бы предложить описывать это свойство, условившись считать, что President (USA) — это логический терм, который обозначает различные объекты в разное время. К сожалению, это невозможно, поскольку в каждой конкретной структуре модели любой терм обозначает один и только один объект. (Терм President ( USA, t) мог бы обозначать разные объекты в зависимости от значения с, но в принятой нами онтологии временные индексы рассматриваются отдельно от флюентных высказываний.) Единственная возможность состоит в том, чтобы считать, что President ( USA) обозначает единственный объект, который в разное время состоит из разных людей. Это — объект, которым был Джордж Вашингтон с 1789 по 1796 гг., Джон Адамс с 1796 по 1800 гг. и т.д. (рис. 10.6).
Для того чтобы высказать утверждение, что Джордж Вашингтон был президентом в течение всего 1790 года, можно записать следующее:
Т(President(USA) = GeorgeWashington, AD1790)
Рис. 10.6. Схематическое изображение объекта President fUSA^ за первые 15лет его существования
Однако необходимо соблюдать осторожность. В этом высказывании знак = должен представлять собой функциональный символ, а не стандартный логический оператор. Его интерпретация состоит не в том, что GeorgeWashington и President (USA) были логически идентичными в 1790 году; логическое равенство есть нечто, неизменное во времени. В данном случае логическое равенство существует между подсобытиями каждого объекта, которые определены на период 1790 года.
Кроме того, не следует путать физический объект GeorgeWashington с коллекцией атомов, из которых он состоял. Джордж Вашингтон не был логически равен какой-либо конкретной коллекции атомов, поскольку множество атомов, из которых он состоял, существенно изменялось во времени. Жизнь его была коротка, а каждый атом, отдельно взятый, имеет свою собственную, очень длинную продолжительность жизни. На какой-то период времени они пересеклись, и тогда этот временной срез периода существования данного атома стал частью (PartOf) Джорджа Вашингтона, после чего каждый из этих двух объектов направился по своему пути.
Мыслительные события и мыслимые объекты
Агенты, которые были созданы в этой книге до сих пор, были уверены в истинности или ложности некоторых высказываний и обладали способностью выводить логическим путем новые убеждения, но ни один из этих агентов не обладал какими- либо знаниями о самих убеждениях или о логическом выводе. Но в одноагентных проблемных областях знания о собственных знаниях и процессах формирования рассуждений весьма полезны для управления логическим выводом. Например, если некто знает, что он ничего не знает о географии Румынии, то для него нет необходимости впустую затрачивать невероятные вычислительные усилия, чтобы рассчитать кратчайший путь от Арада до Бухареста. Вместо этого он может порассуждать о собственных знаниях, чтобы составить планы их расширения, например, купив карту Румынии. Кроме того, в мультиагентных проблемных областях для агента важно иметь возможность рассуждать о мыслимых состояниях других агентов. Например,
наилучший способ попасть в Бухарест вполне может знать румынский полицейский, поэтому агенту достаточно обратиться к нему за помощью.
По сути нам требуется модель мыслимых объектов, которые находятся в чьей-то голове (или базе знаний), и мыслительных процессов, которые манипулируют с этими мыслимыми объектами. Такая модель должна быть достоверной, но не требуется, чтобы она была слишком детализированной. Нам не нужно иметь способность предсказывать, сколько именно миллисекунд потребуется, чтобы какой-то конкретный агент пришел к нужному логическому заключению, или же прогнозировать, какие именно нейроны активизируются, когда исследуемое животное столкнется с конкретными визуальными стимулами. Для нас будет достаточно иметь возможность прийти к выводу, что румынский полицейский сообщит нам, как попасть в Бухарест, если будет знать дорогу и убедится в том, что мы действительно заблудились, а не подшучиваем над ним.
Формальная теория убеждений
Начнем с изучения связей между агентами и “мыслимыми объектами”, таких как Believes (Убежден), Knows (Знает) и Wants (Желает). Отношения такого рода называются ^пропозициональными позициями (propositional attitude), поскольку они описывают позицию, которую может занять агент по отношению к некоторому высказыванию. Предположим, что Лойс в чем-то убеждена, т.е. Believes kLois, х). Какого рода объектом является х? Очевидно, что х не может быть логическим высказыванием. Если утверждение, что Супермен летает (Flies (Superman')) — логическое высказывание, то нельзя составить выражение BelieveskLois, Flies к Superman)), поскольку параметрами предикатов могут быть только термы (а не высказывания). Но если Flies — функция, то Flies к Superman) становится подходящим кандидатом на использование в качестве мыслимого объекта, a Believes может быть отношением между агентом и пропозициональным флюентным термом. Преобразование высказывания в объект называется ^ овеществлением (reification).
По-видимому, такой подход позволяет достичь желаемого — появления у агента способности рассуждать об убеждениях агентов. Но, к сожалению, при использовании этого подхода возникает определенная проблема: если киноактер Кент Кларк и его герой Супермен — это одно и то же (т.е. Cl arк= Superman), то полет Кларка и полет Супермена — одна и та же категория событий, т.е. Flies к Clark) =Flies к Superman). Поэтому мы обязаны сделать такой вывод: если Лойс уверена в том, что Супермен может летать, она должны быть также уверена в том, что Кларк может летать, даже если она не уверена в том, что Кларк — Супермен, как показано ниже.
к Superman = Clark) 1=
kBelieves kLois, Flies kSuperman) ) <=> BelieveskLois, FlieskClark)))
В определенном смысле такое утверждение недалеко от истины: Лойс убеждена в том, что есть некое лицо, которому некогда присвоили имя Кларк, и что это лицо может летать. Но есть еще один смысл, в котором приведенное выше высказывание является ложным: если Лойс задать вопрос: “Может ли Кларк летать?”, она, безус-
ловно, ответит отрицательно. Овеществленные объекты и события вполне приемлемы для использования в первом смысле толкования предиката Believes, но во втором толковании необходимо овеществлять описания этих объектов и событий таким образом, чтобы Clark и Superman могли иметь разные описания (даже несмотря на то, что оба эти имени относятся к одному и тому же объекту).
Формально свойство высказывания, позволяющее свободно подставлять любой терм вместо равного терма, называется М ссылочной прозрачностью (referential transparency). В логике первого порядка свойством ссылочной прозрачности обладает каждое отношение. Но нам было бы желательно иметь возможность определять Believes (и другие пропозициональные позиции) как отношения, второй параметр которых является ссылочно ^ непрозрачным (opaque), т.е. таким, чтобы без изменения смысла нельзя было бы подставить равный терм вместо второго параметра.
Существуют два способа достижения этой цели. Первый из них состоит в использовании другой формы логики, называемой ^ модальной логикой (modal logic), в которой такие пропозициональные позиции, как Believes и Knows, становятся ^модальными операторами, обладающими свойством ссылочной непрозрачности. Этот подход рассматривается в разделе с историческими заметками. Второй подход, который будет применяться в данной главе, состоит в эффективном обеспечении непрозрачности в рамках ссылочно прозрачного языка с использованием ^ синтаксической теории мыслимых объектов. Это означает, что мыслимые объекты представляются константами — М строками. Результатом становится грубая модель базы знаний агента, которая представлена как состоящая из строк, соответствующих высказываниям, в истинности которых убежден агент. Строка — это сложный терм, обозначающий список символов, поэтому событие Flies (Clark) может быть представлено в виде списка символов [F, 1, i, е, s, (, С, 1, а, г, к, ) ], которые мы будем сокращенно записывать в виде строки, заключенной в кавычки, " Flies (Clark) ". Эта синтаксическая теория включает М аксиому об уникальности строк, в которой утверждается, что строки являются идентичными тогда и только тогда, когда они состоят из идентичных символов в одинаковой последовательности. Таким образом, даже если Clark= Superman, мы все равно имеем " Clark"^" Superman".
Теперь достаточно лишь предусмотреть синтаксис, семантику и теорию доказательства для языка представления строк, точно так же, как это было сделано в главе 7. Различие состоит в том, что необходимо определить все эти компоненты в логике первого порядка. Начнем с определения Den (сокращение от denotatum — денотат, или обозначаемое) как функции, которая отображает некоторую строку на обозначаемый ею объект, и Name как функции, которая отображает объект на строку, представляющую собой имя константы, обозначающей этот объект. Например, денотатом строки "Clark" и строки "Superman" является объект, на который ссылается константный символ ManOfSteel (Человек из стали), а именем этого объекта в базе знаний может быть " Superman", " Clark" или какая-то другая константа, например "Хц":
Den("Clark") = ManOfSteel л Den("Superman") = ManOfSteel
Name (ManOf Steel) = "Хц"
Следующий этап состоит в том, чтобы определить правила логического вывода для логических агентов. Например, может потребоваться сформулировать утверждение, что любой логический агент способен использовать правило отделения: если он
уверен в истинности высказываний р и р => д, то он будет также уверен в истинности q. Первая попытка записать эту аксиому может состоять в следующем:
Logical Agent (а) л Believes ка,р) л Believes (а, "р => q") => Believes ка, q)
Но эта попытка неудачна, поскольку строка "р => д" содержит буквы 'р' и ' д', но не имеет ничего общего со строками, являющимися значениями переменных р и д. Правильная формулировка состоит в следующем:
LogicalAgentка) л Believesка, р) л Believesка,Concatкр,"=>" , д) ) => Believesка, q)
где Concat — функция на строках, которая соединяет (конкатенирует) свои параметры. Мы будем сокращенно записывать операцию Concat кр, "=>", д) с помощью подчеркивания, как "р => д". Это означает, что вхождение х в строке должно быть ^ взятым без кавычек, или раскавыченным, т.е. мы должны подставить строковое значение переменной х. В языке Lisp такая операция выполняется с помощью оператора “запятая/обратная кавычка”, а в языке Perl для этого используется интерполяция $-переменной.
После введения других правил логического вывода, кроме правила отделения, мы получим возможность отвечать на вопросы в такой форме: “Если дано, что логический агент знает такие-то предпосылки, может ли он прийти к такому-то заключению?” Кроме этих обычных правил логического вывода, требуются определенные правила, характерные для рассуждений об убеждениях. Например, следующее правило утверждает, что если логический агент в чем-то уверен, то он уверен, что он в этом уверен:
LogicalAgentka) л Believesка,р) => Believesка,"BelieveskNameka), р)")
Теперь, согласно нашим аксиомам, любой агент может безошибочно вывести любое следствие из своих убеждений. Такое свойство агента называется М логическим всеведением (logical omniscience). Было сделано много попыток определить спецификации ограниченных рациональных агентов, которые способны выполнять ограниченное количество логических выводов за ограниченное время. Ни одна из этих попыток не оказалась полностью успешной, но описанные выше формулировки позволяют получить в высшей степени обоснованный ряд предсказаний о возможностях ограниченных агентов.
Знания и убеждения
Соотношение между знаниями и убеждениями широко исследовалось в философии. Общепризнано, что знания — это убеждения, истинность которых подтвердилась. Таким образом, если вы в чем-то уверены по неоспоримо надежным причинам и если то, в чем вы уверены, действительно истинно, то вы это знаете. Условие, согласно которому причина должна быть “неоспоримо надежной”, необходимо для предотвращения такой ситуации, что вы будете утверждать: “Я знаю, что эта монета всегда будет падать орлом вверх”, и окажетесь правы лишь применительно к половине бросков монеты.
Допустим, что предикат Knows ка,р) означает следующее: агент а знает, что высказывание р является истинным. Возможно также определить другие формы знаний. Например, ниже приведено определение “знаний о погоде”.
KnowsWhether (а, р) <=> Knows{a,p) v Knows (a, "-ip")
Продолжая приведенный выше пример, отметим: Лоис знает, может ли Кларк летать, если она либо знает, что Кларк может летать, либо знает, что он этого не может.
Понятие “знаний о чем-то” является более сложным. Например, может возникнуть соблазн утверждать, что агент знает номер телефона Боба, если есть какой-то объект х, в отношении которого агент знает, что PhoneNumber{Bob) -х. Но этого недостаточно, поскольку агент может знать, что Алиса и Боб имеют один и тот же номер (например, PhoneNumber{Bob) = PhoneNumber{Alice}), но если номер Алисы неизвестен, то эти знания не могут ему помочь. Лучшее определение понятия “знаний о чем-то” состоит в том, что агент должен знать о некотором х, что это — строка цифр и что это — номер Боба:
KnowsWhat{а,"PhoneNumber{b)") <=>
Зх Knows{a,"x = PhoneNumber {b) ") л х G Digitstrings
Безусловно, применительно к другим вопросам необходимо иметь другие критерии определения того, какой ответ является приемлемым. Например, подходящим ответом на вопрос: “Какой город является столицей штата Нью-Йорк”, является имя собственное, “Олбани”, а не нечто подобное высказыванию: “Город, в котором находится резиденция губернатора штата”. Для обеспечения этого необходимо оформить предикат KnowsWhat в виде трехместного отношения: он принимает в качестве параметра обозначение агента, строку, представляющую некоторый терм, и категорию, к которой должен принадлежать ответ. Например, для определения упомянутых выше знаний могут использоваться следующие формулировки:
Knows What {Agent, " Capi tai {NewYork) " , ProperNames)
KnowsWhat {Agent, " PhoneNumber {Bob) ", Digitstrings)
Знания, время и действия
В большинстве реальных ситуаций любому агенту приходится иметь дело с убеждениями (своими собственными или других агентов), которые изменяются во времени. Агенту также приходится составлять планы, касающиеся изменения своих собственных убеждений, такие как план покупки карты для определения способа попасть в Бухарест. Как и в случае других предикатов, мы можем овеществить предикат Believes и вести речь об убеждениях, которые имели место в течение определенного периода. Например, чтобы сформулировать высказывание “Лойс сегодня уверена в том, что Супермен может летать”, мы будем записывать следующее:
Т{Believes{Lois, "Flies{Superman)") , Today)
Если объектом убеждения является высказывание, которое может изменяться во времени, и это можно описать, используя оператор т внутри строки. Например, Лойс может сегодня быть убеждена в том, что Супермен мог летать вчера:
T{Believes{Lois,"Т{Flies{Superman), Yesterday)", Today)
После получения способа описания того, как убеждения меняются со временем, мы приобретаем возможность использовать всю механику исчисления событий для составления планов, касающихся убеждений. Действия могут включать ^ предусловия знаний и ^ результаты знаний. Например, предусловием действия по набору номера телефона некоторого лица является знание этого номера, а результатом действия по
поиску номера становится знание этого номера. Например, последнее действие можно описать с использованием средств исчисления событий следующим образом:
Initiates(Lookup(а,"PhoneNumber(b)")
KnowsWhat (a, " PhoneNumber (b) ", Digitstrings') , t)
Планы сбора и использования информации часто представляют с помощью сокращенных обозначений, известных под названием М переменных этапа прогона (runtime variable), соглашения по использованию которых тесно связаны с соглашениями о применении переменных, взятых без кавычек, которые были описаны выше. Например, план поиска номера Боба, а затем набора этого номера может быть записан следующим образом:
V Lookup к Agent, " PhoneNumber (Bob') " , п) ,Dial{n) ]
Здесь п — это переменная этапа прогона, с которой будет связано значение путем выполнения действия Lookup, поэтому данная переменная может затем использоваться в действии Dial. Планы такого рода часто встречаются в частично наблюдаемых проблемных областях. Примеры таких планов рассматриваются в следующем разделе и в главе 12.
Мир покупок в Internet
В данном разделе показано, как можно представить некоторые знания, касающиеся осуществления покупок в Internet. Мы создадим агента по исследованию возможности осуществления покупок (торгового агента), который помогает покупателю найти в Internet предложения по интересующим его товарам. Торговый агент получает описание товара от покупателя и выполняет задачу по подготовке списка Web-страниц, на которых данный товар предлагается на продажу. В некоторых случаях описание покупателем товара будет точным, таким как “Цифровая камера Coolpix 995”, и тогда задача заключается в поиске магазина (магазинов) с наилучшим предложением. В других случаях описание может быть определено лишь частично, как, например, “Цифровая камера не дороже 300 долларов”, и агенту придется сравнивать различные товары.
Средой существования торгового агента является вся система World Wide Web — не игрушечная моделированная среда, а та сложная, постоянно развивающаяся среда, которая используется каждый день миллионами людей. Результатами восприятиями агента являются Web-страницы, но в отличие от человека— пользователя Web, который рассматривает страницы, отображенные в виде массива пикселов на экране, торговый агент воспринимает страницу в виде символьной строки, состоящей из обычных слов, чередующихся с командами форматирования на языке разметки HTML. В листинге 10.1 показаны Web-страница и соответствующая символьная строка HTML. Проблема восприятия для торгового агента состоит в извлечении полезной информации из восприятий такого рода.
Безусловно, что решить задачу восприятия Web-страниц проще по сравнению, скажем, с восприятием дорожной ситуации во время вождения такси в Каире. Тем не менее задача восприятия в Internet усложняется многими факторами. Web- страница, показанная в листинге 10.1, является очень простой по сравнению с реальными торговыми узлами, которые включают cookie-файлы, код Java, Javascript,
Flash, протоколы защиты от роботов, плохо сформированный код HTML, звуковые файлы, фильмы и текст, который появляется только в составе графического изображения, например в формате JPEG. Агент, способный действовать в пределах всей Internet, должен быть почти таким же сложным, как и робот, способный двигаться в реальном мире. Поэтому мы сосредоточимся на описании простого агента, в котором не учитывается большая часть этих осложнений.
Листинг 10.1. Web-страница типичного оперативного магазина в форме, воспринимаемой человеком — пользователем браузера (вверху), и соответствующая строка HTML, принимаемая браузером или воспринимаемая торговым агентом (внизу). В языке HTML символы между знаками < и > представляют собой директивы разметки, которые указывают, как должна отображаться страница. Например, строка <i>Select</i> означает, что нужно переключиться на курсивный шрифт, отобразить слово Select, а затем отменить использование курсивного шрифта. Идентификатор страницы, такой как http://gen-store.com/books, называется унифицированным локатором ресурсов, или URL (Uniform Resource Locator). Разметка <a href ="ur 1">anchor</a> означает, что должна быть создана гипертекстовая ссылка на локатор url с текстом анкера anchor
Generic Online Store
Select from our fine line of products:
Computers
Cameras
Books
Videos
• Music
<hl>Generic Online Store</hl>
<i>Select</i> from our fine line of products: <ul>
<li> <a href="http://gen-store.com/сотри">Computers</a>
<li> <a href="http://gen-store.com/camer">Cameras</a>
<li> <a href="http://gen-store.com/books">Books</a>
<li> <a href="http://gen-store.com/video">Videos</a>
<li> <a href="http://gen-store.com/music">Music</a>
</ul>
В первую очередь задача агента состоит в том, чтобы найти соответствующие товарные предложения (ниже будет показано, как выбрать наилучшие из искомых предложений). Допустим, что query— описание товара, которое вводит пользователь (например, “laptops” — портативные компьютеры); в таком случае некоторая страница представляет собой предложение, соответствующее запросу query, если страница действительно ему соответствует и содержит подходящее предложение. Мы должны также следить за URL, связанным с этой страницей:
RelevantOffer (page, url, query) <=> Relevant(page,url,query) a Offer(page)
Запросу будет соответствовать страница с обзором новейших портативных компьютеров высокого класса, но если она не предоставляет способ купить такой компьютер, то ее нельзя рассматривать как предложение. Например, можно утверждать, что страница является предложением, если на ней содержится слово “buy” (покупка) или “price” (цена) в какой-то ссылке HTML или в форме, относящейся к этой странице. Иными словами, если страница содержит строку в виде “<а ... buy ... </а> ...”, то является предложением; на ней может также применяться слово “price” вместо “buy”, а вместо дескрип-
тора “а” использоваться дескриптор “form”. Аксиомы, относящиеся к этим утверждениям, могут быть записаны следующим образом:
Offer(page) <=> (InTag ("a", str, page) v InTag (" form", str, page)) a (Tn("buy", str) v Tn("price", str))
InTag(tag, str, page) <=> In("<" + tag + str + "</" + tag, page) In(sub, str) <=> 3i strVi: i+Length (sub) ] = sub
Теперь необходимо найти соответствующие страницы. Применимая для этого стратегия состоит в том, чтобы начать с начальной страницы некоторого оперативного магазина и рассмотреть все страницы, которых можно достичь, следуя по соответствующим ссылкам. Агент должен обладать знаниями о многих магазинах, например, в таком виде:
Amazon Е OnlineStores а Нотераде (Amazon, "amazon.com")
Ebay Е OnlineStores a Homepage(Ebay, "ebay.com")
GenStore E OnlineStores a Homepage(GenStore, "gen-store.com")
В этих магазинах товары классифицируются по категориям товаров, а на начальной странице предоставляются ссылки на основные категории товаров. К младшим категориям можно перейти, следуя по цепочке соответствующих ссылок, что позволяет в конечном итоге проложить путь к требуемым предложениям. Иными словами, страница соответствует запросу, если ее можно достичь, проследовав по цепочке соответствующих ссылок на категории от начальной страницы магазина, а затем пройдя еще по одной ссылке к предложению товара:
Relevant (раде, url, query) <=>
3store,home store E OnlineStores a Homepage(store, home) a Burl2 RelevantChain (home, url2, query) a Link(url2, url) a page = GetPage(url)
Здесь предикат Link( from, to) означает, что имеется гиперссылка от URL from к URL to (см. упр. 10.13); чтобы определить, какая цепочка ссылок может рассматриваться как соответствующая запросу, RelevantChain, необходимо следовать не просто по любым существующим гиперссылкам, а только по таким ссылкам, связанный с которыми текст анкера указывает, что эта ссылка соответствует данному запросу на приобретение товара. Для этого используется предикат LinkText (from, to, text), который означает, что имеется ссылка между URL from и to, текстом анкера которой является text. Цепочка ссылок между двумя URL, start и end, соответствует описанию d, если текст анкера каждой ссылки представляет собой соответствующее имя категории для d. Существование самой цепочки определяется с помощью рекурсивной формулировки, в которой в качестве базового случая используется пустая цепочка (start=end);
RelevantChain (start, end, query) <=> (start=end) v
(3u, text LinkText (start, u, text) a RelevantCategoryName(query, text) a RelevantChain(u, end, query))
Теперь необходимо определить, что подразумевается под высказыванием, будто текст text является соответствующим именем категории RelevantCategoryName для запроса query. Прежде всего необходимо связать строки с категориями, именуемыми с помощью этих строк. Такую задачу можно решить с использованием предиката Nameks, с), который сообщает, что строка s является именем категории с, например, чтобы можно было сформулировать утверждение, что Name к "laptops", Laptopcomputers). Некоторые дополнительные примеры применения предиката Name приведены в табл. 10.1, б. Затем определим понятие соответствия. Допустим, что запросом query является "laptops" (Портативные компьютеры). В таком случае предикат RelevantCategoryNamekquery, text) принимает истинное значение, когда выполняется одно из приведенных ниже условий.
Таблица 10.1. Примеры обозначений категорий
Таксономия категорий товаровСлова, которыми обозначаются эти категории
а)б)
Books с Products MusicRecordings с Products MusicCDs С MusicRecordings MusicTapes C MusicRecordings Electronics C Products DigitalCameras C Electronics StereoEquipment c Electronics Computers c Electronics Laptopcomputers C Computers Desktopcomputers C ComputersBooks с Products MusicRecordings с Products MusicCDs С MusicRecordings MusicTapes C MusicRecordings Electronics C Products DigitalCameras C Electronics StereoEquipment c Electronics Computers c Electronics Laptopcomputers C Computers Desktopcomputers C ComputersNameк"books",Books)
Books с Products MusicRecordings с Products MusicCDs С MusicRecordings MusicTapes C MusicRecordings Electronics C Products DigitalCameras C Electronics StereoEquipment c Electronics Computers c Electronics Laptopcomputers C Computers Desktopcomputers C Computers
Books с Products MusicRecordings с Products MusicCDs С MusicRecordings MusicTapes C MusicRecordings Electronics C Products DigitalCameras C Electronics StereoEquipment c Electronics Computers c Electronics Laptopcomputers C Computers Desktopcomputers C Computers
Name к"music", MusicRecordings)
Name("CDs", Musi eCDs)
Name("tapes", MusicTapes)
Name("electronics",Electronics)
Name("digital cameras",DigitalCameras)
Name("stereos",Stereo Equipment)
Name к"computers",Computers)
Name к"laptops",Laptopcomputers)
Name к"desktops",Desktopcomputers)
Строки text и query именуют одну и ту же категорию, например "laptop computers"и"laptops".
В строке text именуется надкатегория, такая как " computers".
В строке text именуется подкатегория, такая как " ultralight notebooks".
Логическое определение предиката RelevantCategoryNameсостоит в следующем:
RelevantCategoryNamekquery, text) <^
(10.1)(10.1)3ci,C2 Name kquery, ci) л Name к text, С2) л (ci с с2 v с2 с Ci)
(10.1)
(10.1)
В противном случае текст анкера не соответствует запросу, поскольку в нем именуется категория, не соответствующая данному описанию, такая как "mainframe computers" (мэйнфреймы) или "lawn & garden" (газон и сад).
Поэтому, чтобы обладать способностью следовать по искомым ссылкам, необходимо иметь широкие знания об иерархии категорий товаров. Верхняя часть этой иерархии может выглядеть, как показано в табл. 10.1, а. Задача перечисления всех возможных товарных категорий неосуществима, поскольку у покупателя всегда могут
возникнуть какие-то новые пожелания, а производители всегда готовы предложить новые товары для их удовлетворения (возможно, скоро будут даже продаваться обогреватели для коленных чашечек?). Тем не менее онтология, состоящая примерно из тысячи категорий, должна оказаться очень полезным инструментом для большинства покупателей.
Кроме самой иерархии товаров, необходимо иметь богатый словарь имен для категорий. Жизнь была бы гораздо проще, если бы существовало взаимно однозначное соответствие между категориями и символьными строками, которые их именуют. Мы уже сталкивались с проблемой синонимов — двух имен для одной и той же категории, таких как "laptop computers" and "laptops". Кроме того, существует также проблема омонимов — обозначения одним именем двух или нескольких разных категорий. Например, если в базу знаний, приведенную в табл. 10.1,5, будет добавлено следующее вполне допустимое высказывание, что словом "CDs" обозначаются депозитные сертификаты:
Namely "CDs", CertificatesOfDeposit')
то имя "CDs" будет относиться к двум различным категориям.
Наличие синонимов и омонимов может стать причиной значительного увеличения количества путей, по которым должен следовать агент, и иногда может затруднить определение того, действительно ли данная страница соответствует запросу. Гораздо более серьезная проблема состоит в том, что пользователь может вводить очень широкий спектр описаний, а магазин может использовать не такие имена категорий, о которых знает агент. Например, в ссылке может быть указано " laptop", тогда как в базе знаний имеется только имя "laptops", или пользователь может ввести запрос: “компьютер, который помещается на откидном столике сидения экономического класса в самолете Boeing 737”. Невозможно заранее перечислить все способы, с помощью которых могут присваиваться имена какой-то категории, поэтому в некоторых случаях агент должен проявлять способность проводить дополнительные рассуждения для определения того, соответствует ли рассматриваемый текст отношению Name. В наихудшем случае для этого требуется полное понимание естественного языка, но отложим эту тему до главы 22. На практике многое можно сделать с помощью нескольких простых правил, например, позволяющих согласовать слово "laptop" с категорией, названной как "laptops". В упр. 10.15 предлагается разработать множество таких правил после проведения некоторых исследований, касающихся оперативных магазинов.
Готовы ли мы применить некоторый алгоритм логического вывода для получения множества предложений, соответствующих нашему запросу, после того как составлены логические определения, описанные в предыдущих абзацах, и подготовлены приемлемые базы знаний о категориях товаров и соглашениях об именовании? К сожалению, не совсем! Недостающим элементом является функция GetPagekurl^, которая ссылается на HTML-страницу, находящуюся по заданному URL. Агент не хранит в своей базе знаний содержимое страниц с каждым URL, а также не располагает явными правилами дедуктивного вывода того, каким должно быть это содержимое. Вместо этого можно предусмотреть, чтобы правильная процедура HTTP выполнялась каждый раз, когда какая-то подцель требует применения функции выборки страницы GetPage. Благодаря этому машина логического вывода сталкивается с такой ситуацией, как если бы вся система Web находилась в базе зна-
ний. В этом состоит пример применения общего метода, называемого ^.процедурным вложением, с помощью которого конкретные предикаты и функции могут выполняться с использованием методов специального назначения.
Сравнение коммерческих предложений
Теперь предположим, что в результате применения процессов формирования рассуждений, описанных в предыдущем разделе, подготовлено множество страниц с предложениями, касающимися нашего запроса "laptops". Чтобы сравнить эти предложения, агент должен извлечь из страниц с предложениями соответствующую информацию о цене, быстродействии, объеме диска, весе и т.д. Применительно к реальным Web-страницам эта задача может оказаться сложной, по всем тем же причинам, которые уже упоминались выше. Общепринятый способ решения этой проблемы состоит в использовании программ, называемых ^ оболочками (wrapper), для извлечения информации из страницы. Технология извлечения информации будет описана в разделе 23.3. А пока предположим, что такие оболочки существуют и после получения доступа к странице и базе знаний они добавляют к базе знаний определенные утверждения. Как правило, для обработки страницы должна применяться определенная иерархия оболочек: наиболее общая оболочка извлекает информацию о датах и ценах, более конкретная извлекает данные об атрибутах товаров, относящихся к категории компьютеров, а в случае необходимости применяется оболочка, относящаяся к конкретному узлу, которая обладает сведениями о формате представления данных в конкретном магазине. Допустим, что имеется страница с узла genstore . com, на которой находится текст:
YVM ThinkBook 970. Our price:$1449.00
сопровождаемый данными о различных технических характеристиках. В этом случае желательно иметь оболочку для извлечения примерно такой информации:
31с,offer 1с е Laptopcomputers л offer е Productoffers л Screens!ze(lc, Znches(14)) л ScreenType(1c, ColorLCD) л Memorysize кlc, Megabytes(512)) л CPUSpeedklc, GHz(2.4)) л OfferedProduct(offer, lc) л Storekoffer, GenStore) л URLkoffer, "genstore.com/comps/34356.html") л Pricekoffer, $(449)) л Datekoffer, Today)
Этот пример иллюстрирует некоторые проблемы, которые возникают с самого начала серьезных исследований в области инженерии знаний для коммерческих сделок. Например, обратите внимание на то, что цена является атрибутом предложения offer, а не самого товара. Это важно, поскольку предложение в каждом конкретном магазине может изменяться со дня на день, даже на один и тот же портативный компьютер, а для некоторых категорий (такие как дома и картины) предложения по приобретению одного и того же отдельного объекта могут даже сопровождаться другими одновременными предложениями по покупке сопутствующих товаров по различным ценам. Возникают и многие другие осложнения, о которых еще не шла речь, например, возможность того, что цена будет зависеть от метода платежа и от прав покупателя на некоторые скидки. Так или иначе, но в этой области еще предстоит выполнить очень много интересной работы.
Последняя задача состоит в сравнении информации о предложениях, которая была извлечена из разных страниц. Например, рассмотрим следующие три предложения:
2.4 GHz CPU, 512MB RAM, 80 GB disk, DVD, CDRW, $1695
2.0 GHz CPU, 1GB RAM, 120 GB disk, DVD, CDRW, $1800
2.2 GHz CPU, 512MB RAM, 80 GB disk, DVD, CDRW, $1800
Предложение А доминирует над предложением С; это означает, что предлагаемый на узле А компьютер дешевле и имеет более высокое быстродействие, а во всем остальном два компьютера одинаковы. Вообще говоря, предложение X доминирует над У, если X имеет лучшее значение по меньшей мере одного атрибута и не хуже по всем остальным атрибутам. Но ни А, ни в не доминируют друг над другом. Чтобы определить, какое из этих предложений лучше, необходимо знать, как покупатель оценивает быстродействие процессора и стоимость по отношению к объему памяти и диска. Тема выбора предпочтений среди многочисленных атрибутов в целом рассматривается в разделе 16.4, а пока наш торговый агент просто возвращает список всех предложений, соответствующих описанию покупателя, над которыми не доминируют другие предложения. В данном примере ни одно предложение не доминирует ни над А, ни над в. Обратите внимание на то, что данный результат основан на предположении, что все предпочитают более низкие цены, более быстродействующие процессоры и больший объем памяти. Некоторые атрибуты, такие как размер экрана в ноутбуке, зависят от конкретных предпочтений пользователя (хочет ли он иметь большой экран или миниатюрный ноутбук); для решения вопроса о таких предпочтениях торговый агент должен получить ответ от пользователя.
Торговый агент, описанный в этом разделе, является весьма простым; для него возможны многие усовершенствования. Тем не менее этот агент обладает достаточными способностями, чтобы при наличии правильных знаний о конкретной проблемной области он мог действительно оказать помощь покупателю. Поскольку этот агент имеет декларативную конструкцию, его можно легко дополнить для использования в более сложных приложениях. Основной замысел данного раздела состоял в том, чтобы показать, что для агента, подобного этому, требуется определенное представление знаний (в частности, об иерархии товаров), а после приобретения некоторых знаний в такой форме уже не очень сложно создать все остальное, что требуется от агента, основанного на знаниях.
Системы формирования рассуждений
о КАТЕГОРИЯХ
Выше было показано, что категории являются основными строительными блоками любой крупномасштабной схемы представления знаний. А в данном разделе описаны системы, специально предназначенные для организации и проведения рассуждений, касающихся категорий. Существуют два тесно связанных семейства систем: семантические сети предоставляют графические средства, позволяющие визуально представить базу знаний, и эффективные алгоритмы для логического вывода сведений о любом объекте на основании его принадлежности к некоторой категории, а описательные логики предоставляют формальный язык для конструирования и
комбинирования определений категорий, а также эффективные алгоритмы для установления связей между категориями на уровне подмножеств и надмножеств.
Семантические сети
В 1909 году Чарльз Пирс предложил графическую систему обозначений в виде узлов и дуг, получившую название ^ экзистенциальных графов, которую он назвал ‘‘логикой будущего”. Так зародилось понятие семантических сетей. С того времени и начались продолжительные дебаты между приверженцами “чистой логики” и приверженцами “чисто семантических сетей”. К сожалению, эти дебаты затмили тот факт, что семантические сети (по меньшей мере, те из них, в которых правильно определена семантика) представляют собой всего лишь одну из форм логики. Система обозначений для высказываний некоторых типов, предусмотренная в семантических сетях, часто является более удобной для человека, но если отбросить эти особенности, касающиеся “удобного интерфейса”, то базовые понятия (объекты, отношения, кванторы и т.д.) окажутся теми же самыми.
Существует много вариантов семантических сетей, но все они способны представлять отдельные объекты, категории объектов и отношения между объектами. В типичной графической системе обозначений имена объектов или категорий изображаются в овалах или прямоугольниках, а связи между ними обозначаются с помощью дуг с метками. Например, на рис. 10.7 показана связь MemberOf между Магу и FernalePersons, которая соответствует логическому утверждению Mary е FemalePersons; аналогичным образом, связь SisterOf между Магу и John соответствует утверждению SisterOf (Mary, John). Категории можно соединять с помощью связи SubsetOf и т.д. Рисовать эти овалы и стрелки так интересно, что часто можно забыть обо всем. Например, мы знаем, что матерями людей являются особы женского пола, но можно ли нарисовать связь HasMother от категории Persons к категории FemalePersons? Ответ является отрицательным, поскольку HasMother — это связь между человеком и его матерью, а категории не имеют матерей. По этой причине на рис. 10.7 используется специальное обозначение — связь с меткой в прямоугольнике с двойным контуром. Эта связь соответствует следующему утверждению:
Vx х G Persons => [Vy HasMother (x, у) => у g FemalePersons]
Нам может также потребоваться сформулировать утверждение, что люди имеют две ноги, таким образом:
Vx х G Persons => Legs(х,2)
Как и прежде, необходимо тщательно следить за тем, чтобы в этом высказывании не утверждалось, что ногами обладает категория; как показано на рис. 10.7, для
формулировки утверждений о свойствах каждого элемента категории используется связь, обозначенная меткой в прямоугольнике с одинарным контуром.
Рис. 10.7. Семантическая сеть с четырьмя объектами fJohn, Mary, 1 и 2) и четырьмя категориями. Отношения обозначаются свя
зями с метками
Система обозначений с использованием семантических сетей обеспечивает значительные удобства при формировании рассуждений с учетом наследования такого типа, которые были впервые представлены в разделе 10.2. Например, благодаря тому, что Мэри является человеком, она наследует свойство иметь две ноги. Поэтому, чтобы узнать, сколько ног имеет Мэри, алгоритм наследования проходит по связи MemberOf от объекта Mary к категории, к которой она принадлежит, а затем проходит по связям SubsetOf вверх по иерархии до тех пор, пока не находит категорию, для которой имеется связь с обведенной прямоугольником меткой Legs, в данном случае категорию Persons. Простота и эффективность этого механизма логического вывода по сравнению с логическим доказательством теорем издавна была одной из основных привлекательных особенностей семантических сетей.
Наследование становится сложнее, если некоторый объект может принадлежать больше чем к одной категории или если категория может быть подмножеством больше чем одной отличной от нее категории; такая ситуация называется ^ множественным наследованием. В подобных случаях алгоритм наследования может находить два или несколько конфликтующих значений, представляющих собой ответ на запрос. По этой причине множественное наследование запрещено в некоторых языках объектно-ориентированного программирования (Object-Oriented Programming — OOP), таких как язык Java, в котором используется наследование в иерархии классов. В семантических сетях множественное наследование обычно разрешено, но мы отложим обсуждение этой темы до раздела 10.7.
Еще одной общей формой логического вывода является использование ^ инверсных связей. Например, связь HasSister является инверсной по отношению к SisterOf, а это означает, что имеет место следующее высказывание:
Mp,s HasSister(р, s) <=> Sis terOf (s, p^
Это высказывание может быть подтверждено в семантической сети, если связи являются овеществленными, т.е. преобразованными в объекты в полном смысле этого понятия. Например, может быть предусмотрен объект SisterOf, соединен-
ный связью Inverse с объектом HasSister. После получения запроса, касающегося того, кто является сестрой (SisterOf) Джона, алгоритм логического вывода может обнаружить, что связь Has Sis ter является инверсной по отношению к связи Sis terOf, и поэтому ответить на данный запрос, проследовав по связи HasSister от объекта John к объекту Магу. При отсутствии этой инверсной информации могло бы потребоваться проверить каждое лицо женского пола для определения того, не имеет ли это лицо связь SisterOf, направленную к Джону. Это связано с тем, что в семантических сетях непосредственная индексация предусмотрена только для самих объектов, а также категорий и связей, исходящих из них; проводя сравнение с логикой первого порядка, можно отметить, что это аналогично индексации базы знаний только по первому параметру каждого предиката.
Читатель должен был обнаружить очевидный недостаток системы обозначений с помощью семантических сетей по сравнению с логикой первого порядка: тот факт, что между овалами проводятся связи, соединяющие два овала, говорит о том, что в семантических сетях могут быть представлены только бинарные отношения. Например, высказывание Fly (Shankar, NewYork, NewDelhi, Yesterday) не может быть реализовано непосредственно в семантической сети. Тем не менее можно достичь эффекта реализации n-арных высказываний путем овеществления самого рассматриваемого высказывания в виде события (см. раздел 10.3), принадлежащего к соответствующей категории событий. На рис. 10.8 показана структура семантической сети для указанного выше конкретного события. Обратите внимание на то, что ограничение, связанное с необходимостью применять только бинарные отношения, вынуждает создавать богатую онтологию овеществленных понятий; в действительности основная часть онтологии, разработанной в данной главе, происходила из систем с семантическими сетями.
Рис. 10.8. Фрагмент семантической сети, на которой показано представление логического утверждения Fly (Shankar, NewYork, NewDelhi, Yesterday^
Овеществление высказываний дает возможность представить в системе обозначений семантической сети любое базовое, атомарное высказывание логики первого порядка, не содержащее функций. Реализация некоторых видов высказываний с кванторами всеобщности может осуществляться с помощью инверсных связей и применяемых к категориям стрелок с метками в одинарных и двойных прямоугольниках, но даже такие ухищрения отнюдь не позволяют приблизиться к возможностям полной логики первого порядка. В этой системе обозначений недостает всех таких выразительных возможностей, как отрицание, дизъюнкция, вложенные функциональные символы и кванторы существования. В последнее время появилась возможность расширить эту систему обозначений, чтобы сделать ее эквивалентной
логике первого порядка (как при использовании экзистенциальных графов Пирса или секционированных семантических сетей Хендрикса [647]), но это приводит к исчезновению одного из основных преимуществ семантических сетей — простоты и прозрачности процессов логического вывода. Простая система обозначений позволяет проектировщикам создавать большие сети и все еще иметь полное представление о том, какие запросы должны быть эффективными, поскольку, во-первых, можно легко визуально представить, через какие шаги должна пройти процедура логического вывода, и, во-вторых, в некоторых случаях язык запросов настолько прост, что в нем невозможно сформулировать сложные, запутанные запросы. Для тех случаев, когда обнаруживается, что выразительная мощь слишком ограничена, во многих системах семантических сетей предусмотрены процедурные вложения, позволяющие компенсировать эти недостатки. Процедурное вложение — это метод, с помощью которого при выполнении запроса, касающегося некоторого отношения (а иногда и при вводе в базу знаний некоторого утверждения), осуществляется вызов специальной процедуры (предназначенной лишь для обработки этого отношения), а не общего алгоритма логического вывода.
Одной из самых важных характерных особенностей семантических сетей является их способность представлять ^ заданные по умолчанию значения для категорий. Внимательно изучив рис. 10.7, можно обнаружить, что Джон имеет одну ногу, несмотря на тот факт, что он — человек, а все люди имеют две ноги. В строго логической базе знаний такое сочетание фактов было бы противоречивым, но в семантической сети утверждение, что все люди имеют две ноги, обладает лишь статусом значения, применяемого по умолчанию; т.е. применительно к любому человеку предполагается, что он имеет две ноги, если этому не противоречит более конкретная информация. Принудительное применение семантики заданных по умолчанию значений осуществляется естественным образом с помощью алгоритма наследования, поскольку этот алгоритм следует по связям, направленным вверх от самого объекта (в данном случае Джона), и останавливается, как только находит искомое значение. Принято говорить, что заданное по умолчанию значение М перекрывается более конкретным значением. Обратите внимание на то, что можно было бы также перекрыть информацию о заданном по умолчанию количестве ног, создав категорию одноногих людей OneLeggedPersons, подмножество категории Persons, элементом которого является John.
Можно было бы также сохранить строго логическую семантику для этой сети, сформировав следующее высказывание, что утверждение Legs для Persons содержит исключение для John;
Ух х Е Persons л х Ф John => Legs {х, 2)
При наличии фиксированной сети такое дополнение было бы семантически адекватным, но стало бы гораздо менее кратким по сравнению с самой сетевой системой обозначений, если бы и без этого в сети было бы много исключений. А в сети, которая обновляется путем добавления дополнительных утверждений, такой подход оказался бы полностью неприемлемым, поскольку фактически потребовалось бы указывать, что к исключениям относятся все люди, в отношении которых еще не известно, имеют ли они две или только одну ногу. В разделе 10.7 приведены дополнительные сведения об этой проблеме и о формировании рассуждений в логике умолчаний в целом.
Описательные логики
Синтаксис логики первого порядка предназначен для упрощения процедуры формирования высказываний об объектах, а ^ описательные логики представляют собой системы обозначений, которые предназначены для упрощения процедуры описания определений и свойств категорий. Системы описательной логики развились из семантических сетей в ответ на необходимость формализовать тот смысл, который несут в себе сети, сохранив вместе с тем акцент на использование таксономической структуры в качестве принципа организации.
Основные задачи логического вывода для описательных логик сводятся к ^ обобщению (проверке того, является ли одна категория подмножеством другой путем сравнения их определений) и ^ классификации (определению принадлежности некоторого объекта к какой-то категории). В некоторых системах предусматривается также проверка непротиворечивости категории, т.е. того, являются ли выполнимыми критерии принадлежности к категории с точки зрения логики.
Типичным языком описательной логики является Classic [155]. Синтаксис описаний Classic показан в листинге 10.2. Например, чтобы сформулировать утверждение, что холостяками называют неженатых взрослых мужчин, можно записать следующее:
Bachelor = And(Unmarried,Adult, Male)
Эквивалент этого утверждения в логике первого порядка выглядел бы так:
Bachelorкх) <=> Unmarried (х) л Adult (х) л Malekx)
Листинг 10.2. Синтаксис описаний в подмножестве языка Classic
Concept —> Thing | ConceptName
| And к Concept)
| All kRoleName, Concept)
| AtLeast(Integer,Ro1 eName)
| AtMost(Integer,RoleName)
| Fills kRoleName, IndividualName,...)
| Same As к Path, Pa th)
| OneOf (IndividualName,...)
Path —> [RoleName, ... ]
Следует отметить, что в этом языке описательной логики фактически разрешается непосредственно выполнять логические операции с предикатами, что исключает необходимость в первую очередь создавать высказывания, которые должны быть соединены связками. Любое описание на языке Classic может быть сформулировано и в логике первого порядка, но некоторые описания Classic формулируются проще. Например, чтобы описать множество мужчин, имеющих трех сыновей, из которых все безработны и женаты на врачах, и, самое большее, двух дочерей, из которых все являются преподавателями на кафедрах физики или математики, можно записать следующее:
And(Man,AtLeast (3 , Son) , AtMost (2 , Daughter) ,
All(Son,And(Unemployed,Married,All(Spouse,Doctor))),
All(Daughter,And(Professor,Fills(Department,Physics, Math))))
Перевод этого высказывания на язык логики первого порядка оставляем читателю в качестве упражнения.
По-видимому, одной из наиболее важных характерных особенностей описательных логик является сделанный в них акцент на осуществимости логического вывода. Решение любого экземпляра проблемы осуществляется путем его описания, а затем выполнения запроса, касающегося того, является ли этот экземпляр обобщением одной из нескольких возможных категорий решений. В стандартных системах логики первого порядка предсказание времени выработки решения часто оказывается невозможным, а пользователю чаще всего самому приходится разрабатывать представление, позволяющее исключать множества высказываний, которые, по- видимому, вынудят систему выполнять вычисления в течение нескольких недель, чтобы решить задачу. С другой стороны, в описательных логиках все направлено на обеспечение того, чтобы проблема проверки обобщения могла быть решена за время, полиномиально зависящее от размера описаний.
На первый взгляд такое свойство описательных логик может показаться удивительным, пока не станет очевидно, что в процессе формулировки задачи может быть достигнут только один из двух безуспешных результатов: либо задача окажется настолько сложной, что ее описание вообще невозможно будет сформулировать, либо она потребует экспоненциально большого описания! Тем не менее анализ осуществимости логического вывода позволяет пролить свет на то, какого рода конструкции вызывают проблемы, и поэтому помочь пользователю понять, какие следствия вытекают из использования различных представлений. Например, в описательных логиках обычно не используются такие отношения, как отрицание и дизъюнкция. Дело в том, что каждое из этих отношений вынуждает логические системы первого порядка для обеспечения полноты проходить через этап анализа вариантов, который может потенциально характеризоваться экспоненциальной сложностью. По той же причине эти отношения исключены из языка Prolog. В языке Classic допускается использовать только ограниченную форму дизъюнкции в конструкциях Fills и OneOf, которые допускают выполнение дизъюнкции по явно заданным объектам, а не по их описаниям. Если бы было разрешено использовать дизъюнктивные описания, то вложенные определения могли бы легко привести к появлению экспоненциального количества альтернативных путей, по которым одна категория могла бы обобщать другую.
Формирование рассуждений с использованием ИНФОРМАЦИИ, ЗАДАННОЙ ПО УМОЛЧАНИЮ
В предыдущем разделе был приведен простой пример утверждения с заданной по умолчанию информацией о состоянии: люди имеют две ноги. Это заданное по умолчанию значение можно переопределить с помощью более конкретной информации,
например, такой, что Длинный Джон Сильвер имеет одну ногу. Кроме того, было показано, что механизм наследования в семантических сетях предоставляет простой и естественный способ переопределения значений, заданных по умолчанию. В этом разделе проводится более общее исследование заданной по умолчанию информации, с тем чтобы можно было понять семантику умолчаний, а не просто создать какой-то процедурный механизм.
Открытые и закрытые миры
Предположим, что вы просматриваете доску объявлений университетской кафедры компьютерных наук и видите сообщение со словами: “Студентам будут предложены следующие курсы лекций: CS 101, CS 102, CS 106, ЕЕ 101”. Итак, сколько курсов здесь предлагается? Если вы ответите “четыре”, то поступите в соответствии с принципами работы типичной системы баз данных. После ввода информации в реляционную базу данных с помощью оператора, эквивалентного следующим четырем утверждениям:
Course (CS, 101), Course(CS, 102), Course(CS, 106),
Course(EE, 101) (10.2)
запрос на языке SQL select count(*) from Course возвратит 4. С другой стороны, логическая система первого порядка, скорее всего, ответит примерно в том смысле, что количество предлагаемых курсов должно находиться в пределах от одного до бесконечности, но только не быть равно “четырем”. Причина этого состоит в том, что эти утверждения Course не отрицают возможности, что могут также предлагаться другие не упомянутые здесь курсы, а также не позволяют сделать вывод, что все указанные курсы отличаются друг от друга.
Этот пример показывает, что системы баз данных и соглашения, неявно применяемые людьми при общении, отличаются от логики первого порядка по меньшей мере в двух аспектах. Во-первых, в языках баз данных (и в языках общения людей) предполагается, что предоставленная информация является полной, поэтому предполагается, что базовые атомарные высказывания, не обозначенные как истинные, являются ложными. Такое предположение называется ^ предположением о замкнутом мире, или CWA (Closed-World Assumption). Во-вторых, обычно предполагается, что разные имена относятся к различным объектам. В этом состоит предположение об уникальности имен, или UNA (Unique Names Assumption), которое было впервые описано в контексте имен действий в разделе 10.3.
В логике первого порядка такие соглашения не приняты, и поэтому необходимо их определять явно. Чтобы сформулировать высказывание, что предлагаются четыре и только четыре разных курса, необходимо записать следующее:
Course^d, n) <=> [d,n] = [CS,101] v [d,n] = [CS,102]
v [d,n] = [CS,106] v [d,n] = [ЕЕЛ01] (10.3)
Уравнение 10.3 называется ^дополнением уравнения 10.2. Вообще говоря, такое дополнение должно содержать определение для каждого предиката (высказывание в форме “тогда и только тогда”), а каждое определение должно содержать по одному
дизъюнкту для каждого определенного выражения, головой которого является этот предикат1 ’. Как правило, такое дополнение создается, как описано ниже.
Собрать все выражения с одним и тем же названием предиката (Р) и с одной и той же арностью (п).
Преобразовать каждое выражение в ^ нормальную форму Кларка, например, заменить выражение
Р( ti, ..., tn) <- Body
где ti — термины, выражением
P(V1, ..., Vn) <~ 3Wi ... Win [V1, ..., vn] = [ti, ..., tn] A Body
где Vi — вновь введенные переменные, a ^ — переменные, которые присутствуют в первоначальном выражении. При этом следует использовать одно и то же множество vi для каждого выражения. Это приводит к получению такого множества выражений:
р(Vi, j , Vn) <- Bl
Р( Vi, j , Vn) <- Bk
Скомбинировать их вместе в одно большое дизъюнктивное выражение:
P(vi, ..., Vn) <- Bl v ... v Вк
Сформировать завершение, заменяя оператор <- оператором эквивалентности:
P(vi, Vn) <=» Bl v ... v Bk
Пример дополнения Кларка для базы знаний, включающей и базовые факты, и правила, приведен в табл. 10.2. Чтобы ввести в действие предположение об уникальности имен, достаточно сформировать дополнение Кларка для отношения равенства, где единственными известными фактами являются CS^CS, 101 = 101 и т.д. Оставляем эту задачу читателю в качестве упражнения.
Таблица 10.2. Дополнение Кларка для множества хорновских выражений. В первоначальной хорнов- ской программе (слева) четыре курса перечислены явно, а также содержатся утверждения, что проводятся курсы по математике с целочисленными номерами от 101 до 130, а для каждого курса CS по компьютерным наукам в серии 100 (для студентов) имеется соответствующий курс в серии 200 (для аспирантов). В дополнении Кларка (справа) указано, что других курсов больше нет. С помощью этого дополнения и предположения об уникальности имен (а также очевидного определения предиката Integer) можно получить желаемое заключение, что имеется точно 36 курсов: 30 курсов по математике и 6 курсов по компьютерным наукам
Хорновские выражения
Дополнение Кларка
Course(CS,101)
Course(d,n^ <^> [d,n] = [CS, 101]
Course(CS,102)
v Vd,n} = [CS,102]
Course(CS,106)
v [d,n] = [CS,106]
Course(EE,101)
v [d,n] = [EE,101]
Course(EE, i) <— Integer(i^
v 3z [d,n] = [EE,z] a Integer(i)
11 Следует отметить, что эти выражения также представляют собой одну из разновидностей аксиом состояния-преемника, приведенных в разделе 10.3.
Окончание табл. 10.2
Хорновские выражения
Дополнение Кларка
л 101 < i л i < 130
Course(CS,m+100) <=
Course(CS,m) a 100 < m
л m < 200
Л 101 < 2 Л 2 < 130
v Вт [d,n] = [CS,m+100]
a Course(CS,m) a 100 < т
a т < 200
Предположение о замкнутом мире позволяет найти минимальную модель отношения. Это означает, что в данном примере можно найти модель отношения Course с наименьшим количеством элементов. Минимальная модель отношения Course, соответствующая уравнению 10.2, имеет четыре элемента; при меньшем количестве элементов возникало бы противоречие. Для хорновских баз знаний всегда имеется уникальная минимальная модель. Следует отметить, что с учетом предположения об уникальности имен это утверждение распространяется также и на отношение равенства, поскольку каждый терм равен только самому себе. Как ни парадоксально, это означает также, что минимальные модели являются одновременно и максимальными, в том смысле, что включают максимально возможное количество объектов.
Было бы допустимо взять любую хорновскую программу, сформировать дополнение Кларка и передать полученный результат в программу автоматического доказательства теорем для выполнения логического вывода. Но обычно является более эффективным использование механизма логического вывода специального назначения, такого как Prolog, поскольку в этом механизме логического вывода уже учитываются предположения о замкнутом мире и уникальности имен.
Те, кому приходится использовать предположение о замкнутом мире, должны соблюдать осторожность при выборе способа формируемых рассуждений. Например, при использовании базы данных с результатами переписи населения было бы резонно принимать предположение о замкнутом мире при формировании рассуждений о текущем населении городов, но было бы неправильно делать вывод, что в будущем не родится ни один ребенок, лишь на основании того, что база данных не содержит записей, касающихся будущих дней рождения. Благодаря CWA база данных становится полной в том смысле, что позволяет дать либо положительный, либо отрицательный ответ на каждый атомарный запрос; если же какие-то факты не заданы в этой базе данных изначально (например, о будущих рождениях), то CWA не может применяться. Более сложная система представления знаний может дать пользователю возможность указывать правила, по которым следует применять предположение о замкнутом мире.
Отрицание как недостижение цели и устойчивая семантика модели
Как было показано в главах 7 и 9, базы знаний в форме хорновских выражений имеют желаемые вычислительные свойства. Однако во многих приложениях довольно сложно выполнить выдвигаемое при этом требование, чтобы каждый литерал в теле выражения был положительным. Например, может потребоваться сформулировать утверждение: “На прогулку можно выходить, если нет дождя”, не будучи вынужденным изобретать такие предикаты, как NotRaining. В этом разделе рассматривается дополнение к хорновским выражениям в форме явного отрицания, которое
основано на идее использования М отрицания как недостижения цели. Эта идея состоит в том, что истинность отрицательного литерала not Р может быть “доказана” просто на основании того, что попытка доказательства Р окончилась неудачей. В этом заключается одна из форм рассуждений по умолчанию, тесно связанная с предположением о замкнутом мире: предполагается, что нечто является ложным, если нельзя доказать, что оно истинно. Для того чтобы можно было отличить отрицание как недостижение цели от логического оператора “->”, для обозначения первого используется оператор “not”.
В языке Prolog допускается применять оператор not в теле выражения. Например, рассмотрим следующую программу Prolog:
IDEdrive <— Drive л not SCSIdrive.
SCSIdrive <— Drive л not IDEdrive.
SCSIcontroller SCSIdrive.
Drive.(10.4)
Первое правило указывает, что если в компьютере имеется жесткий диск, не являющийся диском SCSI, то это должен быть диск IDE. Согласно второму правилу, если это — не диск IDE, то он должен быть диском SCSI. В третьем правиле утверждается, что из наличия в компьютере диска SCSI следует наличие в нем контроллера SCSI, а четвертое утверждает, что в компьютере обязательно должен быть жесткий диск. Эта программа имеет следующие две минимальные модели:
Mi = {Drive, IDEdrive}
М2 = {Drive, SCSIdrive, SCSIcontroiler}
Очевидно, что минимальные модели не позволяют выразить намеченную семантику программ с отрицанием как недостижением цели. Рассмотрим следующую программу:
Р <— not Q.(10.5)
Эта программа имеет две минимальные модели, {Р} и {Q}. С точки зрения логики первого порядка в этом есть смысл, поскольку выражение Р <= -^Q эквивалентно Р v Q. Но с точки зрения языка Prolog это сомнительно: если терм Q ни разу не появляется в этой программе слева от стрелки, то как же он может стать следствием?
Альтернативный подход состоит в использовании идеи М стабильной модели, которая представляет собой такую минимальную модель, что каждый атом в модели имеет ^ обоснование: правило, голова которого является атомом, а каждый литерал в теле выполняется. Формально модель м определяется как стабильная модель программы н, если м— уникальная минимальная модель ^ сокращения н по отношению к м. Сокращение программы н определяется путем предварительного удаления из //любого правила, которое имеет в теле литерал not А, где А имеется в модели, азатем удаления всех отрицательных литералов в оставшихся правилах. Поскольку после этого сокращение программы н становится списком хорновских выражений, оно должно иметь уникальную минимальную модель.
Сокращением программы Р <— not Q по отношению к {Р} является Р, и это сокращение имеет минимальную модель {Р}. Поэтому {Р} — стабильная модель. Сокращение по отношению к {£} представляет собой пустую программу, и это сокращение имеет минимальную модель {}. Поэтому {Q} — это нестабильная модель,
поскольку Q не имеет обоснования в уравнении 10.5. В качестве еще одного примера можно привести сокращение уравнения 10.4 по отношению к Mi, как показано ниже.
IDEdrive Drive.
SCSIcontroller <- SCSIdrive.
Drive.
Эта программа имеет минимальную модель мг, поэтому Му — стабильная модель. ^ Программирование множества ответов — это разновидность логического программирования с отрицанием как недостижением цели, которая функционирует на основе преобразования логической программы в базовую форму с последующим поиском стабильных моделей (называемых также ^ множествами ответов) с использованием методов проверки пропозициональной модели. Таким образом, программирование множества ответов разработано на основе и системы Prolog, и быстродействующих алгоритмов автоматического доказательства выполнимости пропозициональных высказываний, таких как WalkSAT. И действительно, программирование множества ответов было успешно применено для решения задач планирования, по такому же принципу, как применялись программы автоматического доказательства выполнимости пропозициональных высказываний. Преимуществом планировщиков на основе множества ответов над другими планировщиками является их большая гибкость: операторы и ограничения планирования могут быть выражены в виде логических программ и не привязаны к жесткому формату конкретной формальной структуры планирования. Недостаток методов планирования на основе множества ответов является таким же, как и в других пропозициональных методах: если количество объектов в универсуме очень велико, то может возникать экспоненциальное замедление.
Логика косвенного описания и логика умолчания
Выше приводились два примера, в которых с виду естественные процессы формирования рассуждений нарушают свойство монотонности логики, которое было доказано в главе 7. В первом примере свойство, наследуемое всеми элементами категории в семантической сети, может быть переопределено с использованием более конкретной информации, касающейся подкатегории. Во втором примере отрицаемые литералы, выведенные на основании предположения о замкнутом мире, могут быть переопределены путем добавления положительных литералов.
Простой самоанализ показывает, что такие нарушения монотонности широко распространены и в обыденных рассуждениях. Создается впечатление, что люди часто не переходят, а “перепрыгивают” к заключениям. Например, увидев автомобиль, припаркованный на улице, человек обычно предполагает, что у этого автомобиля четыре колеса, даже если видит три. (Если вы чувствуете, что существование четвертого колеса действительно находится под сомнением, продумайте также вопрос о том, действительно ли являются настоящими три видимых колеса или они заменены изображениями на картонках, а сам автомобиль стоит на подставках.) И в самом деле, теория вероятностей позволяет уверенно прийти в заключению, что вероятность существования четвертого колеса весьма велика (хотя и не равна едини-
це), но большинству людей мысль о том, что у автомобиля нет четвертого колеса, даже не приходит в голову, если им не представляются новые факты, позволяющие изменить свое мнение. Таким образом, создается впечатление, что вывод о наличии у наблюдаемого автомобиля четырех колес достигается по умолчанию, если нет каких-либо причин поставить этот вывод под сомнение. Если же поступают новые факты (например, становится очевидно, что владелец катит колесо, а сам автомобиль поднят домкратом), то первоначальный вывод может быть отброшен. Принято говорить, что в рассуждениях такого рода проявляется ^ немонотонность, поскольку множество убеждений не возрастает монотонно со временем, по мере поступления новых фактов. Для того чтобы можно было описывать подобное поведение, были разработаны ^ немонотонные логики, в которых используются модифицированные определения понятий истинности и логического следствия. В данном разделе рассматриваются две такие логики, для изучения которых были проведены обширные исследования: логика косвенного описания и логика умолчания.
^ Косвенное описание (circumscription) может рассматриваться как более мощная и точная версия предположения о замкнутом мире. Его идея состоит в том, что должны быть заданы конкретные предикаты, в отношении которых предполагается, что они являются “настолько ложными, насколько это возможно”, т.е. ложными для всех объектов, за исключением тех, для которых эти предикаты заведомо истинны. Например, предположим, что необходимо ввести в базу знаний применяемое по умолчанию правило, что птицы летают. Для этого введем предикат, скажем Abnormal (х), и запишем следующее:
Bird(x) л -^Abnormal! (х) => Flies (х)
Если будет указано, что для предиката Abnormal! должно применяться косвенное описание, то программа формирования рассуждений на основе косвенных описаний получает право предполагать, что -^Abnormal! (х), если не известно, что Abnormaly (х) является истинным. Это позволяет выводить заключение Flies (Tweety) из предпосылки Bird( Tweety), но такое заключение становится недействительным, если в базу знаний вводится утверждение Abnormal! (Tweety').
Косвенное описание может рассматриваться как один из примеров логики предпочтения моделей (model preference). В подобных логиках высказывание следует из базы знаний (со статусом, заданным по умолчанию), если оно истинно во всех предпочтительных моделях базы знаний; в этом данное требование отличается от требования истинности во всех моделях в классической логике. С точки зрения косвенного описания одна модель является предпочтительной по отношению к другой, если в ней имеется меньшее количество аномальных объектов. Рассмотрим, как эта идея может применяться в контексте множественного наследования в семантических сетях. Стандартный пример, демонстрирующий проблемы множественного наследования, называется “парадоксом Никсона”. Этот пример основан на том наблюдении, что Ричард Никсон был одновременно и квакером (поэтому по
умолчанию пацифистом), и республиканцем (поэтому по умолчанию не пацифистом). Эту ситуацию можно описать следующим образом:
Republican (Nixon) л Quaker (Nixon)
Republican (х) л —Abnormal (х) => —^Pacifist (х)
Quaker (х) л —Abnormal} (х) => Pacifist (х)
Если применяется косвенное описание для предикатов Abnormal2 и Abnormal то возникают две предпочтительные модели: в одной из них истинны выражения Abnormal2 (Nixon) и Pacifist (Nixon), а в другой— Abnormal3 (Nixon) и -iPad fist (Nixon). Таким образом, программа формирования рассуждений на основе косвенных описаний остается в полном неведении в отношении того, является ли Никсон пацифистом. При желании можно дополнительно ввести утверждение, что религиозные убеждения имеют приоритет над политическими убеждениями; для этого можно воспользоваться формализмом, называемым ^ косвенным описанием с приоритетами (prioritized circumscription), чтобы отдать предпочтение моделям, в которых минимизируется предикат Abnormal3.
^ Логика умолчания (default logic) — это формальная система, в которой могут быть записаны ^ применяемые по умолчанию правила, применяемые для вывода непротиворечивых немонотонных заключений. Заданное по умолчанию правило выглядит примерно таким образом:
Bird(x) : Flies (х) / Flies (х)
Это правило означает, что если выражение Bird(x) является истинным, а выражение Flies (х) не противоречит базе знаний, то вывод Flies (х) может быть сделан по умолчанию. В общем случае заданное по умолчанию правило выглядит следующим образом:
Р : Ji, ..., Jn / С
где Р называется предпосылкой, С — заключением, a J\ представляют собой обоснования; если можно доказать, что любое из них ложно, то нельзя вывести заключение. Любая переменная, которая появляется в Ji или С, должна также находиться и в Р. Пример с парадоксом Никсона может быть представлен в логике умолчаний с помощью одного факта и двух заданных по умолчанию правил следующим образом:
Republican (Nixon) л Quaker (Nixon)
Republican (х) : -^Paci fist (x) / -^Pacifist (x)
Quaker(x) : Pacifist(x) / Pacifist(x)
Для интерпретации того, что означают заданные по умолчанию правила, определим понятие ^ расширения теории умолчаний как максимального множества следствий из этой теории. Таким образом, расширение S состоит из первоначально известных фактов и множества заключений, полученных на основе заданных по умолчанию правил, таких, что из S нельзя больше вывести дополнительные заключения, а обоснования всех сделанных по умолчанию заключений в S не противоречат S. Как и в случае предпочтительных моделей, в логике косвенного описания существуют два возможных расширения для парадокса Никсона: согласно одному из них он является пацифистом, а согласно другому — нет. Имеются также схемы с приоритетами, в которых определенные заданные по умолчанию правила могут получать преимущества над другими, что позволяет разрешать некоторые противоречия.
С 1980 года, когда впервые были предложены немонотонные логики, был достигнут большой прогресс в понимании их математических свойств. А начиная с последней половины 1990-х годов появились практические системы, основанные на логическом программировании, которые продемонстрировали перспективность их использования в качестве инструментальных средств представления знаний. Тем не менее остаются нерешенными некоторые вопросы. Например, если высказывание: “Автомобили имеют четыре колеса” является ложным, то что влечет за собой наличие такого высказывания в некоторой базе знаний? Каковым является наиболее приемлемое множество заданных по умолчанию правил? Если нет возможности принять отдельно для каждого правила решение о том, должно ли оно находиться в нашей базе знаний, то налицо серьезная проблема отсутствия модульности. Наконец, как могут использоваться для принятия решений определенные убеждения, имеющие заданный по умолчанию статус? По-видимому, эта проблема является наиболее сложной для систем формирования рассуждений по умолчанию. Принятие решений часто связано с поиском компромиссов, и поэтому необходимо сравнивать силу убеждений в отношении предполагаемых результатов различных действий. В тех случаях, когда решения одного и того же типа должны быть приняты повторно, появляется возможность интерпретировать заданные по умолчанию правила как высказывания с “пороговой вероятностью”. Например, заданное по умолчанию правило “Тормоза в моем автомобиле всегда в порядке” фактически означает “Если нет другой информации, то вероятность, что тормоза в моем автомобиле в порядке, достаточно велика, чтобы оптимальным решением для меня был выезд на дорогу без их проверки”. Если контекст принятия решения изменяется (например, если приходится спускать тяжело груженый самосвал вниз по крутой горной дороге), такое заданное по умолчанию правило внезапно становится неприемлемым, даже если нет новых фактов, говорящих о том, что тормоза неисправны. Подобные соображения привели некоторых исследователей к выводу, что необходимо продумать, как внедрить средства формирования рассуждений по умолчанию в теорию вероятностей.
Системы поддержки истинности
В предыдущем разделе было показано, что многие логические выводы, полученные с помощью той или иной системы представления знаний, могут иметь лишь некоторый заданный по умолчанию статус, а не быть абсолютно достоверными. Поэтому некоторые из таких полученных логическим путем фактов неизбежно оказываются ложными и должны быть отброшены на основании новой информации. Этот процесс называется М пересмотром убеждений (belief revision). Предположим, что база знаний КВ содержит высказывание Р (возможно, заключение, сформированное по умолчанию с помощью алгоритма прямого логического вывода, или, возможно, просто неверное утверждение) и требуется выполнить операцию Tell (КВ, -iP).
Но для предотвращения возникновения противоречия необходимо вначале выполнить операцию Retract (КВ, Р). На первый взгляд в этом нет ничего сложного. Но если на основании Рбыли выведены какие-то дополнительные высказывания и внесены в базу знаний, то возникают проблемы. Например, импликация Р => Смогла использоваться для внесения в базу знаний высказывания Q. Очевидное “решение” (извлечение всех высказываний, которые следуют из Р) неприемлемо, поскольку подобные высказывания могут иметь другие обоснования, помимо Р. Например, если в базе знаний имеются также высказывания R и R => С, то Q в конечном итоге вообще не следует удалять. М Системы поддержки истинности, или TMS (Truth Maintenance System), предназначены именно для того, чтобы можно было проще справиться с подобными осложнениями.
Один из очень простых подходов к созданию системы поддержки истинности состоит в том, чтобы следить за порядком, в котором высказывания вводятся в базу знаний, путем присваивания им номеров от Рг до Рп. После того как формируется вызов Retract (КВ, Pi), система возвращается к состоянию, непосредственно предшествующему добавлению высказывания Рь удаляя тем самым и Р£, и любые результаты логического вывода, полученные на основании Р^ После этого могут быть снова добавлены высказывания от Pi+1 до Рп. Такая организация работы является простой и гарантирует, что база знаний всегда будет оставаться непротиворечивой, но для извлечения Р1 требуется извлечение и повторная вставка n-i высказываний, а также отмена и повторное выполнение всех логических выводов, вытекающих из этих высказываний. Для систем, в которые происходит добавление многих фактов (таких как крупные коммерческие базы данных), указанный подход является практически не применимым.
Более эффективный подход состоит в создании системы поддержки истинности на основе обоснований, или системы ^ JTMS (Justification-Based Truth Maintenance System). В системе JTMS к каждому высказыванию в базе знаний прилагается аннотация в виде ^ обоснования, состоящего из множества высказываний, на основании которых было выведено это высказывание. Например, если база знаний уже содержит высказывание Р => 2, то операция Tell (Р) вызовет добавление Q с обоснованием (Р,Р => QL Вообще говоря, высказывание может иметь любое количество обоснований. Обоснования используются для обеспечения эффективного извлечения. После выполнения вызова Retract (Р) система JTMS удалит такие и только такие высказывания, для которых Рявляется элементом каждого обоснования. Поэтому, если высказывание Q имеет единственное обоснование {Р, Р => Q^ оно будет удалено; если имеет также дополнительное обоснование (Р, Р V R => £},ОНО также будет удалено; но если, кроме этого, имеет обоснование {R,P v R => Q}, оно будет сохранено. Таким образом, время, требуемое для извлечения высказывания р, зависит только от количества высказываний, полученных на основании Р, а не от количества других высказываний, добавленных после того, как Рбыло введено в базу знаний.
В системе JTMS предполагается, что высказывания, которые уже когда-то рассматривались, по-видимому, будут рассматриваться снова, поэтому вместо полного удаления из базы знаний некоторого высказывания после того, как оно теряет все обоснования, это высказывание просто отмечается как находящееся вне базы знаний. Если же какое-то последующее утверждение восстанавливает одно из обосно-
ваний, то это высказывание снова отмечается как находящееся внутри базы. Благодаря этому система JTMS позволяет сохранить все цепочки логического вывода, которые в ней используются, и не нуждается в повторном выводе высказываний после того, как некоторое обоснование вновь становится действительным.
Кроме успешного исключения из базы знаний неправильной информации, системы поддержки истинности могут также использоваться для ускорения анализа многочисленных гипотетических ситуаций. Предположим, например, что Олимпийский комитет Румынии выбирает площадки для проведения соревнований по плаванию, легкой атлетике и конному спорту для олимпийских игр 2048 года, которые должны проводиться в Румынии. Например, допустим, что первой гипотезой является следующая: Site к Swimming, Pitesti), Site (Athletics, Bucharest) и Si tekEquestrian, Arad). В таком случае необходимо провести большой объем рассуждений, чтобы определить логические следствия, а значит и целесообразность этого выбора. Если же вместо этого потребуется рассмотреть вариант SitekAthletics, Sibiu), то такая система TMS позволит избавиться от необходимости начинать всю эту работу с нуля. Вместо этого достаточно будет просто извлечь гипотезу Site к Athletics, Bucharest) и ввести Si te kAthletics, Sibiu), после чего система TMS возьмет на себя весь необходимый пересмотр. А цепочки логического вывода, выработанные на основании выбора площадки в Бухаресте, могут повторно использоваться для Сибиу, при условии, что логические заключения остаются теми же самыми.
Особенно эффективное переключение контекста между гипотетическими мирами обеспечивает система поддержки истинности на основе предположения, или ^ ATMS (Assumption-based Truth Maintenance System), которая предназначена именно для этой цели. В системе JTMS средства сопровождения обоснований позволяют быстро переходить от одного состояния к другому, выполнив лишь небольшой объем извлечений и вставок, но в них в любой момент времени представлено только одно состояние. А в системе ATMS представлены все состояния, которые когда-либо рассматривались одновременно. Это означает, что в системе JTMS каждое высказывание обозначается как находящееся вне или внутри базы знаний, тогда как в системе ATMS для каждого высказывания отслеживается, какие предположения могли бы вынудить это высказывание стать истинным. Иными словами, каждое высказывание имеет метку, состоящую из множества множеств предположений. Это высказывание становится истинным только в том случае, если истинными являются все предположения в одном из множеств предположений.
Системы поддержки истинности предоставляют также механизм выработки ^объяснений. Формально объяснением высказывания Р является такое множество высказываний Е, что из Е следует Р. Если уже известно, что высказывания Е истинны, то Е просто предоставляет достаточную базу для доказательства того, что Р также является таковым. Но объяснения могут также включать М предположения — высказывания, в отношении которых неизвестно, являются ли они истинными, но которые были бы достаточными, чтобы доказать истинность Р, если бы они были истинными. Например, некто может не иметь достаточной информации, чтобы доказать, что двигатель его автомобиль не запустится, но обоснованное объяснение может включать предположение, что аккумулятор разряжен. Это позволяет объяснить наблюдаемое неправильное поведение двигателя, в сочетании со знаниями о том, как
работает двигатель автомобиля. В большинстве случаев предпочтительным является минимальное объяснение Е; под этим подразумевается, что не существует строгое подмножество Е, которое также было бы объяснением. Система ATMS может сформировать объяснения для проблемы “двигатель автомобиля не запускается”, делая предположения (такие как “в карбюратор попал бензин” или “разряжен аккумулятор”) в любом желательном для пользователя порядке, даже если некоторые предположения противоречат друг другу. После этого достаточно посмотреть на метку, предусмотренную для высказывания “двигатель автомобиля не запускается”, чтобы ознакомиться с множествами предположений, которыми могло бы оправдываться это высказывание.
Точные алгоритмы, используемые для реализации систем поддержки истинности, являются довольно сложными, и в этой главе они не рассматриваются. Вычислительная сложность задачи поддержки истинности является, по меньшей мере, такой же, какая характерна для пропозиционального логического вывода, т.е. NP-трудной. Поэтому не следует рассчитывать на то, что подход на основе поддержки истинности окажется панацеей. Однако при их продуманном использовании системы TMS могут обеспечить существенное повышение способности логических систем действовать в условиях применения сложных гипотез и вариантов среды.
Резюме
Эта глава оказалась наиболее подробной по сравнению со всеми предыдущими главами данной книги. Описывая детали того, какие способы используются для представления различных знаний, авторы надеялись дать читателю возможность понять, как создаются реальные базы знаний. Основные идеи, высказанные в этой главе, перечислены ниже.
Для крупномасштабного представления знаний требуется онтология общего назначения, позволяющая организовать и связать воедино различные специализированные области знаний.
Онтология общего назначения должна охватывать широкий круг знаний и быть способной, в принципе, представить любую проблемную область.
В главе описана верхняя онтология, основанная на категориях и исчислении событий. Здесь рассматривались структурированные объекты, время и пространство, изменения, процессы, вещества и убеждения.
Действия, события и время могут быть представлены либо с помощью ситуационного исчисления, либо с применением более выразительных средств представления, таких как исчисление событий и исчисление флюентных высказываний. Такие представления дают возможность агенту составлять планы с помощью логического вывода.
Мыслительные состояния агентов могут быть представлены строками, которые описывают их убеждения.
В главе представлен подробный анализ проблемной области совершения покупок в Internet, исследована общая онтология и показано, как знания проблемной области могут использоваться торговым агентом.
Описаны системы представления общего назначения, такие как семантические сети и описательные логики, позволяющие организовывать иерархии категорий. С этими системами связана важная форма логического вывода, называемая наследованием, позволяющая определять логическим путем свойства объектов на основании данных об их принадлежности к категориям.
Предположение о замкнутом мире, будучи реализованным в логических программах, предоставляет простой способ избежать необходимости задавать большие объемы отрицательной информации. Такую информацию проще всего интерпретировать как заданную по умолчанию, которая может быть переопределена с помощью дополнительной информации.
В целом для предоставления возможности осуществлять формирование рассуждений по умолчанию предназначены немонотонные логики, такие как логика косвенного описания и логика умолчания. Применение программирования множества ответов позволяет ускорить немонотонный логический вывод, во многом аналогично тому, как использование алгоритма WalkSAT ускоряет пропозициональный логический вывод.
Системы поддержки истинности позволяют эффективно осуществлять обновления и пересмотры баз знаний.
Библиографические и исторические заметки
Многие исследователи вполне обосновано утверждают [186], что исследования в области формального представления знаний начались с классических работ индийских теоретиков, посвященных грамматике шастрических текстов на санскрите, которые относятся к первому тысячелетию до н.э. На Западе к числу самых первых примеров таких исследований относится использование определений терминов в трудах древнегреческих математиков. Безусловно, как форма представления знаний может также рассматриваться разработка технической терминологии в любой области.
На первых порах дискуссии на тему представления в искусственном интеллекте в основном сосредоточивались на “представлении задач”, а не на “представлении знаний” (см., например, приведенное Амарелем [24] обсуждение задачи с миссионерами и каннибалами). В 1970-х годах основной акцент в искусственном интеллекте был сделан на разработке “экспертных систем” (называемых также “системами, основанными на знаниях”), которые были способны при наличии соответствующих знаний в проблемной области достичь или превзойти производительность людей- экспертов при решении узко определенных задач. Например, даже первая экспертная система, Dendral [458], [936], интерпретировала выходные данные массового спектрометра (прибора, применяемого для анализа структуры органических химических веществ) столь же точно, как и опытные химики. Хотя успех системы Dendral позволил сообществу исследователей по искусственному интеллекту убедиться в важности представления знаний, формальные средства представления, используемые в Dendral, были в высшей степени специализированными и относящимися только к данной проблемной области химии. Со временем у исследователей появилось стремление к стандартизации формальных средств представления знаний и онтологий, что позволило бы упростить процесс создания новых экспертных систем.
В ходе решения этой проблемы им пришлось проникнуть на территорию, которая до сих пор исследовалась только философами, изучающими проблемы науки и языка. Принятое в искусственном интеллекте требование, согласно которому предлагаемые теории должны “работать”, привело к более быстрому и глубокому прогрессу в решении проблем по сравнению с той ситуацией, когда эти проблемы рассматривались как принадлежащие исключительно к области философии (хотя такой подход время от времени приводил к “повторному изобретению колеса”).
Первые попытки создания всеобъемлющих таксономий, или классификаций, относятся к временам древности. Применения правильных схем классификации и категоризации настоятельно требовал Аристотель (384-322 до н.э.). В Органон, коллекцию трудов Аристотеля по логике, собранную учениками Аристотеля после его смерти, включен трактат под названием Категории, в котором Аристотель попытался создать то, что мы теперь называем верхней онтологией. Он также ввел понятия родов и видов для классификации нижнего уровня, хотя и не в их современном, сугубо биологическом смысле. Современная система биологической классификации, включая использование “биноминальной номенклатуры” (в формальном смысле слова — классификации по родам и видам), была предложена шведским биологом Карлом Линнеем (1707-1778). Проблемы, связанные с естественными разновидностями и неточными границами категорий, кроме многих других работ, рассматривались в [882], [1252], [1372] и [1608].
В последнее время продолжает расти интерес к крупномасштабным онтологиям. В проекте CYC [908], [910] была разработана верхняя онтология с 6000 понятий, состоящая из 60 000 фактов, а также лицензирована гораздо более крупная глобальная онтология. Организацией IEEE был создан подкомитет Р1600.1, получивший название “Рабочей группы по стандарту верхней онтологии” (Standard Upper Ontology Working Group), а организация Open Mind Initiative привлекла к работе больше 7000 пользователей Internet, собрав свыше 400 000 фактов об обыденных понятиях. В среде Web появились такие стандарты, как RDF, XML и Semantic Web [ПО], хотя они еще не нашли широкого распространения. Много интересных статей в области общих и специализированных онтологий публикуется по материалам конференции Formal Ontology in Information Systems (FOIS).
Таксономия, используемая в этой главе, разработана авторами данной книги и частично основана на опыте их участия в проекте CYC, а также на работах Хванга, Шуберта [714] и Дэвиса [332]. Воодушевляющее описание общего проекта представления обыденных знаний приведено в книге Хейса The Naive Physics Manifesto [634], [637].
Проблемы представления времени, изменений, действий и событий широко исследовались не только в искусственном интеллекте, но и в философии и теоретических компьютерных науках. К числу наиболее развитых направлений относится временная логика, представляющая собой специализированную логику, в которой каждая модель описывает полную траекторию развития процесса во времени (обычно либо линейную, либо ветвящуюся), а не просто статическую реляционную структуру. Эта логика включает модальные операторы, применяемые к формулам; Пр означает “р будет истинным во все времена в будущем”, а ^р означает “р станет истинным в некоторый момент в будущем”. Исследования в области временной логики были впервые начаты Аристотелем, а также представителями мегарской и стоической школ в древней Греции. В современной истории развития науки применение формального исчисления для проведения рассужде-
ний о времени было впервые предложено Финдлеем [468], но считается, что наибольшее влияние оказала работа Артура Прайора [1239]. К учебникам по временной логике относятся [1283] и [1529].
Специалисты в области теоретических компьютерных наук уже давно стремились формально описать свойства программ, рассматриваемых как последовательности вычислительных действий. Бурстолл [210] выдвинул идею использования модальных операторов для формирования рассуждений о компьютерных программах. Вскоре после этого Воган Пратт [1233] разработал динамическую логику, в которой модальные операторы обозначают результаты выполнения программ или другие действия (см. также [620]). Например, в динамической логике, если ос — имя программы, то “ [сс] р” означает “р должно быть истинным во всех состояниях мира, ставших результатом выполнения программы ос в текущем состоянии мира”, а “(а>р” означает “р должно быть истинным по меньшей мере в одном из состоянии мира, ставшим результатом выполнения программы ос в текущем состоянии мира”. Динамическая логика была применена для фактического анализа программ Фишером и Ладнером [472]. В [1218] предложена идея использования классической временной логики для формирования рассуждений о программах.
Временная логика предусматривает введение времени непосредственно в теорию моделей языка, а методы представления времени, применяемые в искусственном интеллекте, как правило, предусматривали явное включение аксиом об интервалах времени и событиях в базу знаний, поэтому время не получало особого статуса в этой логике. Кроме того, данный подход в некоторых случаях обеспечивает большую ясность и гибкость. К тому же знания о времени, выраженные в логике первого порядка, могут быть более легко интегрированы с другими знаниями, накопленными в рассматриваемой проблемной области.
Первой попыткой представления времени и действий в искусственном интеллекте стало ситуационное исчисление, предложенное Джоном Маккарти [1010]. Первой системой искусственного интеллекта, в которой широко применялись рассуждения общего назначения о действиях в логике первого порядка, была система QA3 [592]. Ковальский [851] развил идею овеществления высказываний в рамках ситуационного исчисления.
Проблема окружения была впервые описана в [1013]. Многие исследователи считали эту проблему неразрешимой в логике первого порядка, и она стала стимулом для проведения большого объема исследований в области немонотонных логик. Многие философы, начиная от Дрейфуса [414] и заканчивая Крокеттом [310], указывали, что проблема окружения является одним из симптомов неизбежного краха всего направления работ по созданию искусственного интеллекта. Частичное решение проблемы представительного окружения с использованием аксиом состояния-преемника было предложено Рэем Рейтером [1277]; истоки решения проблемы выводимого окружения прослеживаются в [671], в которой были предложены методы, получившие название исчисления флюентных высказываний [1504]. Описание, приведенное в настоящей главе, частично основано на результатах анализа, изложенных в [931] и [1504]. Книги Шенахана [1391] и Рейтера [1279] содержат полное, современное изложение вопросов формирования рассуждений о действиях в ситуационном исчислении.
Частичное разрешение проблемы окружения снова пробудило стремление к использованию декларативного подхода для формирования рассуждений о действиях,
что привело к созданию многих систем планирования специального назначения, начиная с первой половины 1970-х годов (см. главу 11). В исследованиях, проводимых в рамках ^ когнитивной робототехники, был достигнут большой прогресс в области разработки средств логического представления действий и времени. В языке Golog используется полная выразительная мощь логического программирования для описания действий и планов [917], к тому же этот язык был дополнен, для того чтобы в нем можно было представлять параллельные действия [550], стохастические варианты среды [160] и результаты восприятия [1278].
Для создания средств представления непрерывного времени было предложено использовать исчисление событий, разработанное Ковальским и Серготом [854], а в дальнейшем появилось еще несколько вариантов исчисления событий [1341]. В [1392] представлен хороший краткий обзор. Джеймс Аллен предложил использовать для этой же цели временные интервалы [15], [16], указывая, что интервалы являются гораздо более естественным средством формирования рассуждений о продолжительных и одновременных событиях, чем ситуации. В [877], [878] впервые предложены “вогнутые” временнь/е интервалы (интервалы с перерывами; по сути объединения обычных “выпуклых” временных интервалов) и для представления времени применены математические методы абстрактной алгебры. Аллен [17] систематически исследовал широкий спектр методов, которые могут применяться для представления времени. Шохем [1403] описал процедуру овеществления событий и предложил использовать для этой цели разработанную им новейшую схему. Между онтологией на основе событий, приведенной в данной главе, и анализом событий, выполненным философом Дональдом Давидсоном [328], имеются весьма важные аналогии. К тому же типу относятся хронологии (history), предложенные в работе Патрика Хейса [636]; аналогичной разновидностью представления во многом является также онтология вневременных событий (liquid event).
Проблемы онтологического статуса веществ имеют длинную историю. Платон считал, что вещества — это абстрактные сущности, полностью отличающиеся от физических объектов; с его точки зрения следовало бы сказать, что кусок масла сделан из масла, MadeOf (Butter3/Butter), а не что кусок масла является элементом множества масла, Butter3 g Butter. Такая идея ведет к созданию иерархии веществ, в которой, например, несоленое масло Unsal tedButter является более конкретно определенным веществом, чем само масло Butter. Научная позиция, принятая в этой главе, согласно которой вещества представляют собой категорию объектов, была обоснована Ричардом Монтегю [1072]. Кроме того, эта позиция была принята и в проекте CYC. В [293] на эту позицию предпринята серьезная, но не настолько уж неотразимая атака. Альтернативный подход, упомянутый в данной главе, согласно которому масло представляет собой единственный объект, состоящий из всех маслоподобных объектов во вселенной, был первоначально предложен польским логиком Лесьневским [913]. В разработанной им ^мереологии (это название происходит от греческого слова, обозначающего “часть”) используется отношение “часть—целое” в качестве замены математической теории множеств, в целях устранения таких абстрактных сущностей, как множества. Более удобное для чтения изложение этих идей приведено в [911], а в книге Гудмана The Structure of Appearance [579] эти идеи применяются для решения различных проблем в области представления знаний. Хотя в некоторых аспектах мереологический подход является весьма громоздким (например, в нем требуется отдельный механизм наследования, осно-
ванный на отношениях “часть—целое”), он получил поддержку Квайна [1253]. Гарри Бант [207] провел широкий анализ перспектив использования этого подхода в области представления знаний.
Мыслимые объекты и мыслительные состояния были предметом интенсивных исследований в области философии и искусственного интеллекта. М Модальная логика представляет собой классический метод формирования рассуждений о знаниях, применяемый в философии. В модальной логике логика первого порядка дополняется модальными операторами, такими как в (от believes— убежден) и к (от knows — знает), которые принимают в качестве своих параметров высказывания, а не термы. В теории доказательств для модальной логики жестко регламентируются подстановки в пределах модальных контекстов, что позволяет обеспечить ссылочную непрозрачность. Модальная логика знаний была предложена Яакко Хинтиккой [654]. Саул Крипке [859] определил семантику модальной логики знаний в терминах возможных миров. Грубо говоря, мир для агента является возможным, если не противоречит всему, что знает агент. На основании такого подхода могут быть разработаны правила логического вывода с использованием оператора к. Роберт К. Мур связал модальную логику знаний с таким стилем формирования рассуждений о знаниях, который позволяет непосредственно ссылаться на возможные миры в логике первого порядка [1080], [1081]. Модальная логика может на первый взгляд показаться устрашающе запутанной областью науки, но она нашла очень важные применения в области формирования рассуждений об информации в распределенных компьютерных системах. В книге Фейгина и др. Reasoning about Knowledge [449] приведено исчерпывающее введение в этот модальный подход. Приложения теории знаний в искусственном интеллекте, экономике и распределенных системах обсуждаются на проводимой один раз в два года конференции Theoretical Aspects of Reasoning About Knowledge (TARK).
Синтаксическая теория мыслимых объектов была впервые глубоко исследована Капланом и Монтегю [770], которые показали, что эта теория может приводить к парадоксам, если при использовании ее средств не соблюдается чрезвычайная осторожность. Поскольку такая теория позволяет создавать естественные модели физических конфигураций компьютера или мозга в терминах убеждений, она в последние годы получила широкое распространение в области искусственного интеллекта. В [604] и [833] эта теория использовалась для описания машин логического вывода с ограниченной мощью, а Моргенштерн [1086] показал, как можно ее использовать для описания предусловий знаний в планировании. Методы планирования таких действий, как наблюдение, описанные в главе 12, основаны на этой синтаксической теории. Эрни Дэвис [332] дал превосходное сравнение синтаксической и модальной теорий знания.
Греческий философ Порфирий (ок. 234-305 н.э) в своих комментариях к трактату Аристотеля Категории продемонстрировал то, что может рассматриваться как первая семантическая сеть. Чарльз С. Пирс [1199] разработал экзистенциальные графы, которые могут рассматриваться как первое формальное определение семантической сети с использованием современной логики. Инициатором исследований по семантическим сетям, проводимых в рамках искусственного интеллекта, был Росс Квиллиан [1251], основным стимулом для которого был интерес к человеческой памяти и языковой обработке. В важной статье Марвина Минского [1053] представлена одна из версий семантических сетей, основанная на использовании
так называемых фреймов; фреймы служили для представления объектов или категорий и характеризовались наличием атрибутов и отношений с другими объектами или категориями. Хотя эта статья послужила важной причиной пробуждения интереса к области представления знаний как таковой, она подверглась критике за то, что в ней просто под другим углом были изложены идеи статей [132], [320], разработанные ранее в объектно-ориентированном программировании, такие как наследование и использование заданных по умолчанию значений. Однако еще не совсем ясно, в какой степени на указанные статьи по объектно-ориентированному программированию, в свою очередь, повлияли еще более ранние работы в области искусственного интеллекта, посвященные семантическим сетям.
Проблемы семантики приобрели особую остроту применительно к семантическим сетям, разработанным Квиллианом (и теми, кто стал последователем предложенного им подхода), в связи с тем, что в них использовались вездесущие и весьма неопределенные “связи IS-А”, а также применительно к другим ранним формальным системам представления знаний, таким как Merlin [1079], с ее загадочными операциями “flat” и “cover”. Знаменитая статья Вудса “What’s In a Link?' [1613] привлекла внимание исследователей в области искусственного интеллекта к тому, что в формальных системах представления знаний должна быть точно определена семантика. Брачман [167] провел исследования по этой проблеме и предложил некоторые решения. Патрик Хейс в своей книге The Logic of Frames [635] провел еще более глубокие исследования и сформулировал утверждение, что “так называемые «фреймы» по большей части представляют собой просто новые синтаксические обозначения для фрагментов логики первого порядка”. Дрю Макдермотт в своей работе Tarskian Semantics, or, No Notation without Denotation! [1022] доказывал, что модельнотеоретический подход к семантике, используемый в логике первого порядка, должен быть распространен на все формальные системы представления знаний. Однако эта идея является внутренне противоречивой; замечательно то, что сам Макдермотт пересмотрел свою позицию в работе A Critique of Pure Reason [1023]. Проявлением нового подхода стала Netl [451], сложная система семантической сети, в которой связи IS-А (называемые связями “виртуальной копии”, или VC — virtual сору) были основаны в большей степени на понятии характеристик “наследования” систем фреймов или объектно-ориентированных языков программирования, чем на отношении подмножества, и были определены гораздо более точно по сравнению со связями, применявшимися Квиллианом в эпоху, предшествовавшую появлению работ Вудса. Система Netl привлекла особое внимание, поскольку предназначалась для реализации в параллельном аппаратном обеспечении для преодоления сложностей выборки информации из больших семантических сетей. Дэвид Турецкий [1512] подверг понятие наследования строгому математическому анализу. В [1381] обсуждаются сложности наследования с исключениями и показано, что в большинстве формулировок задача представления наследования является NP-полной.
Разработка описательных логик представляет собой один из наиболее современных этапов в длинной цепи исследований, нацеленных на поиск полезных подмножеств логики первого порядка, для которой задача логического вывода является осуществимой с помощью вычислительных средств. Гектор Левеск и Рон Брачман 1916] показали, что неразрешимость логического вывода в основном возникает из-за использования определенных логических конструкций (особенно отличаются этим : вторые варианты использования дизъюнкции и отрицания). На основе системы
KL-One [1362] был разработан целый ряд систем, в проектах которых применены результаты теоретического анализа сложности; к числу наиболее известных из них относятся Krypton [168] и Classic [155]. Полученные при этом результаты продемонстрировали заметное повышение скорости логического вывода и позволили гораздо лучше понять зависимости между сложностью и выразительностью в системах формирования рассуждений. Общий итог современного состояния дел в этой области подведен в [215]. Протестуя против этой тенденции к упрощению, Дойл и Петил [411] доказывали, что ограничение выразительности языка либо исключает возможность решения некоторых проблем, либо побуждает пользователя обходить ограничения языка с помощью нелогических средств.
Все три основные формальные системы, предназначенные для использования в немонотонном логическом выводе, — косвенное описание [1012], логика умолчания [1276] и модальная немонотонная логика [1025] — были предложены в одном специальном выпуске AI Journal. Программирование множества ответов может рассматриваться как расширение понятия отрицания как недостижения цели или как уточнение понятия косвенного описания; основополагающая теория семантики стабильных моделей была предложена в [533], а ведущими системами программирования множества ответов являются DLV [432] и Smodels [1138]. Пример с дисковым накопителем взят из руководства пользователя Smodels [1484]. В [929] обсуждается использование программирования множества ответов для планирования. В [184] приведен хороший краткий обзор различных подходов к использованию немонотонной логики. В [262] рассматривается подход к логическому программированию, основанный на отрицании как недостижении цели, и анализируется дополнение Кларка. Ван Эмден и Ковальский [1530] показали, что каждая программа Prolog без отрицаний имеет уникальную минимальную модель. Последние годы характеризуются повторным пробуждением интереса к приложениям немонотонных логик в крупномасштабных системах представления знаний. По-видимому, первой системой, достигшей коммерческого успеха, является система Benlnq для обработки данных опросов, касающихся страховых льгот; эта система представляет собой приложение системы немонотонного наследования [1087]. В [929] обсуждается применение программирования множества ответов в планировании. Целый ряд систем формирования немонотонных рассуждений, основанных на логическом программировании, описан в трудах конференции Logic Programming and Nonmonotonic Reasoning (LPNMR).
Исследования в области систем поддержки истинности начались с создания систем TMS [409] и RUP [1003], которые по существу представляли собой системы JTMS. Подход на основе систем ATMS был описан в ряде статей Йохана де Клеера [345-347]. В работе Building Problem Solvers [479] подробно объяснено, как могут применяться системы TMS в приложениях искусственного интеллекта. В [1117] показано, что использование эффективной системы TMS обеспечило возможность планирования операций космического корабля агентства NASA в реальном времени.
По очевидным причинам в данной главе подробно не рассматривается каждая область представления знаний. Ниже описаны три основные темы, которые в ней не представлены.
^ Качественная физика. Это подобласть представления знаний, которая главным образом относится к формированию логической, нечисловой теории фи-
зических объектов и процессов. Этот термин был предложен Йоханом де Клеером [344], хотя вполне можно считать, что это направление исследований началось с создания Фалманом [450] программы Build — развитого планировщика для построения сложных башен из блоков. В процессе проектирования этой программы Фалман открыл, что основная часть усилий (по его оценке, 80%) уходит на моделирование физических свойств мира блоков в целях вычисления устойчивости различных субфрагментов структур блоков, а не на само планирование как таковое. Он сформулировал набросок гипотетического процессу, подобного проведению рассуждений в рамках наивной физики, для объяснения причин того, почему дети младшего возраста способны решать задачи, подобные рассматриваемым в программе Build, без обращения к быстродействующей арифметике с плавающей точкой, которая используется в физическом моделировании программой Build. Хейс [636] применил “истории” (четырехмерные фрагменты пространства-времени, аналогичные событиям Дэвидсона) для построения довольно сложной наивной физической теории жидкостей. Хейсу впервые удалось доказать в рамках искусственного интеллекта, что ванна с заткнутым сливом в конечном итоге переполнится, если вода из крана будет продолжать бежать, и что человек, упавший в озеро, весь вымокнет. В [349] и [478] описаны попытки создать нечто подобное общей теории физического мира на основе качественных абстракций физических уравнений. За последние годы качественная физика была разработана до такой степени, что с ее помощью стало возможным анализировать сложные физические системы, разнообразие которых весьма впечатляет [1340], [1631]. Качественные методы использовались для разработки новейших проектов часов, дворников для ветрового стекла и шестиногих шагающих машин [1470], [1472]. Хорошим введением в эту область является сборник статей Readings in Qualitative Reasoning about Physical Systems [1570].
^ Пространственные рассуждения. Рассуждения, необходимые для навигации в мире вампуса и в мире совершения покупок, являются тривиальными по сравнению с теми, что требуются в богатой пространственной структуре реального мира. Результаты самых первых серьезных попыток описать обыденные рассуждения о пространстве приведены в работах Эрнеста Дэвиса [331], [332]. В исчислении региональных связей Кона и др. [280] поддерживается определенная форма качественных пространственных рассуждений; эти исследования привели к созданию географических информационных систем нового типа. Как и с помощью качественной физики, агент, так сказать, многое может сделать без обращения к полному метрическому представлению. А если такое представление становится необходимым, то можно воспользоваться методами, разработанными в робототехнике (глава 25).
^ Психологические рассуждения. Психологические рассуждения касаются проблемы разработки для искусственных агентов работоспособных психологических моделей, которые могли бы использоваться агентами для формирования рассуждений о себе и о других агентах. Такие рассуждения часто основаны на так называемой народной психологии (folk psychology) — теории, претендующей на понимание того, какие принципы используются людьми в рассуждениях о себе и других людях. Когда исследователи в области искусст-
венного интеллекта снабжают своих искусственных агентов психологическими теориями для формирования рассуждений о других агентах, эти теории часто основаны на описании исследователями проектов самих этих логических агентов. Поэтому в настоящее время наиболее продуктивны такие исследования в области психологических рассуждений в контексте понимания естественного языка, где наибольшую важность имеет предугадывание намерений говорящего.
Наиболее современными источниками сведений о работах в этих областях являются труды международной конференции Principles of Knowledge Representation and Reasoning. В работах Readings in Knowledge Representation [169] и Formal Theories of the Commonsense World [665] приведены превосходные антологии по представлению знаний; в первой в большей степени обсуждаются статьи, имевшие историческое значение в языках и формальных системах представления, а последняя посвящена накоплению самих знаний. В [332], [1448] и [1458] приведены учебные введения в проблематику представления знаний.
Упражнения
Запишите высказывание, позволяющее определить результаты действия Shoot в мире вампуса. Опишите эти результаты применительно к вампусу, но не забудьте, что после выстрела у агента больше нет стрелы.
С помощью ситуационного исчисления запишите аксиому, чтобы связать время 0 с ситуацией So, и еще одну аксиому, чтобы связать время t с любой ситуацией, которая развилась из So в результате последовательности из t действий.
В данном упражнении рассматривается проблема планирования маршрута для робота, чтобы он мог добраться из одного города в другой. Основным действием, предпринимаемым роботом, является действие Go (х,у), которое позволяет ему добраться из города х в город у, если между этими городами есть прямой путь. Предикат DirectRoute^x, у) принимает истинное значение тогда и только тогда, когда есть прямой путь из х в у, вы можете принять предположение, что все соответствующие факты уже находятся в базе знаний (см. карту на с. 114). Робот начинает движение с Арада и должен достичь Бухареста.
Запишите подходящее логическое описание начальной ситуации для робота.
Запишите подходящий логический запрос, решения которого могут служить описаниями возможных путей к цели.
Запишите высказывание, описывающее действие Go.
Теперь предположим, что, следуя по прямому пути между двумя городами, агент тратит топливо, количество которого равно расстоянию между этими городами. Робот начинает движение с полной загрузкой топлива. Дополните разработанное вами представление с учетом этих соображений. Предложенное вами описание действий должно быть таковым, чтобы сформулированный вами ранее запрос все еще приводил к получению осуществимых планов.
Опишите начальную ситуацию и запишите новое правило (или правила), определяющее действие Go..
Теперь допустим, что в некоторых узлах маршрута имеются также бензозаправочные станции, в которых робот может пополнить свой топливный бак. Дополните разработанное вами представление и запишите все правила, необходимые для описания бензозаправочных станций, включая действие Fillup (Заправка).
Исследуйте способы дополнения исчисления событий, позволяющие учитывать в нем одновременные события. Возможно ли избежать комбинаторного взрыва количества аксиом?
Представьте приведенные ниже семь высказываний, используя и дополняя средства представления, описанные в этой главе.
Вода находится в жидком состоянии при температуре от 0 до 100 градусов Цельсия.
Вода кипит при температуре 100 градусов Цельсия.
Вода в бутылке для воды, принадлежащей Джону, замерзла.
Минеральная вода “Перрье” — это тоже вода.
Джон держит в своей бутылке для воды минеральную воду “Перрье”.
Все жидкости имеют определенную температуру замерзания.
Литр воды весит больше, чем литр алкоголя.
Теперь повторите это упражнение с использованием представления, основанного на мереологическом подходе, в котором, например, Water — это объект, содержащий в качестве частей всю воду в мире.
Запишите определения для следующих предикатов:
ExhaustivePartDecomposition
PartPartition
PartwiseDisjoint
Эти определения должны быть аналогичными определениям для предикатов ExhaustiveDecomposition, Partition и Disjoint. Является ли, по вашему мнению, общезначимым выражение PartPartition(s, BunchOf (s) )? Если да, докажите его общезначимость; в противном случае приведите контрпример и определите достаточные условия, при которых это выражение становится истинным.
Запишите множество высказываний, которое позволяет рассчитать цену отдельного помидора (или другого объекта), если указана цена за килограмм. Дополните эту теорию, чтобы иметь возможность рассчитать цену пакета помидоров.
Одна из альтернативных схем представления мер предусматривает применение функции единиц к абстрактному объекту длины. В такой схеме следует писать Inches (Length (L^ ) =1.5. Как выглядит эта схема по сравнению с той, что описана в данной главе? Заслуживают внимания такие вопросы, как аксиомы преобразования, имена для абстрактных количеств (такие как “50 долларов”) и сравнения абстрактных мер в различных единицах (например, “50 дюймов больше 50 сантиметров”).
Разработайте средство представления для курсов обмена валют, которое допускает ежесуточные колебания курсов.
Это упражнение касается связей между категориями событий и интервалами времени, в которые они происходят.
Определите предикат Т( с, i) в терминах отношений During и е .
Дайте точное объяснение причин, по которым не требуются две различные системы обозначений для описания конъюнктивных категорий событий.
Дайте формальное определение для предикатов T(OneOf Ip, q) , i) и T^Either^p, q) , i).
Объясните, почему целесообразно иметь две формы отрицания событий, аналогичные двум формам дизъюнкции событий. Назовите их Not и Never и дайте им формальные определения.
Определите предикат Fixed, где FixedlLocationkx^ } означает, что местонахождение объекта х постоянно во времени.
Определите предикаты Before, After, During и Overlap с использованием предиката Meet и функции Start и End, но не функции Time или предиката <.
В разделе 10.5 предикаты Link и LinkText использовались для описания связей между Web-страницами. Запишите определения для Link и LinkText, используя, кроме всего прочего, предикаты InTag и GetPage.
Одна из составляющих процесса совершения покупок, которая не рассматривалась в этой главе, касается проверки совместимости товаров. Например, если клиент заказывает компьютер, будет ли этот компьютер совместимым с имеющимися у него периферийными устройствами? Если же оформляется заказ на цифровую камеру, то будут ли к ней прилагаться подходящие плата памяти и аккумулятор? Разработайте базу знаний, позволяющую принимать решение о том, является ли множество товаров совместимым, которая может использоваться для предоставления консультаций, касающихся замены или приобретения дополнительных товаров, если имеющиеся товары являются несовместимыми. Убедитесь в том, что эта база знаний может применяться по меньшей мере с одной номенклатурой товаров и что ее несложно дополнить для использования с другими номенклатурами.
Введите правила, позволяющие расширить определение предиката Name(s, с) так, чтобы строка, подобная “laptop computer”, согласовывалась с соответствующей категорией имен, применяемых в самых различных магазинах. Попытайтесь добиться того, чтобы предложенное вами определение стало наиболее общим. Проверьте его, изучив десять оперативных магазинов и ознакомившись с тем, какие имена в них присвоены трем различным категориям. Например, применительно к категории портативных компьютеров авторы обнаружили имена “Notebooks”, “Laptops”, “Notebook Computers”, “Notebook”, “Laptops and Notebooks” и “Notebook PCs”. Некоторые из них могут быть описаны с помощью явно заданных фактов Name, а для других могут применяться правила образования множественного числа, оформления перечислений и т.д.
Полное решение проблемы неточных соответствий описаниям, сформулированным покупателем при совершении покупок, является очень сложным и требует применения полного спектра средств обработки естественного языка и методов выборки информации (см. главы 22 и 23). Одним из небольших шагов в этом направлении является предоставление пользователю возможности задавать минимальные и максимальные значения для различных атрибутов. Допустим, что мы требуем от покупателя, чтобы он использовал следующую грамматику для формулировки описаний товаров:
DescriptionDescriptionConnectorModifierOpConnectorModifierOpCategory [Connector Modifier]* "with" | "and" | ", " | "c" |"u"
Description
Description
Connector
Modifier
Op
Connector
Modifier
Op
Attribute | Attribute Op Value
Здесь Category обозначает категорию товара, Attribute — это некоторая характеристика, такая как “частота процессора” или “цена”, a Value — желаемое значение этой характеристики. Поэтому запрос “компьютер с частотой процессора по меньшей мере 2,5 ГГц по цене меньше $1000” должен быть выражен так: “компьютер с частотой процессора > 2,5 ГГц и ценой < $1000”. Реализуйте торгового агента, который принимает описания на этом языке.
В нашем описании процесса осуществления покупок в Internet упущен наиболее важный этап — фактическая покупка товара. Предоставьте формальное логическое описание этапа покупки с использованием исчисления событий. Иначе говоря, определите последовательность событий, которая происходит, когда покупатель приобретает товар по кредитной карточке, а затем в конечном итоге получает выставленный ему счет и ему вручается товар.
Опишите событие, в котором один объект обменивается на какой-то другой. Опишите процесс покупки как разновидность обмена, в которой одним из объектов, участвующих в обмене, является некоторая денежная сумма.
Ш В двух предыдущих упражнениях подразумевается использование довольно примитивного понятия владения. Например, покупатель приступает к приобретению товара, овладев денежными купюрами. Такое описание процесса покупки становится неадекватным, если, например, деньги покупателя хранятся в банке, поскольку у него на руках больше нет какой-то конкретной совокупности денежных купюр, которыми он может немедленно распорядиться. Ситуация становится еще более сложной, если учесть возможность займа, сдачи в аренду, взятия в аренду и передачи в залог. Исследуйте различные обыденные и юридические понятия владения и предложите схему, с помощью которой их можно представить формально.
Вы должны разработать систему предоставления консультаций студентам отделения компьютерных наук в части того, какие курсы они должны пройти в течение некоторого продолжительного периода, чтобы выполнить условия учебной программы (исходите из тех требований, которые предъявляются в вашем учебном заведении). Прежде всего подготовьте словарь, позволяющий представить всю информацию, а затем представьте эту информацию; после этого примените подходящий запрос к системе, которая должна возвра-
тить в качестве решения приемлемую программу обучения. Вы должны предусмотреть в определенной степени необходимость учитывать подготовку отдельных студентов в том смысле, что система должна спрашивать, какие основные или эквивалентные курсы уже прошел студент, и не формировать программы, в которых повторяются эти курсы.
Предложите способы усовершенствования этой системы, например, для того, чтобы в ней учитывались сведения о предпочтениях студента, рабочей нагрузке, о том, какие преподаватели ему нравятся или не нравятся, и т.д. Рассматривая каждую разновидность знаний, объясните, как она может быть представлена логически. Способна ли ваша система легко учитывать эту информацию и находить наилучшую программу обучения для студента?
На рис. 10.1 показаны верхние уровни иерархии для всех понятий. Дополните ее, чтобы включить максимально возможное количество реальных категорий. Удобным способом выполнения этого требования является описание всего, с чем приходится сталкиваться в повседневной жизни. К этому относятся объекты и события. Начните с утреннего пробуждения и последовательно учитывайте все, что вы видите, чего касаетесь, что делаете и о чем думаете. Например, случайно выбранный день может свестись к цепочке: музыка, новости, молоко, ходьба, поездка, заправка топливом, вестибюль университета, ковер, разговор, профессор Фейтмен, цыпленок под острым соусом, обожженный язык, 7 долларов, солнце, дневная газета и т.д.
Вы должны подготовить единственную схему иерархии (на большом листе бумаги), а также список объектов и категорий с отношениями, которым соответствуют элементы каждой категории. Каждый объект должен находиться в некоторой категории, а каждая категория должна относиться к этой иерархии.
(Адаптировано на основании примера Дуга Лената (Doug Lenat).) Ваша задача состоит в том, чтобы представить в логической форме достаточный объем знаний, позволяющий ответить на ряд вопросов о следующем простом высказывании:
Вчера Джон отправился в супермаркет North Berkeley Safeway и купил два фунта помидоров и фунт говяжьего фарша.
Начните с попытки представить содержимое этого высказывания в виде ряда утверждений. Вы должны записать высказывания, которые имеют простую логическую структуру (например, утверждения, согласно которым объекты имеют определенные свойства, связаны определенными отношениями, и все объекты, удовлетворяющие некоторому свойству, удовлетворяют также какому-то другому свойству). Для начала может помочь получение ответов на приведенные ниже вопросы.
Какие классы, объекты и отношения вам потребуются? Есть ли у них родительские объекты, сестринские объекты и т.д.? (Кроме всего прочего, вам может потребоваться учитывать упорядочение событий и временное упорядочение.)
В каком месте эти объекты должны войти в более общую иерархию?
Каковы ограничения и взаимосвязи между ними?
Насколько подробно следует определять каждое из различных понятий?
Созданная вами база знаний должна предоставлять возможность найти ответ на список вопросов, который будет вскоре приведен. Некоторые вопросы касаются материала, явно сформулированного в этом кратком рассказе, но для большинства из них требуется, чтобы тот, кто на них отвечает, обладал другими фоновыми знаниями — умел читать между строк. Вам придется вспомнить о том, какого рода товары бывают в супермаркете, что связано с покупкой выбранных товаров, для чего могут использоваться покупки, и т.д. Попытайтесь сделать применяемое вами представление настолько общим, насколько это возможно. Приведем тривиальный пример: не следует вводить в базу знаний высказывание: “Люди покупают продукты в супермаркете Safeway”, поскольку это не позволяет учесть существование тех, кто покупает продукты в другом супермаркете. Нет смысла вводить информацию о том, что “Джо готовит спагетти с помидорами и говяжьим фаршем”, поскольку она вообще не позволит сделать какие-либо полезные выводы. Кроме того, не превращайте вопросы в ответы; например, в вопросе 10.22, в сказано: “Купил ли Джон какие- либо мясные продукты?”, а не “Купил ли Джон фунт говяжьего фарша?”
Наметьте цепочки рассуждений, которые позволили бы ответить на эти вопросы. В процессе этого вам несомненно потребуется создать дополнительные понятия, ввести дополнительные утверждения и т.д. Если это возможно, воспользуйтесь какой-то системой формирования логических рассуждений, чтобы продемонстрировать достаточность вашей базы знаний. Многие из составленных вами высказываний в реальности могут оказаться лишь приближенно правильными, но не следует об этом слишком беспокоиться; идея состоит в том, чтобы извлечь обыденные знания (на уровне здравого смысла), которые, в принципе, позволяют вам ответить на эти вопросы. Задача составления действительно полного ответа на многие из этих вопросов является чрезвычайно трудной и, по-видимому, выходит за рамки современных средств представления знаний. Но вы должны быть способны составить непротиворечивое множество аксиом для получения ответов на поставленный здесь ограниченный круг вопросов.
Джон — ребенок или взрослый? [Взрослый]
У Джона теперь имеется не меньше двух помидоров? [Да]
Купил ли Джон какие-либо мясные продукты? [Да]
Если бы Мэри покупала помидоры в то же время, что и Джон, увидел бы он ее? [Да]
Сделаны ли помидоры в супермаркете? [Нет]
Что Джон собирается сделать с помидорами? [Съесть их]
В супермаркете Safeway продаются дезодоранты? [Да] з) Джон принес какие-то деньги в супермаркет? [Да] и) Стал ли Джон иметь меньше денег после поездки в супермаркет? [Да] 10.23. Внесите необходимые дополнения или изменения в вашу базу знаний, разработанную в предыдущем упражнении, так, чтобы можно было отвечать на вопросы, которые следуют из этих знаний. Покажите, что на них действительно можно найти ответы с помощью этой базы знаний, и включите в ваш отчет описание исправлений, объяснение того, почему они потребовались, указание, являются ли эти исправления мелкими или крупными, и т.д.
Находились ли другие люди в супермаркете Safeway в то время, как там был Джон? [Да — работники супермаркета!]
Является ли Джон вегетарианцем? [Нет]
Кому принадлежит дезодорант в супермаркете Safeway? [Корпорации Safeway]
Имеется ли у Джона унция говяжьего фарша? [Да]
Имеется ли бензин в расположенной рядом бензозаправочной станции Shell? [Да]
Имеются ли помидоры в багажнике автомобиля Джона? [Да]
Напомним, что информация о наследовании в семантических сетях может быть представлена логически с помощью подходящих импликационных высказываний. В данном упражнении рассматривается эффективность использования подобных высказываний для представления информации о наследовании.
Рассмотрим содержание каталога подержанных автомобилей, такого как Kelly's Blue Book, например, сведения о том, что микроавтобусы типа 1973 Dodge Van стоят 575 долларов. Предположим, что вся эта информация (об 11 тысячах моделей) закодирована в виде логических правил, как было предложено в данной главе. Запишите три таких правила, включая правило, касающееся микроавтобусов типа 1973 Dodge Van. Как вы сможете воспользоваться этими правилами, чтобы найти стоимость конкретного автомобиля (например, модели JB, которая относится к типу 1973 Dodge Van) при наличии такого средства автоматического доказательства теорем по методу обратного логического вывода, как Prolog?
Сравните временную эффективность использования для решения этой задачи метода обратного логического вывода и метода наследования, используемого в семантических сетях.
Объясните, как метод прямого логического вывода позволяет использовать систему на основе логики для эффективного решения той же задачи, при условии, что база знаний содержит только 11 тысяч правил, касающихся цен.
Опишите ситуацию, в который ни прямой, ни обратный логический вывод с помощью этих правил не позволяет эффективно выполнить запрос о цене на какой-то отдельный автомобиль.
Можете ли вы предложить решение, позволяющее эффективно отвечать на запросы этого типа во всех вариантах логических систем? (Подсказка. Напомним, что два автомобиля одной и той же категории имеют одинаковую цену.)
Можно было бы предположить, что не требуется подчеркивать в семантических сетях синтаксические различия между связями с метками, не заключенными в прямоугольники, и связями с метками в одинарном прямоугольнике, поскольку связи с метками в одинарном прямоугольнике всегда закреплены за категориями; а в алгоритме наследования, допустим, можно было бы просто принять допущение, что связь с меткой без прямоугольника, закрепленная за некоторой категорией, предназначена для применения ко всем элементам этой категории. Покажите, что такое утверждение является ошибочным, и приведите примеры ошибок, которые могут возникнуть из-за этого.
Часть IV
Планирование
Основы планирования
Планирование и осуществление действий в реальном мире564
1 1 Основы
ПЛАНИРОВАНИЯ
В данной главе показано, каким образом агент может воспользоваться информацией о структуре задачи для создания сложных планов действий.
Планированием называется процесс выработки последовательности действий, позволяющих достичь цели. До сих пор в этой книге рассматривались два примера планирующих агентов: описанный в главе 3 агент, осуществляющий решение задач на основе поиска, и логический планирующий агент, который представлен в главе 10. Данная глава в основном посвящена описанию вопросов расширения области применения агентов и ее распространения на сложные задачи планирования, которые нельзя решить с помощью подходов, рассматривавшихся до сих пор.
В разделе 11.1 разрабатывается выразительный, но тщательно регламентированный язык для представления задач планирования, включая действия и состояния. Этот язык тесно связан с представлениями действий в пропозициональной логике и логике первого порядка, которые рассматривались в главах 7 и 10. В разделе 11.2 описано, как можно использовать эти представления в алгоритмах прямого и обратного поиска в основном с применением точных эвристик, которые могут создаваться автоматически исходя из структуры представления. (Используемый при этом способ аналогичен способу формирования эффективных эвристик для задач удовлетворения ограничений в главе 5.) В разделах 11.3-11.5 описаны алгоритмы планирования, которые выходят за рамки прямого и обратного поиска и позволяют воспользоваться имеющимся представлением задачи. В частности, представлены подходы, позволяющие не ограничиваться рассмотрением только полностью упорядоченных последовательностей действий.
В данной главе рассматриваются лишь такие варианты среды, которые являются полностью наблюдаемыми, детерминированными, конечными, статическими (изменения происходят только в результате действий агента) и дискретными (сточки зрения времени, действий, объектов и результатов). Такая среда называется средой ^ классического планирования. В отличие от этого, неклассическое планирование предназначено для частично наблюдаемых или стохастических вариантов среды и для него требуется другой набор алгоритмов и проектов агентов, описанный в главах 12 и 17.
Задача планирования
Рассмотрим, что может произойти, когда обычный агент, решающий задачи с помощью стандартных алгоритмов поиска (поиска в глубину, поиска А* и т.д.), сталкивается с крупными задачами реального мира. Это позволит нам научиться разрабатывать лучших планирующих агентов.
Наиболее очевидная сложность состоит в том, что агент, решающий задачи, может быть просто подавлен огромным количеством действий, не относящихся к делу. Рассмотрим задачу покупки одного экземпляра англоязычного издания настоящей книги с названием Al: A Modern Approach в электронном книжном магазине. Предположим, что агент-покупатель должен совершить одно действие, связанное с покупкой, в расчете на каждый возможный десятицифровой номер ISBN, что приводит к общему количеству действий, равному 10 миллиардам. В ходе применения алгоритма поиска агент должен исследовать состояния результатов всех 10 миллиардов действий, чтобы определить, какое из них соответствует цели, заключающейся в том, чтобы приобрести экземпляр книги с номером ISBN 0137903952. С другой стороны, разумный планирующий агент должен быть способным проработать процедуру покупки в обратном направлении, от явного описания цели, такого как Have(ISBN013 7903952), и непосредственно сформировать действие Buy(ISBN013 7903952). Для этого агенту требуется иметь общие знания о том, что действие Виукх) приводит к результату Havekx). При наличии этих знаний и цели планировщик может определить в единственном шаге унификации, что правильным действием является Buy (ISBN0137903952).
Еще одна сложность заключается в определении хорошей эвристической функции. Предположим, что цель агента состоит в том, чтобы купить четыре разных книги в оперативном режиме. Количество планов только для четырех этапов покупки будет составлять 1040, поэтому поиск без точной эвристики даже нет смысла рассматривать. Для человека очевидно, что хорошей эвристической оценкой для стоимости состояния является количество книг, которые еще предстоит купить; к сожалению, эта идея не столь очевидна для агента, решающего задачи, поскольку он рассматривает процедуру проверки цели как “черный ящик”, который возвращает истину или ложь в ответ на каждое состояние. Поэтому агент, решающий задачи, не обладает автономностью; он требует, чтобы человек предоставлял ему эвристическую функцию для каждой новой задачи. С другой стороны, если планирующий агент имеет доступ к явному представлению цели как конъюнкции подцелей, то может использовать единственную эвристику, независимую от проблемной области, — количество невыполненных конъюнктов. Для задачи покупки книг цель будет представлять собой выражение Have (А) a Have (В) a Have (С) a Have (D), а состояние, содержащее выражение Have (A) a Have к С), будет иметь стоимость 2. Таким образом, агент автоматически получает правильную эвристику для этой задачи и для многих других. Ниже в этой главе будет показано, как формировать более сложные эвристики, в которых учитываются не только структура цели, но и возможные действия.
Наконец, агент-решатель задач может оказаться неэффективным из-за того, что не способен воспользоваться ^ декомпозицией задачи. Рассмотрим задачу доставки множества пакетов ночной почты по соответствующим адресатам, которые разбросаны по всей Австралии. В данном случае имеет смысл найти аэропорт, ближайший к каждому адресату, и разделить общую задачу на несколько подзадач, по одной на
каждый аэропорт. А в самом множестве пакетов, доставляемых через каждый конкретный аэропорт, можно определить в зависимости от города адресата допустимость дальнейшей декомпозиции. Как было описано в главе 5, способность выполнять декомпозицию такого рода обеспечивает повышение эффективности решателей задач удовлетворения ограничений. Такое же утверждение остается справедливым для планировщиков: в наихудшем случае может потребоваться время О(п!) для поиска наилучшего плана доставки п пакетов, но если существует возможность выполнить декомпозицию этой задачи на к равных частей, затраты времени будут составлять только О( (п/к) ! хк).
Как было отмечено в главе 5, идеально декомпонуемые задачи являются очень привлекательными, но встречаются редко. Проекты многих систем планирования (особенно планировщиков с частичным упорядочением, описанных в разделе 11.3) основаны на предположении, что большинство задач реального мира являются М частично декомпонуемыми. Это означает, что планировщик может работать над подцелями независимо, но, скорее всего, ему потребуется также выполнить определенную дополнительную работу по объединению результирующих субпланов. Применительно к некоторым задачам такое предположение не оправдывается, поскольку велика вероятность того, что работа над одной подцелью будет приводить к разрушению результатов работы над другой подцелью. Именно из-за такого взаимодействия подцелей и являются трудноразрешимыми многие головоломки (подобные задаче игры в восемь).
Язык задач планирования
Как следует из приведенного выше описания, сам способ представления задач планирования (состояний, действий и целей) должен обеспечивать возможность для алгоритмов планирования воспользоваться логической структурой задачи. Весь секрет состоит в том, чтобы найти язык, достаточно выразительный для описания широкого круга задач, но вместе с тем достаточно ограничительный для обеспечения функционирования на его основе эффективных алгоритмов. В этом разделе вначале рассматривается основной язык представления классических планировщиков, известный под названием Strips. Затем кратко представлены некоторые из многих возможных вариантов языков, подобных Strips.
Представление состояний. В планировщиках применяется декомпозиция мира на логические условия, а состояние представляется в виде конъюнкции положительных литералов. Мы будем рассматривать пропозициональные литералы; например, выражение Poor л Unknown может представлять состояние агента- неудачника (бедного и безвестного). В этой главе будут также использоваться литералы первого порядка; например, выражение At (Planelt Melbourne) л AtlPlane2, Sydney) может представлять одно из состояний в задаче доставки
пакетов. Литералы в описаниях состояния первого порядка должны быть базовыми и не содержащими функций. Такие литералы, как At(x,y) или At (Father (Fred) , Sydney'), не допускаются. Кроме того, используется предположение о замкнутом мире, которое означает, что любые условия, не упомянутые в описании состояния, считаются ложными.
Представление целей. Цель — это частично заданное состояние, представленное в виде конъюнкции положительных базовых литералов, таких как Ri ch л Famous или At (Р2, Tahiti). Пропозициональное состояние s ^удовлетворяет цели д, если s содержит все атомы из д (и, возможно, другие атомы). Например, состояние Rich л Famous л Miserable (богатый, знаменитый и несчастный) удовлетворяет цели Rich л Famous.
Представление действий. Любое действие задается в терминах предусловий, которые должны соблюдаться до того, как оно может быть выполнено, и результатов, которые становятся следствием его выполнения. Например, действие, состоящее в перелете самолета из одного места в другое, можно записать следующим образом: Action(Fly(p, from, to), Precond: At^p, from) a Planekp) a Airport (from) a Airport к to), Effect: -iAt(p, from) A At(p, to))
где Precond обозначает предусловие, a Effect — результат.
Такое выражение следовало бы называть не просто действием, а ^ схемой действия, в том смысле, что в нем представлен целый ряд различных действий, которые могут явиться следствием конкретизации переменных р, from и to различными константами. Вообще говоря, любая схема действия состоит из перечисленных ниже трех частей.
Имя действия и список параметров (например, Flykp, from, to)) служат для обозначения действия.
^ Предусловием называется конъюнкция не содержащих функций положительных литералов, регламентирующая то, что должно быть истинным в некотором состоянии, прежде чем можно будет выполнить рассматриваемое действие. Любые переменные, заданные в предусловии, должны также присутствовать в списке параметров действия.
^ Результатом является конъюнкция не содержащих функций литералов, представляющая собой описание того, как изменится состояние после выполнения действия. В состоянии, ставшем результатом действия, подтверждается истинность положительного литерала Р в результате, тогда как применительно к отрицательному литералу ^Р подтверждается его ложность. Переменные, присутствующие в результате, должны также присутствовать в списке параметров действия.
Для повышения удобства чтения в некоторых системах планирования предусмотрено разделение результата на М список добавления для положительных литералов и ^ список удаления для отрицательных литералов.
Определив синтаксис представлений задач планирования, можно приступить к определению семантики. Наиболее простой способ выполнения этой задачи со-
стоит в том, чтобы описать, как действия влияют на состояния. (Альтернативный метод предусматривает определение непосредственного преобразования в аксиомы состояния-преемника, семантика которых основана на логике первого порядка; см. упр. 11.3.) Вначале необходимо отметить, что действие М применимо в любом состоянии, в котором выполняется предусловие; в противном случае действие не имеет эффекта. Для схемы действий первого порядка задача определения применимости связана с поиском подстановки 9 для переменных в предусловии. Например, предположим, что текущее состояние описано следующим образом:
At(Pi, JFK) л At(P2, SFO) л Р1апе(Р0 л Plane(P2) л Airport(JFK) л Airport(SFO)
Это состояние удовлетворяет такому предусловию:
At(p, from) л Plane(р) л Airport(from) л Airport(to)
с подстановкой {р/Рх, from/JFK, to/SFO} (кроме всего прочего; см. упр. 11.2). Поэтому конкретное действие Fly (Plt JFK, SFO) является применимым.
Начиная с состояния s, ^ результатом выполнения применимого действия а является состояние s', представляющее собой то же самое, что и s, за исключением того, что любой положительный литерал Р в результате а добавляется к s', а любой отрицательный литерал ^р удаляется из s'. Таким образом, после выполнения действия Fly (Рх, JFK, SFO) показанное выше текущее состояние принимает вид
At(Pi, SFO) л At(P2, SFO) a Plane(Pi) л Plane(P2) л Airport (JFK) л Airport(SFO)
Следует отметить, что если какой-то положительный результат уже находится в состоянии s, то не добавляется повторно, а если какой-то отрицательный результат отсутствует в состоянии s, эта часть результата игнорируется. Такое определение воплощает в себе так называемое ^ предположение Strips, что каждый литерал, не упомянутый в результате, остается неизменным. Благодаря этому язык Strips позволяет избежать возникновения проблемы представительного окружения, описанной в главе 10.
Наконец, можно определить ^ решение для задачи планирования. В своей простейшей форме это всего лишь последовательность действий, которая, будучи выполненной в начальном состоянии, приводит к состоянию, удовлетворяющему цели. Далее в этой главе будет показано, как обеспечить возможность использовать решение, представляющее собой частично упорядоченные множества действий, при условии, что каждая последовательность действий, которая отвечает этому частичному упорядочению, является решением.
Выразительность и расширения языка
Всевозможные ограничения, налагаемые в представлении Strips, были выбраны в надежде на то, что алгоритмы планирования станут более простыми и эффективными и вместе с тем при описании реальных задач не будут возникать слишком значительные трудности. Одно из самых важных ограничений состоит в том, что литералы должны быть свободными от функций. Благодаря наличию такого ограничения можно быть уверенным в том, что каждую схему действий для каждой конкретной задачи удастся пропозиционализировать, т.е. преобразовать в конечную коллекцию чисто пропозициональных представлений действий без переменных (дополнительную информа-
цию по этой теме см. в главе 9). Например, в проблемной области грузовых авиационных перевозок для задачи с десятью самолетами и пятью аэропортами можно преобразовать схему Flykp, from, to) в 10x5x5 = 2 50 чисто пропозициональных действий. Планировщики, описанные в разделах 11.4 и 11.5, работают непосредственно с пропозиционализированными описаниями. Если же будут разрешены функциональные символы, то количество состояний и действий, которые могут быть сконструированы, станет бесконечно большим.
В последние годы стало очевидно, что язык Strips является недостаточно выразительным для некоторых реальных проблемных областей. В результате этого было разработано много вариантов данного языка. В табл. 11.1 кратко описан наиболее важный из них, язык ^ ADL (Action Description Language— язык описания действий), на основе его сравнения с базовым языком Strips. В языке ADL действие Fly можно записать следующим образом:
ActionkFlykp*Plane, from:Airport, to:Airport), Precond: Atkp, from) a kfrom ^ to), Effect: -i Atkp, from) A Atkp, to))
Таблица 11.1. Сравнение языков представления задач планирования Strips и ADL. В обоих случаях цели выглядят как предусловия некоторого действия без параметров
Язык Strips
Язык ADL
Только положительные литералы в состояниях: Poor a Unknown
Положительные и отрицательные литералы в состояниях:
—iRich а —Famous
Предположение о замкнутом мире: неупомянутые литералы являются ложными
Предположение об открытом мире: неупомянутые литералы являются неизвестными
Результат Р a -iQ означает добавление Р и удаление Q
Только базовые литералы в целях: Rich a Famous
Результат Р a -aQ означает добавление Р и -aQ и удаление
-.Ри Q
Квантифицированные переменные в целях: цель
Эх At к Pi, х) л At к Р2, х) состоит в том, чтобы Pi и Р2 находились в одном и том же месте
Цели представляют собой конъюнкции: Rich a Famous
В целях допускается использование конъюнкций и дизъюнкций:—.Poor а к Famous v Smart)
Результаты представляют собой конъюнкции
Разрешены условные результаты: when Р: Е означает, что Е является результатом, только если выполнено условие Р
Отсутствует поддержка отношения равенства
Отсутствует поддержка типов
Предикат равенства (х=у) является встроенным
Переменные могут иметь типы, как, например, в выражении кр:Plane)
Обозначение р: Plane в списке параметров представляет собой сокращение для Plane кр) в предусловии; применение такого обозначения не приводит к повышению выразительной мощи, но позволяет повысить удобство для чтения. (Применение этого обозначения приводит также к сокращению количества возможных пропозициональных действий, которые могут быть сконструированы.) Предусловие (from^to) выражает тот факт, что полет не может быть совершен из некоторого аэропорта в сам этот аэропорт. Такое условие не может быть выражено кратко в языке Strips.
Различные формальные средства планирования, применяемые в искусственном интеллекте, были систематизированы в рамках стандартного синтаксиса, получившего название PDDL (Planning Domain Definition Language — язык определения проблемной области планирования). Этот язык позволяет исследователям обмениваться эталонными тестовыми задачами и сравнивать полученные результаты. Язык PDDL включает подязыки для Strips, ADL и иерархических сетей задач (Hierarchical Task Network — HTN), которые будут рассматриваться в главе 12.
Системы обозначений Strips и ADL являются вполне приемлемыми для многих реальных проблемных областей. В приведенных ниже подразделах описаны некоторые простые примеры. Тем не менее эти языки все еще характеризуются некоторыми существенными ограничениями. Наиболее очевидным из них является то, что эти языки не позволяют представить естественным образом последствия действий. Например, если в самолете есть люди, пакеты или частички пыли, то все они в процессе полета самолета также меняют свое местонахождение. Можно было бы представить эти изменения как прямой результат полета, но кажется более естественным представить изменение местонахождения содержимого самолета как логическое следствие изменения местонахождения самого самолета. Дополнительные примеры подобных М ограничений состояния приводятся в разделе 11.5. Кроме того, в классических системах планирования не предпринимается даже попытка решить проблему спецификации: проблему не представленных в определении задачи обстоятельств, которые могут вызвать неудачное завершение действия. Способы решения проблемы спецификации описаны в главе 12.
Пример: воздушный грузовой транспорт
В листинге 11.1 показана одна из задач организации перевозок с помощью воздушного грузового транспорта, в которой предусматривается загрузка и разгрузка грузов в самолеты и из самолетов, а также перелет из одного места в другое. Эта задача может быть определена с помощью трех действий: Load, Unload и Fly. Действия влияют на значения двух предикатов: предикат In (с, р) означает, что груз с находится в самолете р, а предикат At (х, а) означает, что объект х (либо самолет, либо груз) находится в аэропорту а. Следует отметить, что предикат At больше вообще не обусловливает местонахождение груза, если предикат In определяет, что груз находится в самолете, поэтому At фактически означает “доступен для использования в указанном местонахождении”. Для того чтобы научиться прорабатывать все эти детали должным образом, необходимо приобрести определенный опыт составления определений действий. Ниже приведен план, который является решением данной задачи.
lLoad(Ci, Pi, SFO) , Fly(Pi, SFO, JFK), Unload (Ci, Pi, JFK) , Load (C2, P2, JFK) , Fly (P2 , JFK, SFO) , Unload (C2 , P2 , SFO) ]
Листинг ILL Задача Strips, в которой предусматривается транспортировка груза между аэропортами
Init(At(Ci, SFO) л At(C2, JFK) л At(Pi, SFO) л At(P2, JFK) a Cargo (Ci) a Cargo (C2) a Plane (Pi) a Plane (P2) A Airport (JFK) A Airport (SFO) ) Goal(At(Ci, JFK) ^ At(C2, SFO))
Action(Load(c, p, a),
Precond: Atkc, а) л Atkp, а) л Сагдокс) л Planekp) л Airport ка) Effect: -I Atkc, а) л Inkc, р) )
ActionkUnloadкс, р, а),
Precond: Inkc, р) л Atkp, а) л Cargo(с) л Planekp) л Airport ка)
Effect: Atkc, а) л -i Inkc, р) )
Action kFly кр, from, to) ,
Precond: Atkp, from) л Plane кр) л Airport к from) л Airport к to) Effect: -i Atkp, from) л Atkp, to))
В применяемом здесь представлении используется чистый (т.е. не дополненный) язык Strips. В частности, это представление не исключает того, что самолет может вылететь и прилететь в один и тот же аэропорт. Возникновение такой ситуации могут предотвратить литералы неравенства, предусмотренные в языке ADL.
Пример: задача с запасным колесом
Рассмотрим задачу смены колеса со стертой покрышкой. Точнее, цель состоит в том, чтобы на оси автомобиля было правильно смонтировано исправное запасное колесо, тогда как в начальном состоянии на оси имеется колесо со стертой покрышкой, а в багажнике находится исправное запасное колесо. Для того чтобы упростить эту задачу, рассмотрим чрезвычайно абстрактную ее версию, в которой не учитываются крепко прихваченные крепежные гайки или другие усложнения. Существуют только четыре действия: выемка запасного колеса из багажника, снятие колеса со стертой покрышкой с оси, установка запасного колеса на ось и оставление автомобиля без присмотра на ночь. Предполагается, что автомобиль находится в районе с исключительно неблагоприятной криминогенной обстановкой, поэтому результатом его пребывания ночью на улице становится исчезновение колес.
Описание ADL этой задачи приведено в листинге 11.2. Обратите внимание на то, что оно является исключительно пропозициональным. Это описание превосходит по своим возможностям описание на языке Strips в том, что в его предусловии для действия Ри ton к Spare, Axle) (поместить запасное колесо на ось) используется отрицаемый предикат -At kFl a t,Axle) (отрицание предиката At kFlat, Axle) — на оси находится колесо со стертой покрышкой). Необходимости в этом можно избежать, применяя вместо него предикат Clear к Axle) (отсутствие колеса на оси), как будет показано в следующем примере.
Листинг 11.2. Простая задача с запасным колесом
Ini t к At kFlat, Axle) a At к Spare, Trunk) )
Goal к At к Spare, Axle) )
Action к Remove к Spare, Trunk) , Precond: At к Spare,Trunk) Effect: -At к Spare, Trunk) л At к Spare, Ground) )
Action к Remove к Flat, Axle) , Precond: AtkFlat,Axle) Effect: -At kFlat, Axle) л At kFlat, Ground) ) Action к PutOn к Spare, Axle),
Precond: At к Spare,Ground) л —AtkFlat,Axle)
Effect: —At (Spare, Ground) a A t (Spare, Axle) )
Action{LeaveOvernight,
Precond:
Effect: —At (Spare, Ground) л —At (Spare, Axle) л —At (Spare, Trunk) л —iAt {Flat, Ground) a —At {Flat, Axle) )
Пример: мир блоков
Одна из наиболее широко известных проблемных областей планирования известна под названием ^ мира блоков. Эта проблемная область состоит из множества блоков кубической формы, находящихся на столе. Блоки можно укладывать в столбик, но на верхней поверхности одного блока может быть непосредственно размещен только еще один блок. Робот может брать манипулятором блок и перемещать его в другую позицию — либо на стол, либо на верхнюю поверхность другого блока. С помощью манипулятора может быть взят одновременно только один блок, поэтому невозможно взять блок, на котором стоит еще один блок. Цель всегда заключается в том, что должны быть построены один или несколько столбиков из блоков, асами задачи формулируются в терминах того, какие блоки находятся над указанными другими блоками. Например, задача может состоять в том, чтобы поставить блок А на в и блок С на D.
Для указания на то, что блок b находится на блоке х, где х — либо другой блок, либо стол, используется предикат On {b, х). Для перемещения блока b с верхней поверхности блока х на верхнюю поверхность блока у применяется действие Move {b, х,у). Итак, одним из предусловий перемещения Ь является то, что на нем не стоит какой-то другой блок. В логике первого порядка оно может быть представлено с помощью выражения -dx Оп{х,Ь) или альтернативного выражения Vx -лОп{х,Ь). Эти выражения могут быть сформулированы как предусловия на языке ADL. Но мы могли бы оставаться в рамках языка Strips, введя новый предикат, Clear (х), который является истинным, если на блоке х ничего нет (верхняя поверхность блока х свободна).
Действие Move позволяет переместить блок b с блока х на блок у, если свободны верхние поверхности и блока Ь, и блока у. После выполнения этого действия верхняя поверхность блока х свободна, а блока у — нет. Формальное описание действия Move в языке Strips состоит в следующем:
Action {Move {b, x, у) ,
Precond: On{b,x) a Clear{b) a Clear{y) ,
Effect: On{b,y) a Clear{x) а -Юп{Ь,х) a —>Clear{y) )
К сожалению, в этом действии предикат Clear не сопровождается должным образом, если блок х или блок у находится на столе. Если х= Table, то результатом этого действия будет Clear {Table), но поверхность стола не должна становиться свободной (поскольку она и так всегда свободна), а если у= Table, то действие имеет предусловие Clear (Table), но вся поверхность стола не обязана быть свободной для того, чтобы на нее можно было поместить блок (поскольку на столе всегда и
без того достаточно места). Для исправления такого положения необходимо предусмотреть два изменения. Во-первых, введем еще одно действие для перемещения блока b с блока х на стол:
Action (MoveToTable (b, х) , Precond: On(jb,x) a Clear(Ъ) ) , Effect: On (b, Table') л Clear(x) л -iOn(jb,x))
Во-вторых, примем интерпретацию предиката Clear (b) как означающую, что “на b есть достаточно свободного места, чтобы поместился один блок”. При этой интерпретации предикат Clear (Table) всегда будет истинным. Единственная проблема состоит в том, что ничто не будет препятствовать планировщику использовать действие Move(b, х. Table') вместо действия MoveToTable (Ь, х). Можно смириться с этой проблемой (она приводит к созданию пространства поиска с размерами больше необходимого, но не становится причиной получения неправильных ответов) или ввести в предусловие Move предикат Block и добавить в предусловие действия Move выражение Block(b) a Block(у).
Наконец, существует проблема фиктивных действий, таких как Move(B, С, С), которые должны представлять собой пустую операцию, но имеют противоречивые результаты. Обычно принято игнорировать подобные проблемы, поскольку они редко вызывают выработку неверных планов. Правильный подход состоит в добавлении предусловий в неравенство, как показано в листинге 11.3.
Листинг 11.3. Задача планирования в мире блоков: построение столбика из трех блоков. Одним из решений является последовательность действий [Move (В, Table, С), Move (A, Table, В) ]
Init(On(A,Table) а Оп(В,Table) а Оп(С, Table) л Block(A) a Block(В) a Block(С) л Clear(A) a Clear(B) а С1еаг(С)) Goal(On(A, В) л Оп(В, С)) Action (Move (Ь, х, у), Precond: On(b,x) a Clear(b) a Clear(у) a Block(b) а (Ь Ф х) а (Ь + у) а (х Ф у) , Effect: On(b,y) л Clear(x) a -iOn(jb,x) л -^Clear(y) ) Action (MoveToTable(b, x) , Precond: On(b,x) a Clear(b) a Block(b) a (b * x), Effect: On(b,Table) a Clear(x) л —\On(b,x))
Планирование с помощью поиска
В ПРОСТРАНСТВЕ СОСТОЯНИЙ
Данный раздел посвящен описанию алгоритмов планирования. Наиболее простой подход состоит в использовании поиска в пространстве состояний. Поскольку описания действий в задаче планирования определяют и предусловия, и результаты, существует возможность организовать поиск в обоих направлениях: либо в прямом, от начального состояния, либо в обратном, от цели, как показано на рис. 11.1. Кроме того, явные представления действий и целей могут использоваться для автоматического вывода эффективных эвристик.
Рис. И. 1. Два подхода к организации поиска плана: прямой (прогрессивный) поиск в пространстве состояний, начинающийся с начального состояния, в котором используются действия задачи для прямого поиска целевого состояния (а); обратный (регрессивный) поиск в пространстве состояний: поиск доверительного состояния (см. с. 141), начинающийся с целевого состояния (состояний), в котором для обратного поиска начального состояния используются инверсии действий (б)
Прямой поиск в пространстве состояний
Подход к организации планирования с использованием прямого поиска в пространстве состояний аналогичен подходу к решению задач, описанному в главе 3. Иногда его называют прогрессивным планированием, поскольку оно предусматривает продвижение в прямом направлении. При этом мы начинаем с начального состояния задачи и рассматриваем последовательности действий до тех пор, пока не находим последовательность, позволяющую достичь целевого состояния. Формулировка задач планирования в виде задач поиска в пространстве состояний приведена ниже.
Начальным состоянием поиска является начальное состояние, взятое из задачи планирования. Вообще говоря, каждое состояние должно представлять собой множество положительных базовых литералов; литералы, не присутствующие в определении задачи, являются ложными.
Всеми действиями, применимыми в некотором состоянии, являются такие действия, для которых выполнены предусловия. Состояние-преемник, являющееся результатом выполнения действия, вырабатывается путем добавления положительных литералов результата и удаления отрицательных литералов результата. (В случае использования литералов первого порядка к литералам результата необходимо применять унификатор из предусловий.) Обратите внимание на то, что во всех задачах планирования используется единственная функция определения преемника, что является следствием применения явного представления действий.
В ходе проверки цели осуществляется проверка того, удовлетворяет ли данное состояние цели условиям задачи планирования.
Стоимость этапа для каждого действия обычно равна 1. Хотя было бы несложно предусмотреть использование различных стоимостей для разных действий, такая возможность в планировщиках Strips применяется редко.
Напомним, что при отсутствии функциональных символов пространство состояний задачи планирования является конечным. Поэтому полным алгоритмом планирования должен быть любой алгоритм поиска в графе, который является полным (например, А*).
Начиная с самых первых дней исследований по планированию (примерно с 1961 года) и до сравнительно недавнего времени (примерно до 1998 года), предполагалось, что прямой поиск в пространстве состояний был бы слишком неэффективен для того, чтобы иметь практическое значение. Причины этого понять совсем несложно — достаточно вернуться в начало раздела 11.1. Во-первых, прямой поиск не решает проблему не относящихся к делу действий — рассматриваются все действия, применимые из каждого состояния. Во-вторых, без хорошей эвристики этот подход быстро приводит к чрезмерному увеличению объема вычислений. Рассмотрим задачу воздушных грузовых перевозок с 10 аэропортами, где в каждом аэропорту имеется 5 самолетов и 20 единиц груза. Цель состоит в том, чтобы переместить все грузы из аэропорта А в аэропорт в. Существует простое решение этой задачи: погрузить 20 единиц груза в один из самолетов в аэропорту А, полететь на этом самолете в аэропорт В и выгрузить груз. Но формальный поиск этого решения может оказаться затруднительным, поскольку средний коэффициент ветвления является огромным: каждый из этих 5x10 = 5 0 самолетов может полететь в 9 других аэропортов, а каждая из 2 0x10=200 единиц груза может быть либо разгружена (если она загружена), либо загружена в любой самолет в аэропорту, где она находится (если она разгружена). Допустим, что в среднем существует около 1000 возможных действий, поэтому дерево поиска с глубиной, равной глубине очевидного решения, имеет около 100О41 узлов. Очевидно, что для обеспечения эффективности такого поиска потребуется очень точная эвристика. Мы рассмотрим некоторые возможные эвристики после описания обратного поиска.
Обратный поиск в пространстве состояний
Обратный поиск в пространстве состояний был кратко описан в составе двунаправленного поиска в главе 3. В этой главе было отмечено, что задача организации обратного поиска может оказаться сложной, если целевые состояния описаны с помощью множества ограничений, а не перечислены явно. В частности, не всегда очевидно, как должно составляться описание возможных преемников множества целевых состояний. А в этой главе будет показано, что представление Strips позволяет решить такую задачу очень легко, поскольку множества состояний могут быть описаны с помощью литералов, которые должны быть истинными в этих состояниях.
Основным преимуществом обратного поиска является то, что он позволяет рассматривать только ^ релевантные действия. Действие релевантно конъюнктивной цели, если оно достигает одного из конъюнктов данной цели. Например, целью опи-
санной выше задачи по воздушной перевозке грузов с 10 аэропортами была доставка 20 единиц груза в аэропорт в или, точнее:
AUC1, В) л AtkC2, В} л ... л AtlC20, В)
Теперь рассмотрим конъюнкт At^^.BL Двигаясь в обратном направлении, можно найти действия, имеющие этот результат. Таковым является только одно действие: Unload lClf р, В), где самолетр не задан.
Обратите внимание на то, что имеется также много нерелевантных действий, способных привести к целевому состоянию. Например, можно организовать перелет пустого самолета из аэропорта JFK в аэропорт SFO; это действие позволяет достичь целевого состояния из состояния-предшественника, в котором самолет находился в JFK и все целевые конъюнкты были удовлетворены. Обратный поиск, в котором допускаются нерелевантные действия, по-прежнему будет полным, но гораздо менее эффективным. Если решение существует, то должно быть найдено с помощью обратного поиска, допускающего только релевантные действия. Наличие такого ограничения, в котором допускаются только релевантные действия, означает, что процедура обратного поиска часто имеет гораздо более низкий коэффициент ветвления по сравнению с прямым поиском. Например, в рассматриваемой задаче грузовых воздушных перевозок имеется около 1000 действий, ведущих в прямом направлении из начального состояния, но только 20 действий, позволяющих перейти в обратном направлении от цели.
Поиск в обратном направлении иногда называют ^ регрессивным планированием. Основной вопрос регрессивного планирования состоит в следующем: есть ли такие состояния, из которых применение некоторого действия приводит к цели? Вычисление описаний таких состояний называется регрессией цели через действие. Для того чтобы определить, как можно найти ответ на указанный выше вопрос, рассмотрим пример с воздушными грузовыми перевозками. Мы имеем цель
At(Ci, В) л AtkC2, В) л ... Л At(C20, В)
и релевантное действие Unload(Cltp, В), которое позволяет достичь первого конъюнкта. Соответствующее действие будет выполнимо, только если выполнены его предусловия. Поэтому любое состояние-преемник должно включать эти предусловия: ln(Cltp) л At (р, в). Более того, подцель At (Ci, в) не должна быть истинной в состоянии-преемнике. Поэтому описание состояния-преемника является таковым:
In(Ci, р) л At^p, В) л At(C2, В) А ... A At(C20/ В)
Кроме выполнения того требования, чтобы действия достигали некоторого желаемого литерала, должно также соблюдаться требование, чтобы действия не отменяли какие-либо желаемые литералы. Любое действие, удовлетворяющее этому ограничению, называется совместимым. Например, действие Load^C2,р) не будет совместимым с текущей целью, поскольку оно отрицает литерал At (С2, В).
Составив определения понятий релевантности и совместимости, мы можем описать общий процесс формирования преемников для обратного поиска. Допустим,
что при наличии описания цели G имеется действие А, которое является релевантным и совместимым. Соответствующий преемник может быть определен, как описано ниже.
Любые положительные результаты действия А, которые появляются в цели G, удаляются.
Добавляется каждый литерал предусловия А, если он еще не присутствует в определении действия.
Для осуществления обратного поиска могут использоваться любые из стандартных алгоритмов поиска. Завершение работы происходит после выработки такого описания преемника, которое соответствует начальному состоянию задачи планирования. В случае использования логики первого порядка для обеспечения соответствия с начальным состоянием может потребоваться подстановка переменных в описание преемника. Например, описание преемника, приведенное в предыдущем абзаце, будет соответствовать такому начальному состоянию после подстановки {р/ р12}:
ПЦС1, Р12) A At(Pi2,B) A AtkC2. В^ л ... a АЦС2о, В)
Затем данная подстановка должна быть применена к действиям, ведущим из этого состояния к цели, что приводит к получению решения [ Unload (Сг, Р12, В) ].
Эвристики для поиска в пространстве состояний
Итак, из описанного выше следует, что ни прямой, ни обратный поиск не может быть эффективным без хорошей эвристической функции. Как было указано в главе 4, эвристическая функция оценивает расстояние от некоторого состояния до цели; в планировании Strips стоимость каждого действия равна 1, поэтому расстояние измеряется количеством действий. Основная идея состоит в том, что нужно рассматривать результаты действий и цели, которые должны быть достигнуты, а после этого выдвигать предположение, сколько действий потребуется для достижения всех целей. Задача определения точного количества действий является NP-трудной, но чаще всего существует возможность найти приемлемые оценки без слишком большого объема вычислений. Необходимо также иметь возможность вывести допустимую эвристику, которая не приводит к переоценке. Такая эвристика может использоваться в сочетании с поиском А* для нахождения оптимальных решений.
Для составления эвристики могут быть опробованы два подхода. Первый из них состоит в том, чтобы вывести ослабленную задачу из заданной спецификации задачи (см. главу 4). Оптимальная стоимость решения для ослабленной задачи (которую можно надеяться очень легко решить) задает допустимую эвристику для первоначальной задачи. Второй подход состоит в том, что можно воспользоваться предположением о возможности применения алгоритма, действующего исключительно по принципу “разделяй и властвуй”. Такое предположение называется предположением о ^ независимости подцелей, согласно которому стоимость решения конъюнкции подцелей аппроксимируется суммой стоимостей решения каждой подцели независимо друг от друга. Предположение о независимости подцелей может быть оптимистическим или пессимистическим. Оно является оптимистическим, если имеются отрицательные взаимодействия субпланов для каждой подцели, например, если действие в одном субплане удаляет цель, достигнутую в другом субплане. С другой сто-
роны, такое предположение является пессимистическим и поэтому недопустимым, если субпланы содержат избыточные действия, например, два таких действия, которые могут быть заменены одним действием в объединенном плане.
Рассмотрим способ вывода ослабленных задач планирования. Поскольку имеются явные представления предусловий и результатов, такой способ может предусматривать модификацию указанных представлений. (Сравните этот подход с задачами поиска, в которых функция определения преемника рассматривалась как “черный ящик”.) Простейшая идея состоит в том, что задача может быть ослаблена путем удаления из действий всех предусловий. В таком случае каждое действие всегда будет применимым и любой литерал может быть достигнут за один шаг (если есть какое- либо применимое действие; в противном случае цели достичь невозможно). Из этого почти безусловно следует, что количество шагов, необходимых для решения конъюнкции цели, равно количеству невыполненных целей — почти, но не совсем, поскольку, во-первых, могут существовать два таких действия, каждое из которых удаляет литерал цели, достигнутый другим, и, во-вторых, некоторое действие может достигать нескольких целей. Если же ослабленная задача будет применяться в сочетании с предположением о независимости подцелей, это позволит воспользоваться предположением о том, что указанных проблем не существует, и поэтому результирующая эвристика будет точно соответствовать количеству невыполненных целей.
Во многих случаях существует возможность получить более точную эвристику, рассматривая, по меньшей мере, положительные взаимодействия, вытекающие из наличия действий, достигающих нескольких целей. Прежде всего, можно еще больше ослабить задачу, удаляя отрицательные результаты (см. упр. 11.6). Затем можно подсчитать минимальное количество требуемых действий таким образом, чтобы объединение положительных результатов этих действий позволяло выполнить данную цель. Например, рассмотрим следующее определение:
Goal (А л В л С)
Action кХ,Action кХ,Effect: А л Р)Effect: А л Р)Action ( Y,Action ( Y,Effect: В Л С Л Q)Effect: В Л С Л Q)ActionkZ,ActionkZ,Effect: В л Р л Q)Effect: В л Р л Q)
Action кХ,
Action кХ,
Effect: А л Р)
Effect: А л Р)
Action ( Y,
Action ( Y,
Effect: В Л С Л Q)
Effect: В Л С Л Q)
ActionkZ,
ActionkZ,
Effect: В л Р л Q)
Effect: В л Р л Q)
Минимальное множественное покрытие цели {А, в, С} задается действиями (X, У}, поэтому эвристика множественного покрытия возвращает стоимость 2. Такая оценка лучше по сравнению с предположением о независимости подцелей, которое позволяет получить эвристическое значение 3. Остается непреодоленной лишь одна небольшая неприятная особенность: задача поиска множественного покрытия является NP-трудной. Простой жадный алгоритм поиска множественного покрытия гарантирует возвращение значения, которое находится в пределах коэффициента logn от истинного минимального значения, где п — количество литералов в цели, но обычно на практике данный алгоритм действует намного лучше по сравнению с этой оценкой. К сожалению, жадный алгоритм не обеспечивает гарантий достижимости для такой эвристики.
Существует также возможность создавать ослабленные задачи, удаляя отрицательные результаты без удаления предусловий. Таким образом, если некоторое действие в первоначальной задаче имеет результат А л -уВ, то в ослабленной задаче будет иметь результат А. Это означает, что не нужно беспокоиться об отрицательных взаимодействиях субпланов, поскольку ни одно действие не способно удалить лите-
ралы, достигнутые другим действием. Стоимость решения полученной в конечном итоге ослабленной задачи задает то, что принято называть эвристикой с ^ пустым списком удаления. Эта эвристика является весьма точной, но для ее вычисления требуется действительно выполнить некоторый (простой) алгоритм планирования. Тем не менее на практике поиск в условиях ослабленной задачи часто происходит достаточно быстро для того, чтобы имело смысл применение этой оценки стоимости.
Описанные здесь эвристики могут использоваться либо в прогрессивном, либо в регрессивном направлении. Ко времени написания данной книги первые места в рейтинге эффективности занимали прогрессивные планировщики, в которых применялась эвристика с пустым списком удаления. Такая ситуация вполне может измениться в результате исследования новых эвристик и новых методов поиска. Поскольку задачи планирования являются экспоненциально трудными, ни один алгоритм не может быть достаточно эффективным для решения всех задач, но с использованием эвристических методов, описанных в этой главе, могут быть решены многие практические задачи, и таких задач стало гораздо больше по сравнению с теми, которые были решаемыми всего лишь несколько лет тому назад.
Планирование с частичным упорядочением
Прямой и обратный поиск в пространстве состояний представляют собой особые формы поиска полностью упорядоченного плана. В них рассматриваются только строго линейные последовательности действий, непосредственно связанные с начальным или целевым состоянием. Это означает, что такие методы поиска не позволяют воспользоваться преимуществами декомпозиции задачи. Вместо того чтобы обеспечить отдельную проработку каждой подзадачи, эти методы вынуждены всегда поддерживать принятие решений о том, как упорядочить действия, относящиеся ко всем подзадачам. Но обычно более предпочтительным является подход, позволяющий работать над несколькими подцелями независимо, достигать их с помощью нескольких субпланов, а затем объединять эти субпланы.
Подобный подход обладает также тем преимуществом, что позволяет добиться большей гибкости при определении последовательности, в которой составляется окончательный план. Это означает, что планировщик вначале может работать над “очевидными” или “важными” решениями, не будучи вынужденным прорабатывать все этапы в хронологическом порядке. Например, планирующий агент, который находится в Беркли и желает попасть в Монте-Карло, может вначале попытаться найти рейс из Сан-Франциско в Париж; получив информацию о времени отправления и прибытия этого рейса, он может затем заняться поиском способов того, как доехать и выехать из соответствующих аэропортов.
Общая стратегия, в которой в процессе поиска выбор определенных этапов откладывается на более позднее время, называется стратегией с ^ наименьшим вкладом (least commitment). Формального определения стратегии с наименьшим вкладом не существует, поскольку очевидно, что на любом этапе поиска должен быть сделан
определенный вклад в окончательное решение, так как в противном случае поиск окажется непродуктивным. Несмотря на такую неформальность, наименьший вклад — это полезная концепция для анализа того, какие решения должны быть приняты в любой задаче поиска.
Приведенный в этом разделе первый конкретный пример будет гораздо проще по сравнению с планированием отпуска, проводимого в Монте-Карло. Рассмотрим простую задачу надевания пары туфель. Ее можно описать как формальную задачу планирования следующим образом:
Goal(RightShoeOn a LeftShoeOn)
Init()
Action(Rightshoe,Precond: RightSockOn,Effect: RightShoeOn)
Action(RightSock,Effect: RightSockOn)
Action(Leftshoe,Precond: LeftSockOn,Effect: LeftShoeOn) Action(LeftSock,Effect: LeftSockOn)
Планировщик должен быть способен предложить последовательность из двух действий, RightSock (Надеть правый носок), затем Rightshoe (Надеть правую туфлю), чтобы достичь первого конъюнкта этой цели, и последовательность Lef tSock (Надеть левый носок), затем Lef tShoe (Надеть левую туфлю), чтобы достичь второго конъюнкта. После этого эти две последовательности могут быть объединены для создания окончательного плана. В ходе этого планировщик будет манипулировать двумя подпоследовательностями независимо, не задумываясь над тем, должно ли какое-то действие в одной последовательности быть выполнено до или после некоторого действия в другой. Любой алгоритм планирования, способный включить в план два действия без указания того, какое из них должно быть выполнено первым, называется ^ планировщиком с частичным упорядочением (partialorder planner). На рис. 11.2 показан план с частичным упорядочением, который представляет собой решение задачи надевания туфель и носков. Обратите внимание на то, что это решение представлено в виде графа, а не последовательности действий. Заслуживают также внимания “фиктивные” действия, называемые Start и Finish, которые отмечают начало и конец плана. Назвав эти ситуации действиями, мы можем упростить структуру плана, поскольку теперь каждый этап плана становится действием. Это решение с частичным упорядочением соответствует шести возможным планам с полным упорядочением; каждый из них называется ^линеаризацией плана с частичным упорядочением.
Планирование с частичным упорядочением может быть реализовано в виде поиска в пространстве планов с частичным упорядочением. (Начиная с этого момента, мы будем называть их просто “планами”.) Это означает, что поиск начинается с пустого плана. После этого рассматриваются способы уточнения плана до тех пор, пока не удастся составить полный план, который решает данную задачу. Действия, рассматриваемые в этом поиске, являются не действиями в мире, а действиями в планах: добавление в план этапа; наложение упорядочения, согласно которому одно действие должно занять место перед другим; и т.д.
В данном разделе будет определен алгоритм POP (Partial-Order Planning) для планирования с частичным упорядочением. В соответствии с общепринятой традицией алгоритм POP оформляется в виде отдельной программы, но мы вместо этого определим задачу планирования с частичным упорядочением как экземпляр задачи поиска. Это позволит нам сосредоточиться на этапах уточнения плана, которые могут
быть применены, и не задумываться над тем, каким образом алгоритм осуществляет исследование пространства поиска. В действительности после формулировки задачи поиска может быть применен широкий перечень неинформированных или эвристических методов поиска.
План с частичнымПлан с частичнымПланы с полнымПланы с полнымупорядочениемупорядочениемупорядочениемупорядочениемРис. 11.2. План надевания туфель и носков с частичным упорядочением и шесть соответствующих линеаризаций в виде планов с полным упорядочениемРис. 11.2. План надевания туфель и носков с частичным упорядочением и шесть соответствующих линеаризаций в виде планов с полным упорядочением
План с частичным
План с частичным
Планы с полным
Планы с полным
упорядочением
упорядочением
упорядочением
упорядочением
Рис. 11.2. План надевания туфель и носков с частичным упорядочением и шесть соответствующих линеаризаций в виде планов с полным упорядочением
Рис. 11.2. План надевания туфель и носков с частичным упорядочением и шесть соответствующих линеаризаций в виде планов с полным упорядочением
Напомним, что состояниями рассматриваемой задачи поиска должны быть планы (в основном незаконченные). Чтобы избежать путаницы с состояниями мира, мы будем вести речь о планах, а не о состояниях. Каждый план имеет описанные ниже четыре компонента, где первые два определяют этапы плана, а последние два выполняют функции учета, позволяющие определить, как может быть дополнен план.
Множество действий, из которых состоят этапы плана. Эти действия берутся из множества действий в задаче планирования. “Пустой” план содержит только действия Start и Finish. Действие Start не имеет предусловий, а его результатом являются все литералы в начальном состоянии задачи планирования. Действие Finish не имеет результатов, а его предусловиями являются литералы цели в задаче планирования.
Множество ^ограничений упорядочения. Каждое ограничение упорядочения находится в форме А ^ В, которая читается как “А перед В” и означает, что действие А должно быть выполнено в какое-то время перед действием в, но не обязательно непосредственно перед ним. Ограничения упорядочения должны описывать правильный вариант частичного упорядочения. Любой цикл (такой как А -< В и В -< А) представляет противоречие, поэтому ни одно ограничение упорядочения не может быть добавлено в план, если оно создает цикл.
Множество М причинных связей. Причинная связь между двумя действиями А и в в плане записывается как А—^В и читается как “А ^ достигает р для В”. Например, в следующей причинной связи: RightSoc^^^^RightShoe
утверждается, что RightSockOn (надет правый носок) представляет собой результат действия RightSock и предусловие действия Rightshoe. В ней также содержится утверждение, что предусловие RightSockOn должно оставаться истинным со времени действия RightSock до времени действия Rightshoe. Другими словами, план не может быть дополнен путем добавления какого-либо нового действия С, которое М конфликтует с причинной связью. Действие С конфликтует со связью А—^в, если С имеет результат -ip и если С может (в соответствии с ограничениями упорядочения) происходить после А и перед В. Некоторые авторы называют причинные связи интервалами защиты, поскольку связь А- -г >в защищает предусловие р от его отрицания в интервале от А до В.
Множество ^ открытых предусловий. Предусловие является открытым, если оно не достигнуто с помощью какого-то действия в плане. Планировщики действуют по принципу сокращения множества открытых предусловий до пустого множества без внесения противоречия.
Например, окончательный план, показанный на рис. 11.2, имеет следующие компоненты (не показаны ограничения упорядочения, которые распространяются на каждое действие после действия Start и перед действием Finish):
Действия: ^RightSock, Rightshoe, LeftSock, Leftshoe, Start, Finish} Упорядочения: {RightSock -< RightShoe, LeftSock -< Leftshoe}
Связи: { RightSock Rig^^kOn Right Shoe, Left SockLet-^^0n Left Shoe, Rightshoe Rig^^eOnFinish, Lef tSho eLeiJ^eOn Finish}
Открытые предусловия: {}
Мы определяем ^ согласованный план (consistent plan) как план, в котором не имеется циклов в ограничениях упорядочения и нет конфликтов с причинными связями. Согласованный план без открытых предусловий представляет собой решение. Даже краткие размышления должны убедить читателя в справедливости следующего утверждения: с^= каждая линеаризация решения с частичным упорядочением представляет собой решение с полным упорядочением, выполнение которого из начального состояния позволяет достичь целевого состояния. Это означает, что можно распространить понятие “выполнения плана” с планов с полным упорядочением на планы с частичным упорядочением. План с частичным упорядочением выполняется путем повторного выбора любого из возможных следующих действий. Как будет показано в главе 12, такая гибкость, предоставляемая агенту в ходе выполнения плана, может быть очень полезной в тех обстоятельствах, когда мир к нему не благосклонен. Гибкое упорядочение позволяет также упростить комбинирование меньших планов в более крупные, поскольку каждый из меньших планов допускает переупорядочение его действий для предотвращения конфликтов с другими планами.
Теперь мы готовы сформулировать задачу поиска, которую решает алгоритм POP, как показано ниже. Начнем с формулировки, подходящей для задач планирования в пропозициональной логике, оставляя на будущее осложнения, связанные с исполь-
зованием логики первого порядка. Как обычно, это определение включает начальное состояние, действия и проверку цели.
Начальный план содержит действия Start и Finish, ограничение упорядочения Start -< Finish, не включает ни одной причинной связи и имеет все предусловия в действии Finish в качестве открытых предусловий.
Функция определения преемника произвольным образом выбирает одно открытое предусловие р действия в и вырабатывает план-преемник для каждого возможного согласованного способа выбора действия А, которое достигает р. Согласованность обеспечивается принудительно следующим образом.
Причинная связь А—^в и ограничение упорядочения А -< в добавляются к плану. Действие А может быть существующим действием в плане или новым действием. Если оно является новым, добавить его к плану, а также добавить Start АиА -< Finish.
Разрешаются конфликты между новой причинной связью и всеми существующими действиями, а также между действием А (если оно является новым) и всеми существующими причинными связями. Конфликт между А—^В и С разрешается путем обеспечения того, чтобы действие С происходило в какое-то время за пределами интервала защиты, либо за счет добавления ограничения в ^ С, либо путем добавления ограничения С -< А. Для одного из них или обоих добавляются состояния-преемники, если они приводят к созданию согласованных планов.
В ходе проверки цели осуществляется проверка того, является ли текущий план решением первоначальной задачи планирования. Поскольку вырабатываются только согласованные планы, в проверке цели достаточно только проконтролировать, есть ли еще открытые предусловия.
Еще раз напомним, что действия, рассматриваемые в алгоритмах поиска при такой формулировке, представляют собой этапы уточнения плана, а не реальные действия из самой проблемной области. Поэтому, строго говоря, стоимость пути не имеет значения, поскольку важна только суммарная стоимость реальных действий в плане, к которому ведет этот путь. Тем не менее существует возможность определить функцию стоимости пути, которая отражает стоимости реальных планов; для этого можно назначать цену 1 за каждое реальное действие, добавленное к плану, и 0 — за все остальные этапы уточнения. В таком случае значение функции д(п), где п — некоторый план, будет равно количеству реальных действий в плане. Может также использоваться эвристическая оценка h (п).
На первый взгляд может показаться, что функция определения преемника должна вырабатывать преемников для каждого открытого предусловия р, а не только для одного из них. Но такой подход был бы избыточным и неэффективным по той же причине, по которой алгоритмы удовлетворения ограничений не включают преемников для каждой возможной переменной, поскольку порядок, в котором рассматриваются открытые предусловия (как и порядок, в котором рассматриваются переменные CSP), является коммутативным (см. с. 214). Таким образом, мы можем выбирать произвольное упорядочение и все еще иметь полный алгоритм. Выбор правильного упорядочения может привести к более быстрому поиску, но все упорядочения оканчиваются одним и тем же множеством решений-кандидатов.
Пример планирования с частичным упорядочением
Теперь рассмотрим, как можно с помощью алгоритма POP решить задачу с запасным колесом, описанную в разделе 11.1. Описание этой задачи повторно приведено в листинге 11.4.
Листинг 11.4. Описание простой задачи замены колеса со стертой покрышкой
Ini t (At (Flat, Axle) a At (Spare, Trunk) )
Goal(At(Spare,Axle))
Action(Remove(Spare,Trunk) ,
Precond: At(Spare,Trunk)
Effect: —iAt (Spare, Trunk) a At (Spare, Ground) )
Action(Remove(Flat, Axle) , Precond: At(Flat,Axle) Effect: -At (Flat, Axle) a At (Flat, Ground) )
Action(PutOn(Spare, Axle),
Precond: At (Spare, Ground) a -i At (Flat, Axle)
Effect: -At (Spare, Ground) a At (Spare, Axle) )
Action(LeaveOvernight,
Precond:
Effect: -At (Spare, Ground) a —At (Spare, Axle) a —At (Spare, Trunk) a -At (Flat, Ground) a -At (Flat, Axle) )
Поиск решения начинается с начального плана, содержащего действие Start с результатом At (Spare, Trunk) л At(Flat,Axle) и действие Finish с единственным предусловием At (Spare, Axle). Затем вырабатываются преемники путем взятия открытого предусловия для его проработки (не допускающей отмены) и выбора среди возможных действий для его достижения. На данный момент мы не будем задумываться над тем, что нужно воспользоваться какой-то эвристической функцией, которая могла бы помочь в выработке этих решений, и станем выбирать варианты, которые внешне кажутся произвольными. Последовательность событий описана ниже.
Взять единственное открытое предусловие, At (Spare, Axle), действия Finish. Выбрать единственное применимое действие, Put On (Spare, Axle).
Взять предусловие At (Spare, Ground) действия PutOn (Spare, Axle). Выбрать единственное применимое действие, Remove(Spare, Trunk), чтобы достичь его. Результирующий план показан на рис. 11.3.
At(Spare,Trunk) | Remove(Spare,Trunk)
— 1 At (Spa re, Trunk)A [(Spare, Ground) ।1. . r , ,. I ~ . , I
StartPutOn(Spare,Axle) h*- At(Spare,Axle) Finish
At(Flat.Axle)-3 At(Hat,Ax!e) 1——111
Puc. 11.3. Незаконченный план с частичным упорядочением для задачи замены колеса после выбора действий, соответствующих первым двум открытым предусловиям. В прямоугольниках показаны действия, предусловия которых находятся слева, а результаты — справа (результаты не показаны, кроме результатов действия Start/ Сплошные линии со стрелками показывают причинные связи, защищающие высказывание, находящееся у острия стрелки
Взять предусловие -iAt (Flat, Axle) действия PutOn (Spare, Axle). Просто для того чтобы поступить вопреки здравому смыслу, выберем действие LeaveOvernight, а не действие Remove(Flat,Axle). Но обратите внимание на то, что действие LeaveOvernight также имеет результат -^At (Spare, Ground), который означает, что оно конфликтует со следующей причинной связью:
Remove (Spare, Trunk) ^^P^re^ound) PutOn spare, Axle)
Чтобы разрешить этот конфликт, добавим ограничение упорядочения, которое помещает действие LeaveOvernight перед действием Remove (Spare, Trunk). Возникающий при этом план показан на рис. 11.4. (Предлагаем читателю ответить на вопросы, почему такое дополнение позволяет разрешить конфликт и почему нет другого способа его разрешить?)
At(Spare,Trunk)Remove(Spare, Trunk)
Al (Spa re, Trunk) At(Flat.Axle)Al (Spa re, Trunk) At(Flat.Axle)7
Al (Spa re, Trunk) At(Flat.Axle)
Al (Spa re, Trunk) At(Flat.Axle)
A l( Spare, Ground) ।1।—।
At(FI t Axl) 'I Ai(Spare,Axle) | Finish |
I1;1 -i Al(Flat,Ground)
LeaveOvernight At(Spare,Axle)11 ^ At(Spare,Ground)
-i At(Spare, Trunk)
Puc. 11.4. План, возникающий после выбора LeaveOvernight в качестве действия для достижения предусловия -At (Fla t, Axle). Чтобы избежать конфликта с причинной связью, исходящей из действия Remove (Spare, Trunks, которая защищает действие At (Spare,Ground), на LeaveOvernight накладывается ограничение, чтобы это действие происходило перед Remove ( Spare, Trunk), как показано штриховой линией со стрелкой
В этот момент единственным оставшимся открытым предусловием является предусловие At (Spare, Trunk) действия Remove (Spare, Trunk). Единственным действием, позволяющим достичь этого предусловия, является существующее действие Start, но причинная связь от Start к Remove (Spare, Trunk) конфликтует с результатом ^At(Spare, Trunk) действия LeaveOvernight. В данный момент не существует способа разрешить конфликт с действием LeaveOvernight — его нельзя переупорядочить таким образом, чтобы оно находилось перед Start (поскольку ни одно действие не может происходить перед действием Start), и нельзя переупорядочить его так, чтобы оно находилось после Remove(Spare,Trunk) (поскольку уже имеется ограничение, которое упорядочивает его перед Remove (Spare, Trunk)). Поэтому необходимо вернуться к одному из предыдущих состояний, удалить действие LeaveOvernight и две последние причинные связи, возвратившись в состояние, показанное на рис. 11.3. Планировщик фактически доказал, что действие LeaveOvernight не может применяться в качестве способа замены колеса.
Еще раз рассмотрим предусловие —At (Flat, Axle) действия PutOn( Spare, Axle). На этот раз выберем действие Remove (Flat, Axle).
Снова возьмем предусловие At (Spare, Trunk) действия Remove (Spare, Trunk) и выберем действие Start, чтобы его достичь. На сей раз конфликты не возникают.
Возьмем предусловие At(Flat.Axle) действия Remove (Flat, Axle) и выберем действие Start для его достижения. Это дает нам полный согласованный план (иными словами, решение), как показано на рис. 11.5.
At^Spare, Trunk) | Remove(Spare,Trunk)
I— \ At (Spa re, Trunk)At(Spare,Ground) ।1, I „. . . I
Start I _,PutOn(Spare,Axle) At(Spare,Ax!e)\ Finish
1*At(Flat,Axle)-^At(Flat,Axle) 111
^FIat,Axle) | Remove( Flat, Axle) '^^
Puc. 11.5. Окончательное решение задачи замены колеса. Обратите внимание на то, что действия Remove (Spare, Trunks и Remove (Flat, Axle,) могут выполняться в любом порядке, при условии, что они завершаются перед действием Put On (Spa re, Axle)
Хотя данный пример очень прост, он иллюстрирует некоторые преимущества планирования с частичным упорядочением. Во-первых, причинные связи способствуют заблаговременному отсечению тех частей пространства поиска, которые не содержат решений из-за неустранимых конфликтов. Во-вторых, решение, приведенное на рис. 11.5, представляет собой план с частичным упорядочением. В данном случае преимущества невелики, поскольку имеются только две возможные линеаризации; тем не менее повышенная гибкость выбора вариантов может пойти агенту на пользу, например, если ему придется менять колесо в середине шоссе с интенсивным движением.
Этот пример также указывает на некоторые возможные усовершенствования, которые вполне могут быть осуществлены. Например, в данном случае налицо дублирование усилий: действие Start соединяется связью с действием Remove (Spare, Trunk) до того, как конфликт вызывает возврат, а затем эта связь снова разрывается из-за возврата, даже несмотря на то, что она не участвует в конфликте. После этого в ходе продолжения поиска связь снова восстанавливается. Такое развитие событий является типичным для хронологических возвратов, и его последствия могут быть смягчены с помощью возвратов, управляемых с учетом зависимостей.
Планирование с частичным упорядочением и несвязанными переменными
В этом разделе рассматриваются сложности, которые могут возникнуть, если алгоритм POP используется с представлениями действий в логике первого порядка, которые могут включать переменные. Предположим, что имеется задача в мире блоков (см. листинг 11.3) с открытым предусловием On (А, В) и следующим действием:
Action (Move (b, x, y) ,
Precond: 0n(b,x) a Clear(b) л Clear(у),
Effect: 0n(b,y) л Clear(x) a —Юп(Ь,х) a -}Clear(y) )
Это действие достигает результата On (А, В), поскольку результат On (Ь, у) унифицируется с термом On (А, В) с помощью подстановки {Ь/А,у/В}. Затем применим эту подстановку к действию и получим следующее:
Action (Move (А, х, В)
Precond: Оп(А,х) л Clear(А) л Clear (В)
Effect: Оп(А,В) л Clear(x') л -Оп(А,х) л -yClear(B) )
При этом переменная х остается несвязанной. Тем самым в данном действии определено, что блок А нужно переместить откуда-то, а откуда, не сказано. В этом заключается еще один пример реализации принципа наименьшего вклада: мы можем отложить выполнение выбора до какого-то этапа, в котором сам план укажет для нас этот выбор. Например, предположим, что в начальном состоянии имеется предусловие On (A, D). В таком случае для достижения предусловия On (А, х) может использоваться действие Start со связыванием хс D. Такая стратегия с ожиданием дополнительной информации перед выбором х часто является более эффективной по сравнению с опробованием любого возможного значения х и возвратом в ответ на неудачный выбор каждого из этих значений.
Из-за наличия переменных в предусловиях и действиях процесс обнаружения и разрешения конфликтов усложняется. Например, после добавления к плану действия Move (А, х, в) потребуется следующая причинная связь:
Move (А, х, В) °™*У Finish
Если имеется другое действие М2 с результатом —\Оп(А, z}, то м2 конфликтует, только если переменная z равна В. Чтобы учесть такую возможность, расширим представление планов для включения множества М ограничений неравенства в форме z^x, где г — переменная, ах — либо другая переменная, либо константный символ. В данном случае можно было бы разрешить конфликт путем добавления ограничения z^B, которое означает, что в будущих дополнениях к плану разрешается конкретизировать переменную z любым значением, кроме В. При каждом применении к плану некоторой подстановки необходимо контролировать, чтобы подобные неравенства не противоречили этой подстановке. Например, подстановка, которая включает х/у, конфликтует с ограничением неравенства х^у. Такие конфликты не могут быть разрешены, поэтому планировщику приходится выполнять возврат.
Более подробный пример планирования по алгоритму POP с переменными в мире блоков приведен в разделе 12.6.
Эвристики для планирования с частичным упорядочением
В отличие от планирования с полным упорядочением, планирование с частичным упорядочением обладает явным преимуществом, поскольку позволяет выполнять декомпозицию задач на подзадачи. Оно имеет также определенный недостаток, который заключается в том, что состояния не представлены явно, поэтому труднее оценить, насколько далек план с частичным упорядочением от ситуации достижения цели. К тому же в настоящее время существует гораздо меньшее понимание того, как следует вычислять точные эвристики для планирования с частичным упорядочением, чем для планирования с полным упорядочением.
Наиболее очевидная эвристика состоит в подсчете количества различных открытых предусловий. Такая эвристика может быть улучшена путем вычитания из указанной величины количества открытых предусловий, которые согласуются с литералами в состоянии Start. Как и в случае с полным упорядочением, такая эвристика приводит к переоценке стоимости, если имеются действия, достигающие нескольких подцелей, и недооценке стоимости, если возникают отрицательные взаимодействия этапов плана. В следующем разделе представлен подход, позволяющий получать гораздо более точные эвристики из ослабленной задачи.
Эвристическая функция используется для выбора плана, подлежащего уточнению. При наличии такого выбора алгоритм вырабатывает преемников на основе определения единственного открытого предусловия, которое следует дополнительно проработать. Как и в случае выбора переменной в алгоритмах удовлетворения ограничений, такое решение оказывает большое влияние на эффективность. Для алгоритмов планирования может быть адаптирована эвристика с наиболее ограниченной переменной, применяемая в задачах CSP, и эта эвристика, по-видимому, неплохо действует. Ее идея состоит в том, чтобы определить открытое условие, которое может быть выполнено с помощью наименьшего количества способов. Возникают два особых случая применения этой эвристики. Во-первых, если какого-то открытого условия невозможно достичь с помощью любого действия, оно должно быть выбрано данной эвристикой; это — вполне целесообразно, поскольку раннее обнаружение неразрешимой ситуации позволяет сэкономить большой объем работы. Во-вторых, если открытое условие может быть достигнуто только одним способом, оно также должно быть выбрано, поскольку такое решение неизбежно и позволяет налагать дополнительные ограничения на другие варианты выбора, которые еще должны быть сделаны. Хотя процедура полного вычисления количества способов выполнения каждого открытого условия является дорогостоящей и не всегда оправданной, эксперименты показали, что применение этих двух частных случаев обеспечивает весьма существенное ускорение.
Графы планирования
Все предложенные выше эвристики для планирования с полным упорядочением и частичным упорядочением могут допускать неточности. В данном разделе показано, как можно воспользоваться специальной структурой данных, называемой ^ графом планирования, для получения лучших эвристических оценок. Такие эвристики могут применяться в любом из методов поиска, рассмотренных нами до сих пор. Еще один вариант состоит в том, что решение может быть извлечено непосредственно из графа планирования с использованием специализированного алгоритма, например такого, который получил название Graphplan.
Граф планирования состоит из последовательности М уровней, которые соответствуют временным этапам в плане, где уровень 0 представляет собой начальное состояние. Каждый уровень содержит множество литералов и множество действий. Грубо говоря, литералы представляют собой то, что может быть истинным на каждом временном этапе в зависимости от действий, выполненных на предыдущих временных этапах. Также грубо говоря, действиями являются все те действия, которые
могут иметь все свои предусловия выполненными на данном временном этапе в зависимости от того, какие из литералов фактически являются истинными. В этих двух определениях применяется выражение “грубо говоря”, поскольку в графе планирования регистрируется только ограниченное подмножество возможных отрицательных взаимодействий между действиями; поэтому граф может давать оптимистическую оценку минимального количества временнь/х этапов, требуемых для того, чтобы некоторый литерал стал истинным. Тем не менее такое количество этапов в графе планирования предоставляет хорошую оценку того, насколько трудно достичь указанного литерала из начального состояния. Еще важнее то, что граф планирования определен таким образом, что может быть сформирован очень эффективно.
Графы планирования могут применяться только для решения задач планирования в пропозициональной логике, т.е. тех задач, в которых отсутствуют переменные. Как упоминалось в разделе 11.1, в пропозициональную форму могут быть преобразованы и представления Strips, и представления ADL. Если в задаче имеется большое количество объектов, это может привести к весьма существенному возрастанию количества возможных схем действий. Несмотря на это, было показано, что графы планирования представляют собой эффективное инструментальное средство решения трудных задач планирования.
Проиллюстрируем применение графов планирования на простом примере. (Использование более сложных примеров привело бы к созданию графов, которые не поместились бы на одной странице книги.) В листинге 11.5 приведена задача, а на рис. 11.6 показан ее граф планирования. Начнем с уровня состояния So, который представляет начальное состояние задачи. Затем перейдем на уровень действия Ао и поместим на него все действия, предусловия которых были выполнены на предыдущем уровне. Каждое действие соединено с его предусловиями в состоянии So и его результатами в состоянии Si, а это в данном случае влечет за собой введение в ST новых литералов, которых не было в So.
Листинг 11.5. Задача “получить кекс, а также съесть кекс”
Init(Have(Cake))
Goal (Have (Cake) a Eaten (Cake) )
Action(Eat(Cake)
Precond: Have(Cake)
Effect: —Have (Cake) a Eaten (Cake) )
Action(Bake(Cake)
Precond: —Have (Cake) Effect: Have(Cake)
Должны быть предусмотрены способы представлять на графе планирования не только действие, но и бездействие. Это означает, что необходимо иметь своего рода эквивалент аксиом окружения ситуационного исчисления, которые позволяют литералу оставаться истинным от одной ситуации к другой, если его не изменяет ни одно действие. В графе планирования это осуществляется с помощью множества
сохраняющих действий (persistence action). Для каждого положительного или отрицательного литерала С в задачу вводится сохраняющее действие с предусловием С и результатом С. На рис. 11.6 в состоянии Ао показано одно “реальное” действие,
Eat^Cake) (съесть кекс), наряду с двумя сохраняющими действиями, обозначенными с помощью небольших квадратов.
Ао5]Ао5]Eaten(Cake)D-Eaten(Cake)D-А,52А,52Have(Cake) Have(Cake)Eaten(Cake)Have(Cake) Have(Cake)Eaten(Cake)Have(Cake) Have(Cake)Eaten(Cake)Have(Cake) Have(Cake)Eaten(Cake)Eaten(Cake) □Eaten(Cake) □Eaten(Cake) ‘Eaten(Cake) ‘
Ао5]
Ао5]
Eaten(Cake)D-
Eaten(Cake)D-
А,52
А,52
Have(Cake) Have(Cake)
Eaten(Cake)
Have(Cake) Have(Cake)
Eaten(Cake)
Have(Cake) Have(Cake)
Eaten(Cake)
Have(Cake) Have(Cake)
Eaten(Cake)
Eaten(Cake) □
Eaten(Cake) □
Eaten(Cake) ‘
Eaten(Cake) ‘
Puc. 11.6. Граф планирования для задачи “получить кекс, а также съесть кекс” вплоть до уровня $2. Прямоугольники обозначают действия (маленькие квадраты обозначают сохраняющие действия), а прямые линии указывают на предусловия и результаты. Взаимно исключающие связи обозначены кривыми серыми линиями
■ Уровень Ао содержит все действия, которые могут произойти в состоянии s0, но столь же важно то, что он показывает конфликты между действиями, способные воспрепятствовать тому, чтобы эти действия выполнялись вместе. Серыми линиями на рис. 11.6 показаны взаимно исключающие связи (или связи, ^ характеризующиеся взаимным исключением — mutual exclusive, mutex). Например, действие Еа t (Cake) является взаимно исключающим с действием, обеспечивающим сохранение состояния, вызванного действием Have (Cake) или -зЕа ten (Cake). Вскоре будет показано, как происходит вычисление взаимно исключающих связей.
На уровне Si находятся все литералы, которые могут стать результатом принятия к исполнению любого подмножества действий уровня д0- На этом уровне показаны также взаимно исключающие связи (серые линии), обозначающие литералы, которые не могут появляться вместе, независимо от выбора действий. Например, взаимно исключающими являются литералы Have (Саке) и Еа ten (Cake): в зависимости от выбора действий на уровне д0 результатом может стать один из них или другой, но не оба. Иными словами, на уровне 5г представлено несколько состояний, точно так же, как и при регрессивном поиске в пространстве состояний, а взаимно исключающие связи представляют собой ограничения, которые определяют множество возможных состояний.
Построение плана продолжается таким же образом, с чередованием между уровнями состояния Si и уровнями действия Ai? до тех пор, пока не будет достигнут уровень, на котором два последовательных уровня становятся идентичными. После достижения такой точки граф называется ^ выровненным (leveled off). Каждый последующий уровень будет оставаться неизменным, поэтому дальнейшее развертывание не имеет смысла.
В конечном итоге образуется структура, в которой каждый уровень Ai содержит все действия, применимые на уровне Si, наряду с ограничениями, указывающими, какие пары действий не могут выполняться одновременно. Каждый уровень Si содержит все литералы, которые могут стать результатом любого возможного выбора действий на уровне Ai-b наряду с ограничениями, указывающими, какие пары литералов недопустимы. Важно отметить, что процесс построения графа планирования не требует выбора среди действий, который потребовал бы комбинаторного поиска. Вместо этого в
графе просто регистрируется невозможность осуществления некоторых выборов с использованием взаимно исключающих связей. Сложность формирования графа планирования оценивается полиномиальной зависимостью низкого порядка от количества действий и литералов, тогда как размеры пространства состояний определяются экспоненциальной зависимостью от количества литералов.
Теперь определим взаимно исключающие связи как для действий, так и для литералов. Между двумя действиями на данном конкретном уровне имеет место взаимно исключающее отношение, если соблюдается любое из трех перечисленных ниже условий.
Несогласованные результаты. Одно действие отрицает результат другого. Например, действие EatkCake) и сохраняющее действие HavekCake) имеют несогласованные результаты, поскольку они не согласуются в результате Наve к Саке) (съедение кекса приводит к его исчезновению).
Вмешательство. Один из результатов одного действия является отрицанием предусловия другого действия. Например, действие Eat к Саке) мешает осуществлению сохраняющего действия HavekCake), поскольку отрицает его предусловие (если кекса больше нет, то нечего и хранить).
Конкурирующие потребности. Одно из предусловий одного действия является взаимно исключающим по отношению к предусловию другого. Например, литералы Ваке к Саке) (Испечь кекс) и Eat к Саке) (Съесть кекс) являются взаимно исключающими, поскольку конкурируют за значение предусловия Have к Саке) (в одном литерале кекс создается, а в другом — уничтожается).
Взаимно исключающее отношение имеет место между двумя литералами на одном и том же уровне, если один из них является отрицанием другого или если каждая возможная пара действий, которые позволяют достичь двух литералов, является взаимно исключающей. Такое условие называется несогласованной поддержкой. Например, на уровне 5г литералы Have к Саке) и Еа ten к Саке) являются взаимно исключающими, поскольку единственный способ достичь литерала HavekCake) (применения сохраняющего действия) является взаимно исключающим с единственным способом достижения литерала Eaten к Саке), а именно Еа t к Саке). На уровне S2 эти два литерала не являются взаимно исключающими, поскольку существуют новые способы их достижения, такие как действие Ваке к Саке) и сохраняющее действие Eaten к Саке), которые не являются взаимно исключающими.
Применение графов планирования для получения эвристической оценки
Граф планирования после его построения становится богатым источником информации о задаче. Например, очевидно, что литерал, который не появляется на заключительном уровне графа, не может быть достигнут с помощью любого плана. Такое наблюдение может использоваться в обратном поиске следующим образом: любое состояние, содержащее недостижимый литерал, имеет стоимость h kn) Аналогичным образом, при планировании с частичным упорядочением любой план с недостижимым открытым условием имеет h kn) =<».
Эту идею можно сделать более обобщенной. Стоимость достижения любого целевого литерала может оцениваться как номер уровня, на котором он впервые появ-
ляется в графе планирования. Назовем эту оценку М уровневой стоимостью (level cost) цели. На рис. 11.6 литерал HavekCake) имеет уровневую стоимость 0, a Eaten (Саке) — уровневую стоимость 1. Можно легко показать (упр. 11.9), что эти оценки являются допустимыми для отдельных целей. Однако сами эти оценки могут оказаться не очень качественными, поскольку графы планирования допускают наличие несколько действий на каждом уровне, тогда как в этой эвристике учитывается только номер уровня, а не количество действий. По этой причине для вычисления эвристики принято использовать М последовательный граф планирования (serial planning graph). Последовательный граф требует, чтобы на каждом конкретном временном этапе фактически могло происходить только одно действие; такое требование осуществляется путем введения взаимно исключающих связей между каждой парой действий, кроме сохраняющих действий. Уровневые стоимости, извлеченные из последовательных графов, часто представляют собой вполне приемлемые оценки фактических стоимостей.
Чтобы оценивать стоимость достижения конъюнкции целей, можно воспользоваться одним из трех простых подходов. В эвристике М максимального уровня (max-level) просто берется максимальная уровневая стоимость любой из целей; такая эвристика является допустимой, но не обязательно очень точной. Эвристика ^ уровневой суммы (level sum), в основе которой лежит предположение о независимости подцелей, возвращает сумму уровневых стоимостей целей; эта эвристика является недопустимой, но очень хорошо действует на практике при решении задач, которые являются в значительной степени декомпонуемыми. Она характеризуется гораздо более высокой точностью по сравнению с эвристикой, в которой учитывается количество невыполненных целей, описанной в разделе 11.2. В рассматриваемой задаче эвристическая оценка для конъюнктивной цели HavekCake) Eaten кСаке) будет равна 0+1 = 1, тогда как правильный ответ равен 2. Кроме того, если будет удалено действие ВакекСаке), эта оценка по-прежнему будет равна 1, но достижение этой конъюнктивной цели станет невозможной. Наконец, эвристика М множественного уровня (set-level) находит уровень, на котором все литералы в конъюнктивной цели появляются в графе планирования без любой пары из них, которая была бы взаимно исключающей. Эта эвристика дает правильное значение, равное 2, для первоначальной задачи и равное бесконечности для задачи без действия Ваке к Саке). Она доминирует над эвристикой максимального уровня и действует чрезвычайно успешно в задачах, характеризующихся весьма существенным взаимодействием субпланов.
Для использования его в качестве инструментального средства формирования точных эвристик граф планирования можно рассматривать как ослабленную задачу, которая может быть эффективно решена. Чтобы понять характер этой ослабленной задачи, нужно точно определить, что означает появление литерала д на уровне Si в графе планирования. В идеале желательно было бы иметь гарантию, что существует план с i уровнями действий, который достигает литерала д, а также, что литерал д не появится, если такого плана нет. К сожалению, предоставить такую гарантию столь же трудно, как и решить первоначальную задачу планирования. Поэтому граф планирования предоставляет вторую половину гарантии (если литерал д не появляется, то нет и плана его достижения), но если литерал д появляется, то весь этот граф планирования становится залогом того, что существует план, который, возможно, позволяет достичь литерала д и не имеет “очевидных” недостатков. Очевид-
ный недостаток плана определяется как недостаток, который может быть выявлен путем рассмотрения двух действий или двух литералов одновременно; другими словами, путем проверки взаимно исключающих отношений. Могут существовать более трудно диагностируемые недостатки, охватывающие три, четыре или больше действий, но опыт показывает, что вычислительные затраты, связанные с отслеживанием этих возможных недостатков, не оправдываются. Этот вывод аналогичен уроку, усвоенному по результатам исследования задач удовлетворения ограничений, в которых часто целесообразно вычислить 2-совместимость (совместимость на уровне 2) перед поиском решения, но вычисление 3-совместимости или совместимости более высокой степени часто бывает менее целесообразным (см. раздел 5.2).
Алгоритм Graphplan
В данном подразделе показано, как извлечь план непосредственно из графа планирования, а не просто использовать этот граф для получения эвристики. Алгоритм Graphplan (листинг 11.6) имеет два основных этапа, каждый из которых чередуется в цикле. Прежде всего в этом алгоритме проверяется, присутствуют ли все целевые литералы на текущем уровне без взаимно исключающих связей между любой парой из них. Если это требование соблюдается, то в текущем графе может существовать решение, поэтому в алгоритме выполняется попытка извлечь это решение. В противном случае граф расширяется путем добавления действий для текущего уровня и литералов состояния для следующего уровня. Процесс продолжается до тех пор, пока либо не обнаруживается решение, либо не выясняется, что решения не существует.
Листинг 11.6. Алгоритм Graphplan. В алгоритме Graphplan чередуются этап извлечения решения и этап расширения графа. Функция Extract-Solution определяет, может ли быть найден план, начиная с конца и выполняя поиск в обратном направлении. Функция Expand-Graph добавляет действия для текущего уровня и литералы состояния для следующего уровня
function Graphplan(problem) returns решение solution или индикатор неудачи failure
graph <— Initial-Planning-Graph (problem)
goals <— Goals Vproblem)
loop do
if все цели goals не являются взаимно исключающими на последнем уровне графа graph then do
solution <— Extract-Solution(graph, goals, Length(graph)) if solution * failure then return solution
else if No-Solution-Possible(graph) then return failure graph <— Expand-Graph(graph, problem)•
Теперь проследим за функционированием алгоритма Graphplan на примере задачи замены колеса, рассматриваемой в разделе 11.1. Полный граф показан на рис.
11.7. В первой строке алгоритма Graphplan граф планирования инициализируется значением одноуровневого графа (So), состоящего из пяти литералов, взятых из начального состояния. Целевой литерал At (Spare, Axle) в состоянии So отсутствует, поэтому не требуется вызывать функцию Extract-Solution — мы можем быть уверены, что решение еще не существует. Вместо этого вызывается функция
Expand-Graph, добавляющая три действия, предусловия которых существуют на уровне So (т.е. все действия, за исключением РиtOn (Spare, Axle)), наряду с сохраняющими действиями для всех литералов в So. Результаты действий добавляются на уровне Sv Затем функция Expand-Graph отыскивает взаимно исключающие отношения и добавляет их к графу.
KcniQYet Sparc.Trunk)KcniQYet Sparc.Trunk)□ a IUaY?Qv?rnighL D□ a IUaY?Qv?rnighL DAiAi^2^2ООAt(Spare, Trunk)At(Spare, Trunk)At (Spare, Trunk)At (Spare, Trunk)ООRemove (Flat. Axle)Remove (Flat. Axle)1 At( Spare, Axle) At(Spare, Axle) । At( Flat,Ground) At( Flat,Ground) At (Spa re,Ground) At(Spare, Ground)1 At( Spare, Axle) At(Spare, Axle) । At( Flat,Ground) At( Flat,Ground) At (Spa re,Ground) At(Spare, Ground)At(Flat,Axle)At(Flat, Axle)At(Flat,Axle)At(Flat, Axle)PutOn(Spare,Axle) □ D □ □PutOn(Spare,Axle) □ D □ □
KcniQYet Sparc.Trunk)
KcniQYet Sparc.Trunk)
□ a IUaY?Qv?rnighL D
□ a IUaY?Qv?rnighL D
Ai
Ai
^2
^2
О
О
At(Spare, Trunk)
At(Spare, Trunk)
At (Spare, Trunk)
At (Spare, Trunk)
О
О
Remove (Flat. Axle)
Remove (Flat. Axle)
1 At( Spare, Axle) At(Spare, Axle) । At( Flat,Ground) At( Flat,Ground) At (Spa re,Ground) At(Spare, Ground)
1 At( Spare, Axle) At(Spare, Axle) । At( Flat,Ground) At( Flat,Ground) At (Spa re,Ground) At(Spare, Ground)
At(Flat,Axle)
At(Flat, Axle)
At(Flat,Axle)
At(Flat, Axle)
PutOn(Spare,Axle) □ D □ □
PutOn(Spare,Axle) □ D □ □
Puc. 11.7. Граф планирования для задачи замены колеса после расширения до уровня S2. Взаимно исключающие связи показаны серыми линиями. Показаны только некоторые наиболее важные взаимно исключающие связи, поскольку граф был бы слишком загроможден, если бы были показаны все эти связи. Решение обозначено жирными линиями и жирными контурами прямоугольников
В состоянии S^ литерал At (Spare, Axle) все еще не присутствует, поэтому функция Extract-Solution снова не вызывается. Вызов функции Expand- Graph приводит к получению графа планирования, показанного на рис. 11.7. Теперь, после получения полного комплекта действий, целесообразно рассмотреть некоторые примеры взаимно исключающих отношений и их причин, как показано ниже.
Несогласованные результаты. Литерал Remove (Spare, Trunk) является взаимно исключающим по отношению к LeaveOvernight, поскольку один из них имеет своим результатом литерал A t (Spare, Ground), а другой — его отрицание.
Вмешательство. Литерал Remove(Flat,Axle) является взаимно исключающим по отношению к LeaveOvernight, поскольку один из них имеет своим предусловием A t (Fl a t, Axl e), а другой имеет своим результатом его отрицание.
Конкурирующие потребности. Литерал Ри ton (Spare, Axle) является взаимно исключающим по отношению к Remove (Fla t, Axle), поскольку один из них имеет в качестве предусловия литерал At (Flat, Axle), а другой — его отрицание.
Несогласованная поддержка. Литерал At (Spare, Axle) является взаимно исключающим по отношению к A t (Fl a t, Axl e) на уровне S2, поскольку единственным способом достижения цели At (Spare, Axle) является выполнение действия PutOn (Spare, Axle), а оно является взаимно исключающим с сохраняющим действием, которое представляет собой единственный способ достижения литерала At (Fla t, Axle). Таким образом, взаимно исключаю-
щие отношения позволяют обнаруживать непосредственные конфликты, которые становятся следствием попыток поместить два объекта в одно и то же место одновременно.
После того как мы снова перейдем в начало цикла, на этот раз на уровне S2 будут присутствовать все литералы из цели и ни один из них не будет взаимно исключающим по отношению к любому другому. Это означает, что может существовать решение и в функции Extract-Solution будет предпринята попытка его найти. По сути, функция Extract-Solution решает булеву задачу CSP, переменными которой являются действия на каждом уровне, а значениями для каждой переменной служат индикаторы, показывающие, принадлежит ли она или не принадлежит к плану. Для этого можно воспользоваться стандартными алгоритмами CSP или определить функцию Extract-Solution как задачу поиска, в которой каждое состояние в поиске содержит указатель на уровень в графе планирования и множество невыполненных целей. Определим эту задачу поиска, как описано ниже.
Первоначальным состоянием является последний уровень графа планирования, Sn, наряду с множеством целей из задачи планирования.
Действия, доступные в любом состоянии на уровне Si, должны выбирать любое бесконфликтное подмножество действий на уровне А^.х, результаты которых покрывают цели в этом состоянии. Результирующее состояние имеет уровень Si-i и включает в качестве своего множества целей все предусловия для выбранного множества действий. Под термином “бесконфликтный” подразумевается множество таких действий, что никакие два из них не являются взаимно исключающими и никакие два из их предусловий не являются взаимно исключающими.
Задача состоит в том, чтобы достичь на уровне So такого состояния, чтобы все цели были выполнены.
Стоимость каждого действия равна 1.
При решении данной конкретной задачи начнем с уровня S2, где имеется цель At (Spare, Axle}. Единственным вариантом, который может применяться для достижения этого множества целей, является Ри ton (Spare, Axle}. В результате мы переходим в состояние поиска на уровне Si с целями At(Spare,Ground} и -At (Flat, Axle}. Первой цели можно достичь только с помощью действия Remove(Spare, Trunk}, а последней — с помощью либо Remove (Flat, Axle}, либо LeaveOvernight. Но действие LeaveOvernight является взаимно исключающим по отношению к Remove(Spare, Trunk}, поэтому единственное решение состоит в том, чтобы выбрать Remove (Spare, Trunk} и Remove (Flat, Axle}. В результате мы переходим в состояние поиска на уровне So с целями At (Spare, Trunk} и At (Flat, Axle}. Обе из этих целей присутствуют в данном состоянии, поэтому налицо готовое решение: действия Remove (Spare, Trunk} и Remove (Fla t, Axle} на уровне Ao, за которыми следует действие PutOn (Spare, Axle} на уровне Ax.
Известно, что задача планирования является PSPACE-полной и что для построения графа планирования требуется полиномиальное время, поэтому в наихудшем случае может возникнуть ситуация, в которой извлечение решения окажется неосуществимым. Таким образом, потребуется определенное эвристическое руководство
при выборе среди действий в ходе обратного поиска. Одним из подходов, хорошо зарекомендовавших себя на практике, является жадный алгоритм, основанный на учете уровневой стоимости литералов. Для каждого набора целей применение этой эвристики осуществляется в описанном ниже порядке.
Определить литерал с максимальной уровневой стоимостью.
Чтобы достичь этого литерала, выбрать в первую очередь действие с самыми легкими для выполнения предусловиями. Это означает, что действие нужно выбирать так, чтобы сумма (или максимум) уровневых стоимостей его предусловий была минимальной.
Завершение работы алгоритма Graphplan
До сих пор мы обходили проблему завершения работы алгоритма. Если задача не имеет решения, можно ли быть уверенным в том, что алгоритм Graphplan не будет проходить по циклу до бесконечности, расширяя граф планирования при каждой итерации? Ответ на этот вопрос является положительным, но полное доказательство такого утверждения выходит за рамки настоящей книги. Здесь мы кратко опишем основные идеи, особенно те, которые проливают свет на графы планирования в целом.
На первом этапе необходимо отметить, что характеристики некоторых свойств графов планирования монотонно увеличиваются или уменьшаются. Выражение “характеристика Xувеличивается монотонно” означает, что множество экземпляров х на уровне 1+1 является надмножеством (необязательно строгим) множества на уровне i. Соответствующие свойства графов перечислены ниже.
Количество литералов увеличивается монотонно. После того как некоторый литерал появляется на данном конкретном уровне, он будет появляться на всех последующих уровнях. Это связано с наличием сохраняющих действий; после того как литерал появляется, сохраняющие действия вызывают его сохранение навечно.
Количество действий увеличивается монотонно. После того как некоторое действие появляется на данном конкретном уровне, оно будет появляться на всех последующих уровнях. Это — следствие увеличения количества литералов: если предусловия некоторого действия появляются на одном уровне, они будут появляться и на последующих уровнях и поэтому то же происходит и с действиями.
Количество взаимно исключающих связей уменьшается монотонно. Если два действия на данном конкретном уровне А£ являются взаимно исключающими, то они должны также быть взаимно исключающими на всех предыдущих уровнях, на которых они появлялись вместе. То же утверждение остается справедливым и по отношению к взаимно исключающим связям между литералами. Это не означает, что взаимно исключающие связи характеризуются такими же особенностями и на рисунках с изображением графов планирования, поскольку на рисунках допускаются упрощения: на них не показывают ни литералов, которые не могут быть истинными на уровне S^ ни действий, которые не могут быть выполнены на уровне Ai. Можно убедиться в справедливости утверждения, что “количество взаимно исключающих связей умень-
шается монотонно”, если учесть, что эти невидимые литералы и действия являются взаимно исключающими по отношению ко всем прочим.
Доказательство этих утверждений является довольно сложным, но может быть выполнено путем анализа отдельных случаев: если действия Див являются взаимно исключающими на уровне Ai$ то должны быть таковыми из-за наличия одного из трех типов взаимно исключающих связей. Первые два из них, несогласованные результаты и вмешательство, обусловлены свойствами самих действий, поэтому, если действия являются взаимно исключающими на уровне Ai$ то будут взаимно исключающими на каждом уровне. Третий случай, с конкурирующими потребностями, зависит от условий на уровне S^ этот уровень должен содержать предусловие действия А, которое является взаимно исключающим по отношению к предусловию действия В. Теперь отметим, что эти два предусловия могут быть взаимно исключающими, если они являются отрицаниями друг друга (и в этом случае они будут взаимно исключающими на каждом уровне) или все действия по достижении одного из них являются взаимно исключающими по отношению ко всем действиям, необходимым для достижения другого. Но мы уже знаем, что количество допустимых действий увеличивается монотонно, поэтому по индукции количество взаимно исключающих связей должно уменьшаться.
Поскольку количество действий и литералов увеличивается, а количество взаимно исключающих связей уменьшается, и поскольку имеется только конечное количество действий и литералов, каждый граф планирования в конечном итоге выравнивается — все последующие уровни в нем становятся идентичными. После того как граф выровнялся, он может быть проанализирован, и если в нем отсутствует одна из целей задачи или две цели являются взаимно исключающими, то данная задача никогда не может быть решена, поэтому мы можем остановить работу алгоритма Graphplan и вернуть индикатор неудачи. Если же граф выравнивается со всеми присутствующими и не взаимно исключающими целями, но функция ExtractSolution оказывается не в состоянии найти решения, то может потребоваться снова расширить граф конечное количество раз, но так или иначе мы имеем возможность остановить работу алгоритма. Последний вариант завершения является более сложным и здесь не рассматривается.
Планирование с помощью пропозициональной логики
Как было описано в главе 10, планирование может осуществляться по принципу доказательства некоторой теоремы в рамках ситуационного исчисления. В подобной теореме утверждается, что при наличии начального состояния и аксиом состояния- преемника, которые описывают результаты действий, цель будет истинной в ситуации, которая является результатом некоторой последовательности действий. В такой ранний период развития искусственного интеллекта, как 1969 год, данный подход считался слишком неэффективным для того, чтобы с его помощью можно было находить интересные планы. Проведенные в последнее время разработки в области эффективных алгоритмов формирования рассуждений для пропозициональной ло-
гики (см. главу 7) привели к возрождению интереса к планированию с помощью логических рассуждений.
Подход, принятый в данном разделе, основан на проверке выполнимости логического высказывания, а не на доказательстве теорем. Мы будем отыскивать модели для пропозициональных высказываний, которые выглядят примерно так:
Начальное состояние л Все возможные описания действий л Цель
Такое высказывание должно содержать пропозициональные символы, соответствующие каждому возможному проявлению действия; модель, в которой выполняется это высказыванйе, должна присваивать значение true действиям, являющимся частью правильного плана, и false — другим действиям. Присваивание, которое соответствует неправильному плану, не будет моделью, поскольку окажется несовместимым с утверждением, что цель истинна. Если задача планирования неразрешима, то данное высказывание будет невыполнимым.
Описание задач планирования в пропозициональной логике
Процесс, который будет здесь применяться для перевода задач Strips на язык пропозициональной логики, представляет собой (так сказать) классический пример цикла представления знаний: мы начнем с множества аксиом, которое на первый взгляд кажется приемлемым, обнаружим, что эти аксиомы допускают появление фиктивных, не предусмотренных моделей, а затем запишем дополнительные аксиомы.
Начнем с очень простой задачи воздушной транспортировки. В начальном состоянии (время 0) самолет Рг находится в аэропорту SFO, а самолет Р2 — в аэропорту JFK. Задача состоит в том, чтобы Рг находился в JFK, а Р2 — в SFO; иными словами, самолеты должны поменяться местами. Прежде всего, потребуются отдельные пропозициональные символы для формирования утверждений о каждом временном этапе. Для обозначения временного этапа будут использоваться верхние индексы, как и в главе 7. Поэтому начальное состояние можно записать следующим образом:
At (Pi, SFO) 0 Л At(P2,JFK)°
(Напомним, что At к Pi, SFO)0 — это атомарный символ.) Поскольку в пропозициональной логике не принято предположение о замкнутом мире, необходимо также определить высказывания, которые не являются истинными в начальном состоянии. Если же некоторые высказывания в начальном состоянии не известны, они могут оставаться неопределенными (предположение об открытом мире). В данном примере зададим следующее:
-iAtr(Pi, JFK)0 Л -^At(P2, SFO)0
Сама цель должна быть связана с конкретным временным этапом. Поскольку мы не знаем заранее, какое количество этапов потребуется для достижения цели, то можно попытаться сформулировать утверждение, что цель истинна в начальном состоянии, во время т=0. Это означает, что мы вводим утверждение At (Р±, JFK)0 л At (Р2, SFO) °. Если эта попытка окажется неудачной, повторим ее снова во время г=1 и т.д. до тех пор, пока не достигнем осуществимого плана с минимальной длиной. Для каждого значения т база знаний будет включать только высказывания, покрывающие временные этапы от 0 вплоть до т. Чтобы обеспечить завершение работы алгоритма, можно наложить произвольный верхний предел,
^шах- Этот алгоритм приведен в листинге 11.7. Альтернативный подход, позволяющий избежать использования многочисленных попыток решения, обсуждается в упр. 11.17.
Листинг 11.7. Алгоритм SATplan. Задача планирования преобразуется в высказывание в форме CNF, в котором подтверждается истинность цели на фиксированном временном этапе г, а аксиомы добавляются на каждом временном этапе вплоть до т. (Подробные сведения о преобразовании приведены в тексте главы.) Если алгоритм проверки выполнимости находит модель, то план извлекается путем поиска тех пропозициональных символов, которые относятся к действиям и которым в модели присвоено значение true. Если модель не существует, то процесс повторяется после передвижения цели на один этап дальше
function SATplan(problem, Tmax) returns решение solution или индикатор неудачи failure
inputs: problem, задача планирования
Tmax, верхний предел длины плана
for Т = 0 to Tmax ЙО
cnf, mapping <— Translate-To-SAT (problem, T)
assignment <— SAT-Solver(cnf)
if присваивание assignment не является неопределенным then return Extract-Solution(assignment, mapping)
return failure
Следующая проблема состоит в том, как закодировать описания действий в пропозициональной логике. Наиболее прямолинейный подход состоит в том, чтобы было предусмотрено по одному пропозициональному символу на каждое проявление действия; например, символ Fly(Pi, SFO, JFK)0 является истинным, если самолет Рг вылетает из аэропорта SFO в аэропорт JFK во время 0. Как и в главе 7, мы запишем пропозициональные версии аксиом состояния-преемника, разработанных для ситуационного исчисления в главе 10. Например, имеет место следующее:
At (Pi, JFK)1 <=> (At (Pi, JFK) 0 л ^(Fly(Pi, JFK, SFO)0 Л At (Pi, JFK) 0) )
v (Fly (Pi, SFO, JFK)0 л At(Pi, SFO)0)(11.1)
Это означает, что самолет Рг должен находиться в аэропорту JFK во время 1, если он был в JFK во время 0 и не улетел или если он был в аэропорту SFO во время 0 и прилетел в аэропорт JFK. Необходимо иметь по одной такой аксиоме для каждого самолета, аэропорта и временного этапа. Более того, каждый дополнительный аэропорт добавляет еще один способ путешествия из каждого конкретного аэропорта или в этот аэропорт и поэтому вносит еще больше дизъюнктов в правую часть каждой аксиомы.
После подготовки всех этих аксиом можно вызвать алгоритм проверки выполнимости, чтобы найти план. Это должен быть план, который достигает цели во время т=1, а именно план, в котором эти два самолета меняются местами. Теперь предположим, что база знаний представляет собой следующее высказывание:
Начальное состояние а Аксиомы состояния-преемника а Цель1 (11.2)
в котором утверждается, что цель истинна во время т=1. Читатель может проверить, что утверждение, в котором символы
Fly(Pi,SFO, JFK)0 и Fly(P2, JFK, SFO) °
являются истинными, а все другие символы действий являются ложными, представляет собой модель этой базы знаний. До сих пор все идет хорошо. Но есть ли другие возможные модели, которые способен вернуть этот алгоритм проверки выполнимости? Безусловно, да. Являются ли все эти другие модели удовлетворительными планами? К сожалению, нет. Рассмотрим довольно глупый план, заданный с помощью указанных символов действий:
Fly (Pi, SFO, JFK) 0 и Fly (Pi, JFK, SFO) 0 и Fly (P2 , JFK, SFO) 0
Этот план глуп потому, что самолет рг вначале находится в аэропорту SFO, поэтому действие Fly(P1, JFK, SFO)0 является неосуществимым. Тем не менее этот план действительно представляет собой модель высказывания из уравнения 11.2! Иными словами, он согласуется со всем, чтобы сказано до сих пор об этой задаче. Чтобы понять, чем может быть вызвано появление такого плана, мы должны проанализировать более тщательно, что сказано в аксиомах состояния-преемника (таких как уравнение 11.1) о действиях, предусловия которых не выполнены. Аксиомы правильно предсказывают, что ничего не произойдет при попытке выполнить подобное действие (см. упр. 11.15), но в них ничего не сказано, что такое действие не может быть выполнено! Чтобы предотвратить выработку планов с недопустимыми действиями, мы должны добавить М аксиомы предусловий (precondition axiom), которые указывают, что для совершения любого действия требуется, чтобы были выполнены его предусловия. Например, требуется указать следующее:
Fly(Pi, JFK, SFO)0 => At (Pi, JFK)0
Поскольку указано, что в начальном состоянии символ At (Рг, JFK)0 является ложным, эта аксиома гарантирует, что в каждой модели символу Fly(PlfJFK, SFO)0 также будет присвоено ложное значение. После введения аксиом предусловия существует одна и только одна модель, которая удовлетворяет всем аксиомам, если цель должна быть достигнута во время 1, а именно модель, в которой самолет Рх летит в аэропорт JFK, а самолет Р2 — в аэропорт SFO. Обратите внимание на то, что это решение обеспечивает выполнение двух параллельных действий, как и при использовании алгоритма Graphplan или POP.
Неожиданности возникают после добавления третьего аэропорта, LAX. Теперь для каждого самолета имеются два действия, которые являются допустимыми в каждом состоянии. После применения алгоритма проверки выполнимости мы обнаружим, что модель с символами Fly(Plf SFO, JFK) °, а также Fly (Р2, JFK, SFO)0 и Fly (Р2, JFK, LAX)0 удовлетворяет всем аксиомам. Это означает, что аксиомы состояния-преемника и аксиомы предусловия разрешают самолету вылететь в два аэропорта назначения одновременно! Предусловия для двух полетов самолета Р2 выполнены в начальном состоянии; аксиомы состояния-преемника указывают, что самолет Р2 должен находиться и в аэропорту SFO, и в аэропорту LAX во время 1, поэтому цель выполнена. Очевидно, что необходимо ввести дополнительные аксиомы для устранения таких фиктивных решений. Один из подходов состоит в том, что требуется ввести ^ аксиомы исключения действий (action exclusion axiom), которые предотвращают одновременное выполнение несовместимых действий. Например, можно принудительно ввести полное исключение, добавив все возможные аксиомы в такой форме:
—i(F2y(P2/ JFK,SFO)° л Fly(P2, JFK, LAX)0)
Эти аксиомы гарантируют, что никакие два действия не могут происходить одновременно. Они устранят все фиктивные планы, но приведут также к полному упорядочению каждого плана. В результате гибкость частично упорядоченных планов будет потеряна; кроме того, в результате увеличения количества временных этапов в плане может увеличиться продолжительность вычислений.
Вместо полного исключения можно потребовать только частичного исключения, т.е. предотвращения одновременных действий, только если они мешают друг другу. Применяемые при этом условия являются аналогичными условиям для взаимно исключающих действий: два действия не могут происходить одновременно, если одно из них отрицает предусловие или результат другого. Например, не могут происходить одновременно действия Fly (Р2, JFK, SFO)0 и Fly (Р2, JFK, LAX) °, поскольку каждое из них отрицает предусловие другого; с другой стороны, действия Fly (Рх, SFO, JFK)0 и Fly (Р2, JFK, SFO)0 могут осуществляться одновременно, поскольку в них два самолета не мешают друг другу. Частичное исключение позволяет устранять фиктивные планы, не вводя принудительно полное упорядочение.
Аксиомы исключения иногда выглядят как довольно слепой инструмент. Поэтому вместо формирования утверждения о том, что ни один самолет не может вылетать в два аэропорта одновременно, можно просто выдвинуть требование, чтобы ни один объект не мог находиться в двух местах одновременно:
Vp,x,y, t х Ф у => -1(At(p,x)t л Atkp.yV)
Из этого факта, применяемого в сочетании с аксиомами состояния-преемника, следует, что самолет не может вылететь в два аэропорта одновременно. Факты, подобные этому, называются М ограничениями состояния (state constraint). Безусловно, в пропозициональной логике необходимо будет записать все базовые экземпляры каждого ограничения состояния. Для задачи с аэропортами этого ограничения состояния будет достаточно, чтобы исключить все фиктивные планы. Ограничения состояния часто являются гораздо более компактными по сравнению с аксиомами исключения действия, но их не всегда можно легко вывести из первоначального описания задачи на языке Strips.
Подводя итог, отметим, что планирование в форме доказательства выполнимости предусматривает поиск моделей для высказывания, включающего описание начального состояния, цели, аксиом состояния-преемника, аксиом предусловий, а также либо аксиом исключения действия, либо аксиом ограничения состояния. Можно показать, что эта коллекция аксиом является достаточной, в том смысле, что при их использовании больше не возникают какие-либо фиктивные “решения”. Любая модель, в которой выполняется такое пропозициональное высказывание, будет представлять собой действительный план для первоначальной задачи; это означает, что любая линеаризация этого плана будет представлять собой допустимую последовательность действий, которая позволяет достичь цели.
Сложности, связанные с использованием пропозициональных кодировок
Основным недостатком описанного пропозиционального подхода являются колоссальные размеры пропозициональной базы знаний, которая формируется на основе первоначальной задачи планирования. Например, схема действий FlyVp, ai, а2) пре-
образуется в т х | Planes | х | Airports |2 различных пропозициональных символов. Вообще говоря, общее количество символов действий ограничено значением Т х | Act | х | о|р, где | Act | — количество схем действий; | О| — количество объектов в проблемной области; Р — максимальная арность (количество параметров) любой схемы действий. Количество выражений еще больше. Например, при 10 временных этапах, 12 самолетах и 30 аэропортах полная аксиома исключения действий состоит из 583 миллионов выражений.
Поскольку количество символов действий экспоненциально зависит от арности схемы действий, одцим из способов преодоления указанного недостатка может оказаться попытка уменьшить арность. Это можно сделать, заимствовав одну идею из области семантических сетей (см. главу 10). В семантических сетях используются только бинарные предикаты; предикаты с большим количеством параметров сводятся к множеству бинарных предикатов, которые описывают каждый параметр отдельно. Применяя эту идею к символу действий, такому как F2y(Plf SFO, JFK) °, получим следующие три новых символа:
F2yi(Pi)°: самолет Pi прилетел во время 0
Fly2(SFO)°: аэропортом отправления в этом полете был SFO
Flyi(JFK)0: аэропортом назначения в этом полете был JFK
Этот процесс, называемый М расщеплением символов (symbol splitting), позволяет устранить необходимость в использовании экспоненциального количества символов. Теперь требуется только т х |Act| х р х |о| символов.
Расщепление символов само по себе позволяет сократить количество символов, но не приводит к автоматическому уменьшению количества аксиом в базе знаний. Это означает, что если бы каждый символ действия в каждом выражении был просто заменен конъюнкцией трех символов, то общий размер базы знаний остался бы примерно тем же самым. Расщепление символов фактически приводит к уменьшению базы знаний потому, что некоторые из расщепленных символов станут нерелевантными для определенных аксиом и могут быть удалены. Например, рассмотрим аксиому состояния-преемника, приведенную в уравнении 11.1, модифицированную так, чтобы в нее был включен символ аэропорта LAX и исключены предусловия действия (которые будут учитываться с помощью отдельных аксиом предусловия):
At(Pi.JFK)1 <=> (At (Pi, JFK)0 Л —>F2y(Pi, JFK, SFO) ° л -Fly (Pi, JFK, LAX)0) v Fly (Pi, SFO, JFK) 0 v Fly (Pi, LAX, JFK) 0
В первом условии сказано, что самолет Рг должен быть в аэропорту JFK, если он находился в нем во время 0 и не улетел из JFK в какой-то другой город, неважно, какой именно; во втором условии сказано, что он должен находиться в аэропорту JFK, если он прилетел туда из другого города, неважно, из какого именно. При использовании этих расщепленных символов мы можем удалить параметр, значение которого нас не интересует:
At(Pi, JFK)1 <=> (At(Pi, JFK)0 л -^(Flyi(Pi)0 л Fly2(JFK)°) ) v (Flyi(Pi)0 л Fly3(JFK)°)
Обратите внимание на то, что в этой аксиоме аэропорты SFO и LAX больше не упоминаются. Вообще говоря, теперь расщепленные символы действий позволяют добиться того, чтобы размер каждой аксиомы состояния-преемника был независимым от количества аэропортов. Аналогичные сокращения допускаются в аксиомах предусловия и ак-
сиомах исключения действий (см. упр. 11.16). Для описанного выше случая с 10 временными этапами, 12 самолетами и 30 аэропортами полная аксиома исключения действий сокращается с 583 миллионов выражений до 9360 выражений.
Но остается непреодоленным еще один недостаток: представление с помощью расщепленных символов не допускает описания параллельных действий. Рассмотрим два параллельных действия, Fly (Рг, SFO, JFK)0 и Fly (Р2, JFK, SFO^ °. Преобразовав их в расщепленные представления, получим следующее:
F2yi(Pi)0 л Fly2kSFO^ л Fly3{JFK)° л
Fly1{P2)° л Fly2kJFK^ л Fly3kSFO^
Теперь больше нет возможности определить с помощью этого выражения, что произошло! Мы знаем, что самолеты Рх и Р2 вылетели, но не можем выяснить места их отправления и назначения. Это означает, что должна использоваться полная аксиома исключения действий со всеми указанными выше недостатками.
Планировщики, основанные на проверке выполнимости, способны обрабатывать крупные задачи планирования, например находить оптимальные тридцатиэтапные решения для задач планирования в мире блоков с десятками блоков. Размер пропозиционального представления и стоимость решения в высшей степени зависят от задачи, но в большинстве случаев узким местом становится нехватка памяти, требуемой для хранения пропозициональных аксиом. Одним из интересных результатов этих исследований оказалось то, что алгоритмы поиска с возвратами, такие как DPLL, часто лучше решают задачи планирования по сравнению с алгоритмами локального поиска, подобными WalkSAT. Это связано с тем, что основная часть пропозициональных аксиом представляет собой хорновские выражения, которые эффективно обрабатываются с помощью метода распространения единичных выражений. Это наблюдение привело к разработке гибридных алгоритмов, в которых комбинируется некоторый метод случайного поиска с возвратами и метод распространения единичных выражений.
Анализ различных подходов к планированию
Планирование — это область искусственного интеллекта, которая в настоящее время привлекает значительный интерес. Одна из причин такой ситуации состоит в том, что в планировании объединяются два основных направления развития искусственного интеллекта, которые рассматривались нами до сих пор, — поиск и логика. Это означает, что любой планировщик может рассматриваться либо как программа, в которой осуществляется поиск решения, либо как такая программа, которая (конструктивно) доказывает существование решения. Такое перекрестное обогащение идеями, взятыми из этих двух областей, привело не только к повышению производительности, которое за последнее десятилетие достигло нескольких порядков величины, но и к расширению использования планировщиков в производственных приложениях. К сожалению, у нас еще нет четкого понимания того, какие методы являются в наибольшей степени подходящими для задач того или иного типа. Вполне возможно также, что появятся новые методы, которые вытеснят существующие.
Планирование главным образом представляет собой такое занятие, в котором приходится держать под контролем комбинаторный взрыв. Если в проблемной об-
ласти имеется р примитивных высказываний, то количество состояний становится равным 2Р. В сложных проблемных областях величина р может стать весьма значительной. Следует также учитывать, что объекты в проблемной области характеризуются не только свойствами (Location, Color и т.д.), но и отношениями (At, On, Between и т.д.). При наличии d объектов в проблемной области с тернарными отношениями количество состояний достигает 2а . На этом основании можно сделать вывод, что в наихудшем случае попытка решить задачу планирования становится безнадежной.
Мощным средством преодоления подобной пессимистической ситуации становится подход по принципу “разделяй и властвуй”. В наилучшем случае (при полной декомпонуемости задачи) подход “разделяй и властвуй” обеспечивает экспоненциальное ускорение работы. Однако декомпонуемость нарушается из-за отрицательных взаимодействий между действиями. Планировщики с частичным упорядочением позволяют справиться с такой ситуацией с помощью причинных связей — мощного подхода к формированию представлений, но, к сожалению, каждый конфликт должен быть разрешен с помощью выбора определенного варианта (связанного с размещением конфликтующего действия до или после связи), а количество таких вариантов может увеличиваться экспоненциально. Алгоритм Graphplan позволяет избежать необходимости использования этих вариантов на этапе формирования графа, поскольку в нем для регистрации конфликтов используются взаимно исключающие связи, а выбор варианта, касающегося того, как должны быть разрешены эти конфликты, фактически не осуществляется. Алгоритм SATplan предоставляет аналогичный набор взаимно исключающих отношений, но в нем для этого применяется общая форма CNF, а не специальная структура данных. Насколько успешным окажется такой подход, зависит от области применения решателя задач SAT.
Иногда возможность эффективного решения задачи обеспечивается путем определения того, какие отрицательные взаимодействия могут быть исключены. Задача называется имеющей М упорядочиваемые подцели, если существует такой порядок подцелей, что планировщик может достичь их в указанном порядке, не будучи вынужденным отменять какую-либо из ранее достигнутых подцелей. Например, если в мире блоков цель состоит в построении столбика (например, в котором блок А стоит на в, который, в свою очередь, стоит на С, стоящем, в свою очередь, на столе, Table), то подцели являются упорядочиваемыми снизу вверх: если вначале будет достигнута подцель “Сна Table”, то никогда не придется ее отменять в ходе достижения других подцелей. Планировщик, в котором используется такой прием с упорядочением снизу вверх, способен решить любую задачу в проблемной области мира блоков без возвратов (хотя и может оказаться, что он не всегда находит самый короткий план).
В качестве более сложного примера укажем, что для планировщика Remote Agent, который управлял космическим аппаратом Deep Space One агентства NASA, было определено, что высказывания, касающиеся управления космическим аппаратом, являются упорядочиваемыми. По-видимому, в этом нет ничего удивительного, поскольку космический аппарат проектируется его разработчиками так, чтобы была возможность управлять им как можно проще (разумеется, с учетом всех прочих ограничений). Пользуясь преимуществом последовательного упорядочения целей, планировщик Remote Agent был способен в процессе планирования устранять ос-
новную часть поиска. Это означает, что он оказался достаточно быстродействующим для того, чтобы с его помощью можно было управлять этим космическим аппаратом в реальном времени, а такая задача раньше казалась невыполнимой.
Существует несколько способов ограничения комбинаторного взрыва. Как было показано в главе 5, есть несколько методов управления возвратами в задачах удовлетворения ограничений (Constraint Satisfaction Problem — CSP), таких как возвраты, управляемые зависимостями. Все эти методы могут применяться и в планировании. Например, задачу извлечения решения из графа планирования можно сформулировать как булеву задачу CSP, переменные которой указывают, должно ли данное конкретное действие произойти в данное конкретное время. Эту задачу CSP можно решить с использованием любого из алгоритмов, приведенных в главе 5, такого как алгоритм с минимальными конфликтами. Тесно связанный с этим метод, используемый в системе Blackbox, состоит в преобразовании графа планирования в выражение CNF, а затем извлечении плана с использованием решателя задач SAT. По- видимому, такой подход обладает более высокой производительностью, чем SATplan, и причиной этого, скорее всего, является то, что в графе планирования уже устранены многие невозможные состояния и действия из рассматриваемой задачи. Кроме того, такой подход действует лучше по сравнению с алгоритмом Graphplan, по-видимому, из-за того, что поиск условий выполнимости, подобный алгоритму WalkSAT, характеризуется гораздо большей гибкостью, чем ограниченный поиске возвратами, используемый в алгоритме Graphplan.
Нет никакого сомнения в том, что такие планировщики, как Graphplan, SATplan и Blackbox, привели к значительному прогрессу в области планирования, поскольку позволили, во-первых, поднять уровень производительности систем планирования, а во- вторых, дали возможность понять связанные с этим представительные и комбинаторные проблемы. Однако эти методы по своей сути являются пропозициональными и поэтому предназначены исключительно для использования в тех проблемных областях, которые они способны представить. (Например, задачи планирования экспедиторской доставки с несколькими десятками объектов и местонахождений могут потребовать гигабайтов памяти для хранения соответствующих выражений CNF.) Создается впечатление, что для достижения дальнейшего прогресса в этой области потребуются представления и алгоритмы в логике первого порядка, хотя такие структуры, как графы планирования, по-прежнему будут оставаться полезным источником эвристик.
Резюме
В этой главе определена задача планирования в детерминированных, полностью наблюдаемых вариантах среды. В ней описаны основные представления, используемые для задач планирования, и представлено несколько алгоритмических подходов к их решению. Наиболее важные понятия, изложенные в этой главе, перечислены ниже.
Системы планирования основаны на использовании алгоритмов решения задач, которые применяются к явным представлениям состояний и действий в пропозициональной логике (или логике первого порядка). Такие представления обеспечивают возможность получения эффективных эвристик, а также разработки мощных и гибких алгоритмов для решения задач планирования.
В языке Strips применяются описания действий в терминах их предусловий и результатов, а также описания начальных и целевых состояний в виде конъюнкций положительных литералов. В языке ADL некоторые ограничения языка Strips ослаблены и допускается использование дизъюнкции, отрицания и кванторов.
Поиск в пространстве состояний может действовать в прямом (прогрессивном) направлении или в обратном (регрессивном) направлении. Эффективные эвристики могут быть получены путем принятия предположения о независимости подцелей, а также с помощью различных ослаблений задачи планирования.
В алгоритмах планирования с частичным упорядочением (Partial-Order Planning — POP) пространство планов исследуется без стремления к созданию полностью упорядоченной последовательности действий. Такие алгоритмы действуют в обратном направлении от цели, добавляя в план действия, нужные для достижения каждой подцели. Такой подход становится особенно эффективным при решении задач, приемлемых для использования подхода по принципу “разделяй и властвуй”.
Граф планирования может формироваться инкрементно, начиная с начального состояния. Каждый его уровень содержит надмножество всех литералов или действий, которые могут обнаруживаться на данном временном этапе. Кроме того, на каждом уровне условно задаются отношения взаимного исключения, или взаимно исключающие отношения между литералами или действиями, которые не могут происходить одновременно. Графы планирования позволяют получать полезные эвристики для планировщиков в пространстве состояний и планировщиков с частичным упорядочением и могут использоваться непосредственно в алгоритме Graphplan.
Алгоритм Graphplan обрабатывает граф планирования, используя обратный поиск для извлечения плана. Этот алгоритм допускает определенное частичное упорядочение между действиями.
В алгоритме SATplan задача планирования преобразуется в пропозициональные аксиомы и после этого к ним применяется алгоритм проверки выполнимости для поиска модели, соответствующей действительному плану. Было разработано несколько разных пропозициональных представлений, обладающих различной степенью компактности и эффективности.
Каждый из основных подходов к планированию имеет своих сторонников, и еще не достигнуто полное согласие в том, какой из этих подходов является наилучшим. Конкуренция между этими подходами и их взаимное обогащение привели к существенному повышению эффективности систем планирования.
Библиографические и исторические заметки
Направление планирования в области искусственного интеллекта сформировалось на основе исследований в части поиска в пространстве состояний, доказательства теорем и теории управления, а также на основании практических потребностей робототехники, составления расписаний и других проблемных областей. Первой
важной системой планирования стала система Strips [466], которая наглядно иллюстрирует продуктивность взаимодействия этих научных направлений. Система Strips была разработана как планирующий компонент программного обеспечения для проекта создания робота Shakey в институте SRI. Модель ее общей структуры управления была создана на основе программы GPS (General Problem Solver — общий решатель задач) [1129] — системы поиска в пространстве состояний, в которой используется анализ целей и средств (means—ends analysis). В системе Strips применялась одна из версий системы доказательства теорем QA3 [592] в качестве процедуры определения истинности предусловий для действий. Точные определения для языка Strips и анализ этого языка представлены Лифшицем [928]. Байлендер [213] показал, что простые задачи планирования Strips являются PSPACE-полными. В [467] приведена историческая ретроспектива проекта Strips и дан краткий обзор того, как этот проект связан с более современными разработками в области планирования.
Способ представления действий, использовавшийся в системе Strips, оказал гораздо более значительное влияние на дальнейшие разработки, чем ее алгоритмический подход. С тех пор почти во всех системах планирования применяется тот или иной вариант языка Strips. К сожалению, из-за огромного разнообразия вариантов задача их сравнения стала чрезмерно трудной. Со временем возникло лучшее понимание ограничений и компромиссов между формальными подходами. В языке ADL (Action Description Language — язык описания действий) [1195] ослаблены некоторые ограничения языка Strips и создана возможность представлять более реалистичные задачи. В [1119] рассматриваются схемы, применимые для компиляции определений ADL в определения Strips. Для использования в качестве стандартизированного синтаксиса, допускающего синтаксический анализ с помощью компьютера, который предназначен для представления определений на языках Strips, ADL и других языках, был предложен язык PDDL (Problem Domain Description Language — язык описания проблемной области) [548]. PDDL использовался в качестве стандартного языка для соревнований по планированию на конференции AIPS, начиная с 1998 года.
В первой половине 1970-х годов планировщики в основном применялись для получения полностью упорядоченных последовательностей действий. Декомпозиция задачи осуществлялась путем вычисления субплана для каждой подцели с последующей увязкой субпланов в единую цепочку в некотором порядке. Вскоре было обнаружено, что такой подход, названный М линейным планированием в [1337], является неполным. Он не позволяет решать некоторые очень простые задачи, такие как аномалия Зюссмана (см. упр. 11.11), обнаруженная Алленом Брауном во время экспериментов с системой Hacker [1474]. Полный планировщик должен обеспечивать ^чередование действий из различных субпланов в пределах единой последовательности. Понятие упорядочиваемых подцелей [837] точно соответствует множеству задач, для которых планировщики без чередования позволяют получить полное решение.
Одним из решений проблемы чередования оказалось планирование с регрессией от цели. Это — метод, в котором этапы полностью упорядоченного плана переупорядочиваются так, чтобы можно было избежать конфликта между подцелями. Данный подход был предложен Уолдингером [1551], кроме того, использовался в системе Warplan Уоррена [1554]. Система Warplan замечательна также тем, что была первым планировщиком, написанным на языке логического программирования (Prolog), и остается одним из лучших примеров невероятной экономии объема кода,
которая иногда может быть достигнута с использованием логического программирования: программа Warplan состоит только из 100 строк кода, что составляет лишь небольшую часть размера сравнимых с ней планировщиков на то время. Система Interplan [1493], [1494] обеспечивала также произвольное чередование этапов плана, что дало возможность преодолеть аномалию Зюссмана и связанные с ней проблемы.
К основным идеям, лежащим в основе планирования с частичным упорядочением, относятся обнаружение конфликтов [1493] и защита достигнутых условий от вмешательства [1474]. Первыми примерами средств создания планов с частичным упорядочением (которые в то время назывались сетями задач) были планировщик Noah Сакердоти [1337], [1338] и система Nonlin Тейта [1494], [1495].
Планирование с частичным упорядочением в течение следующих 20 лет стало ведущим направлением разработок, несмотря на то, что в течение основной части этого периода специфика данной области не нашла широкого понимания. Система Tweak Чепмена [234] стала образцом логической реконструкции и упрощения работ по планированию, проводимых в то время; формулировки, используемые в этой системе, были достаточно ясными для того, чтобы можно было доказывать полноту и разрешимость (либо NP-трудность и неразрешимость) различных формулировок задач планирования. Эта работа Чепмена привела к созданию Макаллестером и Ро- зенблиттом [1008] полного планировщика с частичным упорядочением, который впервые можно было вполне обоснованно считать имеющим достаточно простое и доступное для чтения описание [1008]. Одна из реализаций алгоритма Макаллестера и Розенблитта, разработанная Содерлендом и Уэлдом и получившая название SNLP [1444], нашла широкое распространение и впервые позволила многим исследователям изучать и проводить эксперименты по планированию с частичным упорядочением. Алгоритм POP, описанный в этой главе, основан на алгоритме SNLP.
Кроме того, группа Уэлда разработала UCPOP [1202], первый планировщик для задач, представленных на языке ADL. В планировщике UCPOP применяется эвристика, в которой учитывается количество невыполненных целей. Применяемый в нем алгоритм работал немного быстрее, чем SNLP, но редко оказывался способным находить планы, состоящие больше чем примерно из десяти этапов. Хотя для планировщика UCPOP были разработаны усовершенствованные эвристики [543], [751], направление планирования с частичным упорядочением постепенно вытеснялось из перспективных исследований в 1990-х годах по мере появления более быстрых методов. Но в [1135] было показано, что эта область исследований вполне заслуживает возобновления к ней интереса: предложенный в этой работе планировщик RePOP при использовании точной эвристики, полученной из графа планирования, оказался намного более масштабируемым по сравнению с планировщиком Graphplan и сумел составить конкуренцию самым быстрым планировщикам в пространстве состояний.
Работы Аврима Блюма и Меррика Фурста [139], [140] способствовали дальнейшему пробуждению интереса к этой области планирования, поскольку созданная ими система Graphplan оказалась на несколько порядков величин быстрее по сравнению с планировщиками с частичным упорядочением, применявшимися в то
время. За ней вскоре последовали разработки других систем с графами планирования, такие как!РР [813], Stan [491] и SGP [1569]. Структура данных, весьма напоминающая граф планирования, была разработана немного раньше Галлабом и Ларуэл- лем [549], которые использовали такую структуру данных в планировщике с частичным упорядочением IxTeT для получения точных эвристик, применяемых для управления поиском. В [1136] приведен очень подробный анализ эвристик, полученных на основе графов планирования. Приведенное в этой главе описание графов планирования главным образом основано на этой работе и на конспектах лекций, подготовленных Суббарао Камбхампати (Subbarao Kambhampati). Как уже указывалось в этой главе, граф планирования позволяет управлять поиском решения задачи с помощью многих способов. Например, победителем соревнования по планированию на конференции AIPS 2002 года стал алгоритм LPG [544], в котором осуществляется поиск в графах планирования с использованием метода локального поиска, основанного на алгоритме WalkSAT.
Подход к планированию как проверке выполнимости и алгоритм SATplan были предложены Каутцем и Селманом [778], которых натолкнул на эту идею поразительный успех в использовании жадного локального поиска для решения задач проверки выполнимости (см. главу 7). Кроме того, Каутц и др. [777] исследовали различные формы пропозициональных представлений для аксиом Strips и обнаружили, что наиболее компактные формы не обязательно способствуют достижению наименьшей продолжительности вычисления решения. Систематический анализ был проведен Эрнстом и др. [442], которые разработали также автоматический “компилятор” для формирования пропозициональных представлений из формулировок задач на языке PDDL. Планировщик Blackbox, в котором объединены идеи алгоритмов Graphplan и SATplan, был разработан Каутцем и Селманом [779].
Повторное пробуждение интереса к планированию в пространстве состояний было в основном вызвано появлением программы UnPOP, разработанной Макдермоттом [1024], который впервые предложил эвристику с учетом расстояния, основанную на ослабленной задаче с исключенными списками удаления. Само название UnPOP (отказ от POP) стало реакцией на чрезмерное в то время сосредоточение работ на планировании с частичным упорядочением; Макдермотт считал, что другие подходы не получают того внимания, которого они заслуживают. В алгоритме HSP (Heuristic Search Planner — планировщике эвристическим поиском) Бонета и Гефф- нера [147] и его разработанных позже аналогах впервые удалось добиться практического применения поиска в пространстве состояний при решении крупных задач планирования. В то время самым успешным алгоритмом поиска в пространстве состояний был алгоритм FastForward, или FF, Хоффмана [667], который стал победителем в соревновании по планированию на конференции AIPS в 2000 году. В алгоритме FF используется упрощенная эвристика для графа планирования в сочетании с очень быстрым алгоритмом поиска, представляющим собой новаторское объединение прямого и локального поиска.
В дальнейшем появился интерес к использованию представления планов в виде ^ бинарных диаграмм решения (binary decision diagram — BDD) — компактного описания конечных автоматов, которое широко исследовалось в сообществе разработчиков средств проверки аппаратного обеспечения [266], [1031]. Существуют методы доказательства свойств бинарных диаграмм решения, включая свойство быть решением задачи планирования. В [261] представлен планировщик, основанный на этом
подходе. Применялись также другие представления; например, в [1549] приведен обзор использования целочисленного программирования для планирования.
Точки над “/” в этом вопросе еще окончательно не расставлены, но уже появились некоторые интересные сопоставления различных подходов к планированию. В [646] проанализировано несколько классов задач планирования и показано, что подходы на основе ограничений, такие как Graphplan и SATplan, являются наилучшими для NP-трудных проблемных областей, а подходы на основе поиска лучше подходят для проблемных областей, в которых приемлемые решения могут быть найдены без поиска с возвратами. Алгоритмы Graphplan и SATplan сталкиваются с затруднениями при использовании в проблемных областях со многими объектами, поскольку наличие большого количества объектов означает, что в этих алгоритмах приходится создавать много действий. В некоторых случаях возникновение такой проблемы можно отсрочить или вообще ее избежать, вырабатывая пропозиционали- зированные действия динамически, по мере необходимости, а не конкретизируя их все до начала поиска.
В [1567], [1568] приведены два превосходных обзора современных алгоритмов планирования. Любопытно наблюдать за тем, какие изменения произошли за пять лет, которые прошли за время между этими двумя обзорами: первый из них сосредотачивался на планировании с частичным упорядочением, а во втором были представлены алгоритмы Graphplan и SATplan. В книге Readings in Planning [19] приведена всеобъемлющая антология многих из самых лучших ранних статей в этой области, включая несколько хороших обзоров. В [1629] приведен обзор методов планирования с частичным упорядочением, который занимает целую книгу.
Исследования по планированию играли центральную роль в искусственном интеллекте со времени появления этого научного направления, а статьи по планированию занимают основной объем ведущих журналов и материалов конференций по искусственному интеллекту. Проводятся также специализированные конференции по планированию, такие как International Conference on AI Planning Systems (AIPS), International Workshop on Planning and Scheduling for Space и European Conference on Planning.
Упражнения
Опишите различие и сходство между решением задач и планированием.
При наличии аксиом, приведенных в листинге 11.1, определите все применимые конкретные экземпляры действия Fly(p, from, to) в состоянии, описанном следующим выражением:
At (Pi, JFK) л At (Pi, SFO) л Plane (Pi) л Plane (Р2) л Airport (JFK) A Airport (SFO)
Рассмотрим, как можно было бы преобразовать множество схем Strips в аксиомы состояния-преемника ситуационного исчисления (см. главу 10).
Изучите схему для действия Fly(р, from, to). Запишите логическое определение для предиката FlyPrecond(p, from, to, s), который является
истинным, если предусловия для действия Flykp, from, to) выполнены в ситуации s.
Затем, предположив, что Flyкр, from, to) является единственной схемой действия, доступной для агента, запишите аксиому состояния-преемника для литерала At кр, х, s), который представляет ту же информацию в виде схемы действия.
Теперь предположим, что есть еще один метод перемещения в пространстве— телепортация: Teleport кр, from, to). Он имеет дополнительное предусловие -iWarpedkp) (пространство не искривлено) и дополнительный результат Warpedkp) (пространство искривлено). Объясните, как должна быть модифицирована база знаний ситуационного исчисления.
Наконец, разработайте общую и точно заданную процедуру для осуществления преобразования из множества схем Strips в множество аксиом состояния-преемника.
Лабораторная обезьяна сталкивается с задачей “обезьяна и бананы”, в которой с потолка свисают бананы, не достижимые непосредственно. Имеется ящик, позволяющий обезьяне достать бананы, если она на него заберется. Первоначально обезьяна находится в позиции А, бананы — в позиции в, а ящик — в позиции С. Обезьяна и ящик имеют высоту Low, но после того как обезьяна заберется на ящик, она будет иметь высоту High, такую же, как и у бананов. Действия, доступные для обезьяны, включают Go (Переход с одного места в другое), Push (Перемещение объекта из одного места в другое), ClimbUp (Подъем на объект) или ClimbDown (Спуск с объекта), а также Grasp (Схватывание объекта) или Ungrasp (Отпускание объекта). Схватывание приводит к овладению объектом, если обезьяна и объект находятся в одном и том же месте и на одной и той же высоте.
Составьте начальное описание состояния.
Запишите определения указанных шести действий в стиле Strips.
Предположим, что обезьяна хочет поставить в тупик ученых (которые перестали за ней следить и отправились пить чай), схватив бананы, но оставив ящик на первоначальном месте. Запишите эту задачу как общую цель (т.е. не предполагая, что ящик обязательно находится в позиции С) на языке ситуационного исчисления. Может ли задача достижения этой цели быть решена с помощью системы в стиле Strips?
Можно не сомневаться в том, что аксиома для действия по перемещению, составленная читателем, будет неправильной, поскольку, если объект слишком тяжел, то его позиция после применения оператора Push должна оставаться неизменной. Является ли это примером проблемы распространения последствий или проблемы спецификации? Исправьте составленное вами описание задачи, чтобы в нем учитывались тяжелые объекты.
Объясните, почему процесс формирования преемников в обратном поиске не требует добавления литералов, представляющих собой отрицательные результаты в рассматриваемом действии.
Объясните, почему удаление отрицательных результатов из каждой схемы действия в задаче Strips приводит к получению ослабленной задачи.
Изучите определение двунаправленного поиска в главе 3.
Была бы идея двунаправленного поиска в пространстве состояний перспективной для использования в планирования?
А что можно сказать применительно к двунаправленному поиску в пространстве планов с частичным упорядочением?
Разработайте версию планирования с частичным упорядочением, в которой любое действие может быть добавлено к плану, если выполнения его предусловий можно добиться с помощью результатов действий, уже имеющихся в плане. Объясните, как следует поступать с конфликтами и ограничениями упорядочения. Является ли этот алгоритм по сути идентичным прямому поиску в пространстве состояний?
Рассмотрите планировщик с частичным упорядочением, в котором сочетается метод, описанный в упр. 11.7, в, со стандартным методом добавления действий для достижения открытых условий. Будет ли результирующий алгоритм таким же, как описано в упр. 11.7, б?
Сконструируйте уровни 0, 1 и 2 графа планирования для задачи, приведенной в листинге 11.1.
Докажите приведенные ниже утверждения о графе планирования.
Литерал, который не появляется на заключительном уровне графа, не может быть достигнут.
Уровневая стоимость литерала в последовательном графе не больше фактической стоимости оптимального плана его достижения.
Авторы подчеркнули различие между планировщиками с прямым и обратным поиском в пространстве состояний и планировщиками с частичным упорядочением, указав, что последние представляют собой средства поиска в пространстве планов. Объясните, на основании чего средства прямого и обратного поиска в пространстве состояний можно также рассматривать как средства поиска в пространстве планов, и укажите, каковыми являются операторы уточнения плана.
На рис. 11.8 показана задача в мире блоков, известная как ^ аномалия Зюсс- мана. Эта задача рассматривается как аномальная, поскольку планировщики без чередования, применявшиеся в начале 1970-х годов, не могли ее решить. Запишите определение этой задачи в системе обозначений Strips и решите ее либо вручную, либо с использованием программы планирования. Планировщиком без чередования является такой планировщик, который после получения двух подцелей, G^ и G2) вырабатывает либо план для GT) который соединяется с планом G^ либо наоборот. Объясните, почему планировщик без чередования не мог решить эту задачу.
Начальное состояниеЦелевое состояние
Рис. 11.8. Задача планирования в мире блоков, получившая название аномалии Зюссмана
Рассмотрите задачу надевания туфель и носков, которая определена в разделе 11.3. Примените для решения этой задачи алгоритм Graphplan и покажите полученное решение. Добавьте действия для надевания пальто и шляпы. Продемонстрируйте план с частичным упорядочением, который представляет собой одно из решений, и покажите, что существует 180 различных линеаризаций плана с частичным упорядочением. Каково минимальное количество различных решений с графом планирования, необходимых для представления всех 180 линеаризаций?
Первоначальная программа Strips была разработана для управления роботом Shakey. На рис. 11.9 показана версии мира Shakey, состоящего из четырех комнат ^Room\ расположенных вдоль коридора (Corridor), где в каждой комнате имеется дверь (Door) и выключатель света (Swi tch).
Действия в мире робота Shakey включают перемещение из одного места в другое, передвижение подвижных объектов (таких как ящики), подъем и спуск с прочных объектов (таких как ящики), а также включение и выключение выключателей света. Сам этот робот никогда не был достаточно находчивым, чтобы забраться на ящик или щелкнуть выключателем, но планировщик Strips оказался способным находить и выводить на печать планы, превосходящие мыслительные способности робота. Ниже перечислены шесть действий робота Shakey.
Действие Со (х, у), которое требует, чтобы Shakey был в позиции х, и определяет, что позиции х и у находятся в одной и той же комнате. В соответствии с общепринятым соглашением дверь между двумя комнатами считается находящейся одновременно в обеих этих комнатах.
Действие по перемещению ящика b из позиции х в позицию у в пределах одной той же комнаты, Push kb, х,у). Нам потребуются предикат Box и константы для описания ящиков.
Действия по подъему на ящик, ClimbUpkb), и спуску с ящика, ClimbDown kb). Нам потребуются предикат On и константа Floor (Пол).
Действия по включению выключателя света, TurnOn ks), и его выключению, Turnoff ks). Для того, чтобы включить или выключить свет, робот Shakey должен стоять на ящике, расположенном в том месте, где находится выключатель света.
Рис. 11.9. Мир робота Shakey. Робот Shakey может передвигаться между отметками в пределах комнаты, проходить через двери между комнатами и коридором, взбираться на те объекты, на которые ему разрешено взбираться, и двигать те объекты, которые ему разрешено двигать, а также может щелкать выключателями света
Опишите в системе обозначений Strips шесть действий робота Shakey и показанное на рис. 11.9 начальное состояние. Составьте план, с помощью которого робот Shakey мог бы переместить ящик Вох2 в комнату Ноот2.
В этой главе встречались только такие графы планирования, которые позволяли использовать лишь пропозициональные действия. А что было бы, если возникла необходимость применять графы планирования для задач с переменными в цели, таких как At (Рг, х) a At (Р2, х), где х пробегает по конечной области определения местонахождений? Как можно было бы представить такую задачу, чтобы для ее решения могли использоваться графы планирования? (Подсказка. Вспомните действие Finish из области планирования POP. Какие предусловия оно должно иметь?)
Вплоть до настоящего момента предполагалось, что действия выполняются только в подходящих для этого ситуациях. Рассмотрим, что должны утвер-
ждать пропозициональные аксиомы состояния-преемника, такие как уравнение 11.1, в отношении действий, предусловия которых не выполнены.
Покажите, что эти аксиомы предсказывают, что ничего не произойдет, если действие будет осуществлено в таком состоянии, в котором не выполнены его предусловия.
Рассмотрите план р, который содержит действия, требуемые для достижения цели, но включает также недопустимые действия. Является ли истинным или ложным приведенное ниже высказывание?
Начальное состояние л Аксиомы состояния-преемника л р Ё Цель
Возможно ли с помощью аксиом состояния-преемника первого порядка в ситуационном исчислении (как в главе 10) доказать, что план, содержащий недопустимые действия, позволяет достичь цели?
Приводя примеры из проблемной области грузового аэропорта, объясните, каким образом метод расщепления символов позволяет уменьшить размеры аксиом предусловия и аксиом исключения действий. Выведите общую формулу для оценки размера каждого множества аксиом в терминах количества временных этапов, количества схем действий, их арностей и количества объектов.
В алгоритме SATplan, приведенном в листинге 11.7, предусмотрено, что каждый вызов алгоритма проверки выполнимости подтверждает цель д\ где т находится в пределах от 0 до Ттах. Предположим вместо этого, что алгоритм проверки выполнимости вызывается только один раз, с целью 9° v д1 V ... V д^шах.
Будет ли такой вызов всегда возвращать план с длиной, меньшей или равной Тщах, если таковой существует?
Приведет ли такой подход к появлению каких-либо новых фиктивных “решений”?
Обсудите, как можно было бы модифицировать алгоритм проверки выполнимости, такой как WalkSAT, чтобы он находил короткие решения (если они существуют) после получения дизъюнктивной цели в указанной выше форме.
12 Планирование
И ОСУЩЕСТВЛЕНИЕ ДЕЙСТВИЙ
В РЕАЛЬНОМ МИРЕ
В этой главе показано, что более выразительные представления и более интерактивные архитектуры агентов обеспечивают возможность создания планировщиков, применимых в реальном мире.
В предыдущей главе описывались наиболее важные понятия, представления и алгоритмы для планирования. Планировщики, применяемые в реальном мире для решения таких задач, как планирование наблюдений с помощью космического телескопа Хаббл, управление заводами и фабриками, а также осуществление поставок для военных кампаний, являются более сложными; они превосходят свои более простые аналоги и с точки зрения языка представления, и с точки зрения того способа, который применяется в планировщике для взаимодействия с его средой. Такие различия описаны в настоящей главе. В разделе 12.1 рассматриваются задачи планирования и составления расписаний с учетом временных и ресурсных ограничений, а в разделе 12.2 описывается планирование с помощью предопределенных субпланов. В разделах 12.3-12.6 рассматривается ряд архитектур агентов, предназначенных для осуществления действий в неопределенных вариантах среды. В разделе 12.7 показано, как должны составляться планы, когда среда содержит и других агентов.
Время, расписания и ресурсы
В представлении на языке Strips говорится о том, какие действия должны быть выполнены, но это представление основано на ситуационном исчислении, поэтому с его помощью нельзя показать, сколько времени потребуется на проведение того или иного действия, или даже обозначить время, когда должно произойти это действие, помимо указаний на то, что оно должно быть осуществлено до или после дру-
гого действия. Но применительно к некоторым проблемным областям было бы желательно также указывать, когда должны начинаться и оканчиваться действия. Например, в проблемной области транспортировки грузов может потребоваться знать, когда именно прибывает самолет, перевозящий некоторый груз, а не просто пользоваться информацией о том, что он прибудет, когда закончится полет.
Время является существенно важным фактором для крупного семейства приложений, называемых задачами М планирования производства. Для выполнения таких задач требуется осуществление ряда работ, каждая из которых состоит из последовательности действий, а каждое действие имеет определенную продолжительность и может потребовать определенных ресурсов. Проблема состоит в разработке расписания, которое минимизирует общее время, требуемое для выполнения всех работ, при соблюдении ограничений на ресурсы.
Пример задачи планирования производства приведен в листинге 12.1. Это — в высшей степени упрощенная задача сборки автомобиля. В ней представлены две работы: сборка автомобилей Сг и С2. Каждая работа состоит из трех действий: установка двигателя, установка колес и проверка результатов. Двигатель должен устанавливаться в первую очередь (поскольку в автомобиле этой модели с установленными передними колесами затрудняется доступ к двигательному отсеку), а проверка, безусловно, должна проводиться в последнюю очередь.
Листинг 12.1. Задача планирования производства, связанная со сборкой двух автомобилей. Обозначение Duration(d) показывает, что для выполнения некоторого действия требуется d минут, а обозначение Engine(Ei, Ci, 60) показывает, что Ei — это двигатель, который устанавливается в шасси Ci, и для его установки требуется 60 минут
Ini t (Chassis (Ci) a Chassis (C2)
л Engine(Ei, Ci, 30) л Engine(E2, C2, 60)
л Wheels (Wi, Ci, 30) a Wheels (W2, C2, 15)) Goal (Done (Ci) a Done(C2))
Action(AddEngine(e, c)
Precond: Engine (e, c, d) a Chassis (c) a —\EngineIn (c) ,
Effect: Engineln(c) a Duration(d))
Action(AddWheels(w, c) ,
Precond: Enginein(c) a Wheels (w, c, d) a Chassis(c) , Effect: WheelsOn(c) a Duration(d))
Action(Inspect(c) , Precond: Enginein(c) a WheelsOn(c) a Chassis(c), Effect: Done(c) a Duration(10))
Задача, приведенная в листинге 12.1, может быть решена с помощью любого из планировщиков, которые уже описывались в настоящей книге. На рис. 12.1 показано решение, которое было бы получено с помощью планировщика POP с частичным упорядочением (если игнорируются некоторые числовые данные). Теперь для преобразования этой задачи в задачу составления расписания, а не в задачу планирования, необходимо определить, когда должно начаться и закончиться каждое действие, с учетом продолжительности действия, а также их упорядочения. Обозначение Duration (d) в спецификации результата действия (где переменная d должна быть привязана к некоторому числу) показывает, что для выполнения действия требуется d минут.
Рис. 12.1. Решение задачи планирования производства, приведенной в листинге 12.1. В верхней части этого рисунка решение показано в виде плана с частичным упорядочением. Продолжительность каждого действия обозначена в нижней части каждого прямоугольника, а значения самого раннего и самого позднего времени начала, условно обозначаемые как [ES,LS], показаны в верхней левой части. Разность между этими двумя числами представляет собой резерв времени для действия; действия с нулевым резервом находятся на критическом пути, который обозначен жирными стрелками. В нижней части рисунка то же решение приведено в виде временного графика. Серые прямоугольники показывают интервалы времени, в течение которых может быть выполнено некоторое действие, при условии, что соблюдаются ограничения упорядочения. Незанятая часть серого прямоугольника обозначает резерв времени
Определив частичное упорядочение действий с учетом их продолжительности, как показано на рис. 12.1, можно применить ^ метод критического пути (Critical Path Method — СРМ) для выяснения допустимых значений времени начала и окончания каждого действия. Путем через план с частичным упорядочением называется линейно упорядоченная последовательность действий, начинающаяся в состоянии Start и оканчивающаяся в состоянии Finish (например, в плане с частичным упорядочением, показанном на рис. 12.1, есть два пути).
^ Критическим называется путь, имеющий максимальную суммарную продолжительность; этот путь называется “критическим”, поскольку от него зависит продолжительность выполнения всего плана, — сокращение продолжительности других путей не приведет к сокращению времени выполнения всего плана в целом, но задержка начала любого действия в критическом пути замедлит осуществление всего плана. На этом рисунке критический путь показан жирными линиями. Для осуществления всего плана за минимальное суммарное время действия в критическом пу-
ти следует выполнять без задержки между ними. С другой стороны, действия, лежащие вне критического пути, имеют определенный запас времени — временное окно, в течение которого они могут быть выполнены. Это окно задается в терминах самого раннего возможного времени начали, ES, и самого позднего возможного времени начала, LS. Разность LS - ES называется ^ резервом времени для действия. Как показано на рис. 12.1, для выполнения всего плана потребуется 85 минут, каждое действие в критическом пути имеет резерв времени 0 (такое условие имеет место во всех расписаниях), а каждое действие в работе по сборке Q имеет десятиминутное окно, в пределах которого оно может быть начато. Значения времени ES и LS для всех действий, вместе взятые, составляют М расписание, представляющее собой решение данной задачи.
Ниже приведены формулы, которые служат определением значений ES и LS, а также лежат в основе алгоритма динамического программирования, применяемого для их вычисления.
ESkStart) = О
ESk В) = тах^вЕЗкА) + Duration кА) LSkFinish) = ESkFinish)
LSkA) = minAxBLS(B) - DurationkA)
Идея этого алгоритма состоит в том, что вначале следует присвоить терму ESk Start) значение 0. Затем, как только будет выявлено действие в, такое, что все действия, непосредственно предшествующие В, имеют присвоенные значения ES, терму ESkВ) присваивается максимальное из самых ранних значений времени завершения этих непосредственно предшествующих действий, где самое раннее время завершения действия определяется как самое раннее время начала плюс его продолжительность. Этот процесс повторяется до тех пор, пока каждому действию не присваивается значение ES. Значения LS вычисляются аналогичным образом, в ходе передвижения в обратном направлении от действия Finish. Проработку деталей этого алгоритма оставляем читателю в качестве упражнения.
Сложность алгоритма критического пути составляет всего лишь OkNb), где N— количество действий; Ь — максимальный коэффициент ветвления на входе или выходе любого действия. (Чтобы убедиться в этом, достаточно отметить, что вычисления значений LS и ES осуществляются по одному разу для каждого действия, а в каждом вычислении происходит итерация, самое большее, по b других действий.) Поэтому, если дано частичное упорядочение действий, задача поиска расписания с минимальной продолжительностью решается очень просто.
Составление расписаний с ресурсными ограничениями
Реальные задачи составления расписаний усложняются из-за наличия ограничений на ^ ресурсы. Например, для установки в автомобиль двигателя требуется лебедка для двигателя. Если есть только одна лебедка, то нельзя одновременно устанавливать двигатель Ег в автомобиль Ci и двигатель Е2 в автомобиль С2, поэтому расписание, показанное на рис. 12.1, будет неосуществимым. В данном примере лебедка для двигателя представляет собой пример М повторно применяемого ресурса— ресурса, который “занят” во время действия, но снова становится доступным после завершения этого действия. Следует отметить, что повторно применяемые ре-
сурсы невозможно учесть в нашем стандартном описании действий в терминах предусловий и результатов, поскольку количество доступных ресурсов после завершения действия остается неизменным. По этой причине дополним наше представление, включив в него поле в форме Resource: R (к), которое означает, что для выполнения данного действия требуются к единиц ресурса R. Требования к ресурсам являются одновременно и предпосылкой (действие не может быть выполнено, если ресурс недоступен), и временным результатом, в том смысле, что во время выполнения действия доступность ресурса г сокращается на к единиц. В листинге 12.2 показано, как дополнить задачу сборки автомобилей для включения трех ресурсов — лебедки для двигателя, с помощью которой устанавливаются двигатели, станции монтажа колес, на которой устанавливаются колеса, и двух контролёров. На рис. 12.2 показано решение с самым быстрым временем завершения, 115 минут. Это время больше по сравнению с 80 минутами, которые требовались для выполнения расписания без ресурсных ограничений. Следует отметить, что нет такого промежутка времени, в который требовались бы оба контролёра, поэтому, составив данное расписание, можно сразу же перевести одного из двух контролёров на другой участок, где он будет приносить больше пользы.
Рис. 12.2. Решение задачи составления производственного расписания с ресурсами, приведенной в листинге 12.2. На левом поле перечислены три ресурса, а действия показаны с выравниванием по горизонтали с теми ресурсами, которые в них используются. Существуют два возможных расписания, зависящих от того, при сборке какого автомобиля первой используется станция установки двигателя; здесь показано оптимальное решение, которое занимает Пбминут
Листинг 12.2. Задача составления производственного расписания для сборки двух автомобилей с учетом ресурсов. Доступными ресурсами являются одна станция сборки двигателя, одна станция сборки колес и два контролёра. Обозначение Resource: г указывает, что ресурс г используется во время выполнения действия, но снова становится свободным после завершения этого действия
Init(Chassis(Ci) a ChassiskC2^
л Engine kEy, Ci, 30) л Engine (£2, C2, 60)
л Wheels (Wi, Ci, 30) a Wheels (W2, C2, 15)
a EngineHoistsk1) a WheelStations(1) a Inspectorsk2)) Goal kDone ( Ci) a DonekC^ )
ActionkAddEngineket c) ,
Precond: Engineke, c, d) л Chassiskc") a —\Engine In k c) ,
Effect: Enginelnkc) a Durationkd),
Resource: EngineHoists(1))
Action(AddWheels(w, c) ,
Precond: Enginein (o') a Wheels (w, c, d) л Chassis (c) ,
Effect: WheelsOn(c^ л Duration(d),
Resource: Wheelstations(1))
Action(Inspect(c),
Precond: Enginein(с) л WheelsOn(c) ,
Effect: Done(c') л Dura tion (10) , Resource: Inspectors(1) )
Представление ресурсов в виде числовых количественных значений, таких как Inspectors (2), а не именованных сущностей, таких как Inspector (JJ и Inspector (J2), может служить примером очень продуктивного метода, называемого агрегированием. Основная идея агрегирования состоит в том, что отдельные объекты должны группироваться в количественные величины, если все объекты неразличимы применительно к рассматриваемому назначению. В данной задаче сборки не имеет значения, какой именно контролёр проверит автомобиль, поэтому нет необходимости проводить между ними различие. (Та же идея может применяться при решении задачи с миссионерами и каннибалами, приведенной в упр. 3.9.) Агрегирование представляет собой важный способ уменьшения сложности задач. Рассмотрим, что произойдет, если будет предложено расписание, в котором имеется 10 одновременных действий по проверке Inspect, но в наличии есть только 9 контролёров. Если контролёры представлены с помощью количественных величин, неудача будет обнаружена немедленно и алгоритм выполнит возврат, чтобы попытаться составить другое расписание. А если бы контролёры были представлены как отдельные лица, то в алгоритме пришлось бы выполнять возвраты для опробования всех 10! способов назначения контролёров для выполнения действий Inspect, притом что положительный результат так и не был бы получен.
Несмотря на их преимущества, ресурсные ограничения приводят к усложнению задач планирования, поскольку в них вводятся дополнительные зависимости между действиями. К тому же составление расписания без ограничений с использованием метода критического пути является несложным, а задача поиска расписания с ресурсными ограничениями, характеризующегося самым ранним возможным временем завершения, является NP-трудной. Такая сложность часто наблюдается не только в теории, но и на практике. Одно из заданий, которое предложили исследователям для проверки их сил в 1963 году (найти оптимальное расписание для задачи, в которой рассматриваются только 10 машин и 10 работ по 100 действий каждая), не удавалось решить в течение 23 лет [900]. Для его решения было опробовано много подходов, включая метод ветвей и границ, алгоритм эмуляции отжига, поиск с запретами, метод удовлетворения ограничений и другие методы, описанные в части II этой книги. Одной из простых, но широко применяемых эвристик является алгоритм с ^ минимальным резервом. В нем планирование действий осуществляется в режиме жадного поиска. Во время каждой итерации в этом алгоритме рассматриваются не введенные в расписание действия, для которых в расписании заданы все их преемники, и в расписание вводится то действие, которое имеет наименьший резерв для самого раннего возможного времени начала. После этого в алгоритме обновляются значения времени ES и LS для каждого затронутого действия и повторя-
ется итерация. Эвристика основана на том же принципе, что и эвристика с “наиболее ограниченной переменной” в задачах удовлетворения ограничений. Этот алгоритм хорошо работает на практике, но применительно к рассматриваемой задаче сборки он привел к получению 130-минутного решения, а не 115-минутного решения, показанного на рис. 12.2.
Подход, принятый в этом разделе, состоит в том, что “вначале следует оставлять план, а затем расписание”. Это означает, что общая задача подразделяется на этап планирования, в котором выбираются и частично упорядочиваются действия для достижения целей данной задачи, и на следующий за ним этап составления расписания, в котором в план вводится временная информация для обеспечения того, чтобы он соответствовал ограничениям по ресурсам и срокам. Такой подход широко применяется в организациях, занимающихся реальным планированием производства и поставок, в которых этап планирования часто выполняется экспертами-людьми. Однако, если существуют жесткие ограничения на ресурсы, могут возникать такие ситуации, что одни допустимые планы приводят к получению гораздо более лучших графиков, чем другие. В этом случае имеет смысл интегрировать этапы планирования и составления расписаний, принимая во внимание продолжительности и совпадения действий во времени на этапе создания плана с частичным упорядочением. Для учета такой информации могут быть дополнены некоторые алгоритмы планирования, описанные в главе 11. Например, планировщики с частичным упорядочением могут обнаруживать нарушения ресурсных ограничений во многом с помощью такого же способа, который в них используется для обнаружения конфликтов с помощью причинных связей. А эвристики могут быть модифицированы для оценки общего времени завершения плана, а не просто суммарной стоимости всей действий. В настоящее время в этой области исследований ведется активная работа.
Планирование иерархической сети задач
Одной из наиболее привлекательных идей в области решения сложных задач является М иерархическая декомпозиция. На основе иерархии процедур или классов объектов создается сложное программное обеспечение; из иерархии боевых подразделений складываются армии; иерархии отделов, филиалов и дочерних организаций лежат в основе правительств и корпораций. Основное преимущество иерархической структуры состоит в том, что на каждом уровне иерархии вычислительная задача, военная операция или административная функция сводится к небольшому количеству действий, выполняемых на более низком уровне, поэтому вычислительная стоимость поиска правильного способа упорядочения этих действий для решения текущей задачи очень невелика. С другой стороны, в неиерархических методах задача сводится к очень большому количеству отдельных действий; при решении крупномасштабных задач такой подход становится полностью неприменимым. Но в наилучшем случае (в котором высокоуровневые решения всегда сводятся к решениям, имеющим удовлетворительные низкоуровневые реализации) иерархические методы могут привести к созданию алгоритмов планирования с линейными, а не экспоненциальными затратами времени.
В настоящем разделе рассматривается метод планирования, основанный на ^ иерархических сетях задач, или сетях HTN (Hierarchical Task Network). В приня-
том нами подходе объединены идеи из области планирования с частичным упорядочением (раздел 11.3) и из области, известной под названием “планирование в иерархических сетях задач”, или планирование HTN. В планировании HTN первоначальный план, который описывает задачу, рассматривается как описание на очень высоком уровне того, что должно быть сделано, например строительство дома. Планы уточняются путем применения декомпозиций действий. В каждой декомпозиции действия одно действие высокого уровня сводится к частично упорядоченному множеству действий низкого уровня. Поэтому в декомпозициях действий воплощены знания о том, как осуществляются действия. Например, строительство дома может быть сведено к получению разрешения, найму подрядчика, осуществлению строительства и оплате работы подрядчика (такая декомпозиция показана на рис. 12.3). Этот процесс продолжается до тех пор, пока в плане не остаются только ^ примитивные действия. Как правило, примитивными считаются такие действия, которые могут быть выполнены агентом автоматически. Например, для генерального подрядчика такое действие, как “оформление ландшафтной архитектуры”, может оказаться примитивным, поскольку оно сводится к привлечению подрядчика по ландшафтной архитектуре, а для подрядчика по ландшафтной архитектуре могут рассматриваться как примитивные действия, подобные “посадке на этом участке рододендронов”.
Рис. 12.3. Одна из возможных декомпозиций для действия Bui IdHouse
В “чистом” планировании HTN планы разрабатываются только путем последовательной декомпозиции действий. Поэтому планирование HTN может рассматриваться как процесс конкретизации описания некоторой деятельности, а не как процесс создания описания деятельности, начиная с пустого действия (как в случае планирования в пространстве состояний и планирования с частичным упорядочением). Как оказалось, каждое описание действия Strips может быть преобразовано в декомпозицию действия (см. упр. 12.6), а планирование с частичным упорядочением может рассматриваться как частный случай чистого планирования HTN. Однако для некоторых задач (особенно для тех, в которых применяется так называемая “новаторская” постановка с конъюнктивными целями) подход с использованием чистого планирования HTN становится не совсем естественным. Поэтому авторы предпочитают применять гибридный подход, в котором декомпозиции действий используются как уточнения плана в планировании с частичным упорядочением, в до-
полнение к стандартным операциям определения открытых условий и разрешения конфликтов путем введения ограничений упорядочения. (Подход, в котором планирование HTN рассматривается как расширение планирования с частичным упорядочением, имеет дополнительное преимущество в том, что могут использоваться те же соглашения по системе именования вместо введения полностью нового набора обозначений.) Начнем с более подробного описания декомпозиций действий. Затем рассмотрим, как можно модифицировать алгоритм планирования с частичным упорядочением для учета декомпозиций, и, наконец, рассмотрим вопросы полноты, сложности и практической применимости алгоритмов.
Представление декомпозиций действий
Общие описания методов декомпозиции действий хранятся в ^ библиотеке планов, из которой они извлекаются и конкретизируются для обеспечения потребностей формирования текущего плана. Каждый метод представляет собой выражение в форме Decomposeka, d). Это выражение указывает, что может быть выполнена декомпозиция действия а на план d, представленный в виде плана с частичным упорядочением, как описано в разделе 11.3.
Строительство дома — это прекрасный, конкретный пример, поэтому мы будем использовать его для иллюстрации концепций декомпозиции действия. На рис. 12.3 показана одна возможная декомпозиция действия BuildHouse на четыре действия низкого уровня, а в листинге 12.3 приведены некоторые из описаний действий для данной проблемной области, а также декомпозиция действия BuildHouse в том виде, в каком она могла бы присутствовать в библиотеке планов. В этой библиотеке могут находиться также другие возможные декомпозиции.
Листинг 12.3. Декомпозиции действий для задачи построения дома и подробная декомпозиция для действия BuildHouse. В этих декомпозициях приняты упрощенное представление о деньгах, а также оптимистическое представление строителей в отношении перспектив оплаты
Action {BuyLand, Precond: Money, Effect: Land a —Money')
ActionkGetLoan, Precond: GoodCredit, Effect: Money a Mortgage) ActionkBuildHouse, Precond: Land, Effect: House)
ActionkGetPermit, Precond: Land, Effect: Permit)
ActionkHireBuilder, Effect: Contract)
Action к Construction, Precond: Permit a Contract,
Effect: HouseBuiIt a -iPermit)
ActionkPayBui1der, Precond: Money a HouseBuilt, Effect: —Money a House a —^Contract)
Decompose кBuildHouse,
Plan к Steps: {Si: GetPermit, S2: HireBuilder, S3: Construction, S4: PayBuiider}
Orderings: {Start -< Si -< S3 -< S4 -< Finish, Start S2 S3}, Links: { Start Lan<^>Si, Star ^one-^ g4,
Permit^Contract^HouseBuilt
SiЭ S3 , S2 Э S3 , S3 Э S4 , S4^Finish, Si^^Finish))
В действии Start этой декомпозиции должны быть предусмотрены все те предусловия действий в плане, которые не предусмотрены в других действиях. Такие предусловия принято называть М внешними предусловиями. В данном примере внешними предусловиями декомпозиции являются Land (Земельный участок) и Money (Деньги). Аналогичным образом, все ^ внешние результаты, являющиеся предусловиями действия Finish, представляют собой такие результаты действий в плане, которые не отрицаются другими действиями. В рассматриваемом примере внешними результатами действия BuildHouse являются House (Дом) и —Money (Отсутствие денег). В некоторых планировщиках HTN проводится также различие между М первичными результатами, такими как House, и ^ вторичными результатами, такими как —Money. Для достижения целей могут использоваться только первичные результаты, тогда как оба рода результатов могут вызывать конфликты с другими действиями; они позволяют в значительной степени сократить пространство поиска.
Декомпозиция должна представлять собой правильный способ осуществления действия. План dявляется правильным способом осуществления действия, если d — полный и согласованный план с частичным упорядочением для задачи достижения результатов действия а при наличии предусловий действия а. Очевидно, что декомпозиция будет правильной, если она стала результатом применения непротиворечивого планировщика с частичным упорядочением.
Библиотека планов может содержать несколько декомпозиций для любого конкретного действия высокого уровня; например, может существовать еще одна декомпозиция для действия BuiIdHouse, которая описывает такой процесс, что агент возводит дом-самостройку из камней и торфа голыми руками. Каждая декомпозиция должна представлять собой правильный план, но может иметь дополнительные предусловия и результаты, кроме тех, что указаны в описании действия высокого уровня. Например, декомпозиция для действия BuildHouse, показанная на рис. 12.3, кроме земельного участка (Land), требует денег (Money), и имеет такой результат, как -Money С другой стороны, вариант с самостройкой не требует денег, но требует большого запаса камней (Rocks) и торфа (Turf), а также может привести к результату BadBack (Больная спина).
Учитывая то, что действия высокого уровня, такие как BuildHouse, могут иметь несколько возможных декомпозиций, нельзя избежать такой ситуации, что их описания действий Strips будут скрывать некоторые из предусловий и результатов декомпозиций этих действий. Предусловия действия высокого уровня должны представлять собой пересечение внешних предусловий возможных декомпозиций этого действия, а результаты — пересечение внешних результатов его декомпозиций. Иначе говоря, необходимо обеспечить, чтобы предусловия и результаты высокого уровня представляли собой подмножества истинных предусловий и результатов каждой примитивной реализации действия высокого уровня.
Следует также отметить две другие формы сокрытия информации. Во-первых, в описании высокого уровня полностью игнорируются все М внутренние результаты декомпозиций. Например, в декомпозиции действия BuildHouse имеются времен-
ные внутренние результаты Permit (Наличие разрешения) и Contract (Заключение контракта). Во-вторых, в описании высокого уровня не указаны интервалы “внутри” действия, в течение которых должны иметь место предусловия и результаты высокого уровня. Например, предусловие Land должно оставаться истинным (в нашей очень упрощенной модели) только до выполнения действия GetPermit (Получение разрешения), а результат House становится истинным только после выполнения действия PayBuiIder (Оплата работы подрядчика).
Сокрытие информации такого рода становится очень важным, если иерархическое планирование применяется для уменьшения сложности; мы должны иметь возможность рассуждать о действиях высокого уровня, не заботясь о бесчисленных подробностях реализации. Однако за такую возможность приходится платить. Например, могут существовать конфликты между внутренними условиями одного действия высокого уровня и внутренними действиями другого, но способа обнаружить эту ситуацию с помощью высокоуровневых описаний не существует. Такая проблема оказала значительно влияние на алгоритмы планирования HTN. По сути, примитивные действия могут рассматриваться в алгоритме планирования как точечные события, а действия высокого уровня имеют временную протяженность, в пределах которой могут происходить другие всевозможные события.
Модификация планировщика для его использования в сочетании с декомпозициями
В этом разделе описано, как модифицировать алгоритм POP для его применения в планировании HTN. Для этого мы модифицируем функцию определения преемника POP (с. 530), чтобы иметь возможность применять методы декомпозиции к текущему частичному плану Р. Новые планы определения преемника формируются так, что вначале выбирается некоторое непримитивное действие а' в плане Р, а затем для любого метода Decompose (a,d) из библиотеки планов, такого, что а и а' унифицируются с помощью подстановки 0, действие а' заменяется декомпозицией d' =Subst(0, d^.
Один из примеров применения такого метода показан на рис. 12.4. В верхней части приведен план Р возведения дома. Для декомпозиции выбирается действие высокого уровня а' =BuiIdHouse. В качестве декомпозиции d берется план, приведенный на рис. 12.3, и действие BuildHouse заменяется этой декомпозицией. Затем вводится дополнительный этап GetLoan (Получение ссуды) для разрешения нового открытого условия Money, которое создается на данном этапе декомпозиции. Замена действия его декомпозицией немного напоминает пересадку органов в хирургии: мы должны вынуть новый субплан из его упаковки (этапов Start и Finish), вставить его в нужное место и правильно связать сосуды, ткани и нервы. Для решения такой задачи может применяться несколько методов. Точнее, для каждой возможной декомпозиции d’ должны быть выполнены описанные ниже этапы.
Рис. 12.4. Декомпозиция действия высокого уровня в существующем плане. Действие BuildHouse заменяется его декомпозицией, взятой из плана, показанного на рис. 12.3. Внешнее предусловие Land выполняется с помощью существующей причинной связи от действия BuyLand (Покупка земельного участка). После выполнения этого этапа декомпозиции внешнее предусловие Money остается открытым, поэтому вводится новое действие, Get Loan (Получение ссуды)
Вначале действие а 1 удаляется из плана Р. Затем для каждого этапа s в декомпозиции d' необходимо выбрать действие для выполнения соответствующей роли в s и добавить его к плану. Это может быть либо новый экземпляр этапа s, либо существующий этап s1 из плана Р, который унифицируется с этапом s. Например, декомпозиция действия MakeWiпе (Выращивание винограда) может потребовать, чтобы мы купили земельный участок, BuyLand; но, по-видимому, достаточно будет использовать то же действие BuyLand, которое уже было предусмотрено в плане строительства дома. Такая ситуация будет называться ^ совместным использованием подзадач.
На рис. 12.4 возможности совместного использования подзадач отсутствуют, поэтому создаются новые экземпляры действий. После выбора действий в них копируются все внутренние ограничения из декомпозиции d1, например, такие, что действие GetPermit должно быть выполнено перед действием Construction и что есть причинная связь между этими двумя этапами, обусловливающая выполнение предусловия Permi t действия Construction. На этом задача замены a 1 конкретизацией декомпозиции d на основе подстановки 0 завершается.
На следующем этапе необходимо связать ограничения упорядочения для a 1 в первоначальном плане с этапами декомпозиции d1. Вначале рассмотрим любое ограничение упорядочения в плане Р, которое задано в форме в -< a 1. Как должно быть упорядочено действие в по отношению к этапам декомпозиции d' 1 Наиболее очевидное решение состоит в том, что действие в должно быть завершено перед выполнением любого этапа декомпозиции d', а этого можно добиться, заменяя каждое ограничение в форме Start -< s в декомпозиции d' ограничением в -< s. С другой стороны, этот подход может оказаться слишком жестким! Например, действие BuyLand должно быть выполнено перед действием BuildHouse, но нет безусловной необходимо-
сти, чтобы в расширенном плане покупка земли BuyLand осуществлялась перед наймом подрядчика HireBuilder. Наложив слишком строгое упорядочение, мы можем исключить возможность обнаружения некоторых решений. Поэтому лучший подход состоит в том, чтобы в каждом ограничении упорядочения записывались причины введения этого ограничения; в таком случае при развертывании действия высокого уровня можно будет применять настолько более ослабленные новые ограничения упорядочения, насколько это. возможно, в полном соответствии с причиной введения первоначального ограничения. Точно такие же соображения могут применяться при замене ограничений в форме а' ^ С.
Конечный этап состоит в увязке причинных связей. Если одной из причинных связей в первоначальном плане была в-^эа', она заменяется множеством причинных связей от в ко всем этапам декомпозиции d’ с предусловиями р, которые выполнены на этапе Start декомпозиции d (т.е. ко всем этапам декомпозиции d', для которых р является внешним предусловием). В данном примере причинная связь BuyLand^^^BuildHouse заменяется связью BuyLand^^Permi t. (Предусловие Money для действия PayBuilder в этой декомпозиции становится открытым условием, поскольку ни в одном из действий в первоначальном плане не выполнено действие по получению денег Money для строительства дома Bui IdHouse.) Аналогичным образом, для каждой причинной связи а'^^С в плане необходимо предусмотреть ее замену множеством причинных связей к С от каждого этапа декомпозиции d', в котором выполняется предусловие р для этапа Finish в декомпозиции d (т.е. от этапа в декомпозиции d', для которого предусловие р является внешним результатом). В данном примере связь BuildHouse*9-^ Finish заменяется связью PayBuilder^2^ Finish.
На этом завершаются дополнения, требуемые для формирования декомпозиций в контексте применения планировщика POP.
Необходимость в дополнительных модификациях алгоритма POP связана с тем, что действия высокого уровня скрывают информацию об их конечных примитивных реализациях. В частности, в первоначальном алгоритме POP осуществляется возврат с индикатором неудачи, если текущий план включает неразрешимый конфликт, т.е. если одно из действий конфликтует с причинной связью, но не может быть переупорядочено так, чтобы оно находилось до или после этой связи (подобный пример приведен на рис. 11.4). При использовании действий высокого уровня, с другой стороны, с виду неразрешимые конфликты иногда могут быть разрешены путем декомпозиции конфликтующих действий и чередования их этапов. Соответствующий пример приведен на рис. 12.5. Таким образом, может возникнуть такая ситуация, что путем декомпозиции может быть получен полный и согласованный план из примитивных действий, даже если не существует полного и согласованного плана из действий высокого уровня. Такая возможность означает, что полный планировщик HTN не должен использовать многие варианты отсечения, которые предусмотрены
для стандартного планировщика POP. Еще один способ организации работы может состоять в том, чтобы отсечение применялось в любом случае, в надежде на то, что ни одно решение не будет упущено.
а) Первоначальная проблемаа) Первоначальная проблемаб) Несогласованный абстрактный планб) Несогласованный абстрактный план
а) Первоначальная проблема
а) Первоначальная проблема
б) Несогласованный абстрактный план
б) Несогласованный абстрактный план
в) Декомпозиция плана б) для получения согласованного решения
Рис. 12.5. Задача “Дары волхвов”, взятая из одноименного рассказа ОТенри, может служить примером несогласованного абстрактного плана, который, тем не менее, может быть декомпонован в согласованное решение. На рис. 12.5, а приведена постановка задачи: у пары бедняков есть только две ценные вещи — у него золотые часы, а у нее прекрасные длинные волосы. Каждый из супругов собирается купить подарок, чтобы сделать другому приятное. Он собирается продать свои часы, чтобы купить серебряный гребень для ее волос, а она собирается продать свои волосы, чтобы купить золотую цепочку для его часов. Частичный план, показанный на рис. 12.5, б, является несогласованным, поскольку не существует способа упорядочить абстрактные этапы GiveComb (Подарить гребень) и GiveChain (Подарить цепочку) без конфликта. (Мы предполагаем, что действие GiveComb имеет предусловие Hair (Волосы), поскольку если бы у жены к тому времени уже не было ее длинных волос, то действие не имело намеченного результата — сделать ей приятное, и аналогично для действия GiveChain.^ На рис. 12.5, в показана декомпозиция этапа GiveComb с помощью метода Give. . . fOnCredit; (Получение. . . под залог). На первом этапе декомпозиции муж получает в свою собственность гребень и вручает его своей жене, дав обязательство передать часы в качестве оплаты в последующую дату. На втором этапе он вручает свои часы и выполняет данное обязательство. Декомпозиция этапа GiveChain осуществляется с помощью аналогичного метода. При условии, что оба этапа дарения упорядочиваются перед этапами доставки залога, такая декомпозиция становится решением задачи. (Обратите внимание на то, что теперь задача определена так, что супруги получат удовольствие от использования цепочки вместе с часами и гребня вместе с волосами даже после того, как потеряют право владения на часы и волосы.)
Обсуждение вопроса
Вначале необходимо отметить определенные сложности: чистая задача планирования HTN неразрешима (если единственным допустимым способом уточнения
плана является декомпозиция), даже если соответствующее пространство состояний конечно! На первый взгляд такая ситуация может показаться весьма бесперспективной, поскольку основной смысл планирования HTN состоит в обеспечении высокой эффективности составления планов. Указанные сложности возникают потому, что декомпозиции действий могут оказаться рекурсивными (например, если выход на прогулку рассматривается как выполнение одного шага с последующим выходом на прогулку), поэтому планы HTN могут приобретать произвольную длину. В частности, даже кратчайшее решение HTN может оказаться неопределенно длинным, так что становится невозможным нахождение способа завершения поиска за какое- то постоянное время. Тем не менее существуют по меньшей мере три описанных ниже способа исправления указанного положения.
Исключить рекурсию, поскольку она действительно требуется лишь в очень немногих проблемных областях. В таком случае все планы HTN приобретают конечную длину и могут быть успешно исследованы.
Ограничить длину решений, которые нас интересуют. Поскольку пространство состояний является конечным, план, включающий больше этапов, чем имеется состояний в пространстве состояний, обязательно должен включать цикл, в котором неоднократно посещается одно и то же состояние. Мы ничего не потеряем, исключив решения HTN такого рода, поэтому следует контролировать длину поиска.
Принять гибридный подход, в котором сочетается планирование POP и HTN. Для определения того, существует ли план, достаточно применить планирование с частичным упорядочением, отдельно взятое, поэтому, безусловно, задача планирования с помощью гибридного подхода является разрешимой.
При использовании третьего метода необходимо соблюдать определенную осторожность. В планировании POP примитивные действия могут соединяться в цепочки произвольными способами, поэтому иногда приходится сталкиваться с такими решениями, которые очень трудно понять и которые не имеют такой аккуратной иерархической организации, как планы HTN. Приемлемым компромиссом является управление гибридным поиском таким образом, чтобы операции декомпозиции действий стали предпочтительными по сравнению с операциями добавления новых действий, хотя и не до такой степени, чтобы вырабатывались планы HTN произвольной длины, прежде чем появится возможность добавления каких-либо примитивных действий. Один из способов осуществления такого управления состоит в использовании функции стоимости, которая предоставляет благоприятные условия действиям, введенным путем декомпозиции; чем более благоприятными являются эти условия, тем больше поиск будет напоминать чистое планирование HTN и тем более иерархическим будет решение. Иерархические планы обычно намного проще для выполнения в реальных условиях, поэтому их легче исправить, если что-то при их осуществлении нарушается.
Еще одной важной характерной особенностью планов HTN является возможность совместного использования подзадач. Напомним, что совместным использованием подзадач называется применение одного и того же действия для реализации двух разных этапов в декомпозиции планов. Если совместное использование подзадач запрещено, то каждая конкретизация декомпозиции d' должна быть выполнена
только одним способом, а не многими, что приводит к отсечению значительной части пространства поиска. Обычно такое отсечение обеспечивает некоторую экономию времени и в худшем случае приводит к решению, лишь немного более длинному, чем оптимальное. Но в некоторых случаях возникают более существенные проблемы. Например, рассмотрим цель: “Насладись медовым месяцем и создай большую семью”. Библиотека планов может содержать решение “вступи в брак и отправляйся на Гавайи” для первой подцели и “вступи в брак и заведи двух детей” для второй. Без совместного использования подзадач план будет включать два разных действия по вступлению в брак для одного человека, но такой вариант многие считают весьма нежелательным.
Интересным примером анализа затрат и результатов совместного использования подзадач является применение этого метода при оптимизации компиляторов. Рассмотрим задачу компиляции выражения tan (х) -sin (х). В большинстве компиляторов такая задача выполняется путем слияния результатов двух отдельных вызовов процедур тривиальным способом: все этапы процедуры вычисления тангенса tan выполняются перед каким-либо из этапов вычисления синуса sin. Но рассмотрим следующие аппроксимации для sin и tan с помощью рядов Тэйлора:
х3 2х5 17х7 х3 х5 х7
tan х = х + у + + yyy; sinx-x- — ч-ууо" 5040
Планировщик HTN с совместным использованием подзадач может выработать более эффективное решение, поскольку он способен выбрать вариант реализации многочисленных этапов вычисления sin в сочетании с существующими этапами вычисления tan. В большинстве компиляторов межпроцедурное совместное использование этапов такого рода не осуществляется, поскольку для них потребовалось бы слишком много времени на рассмотрение всех возможных совместно используемых планов. Вместо этого в большинстве компиляторов каждый субплан вырабатывается независимо и только после этого, возможно, происходит модификация результата с помощью локального оптимизатора.
Если учесть все эти дополнительные сложности, вызванные введением декомпозиций действий, можно ли рассчитывать на то, что планирование HTN окажется эффективным? Фактические причины сложностей трудно проанализировать на практике, поэтому рассмотрим идеализированный случай. Предположим, например, что необходимо составить план с п действиями. Для неиерархического планировщика с прямым поиском в пространстве состояний при наличии b допустимых действий в каждом состоянии затраты составят О(ЬП). А применительно к планировщику HTN предположим, что структура декомпозиции является регулярной: каждое непримитивное действие имеет d возможных декомпозиций, каждая из которых сводится к к действиям на следующем, более низком уровне. Необходимо определить, сколько разных деревьев декомпозиции существует в этой структуре. Итак, если имеется п действий на примитивном уровне, то количество уровней ниже корня равно logkn, поэтому количество внутренних узлов декомпозиции определяется выражением ln-k*^*...*^0^11"^ (п-1) / (7с-1). Каждый внутренний узел имеет d возможных декомпозиций, поэтому существует возможных регулярных деревьев декомпозиции, которые могут быть сформированы. Исследуя эту формулу, можно определить, что уменьшение значения d и увеличение значения к позволяет получить огромную экономию: по сути затраты измеряются корнем k-й степени от
стоимости неиерархического решения, если значения b и d являются сопоставимыми. С другой стороны, составление библиотеки планов, которая включает небольшое количество длинных декомпозиций, но тем не менее позволяет решить любую задачу, не всегда возможно. В другой формулировке эту мысль можно выразить так, что длинные декомпозиционные макроподстановки, применимые для решения широкого ряда задач, являются чрезвычайно ценными.
Еще одной и, возможно, более важной причиной, позволяющей убедиться в том, что планирование HTN эффективно, является то, что эти методы хорошо зарекомендовали себя на практике. Почти все планировщики для крупномасштабных приложений являются планировщиками HTN, поскольку планирование HTN позволяет людям-экспертам применять свои крайне важные знания о том, как следует выполнять сложные задания, чтобы можно было формировать большие планы с малыми вычислительными издержками. Например, система О-Р1ап [93], в которой планирование HTN сочетается с составлением расписаний, использовалась для разработки производственных планов в компании Hitachi. При этом типичная задача охватывала производственную линию с 350 различными изделиями, 35 сборочными агрегатами и с более чем 2000 различных операций. Планировщик О-Plan вырабатывает тридцатисуточные расписания с тремя восьмичасовыми сменами в сутки, включающие миллионы операций.
Таким образом, ключом к планированию HTN является составление библиотеки планов, в которой зашифрованы известные методы осуществления сложных, высокоуровневых действий. Одним из способов составления такой библиотеки является изучение требуемых методов на опыте решения задач. Накопив тяжелым трудом опыт планирования в ходе разработки какого-то плана с нуля, агент может сохранить этот план в библиотеке как метод осуществления высокоуровневого действия, определяемого данным конкретным заданием. Таким образом, агент может становиться со временем все более и более компетентным по мере того, как будет находить новые методы на основе старых. Одной из важных характеристик такого процесса обучения является способность обобщать созданные методы, устраняя детали, характерные для данного экземпляра задачи (например, в задаче строительства дома таковыми являются имя подрядчика или адрес земельного участка), и сохраняя в плане только ключевую информацию. Методы осуществления такого рода обобщения описаны в главе 19. Авторы не могут себе даже представить, что человечество смогло бы достичь современного уровня компетентности без какого-то подобного механизма.
Планирование и осуществление действий
В НЕДЕТЕРМИНИРОВАННЫХ ПРОБЛЕМНЫХ ОБЛАСТЯХ
До сих пор в этой главе рассматривались только проблемные области классического планирования, которые являются полностью наблюдаемыми, статическими и детерминированными. Кроме того, предполагалось, что описания действий являются правильными и полными. В таких обстоятельствах любой агент получает возможность вначале составлять план, а затем выполнять этот план буквально “с закрытыми глазами”. С другой стороны, в неопределенной среде агент должен использовать результаты своих восприятий для обнаружения того, что происходит в процессе вы-
полнения плана, а также, возможно, модифицировать или заменять этот план, если случается что-то непредвиденное.
Агентам приходится также иметь дело и с неполной, и с неправильной информацией. Неполнота возникает из-за того, что мир является частично наблюдаемым, или недетерминированным, или обладающим и тем и другим свойством. Например, дверца шкафа с канцелярскими принадлежностями может быть либо закрыта, либо не закрыта на замок; один из моих ключей может открыть или не открыть дверцу, если она на замке, а я могу знать или не знать, в чем имеющаяся у меня информация об этой ситуации является неполной. Поэтому моя модель мира является слабой, но правильной. С другой стороны, неправильность часто возникает, поскольку мир не всегда соответствует моей модели мира; например, я могу быть уверенным в том, что мой ключ откроет шкаф с канцелярскими принадлежностями, но окажусь неправ, если в нем сменили замок. Не обладая способностью справляться с неправильной информацией, агент становится таким же неинтеллектуальным, как и навозный жук (с. 81), который пытается заткнуть свою норку несуществующим шариком навоза даже после того, как шарик вынули из его лапок.
Возможность получения полной или правильной информации зависит от того, какой степенью недетерминированности характеризуется мир. При ^ ограниченной недетерминированности действия могут иметь непредсказуемые результаты, но все возможные результаты можно перечислить в аксиомах описания действия. Например, при подбрасывании монеты вполне резонно считать, что результатом будет Heads (Орел) или Tails (Решка). Агент получает способность справляться с ограниченной недетерминированностью, составляя планы, применимые во всех возможных обстоятельствах. При М неограниченной недетерминированности, с другой стороны, множество возможных предусловий или результатов либо неизвестно, либо слишком велико для того, чтобы в нем можно было выполнить полный поиск. Такие ситуации могут возникать в случае очень сложных или динамичных проблемных областей, таких как вождение автомобиля, экономическое планирование и разработка военной стратегии. Агенту удастся справиться с неограниченной недетерминированностью, только если он способен пересматривать свои планы и/или свою базу знаний. Неограниченная недетерминированность тесно связана с проблемой спецификации (qualification problem), описанной в главе 10, — с проблемой, определяемой невозможностью перечислить все предусловия, требуемые для того, чтобы какое-то действие в реальном мире имело свой намеченный результат.
Существуют четыре описанных ниже метода планирования для осуществления действий в условиях недетерминированности. Первые два из них применимы для ограниченной недетерминированности, а последние два — для неограниченной недетерминированности.
М Планирование без использования датчиков. Этот метод, называемый также совместимым планированием, предусматривает создание стандартных, последовательных планов, которые должны выполняться без учета результатов восприятия. Алгоритм планирования без использования датчиков должен обеспечивать, чтобы цель достигалась в плане при всех возможных обстоятельствах, независимо от истинного начального состояния и фактических результатов действий. Планирование без использования датчиков основано на идее принуждения, согласно которой мир может быть принудительно переве-
ден в данное конкретное состояние, даже если агент обладает лишь частичной информацией о текущем состоянии. Принуждение не всегда возможно, поэтому планирование без использования датчиков часто является неприменимым. Методы решения задач без использования датчиков, предусматривающие поиск в пространстве доверительных состояний, были описаны в главе 3.
М Условное планирование. В этом подходе, называемом также планированием с учетом непредвиденных ситуаций, действия в условиях ограниченной недетерминированности осуществляются путем создания условного плана с различными ответвлениями для самых разных непредвиденных ситуаций, какие только могут возникнуть. Так же как и в классическом планировании, агент вначале составляет план, а затем выполняет подготовленный план. Агент определяет, какая часть плана должна быть выполнена, включив в план М действия по восприятию для проверки соответствующих условий. Например, в проблемной области воздушных перевозок могут быть предусмотрены планы, в которых указано “проверить, работает ли аэропорт SFO (Сан- Франциско); в случае положительного ответа полететь в этот аэропорт, в противном случае полететь в Окленд”. Условное планирование рассматривается в разделе 12.4.
М Контроль выполнения и перепланирование. При этом подходе агент может использовать любой из описанных выше методов планирования (классический, без использования датчиков или условный) для формирования плана, но использует также контроль выполнения для оценки того, предусмотрена ли в плане фактически сложившаяся текущая ситуация, или план должен быть пересмотрен. Перепланирование осуществляется, если что-то происходит не так, как надо. Благодаря этому агент приобретает способность справляться с неограниченной недетерминированностью. Например, даже если агент, способный к перепланированию, не предвидел возможность закрытия аэропорта SFO, то может обнаружить эту ситуацию после ее возникновения и снова вызвать планировщик для поиска нового пути к цели. Перепла- нирующие агенты рассматриваются в разделе 12.5.
^ Непрерывное планирование. Все планировщики, рассматривавшиеся до сих пор, спроектированы так, что они достигают цели, а затем останавливаются, а непрерывный планировщик предназначен для того, чтобы заниматься планированием в течение всего срока своего существования. Он способен справляться с непредвиденными ситуациями в своей среде, даже если они возникают в ходе того, как агент занимается составлением плана. Он способен также обеспечить отказ от целей и создание дополнительных целей с помощью формулировки цели. Непрерывное планирование описано в разделе 12.6.
Рассмотрим один пример, позволяющий выяснить различия между агентами разных типов. Задача состоит в следующем: дано начальное состояние, в котором имеются стул, стол и несколько банок с краской, притом что все они имеют неизвестный цвет; достичь состояния, в котором стул и стол имеют одинаковый цвет.
Классический планирующий агент не может справиться с этой задачей, поскольку начальное состояние задано не полностью, — мы не знаем, какой цвет имеет мебель.
Агент, осуществляющий планирование без использования датчиков, должен найти план, который работает, не требуя применения каких-либо датчиков во время его
выполнения. Решение состоит в том, чтобы открыть любую банку с краской и нанести эту краску и на стул, и на стол, тем самым принудительно переведя их в такое состояние, в котором они имеют одинаковый цвет (даже несмотря на то, что агент так и не узнает, каким стал этот цвет). Принуждение является наиболее приемлемым, если обработка высказываний требует больших затрат или не существует возможности обеспечить восприятие. Например, врачи часто предписывают антибиотик с широким спектром действия, а не используют условный план, согласно которому нужно выполнить анализ крови, затем дождаться получения результатов и только после этого выписать более специализированный антибиотик. Они принимают такое решение потому, что задержки и затраты, связанные с выполнением анализа крови, обычно слишком велики.
Агент, занимающийся условным планированием, может создать лучший план. Он вначале определяет цвет стола и стула; если этот цвет является одинаковым, то план выполнен. В противном случае агент просматривает надписи на банках с краской; если имеется банка с краской такого же цвета, как и у одного из предметов мебели, то агент наносит эту краску и на другой предмет. Если же оба эти предположения оказываются недействительными, агент окрашивает и стол, и стул произвольно выбранной краской.
Перепланирующий агент может выработать тот же план, что и условный планировщик, или вначале предусмотреть меньше ответвлений и по мере необходимости заполнять остальные фрагменты плана в ходе его выполнения. Он также способен справляться с неточностями в описании его действий. Например, предположим, что действие Paint (objf color) рассматривается как имеющее детерминированный результат Color(obj, color). Условный планировщик будет просто считать, что желаемый результат достигнут непосредственно после выполнения действия, а перепланирующий агент способен проверить результат, и если он не был истинным (возможно, потому, что агент допустил небрежность и не прокрасил полностью какой-то участок), то имеет возможность затем перепланировать свои действия, чтобы снова покрасить дефектный участок. Мы вернемся к данному примеру на с. 596.
Непрерывно планирующий агент, кроме учета непредвиденных событий, способен пересматривать свои планы должным образом, если, допустим, мы внесем дополнительную цель, чтобы сегодняшний обед прошел еще за этим столом, поэтому нужно будет отложить выполнение плана окрашивания.
В реальном мире в агентах применяется сочетание нескольких подходов. Производители автомобилей продают запасные колеса и надувные подушки безопасности, которые представляют собой физические воплощения ответвлений условного плана, позволяющих справляться с такими ситуациями, как проколы колес или аварии; с другой стороны, большинство водителей автомобилей никогда не учитывают такие возможности, поэтому отвечают на проколы и аварии как перепланирующие агенты. Как правило, агенты создают условные планы только для таких непредвиденных ситуаций, которые имеют важные последствия, а шансами на то, что дела пойдут не лучшим образом, нельзя пренебречь. Таким образом, водителю автомобиля, предпринимающему поездку через пустыню Сахара, придется явно учесть возможность поломок в пути, тогда как поездка в соседний супермаркет требует гораздо меньшего заблаговременного планирования.
Агенты, описанные в этой главе, предназначены для осуществления действий в условиях недетерминированности, но не обладают способностью учитывать ком-
промиссы между вероятностью успеха и стоимостью составления плана. В главе 16 рассматриваются дополнительные инструментальные средства, позволяющие справляться с этими проблемами.
Условное планирование
Условное планирование представляет собой один из способов учета неопределенности путем проверки того, что фактически происходит в среде при выполнении заранее заданных пунктов плана. Условное планирование можно проще всего объяснить на примере полностью наблюдаемых вариантов среды, поэтому начнем его описание с такого случая. Случай с частично наблюдаемой средой является более сложным, но и более интересным.
Условное планирование в полностью наблюдаемых вариантах среды
Полная наблюдаемость означает, что агент всегда знает текущее состояние. Но если среда является недетерминированной, то агент не будет способен предвидеть результат своих действий. Агент, занимающийся условным планированием, преодолевает такую недетерминированность, встраивая в свой план (на этапе планирования) условные этапы, в которых проверяется состояние среды (на этапе выполнения), для определения того, что делать дальше. Поэтому проблема состоит в том, как создавать такие условные планы.
Мы будем использовать в качестве примера проблемной области почтенный мир пылесоса, пространство состояний которого для данного детерминированного случая описано на с. 117. Напомним, что доступными действиями являются Left, Right и Suck. Нам потребуются определенные высказывания для описания этих состояний. Допустим, что предикат AtL (AtR) будет истинным, если агент находится в левом (правом) квадрате, а предикат CleanL (CleanR) истинен, если левый (правый) квадрат чист. Прежде всего необходимо дополнить язык Strips для того, чтобы он позволял учитывать недетерминированность. Для этого предусмотрено, чтобы действия имели М дизъюнктивные результаты, а это означает, что действие может иметь два или несколько различных результатов при каждом его выполнении. Например, допустим, что действие по перемещению Left (Влево) иногда оканчивается неудачей. В таком случае следующее обычное описание действия:
Action (Left, Precond: AtR, Effect: AtL A —AtR)
должно быть модифицировано так, чтобы в него был включен следующий дизъюнктивный результат:
Action (Left,Precond: AtR,Effect: AtL v AtR) (12.1)
Авторы сочли также целесообразным, чтобы действия имели М условные результаты, когда результат действия зависит от состояния, в котором оно выполняется. Условные результаты присутствуют в слоте Effect действия и имеют синтаксис
“when <condi tion>: <effect>”. Например, чтобы промоделировать действие Suck, необходимо записать следующее:
Action(Suck,Precond:,Effect: (when AtL: CleanL) a (when AtR: CleanR)})
Условные результаты не вносят недетерминированность, но позволяют ее моделировать. Например, предположим, что в нашем распоряжении имеется не совсем исправный пылесос, который иногда оставляет мусор в квадрате назначения в процессе своего передвижения, но только если этот квадрат чист. Такую ситуацию можно промоделировать с помощью следующего описания, которое одновременно является и дизъюнктивным, и условным:
Action (Left, Precond: AtR, Effect: AtL v (AtL a when CleanL: —CleanL) )
Для создания условных планов требуются ^ условные этапы. Мы будем записывать их с использованием синтаксиса “if <test> then plank else plапв”, где <test> — булева функция переменных состояния. Например, условным этапом для мира пылесоса может быть следующий: “if AtL д CleanL then Right else Suck”. Выполнение такого этапа осуществляется очевидным способом. В результате вложения условных этапов линейные планы превращаются в древовидные.
Нам требуются условные планы, которые работают невзирая на то, какие результаты действий фактически будут получены. Такая проблема уже встречалась раньше в данной книге, но немного в другом виде. В играх с двумя игроками (см. главу 6) была поставлена задача найти ходы, которые приводят к выигрышу независимо от того, какие ходы делает противник. По этой причине задачи недетерминированного планирования часто называют М играми против природы.
Рассмотрим конкретный пример из мира пылесоса. В начальном состоянии робот-агент находится в правом квадрате мира, в котором нет мусора; поскольку среда полностью наблюдаема, агент знает полное описание состояния, AtR а CleanL л CleanR. В целевом состоянии робот должен находиться в левом квадрате мира, в котором нет мусора. Такая задача была бы совершенно тривиальной, если бы пылесос не подчинялся “двойному закону Мэрфи” и не оставлял иногда мусор при его перемещении в чистый квадрат назначения, а иногда — при выполнении действия Suck в чистом квадрате.
“Дерево игры” для этой среды показано на рис. 12.6. Действия выполняются роботом в узлах “состояния” этого дерева, а природа решает, каким должен быть результат в узлах “жеребьевки”, обозначенных кружками. Решением является поддерево, в котором, во-первых, рядом с каждым листовым узлом имеется целевой узел, во-вторых, задается одно действие в каждом из узлов “состояния” и, в третьих, включена каждая ветвь результата в каждом из узлов “жеребьевки”. Решение на этом рисунке показано жирными линиями; оно соответствует плану [Left, if AtL а CleanL л CleanR then [] else Suck]. (На данное время, поскольку исполь-
зуется планировщик в пространстве состояний, проверки в условных этапах приводят к получению полных описаний состояния.)
Рис. 12.6. Первые два уровня дерева поиска для мира пылесоса с “двойным законом Мэрфи”. Узлами состояния являются узлы OR, в которых должно быть выбрано некоторое действие. Узлы жеребьевки, показанные в виде кружков, являются узлами AND, для которых требуется учитывать все результаты, как показывает кривая линия, соединяющая исходящие ветви. Решение показано жирными линиями
Для получения точных решений в играх используется алгоритм минимакса (см. листинг 6.1), а для условного планирования обычно применяются две его модификации. Во-первых, узлы МАХ и MIN могут быть преобразованы в узлы OR и AND. Интуитивно кажется очевидным, что в плане требуется предпринимать некоторые действия в каждом достигнутом в нем состоянии, но должны учитываться все результаты предпринятого действия. Во-вторых, алгоритм должен возвращать условный план, а не просто отдельный ход. В узле OR план состоит в выборе действия, за которым следует то, что должно произойти. А в узле AND план представляет собой вложенный ряд этапов “if-then-else” с определением субпланов для каждого результата; проверки в этих этапах возвращают полные описания состояния.
Формально говоря, определенное нами пространство поиска представляет собой граф AND-OR. В главе 7 графы AND—OR рассматривались в контексте пропозиционального вывода на основе хорновских выражений, а в этой главе ветвями являются действия, а не этапы логического вывода, но алгоритм остается тем же самым. В листинге 12.4 приведен рекурсивный алгоритм поиска в глубину, предназначенный для поиска в графе AND—OR.
Одной из ключевых особенностей этого алгоритма является тот способ, с помощью которого он справляется с циклами, часто возникающими в задачах недетерминированного планирования (например, если какое-то действие иногда не имеет
результата или если может быть исправлен нежелательный результат). Если текущее состояние идентично одному из состояний в пути от корня, то алгоритм выполняет возврат с индикатором неудачи. Это не означает, что нет решения, достижимого из текущего состояния; просто такая ситуация свидетельствует о том, что если есть нециклическое решение, оно должно быть достижимым из более раннего воплощения текущего состояния, поэтому его новое воплощение может быть отброшено. С помощью этой проверки можно гарантировать, что алгоритм завершит свою работу в любом конечном пространстве состояний, поскольку каждый путь должен достигнуть цели, тупика или повторяющегося состояния. Обратите внимание на то, что в алгоритме не осуществляется проверка, не является ли текущее состояние повторением какого-то состояния в каком-то другом пути от корня; этот вопрос исследуется в упр. 12.15.
Листинг 12.4. Алгоритм поиска в графах AND-OR, сформированных в условиях недетерминированных вариантов среды. Предполагается, что функция Successors возвращает список действий, каждое из которых связано с множеством возможных результатов. Задача состоит в том, чтобы найти условный план, который достигает целевого состояния во всех обстоятельствах
function And-Or-Graph-Search(problem) returns условный план или индикатор неудачи failure
Or-Search(Initial-State[problem], problem, [])
function Or-Search(state, problem, path) returns условный план или индикатор неудачи failure
if Goal-Test[problem](state) then return пустой план if состояние state входит в состав path then return failure for each action, state_set in Successors[problem] (state) do plan <— And-Search(state_set, problem, [state\path]) if plan Ф failure then return [action|plan] return failure
function And-Search(state_set, problem, path) returns условный план или индикатор неудачи failure
for each Si in state_set do
plans. <— Or-Search (Si, problem, path) if plan = failure then return failure
return [if si then plant else if s2 then plan2 else ...
if sn-i then plann-i else plann]
В недетерминированных проблемных областях часто возникает еще одна, последняя сложность: не всегда удается выполнить текущую операцию с первого раза, поэтому приходится предпринимать еще одну попытку. Например, рассмотрим пылесос в мире с “тройным законом Мэрфи”, который (кроме ранее указанных его недостатков) иногда отказывается переходить туда, куда требует переданная ему команда, например, действие Left может иметь дизъюнктивный результат AtL v AtR, как в уравнении 12.1. Теперь уже нельзя гарантировать, что план [Left, if CleanL then [] else Suck] будет работать. Часть нового графа поиска показана на рис. 12.7 ; очевидно, что больше нет каких-либо нециклических решений и алгоритм And-Or-Graph-Search выполняет возврат с индикатором неудачи. Тем не менее существует М циклическое решение, которое заключается в том, что нужно продолжать попытки выполнять действие Left до тех пор, пока одна из попыток не достигнет успеха. Это решение можно выразить, введя М метку для обозначения некоторой части плана и используя эту метку позднее, вместо повторения самого плана. Таким образом, соответствующее циклическое решение может выглядеть таким образом:
[Li: Left, if AtR then Li else if CleanL then [] else SucM
Puc. 12.7. Первый уровень графа поиска для мира пылесоса, подчиняющегося “тройному закону Мэрфи ”, где циклы показаны явно. Все решения для данной задачи представляют собой циклические планы
(Более удобный синтаксис для циклической части этого плана мог бы предусматривать применение конструкции “while AtR do Left”.) Изменения, необходимые для внесения в алгоритм And-Or-Graph-Search, рассматриваются в упр. 12.16. Из этого следует основной вывод, что цикл в пространстве состояний, ведущий в состояние L, преобразуется в цикл в плане, ведущий в ту точку, где выполнялся субплан для состояния L.
Теперь мы получили возможность синтезировать сложные планы, которые во многом выглядят как программы, с условными выражениями и циклами. К сожалению, эти циклы, в принципе, могут стать бесконечными. Например, в представлении действия для мира с “тройным законом Мэрфи” ничего не сказано, что действие Left в конечном итоге закончится успешно. Поэтому циклические планы не столь желательны, как ациклические, но вполне могут рассматриваться как решения, при условии, что каждый листовой узел представляет собой целевое состояние и любой листовой узел достижим из каждой точки в плане.
Условное планирование в частично наблюдаемых вариантах среды
В предыдущем разделе рассматривались полностью наблюдаемые варианты среды, преимущество которых состоит с том, что во время условных проверок можно задавать любые вопросы и быть уверенным в том, что будет получен ответ. Но в реальном мире гораздо чаще встречается частичная наблюдаемость. В начальном состоянии частично наблюдаемой задачи планирования агент обладает лишь некоторым объемом знаний о действительном состоянии. Простейший способ промоделировать такую ситуацию состоит в том, чтобы принять предположение, что начальное состояние принадлежит к множеству состояний; множество состояний представляет собой способ описания начальногодоверительного состояния агента.
Предположим следующее: агенту в мире пылесоса известно, что он находится в правом квадрате и что этот квадрат чист, но он не может определить с помощью датчиков наличие или отсутствие мусора в других квадратах. В таком случае, насколько известно агенту, он может находиться в одном из двух состояний: левый квадрат может быть либо чистым, либо грязным. Это доверительное состояние обозначено на рис. 12.8 буквой А. На этом рисунке показана часть графа AND-OR для мира пылесоса с “альтернативным двойным законом Мэрфи”, в котором мусор может иногда оставаться сзади, после того как агент покидает чистый квадрат. Если бы этот мир был полностью наблюдаемым, то агент имел бы возможность сформировать циклическое решение в такой форме: “Продолжать двигаться влево и вправо, всасывая мусор везде, где он появляется, до тех пор, пока оба квадрата не станут чистыми, а я не буду находиться в левом квадрате” (см. упр. 12.16). К сожалению, при использовании лишь локального датчика грязи этот план является невыполнимым, поскольку невозможно определить истинностное значение проверки “оба квадрата стали чистыми”.
Рассмотрим, как формируется граф AND-OR. Из доверительного состояния А мы показываем результат перемещения с помощью действия Left (другие действия не имеют смысла). Поскольку агент может оставить за собой мусор, эти два возможных начальных состояния мира становятся четырьмя возможными состояниями, как показано в прямоугольниках в и С. Эти состояния формируют два различных доверительных состояния, которые классифицируются по доступной информации датчика. В доверительном состоянии в агент имеет информацию CleanL, а в доверительном состоянии С— информацию -ЧЛеапЬ. В результате уборки мусора в состоянии С агент переходит в состояние в. После перехода с помощью действия Right из состояния в агент может оставить или не оставить за собой мусор, поэтому снова возникают четыре возможные состояния мира, которые подразделяются в соответствии со знаниями агента о том, является ли правый квадрат чистым, CleanR (возврат в состояние А), или грязным, -^CleanR (переход в доверительное состояние D\
Рис. 12.8. Часть графа AND—OR для мира пылесоса с “альтернативным двойным законом Мэрфи”, в котором грязь иногда может оставаться сзади, после того как агент покидает чистый квадрат. Агент не может получать с помощью датчиков информацию о наличии грязи в других квадратах
Подводя итог, можно отметить, что недетерминированные частично наблюдаемые варианты среды приводят к получению графа AND—OR доверительных состояний. Поэтому для поиска условных планов может применяться точно такой же алгоритм, как и в случае полностью наблюдаемой среды, а именно And-Or-Graph- Search. Еще один способ понять, что происходит, состоит в следующем: необходимо отметить, что доверительное состояние агента всегда является полностью наблюдаемым, т.е. агент всегда знает о том, что он знает. Решение “стандартной” задачи в полностью наблюдаемой среде представляет собой частный случай, в котором каждое доверительное состояние является одноэлементным множеством, содержащим одно и только одно физическое состояние.
Можем ли мы на этом завершить описание данной темы? Не совсем! Еще необходимо определить, как должны быть представлены доверительные состояния, как работают средства сбора информации (датчики) и как в этой новой постановке задачи должны записываться описания действий.
Для описания доверительных состояний могут применяться три описанных ниже основных варианта.
Множества полных описаний состояния. Например, начальное доверительное состояние на рис. 12.8 может быть описано следующим образом:
{ (.AtR л CleanR л CleanL) , (AtR л CleanR л —iCleanL) }
Это представление является простым в использовании, но очень дорогостоящим: если имеется п булевых высказываний, определяющих состояние, то доверительное состояние может содержать О(2П) описаний физических состояний, каждый из которых имеет размер О(п). А если агент знает только небольшую часть этих высказываний, то могут возникать экспоненциально большие доверительные состояния, поскольку, чем меньше знает агент, тем больше количество возможных состояний, в которых он может находиться.
Логические высказывания, которые точно представляют множество возможных миров в доверительном состоянии. Например, определение начального состояния можно записать следующим образом:
AtR л CleanR
Очевидно, что каждое доверительное состояние можно представить с помощью одного и только одного логического высказывания; в случае необходимости можно было бы использовать дизъюнкцию всех конъюнктивных описаний состояния, но рассматриваемый пример показывает, что могут существовать более компактные высказывания.
Один из недостатков общих логических высказываний состоит в том, что может существовать много различных, логически эквивалентных высказываний, которые описывают одно и то же доверительное состояние, поэтому проверка повторяющихся состояний в алгоритме поиска в графе может потребовать применения средств общего доказательства теорем. По этой причине желательно было бы использовать для высказываний каноническое представление, в котором каждое доверительное состояние соответствует одному и только одному высказыванию. В одном из таких представлений используется конъюнкция литералов, упорядоченных по именам термов; в качестве примера можно привести AtR л CleanR. Такое представление можно рассматривать как стандартное представление состояния с учетом предположения об открытом мире, описанного в главе 11. Не все логические высказывания могут быть записаны в указанной форме (например, не существует способа представления высказывания AtL v CleanR), но такой метод представления доверительных состояний может применяться во многих проблемных областях.
Высказывания с оценкой знаний, описывающие знания агента (см. также раздел 7.7). Для данного начального состояния такое высказывание имеет следующий вид:
K(AtR) л K(CleanR^
где К обозначает “знает, что”, а к (Р) указывает, что агент знает об истинности высказывания р. В сочетании с высказываниями с оценкой знаний используется предположение о замкнутом мире — если высказывания с оценкой знаний нет в списке, оно рассматривается как ложное. Например, в приведенном выше высказывании неявно присутствуют термы -\KACleanLl и -iKHCleanL), поэтому оно представляет тот факт, что агент не знает истинностного значения терма CleanL.
Как оказалось, второй и третий из описанных выше вариантов являются приблизительно эквивалентными, но мы будем использовать третий вариант — высказывания с оценкой знаний, поскольку они позволяют получить более реалистичное описание процесса получения информации с помощью датчиков и поскольку нам уже известно, как составлять описания Strips при использовании предположения о замкнутом мире.
В обоих вариантах каждый пропозициональный символ может быть представлен в одном из трех видов: положительный, отрицательный или неизвестный. Поэтому существует точно Зп возможных доверительных состояний, которые могут быть описаны таким образом. С другой стороны, множество доверительных состояний представляет собой показательное множество (множество всех подмножеств) множества физических состояний. Количество физических состояний равно 2П, поэтому количество доверительных состояний равно 22 , что намного превышает Зп; это означает, что варианты 2 и 3 являются чрезвычайно ограниченными с точки зрения представления доверительных состояний. В настоящее время такая ситуация считается неизбежной, поскольку любая схема, способная представить любое возможное доверительное состояние, в наихудшем случае для представления каждого из них потребует О(1од222 ) ) = О(2П) битов. Наши простые схемы требуют только О(п) битов для представления каждого доверительного состояния, поэтому позволяют достичь компромисса, в котором выразительность принесена в жертву компактности. В частности, если происходит некоторое действие, одно из предусловий которого неизвестно, то результирующее доверительное состояние не будет точно представимым и результат действия также станет неизвестным.
Теперь необходимо решить, как должны действовать средства сбора информации с помощью датчиков. В данном случае имеются два варианта. Можно применить М автоматический сбор информации с помощью датчиков, который означает, что на каждом временном этапе агент получает все доступные данные восприятия. В примере, приведенном на рис. 12.8, предполагается, что с помощью датчиков происходит автоматический сбор информации о местонахождении агента и наличии мусора в локальном квадрате. Еще один вариант состоит в том, что можно настаивать на использовании средств активного сбора информации с помощью датчиков, а это означает, что данные восприятия приобретаются только в результате выполнения конкретных М действий по сбору информации с помощью датчиков, таких как
CheckDirt и CheckLocation. Мы будем по очереди рассматривать каждый метод сбора информации с помощью датчиков.
Теперь сформулируем одно из описаний действия с использованием высказываний о знаниях. Предположим, что агент в мире “альтернативного двойного закона Мэрфи” перемещается с помощью действия Left, применяя автоматические средства сбора информации о наличии мусора в локальном квадрате; согласно правилам для этого мира, агент может оставить или не оставить за собой мусор, если квадрат был чистым. Этот результат, рассматриваемый как изменение физического состояния, должен быть дизъюнктивным, но если он рассматривается как результат изменения знаний, то просто сводится к тому, что у агента удаляются знания об истинности терма CleanR. Агент должен также знать, является ли истинным терм CleanL, получив эти знания тем или иным способом, поскольку для сбора информации о наличии мусора в локальном квадрате предусмотрены датчики; кроме того, агент знает, что он находится в квадрате AtL. Вся эта информация записывается следующим образом:
Action (Left, Precond: AtR
Effect: K(AtL) a —iK(AtR) a when CleanR: —iK(CleanR) a.
when CleanL: К(CleanL) a
when —CleanL: К (-^CleanL))(12.2)
Обратите внимание на то, что предусловия и условия when представляют собой простые высказывания, а не высказывания с оценкой знаний. Так и должно быть, поскольку результаты действий зависят от фактического состояния мира, но как мы могли бы проверить истинность этих условий, если все, что мы знаем, представляет собой доверительное состояние? Если агент знает истинность высказывания, например, К (AtR) в текущем доверительном состоянии, то это высказывание должно быть истинным в текущем физическом состоянии и, безусловно, соответствующее действие является применимым. Если же агент не знает истинность какого-то высказывания (например, условия CleanL конструкции when), то данное доверительное состояние должно включать миры, в которых терм CleanL является истинным, и миры, в которых Cl eanL является ложным. Именно поэтому в результате данного действия возникает множество доверительных состояний. Таким образом, если начальным состоянием является (K(AtR) а К( CleanR) ), то после движения Left двумя результирующими доверительными состояниями становятся (K(AtL) a K(CleanL)) и (X(AtL) a К(—CleanL) ). В обоих случаях истинностное значение терма CleanL известно, поэтому в плане может использоваться проверка терма CleanL.
При использовании активных средств сбора информации с помощью датчиков (в отличие от автоматических средств сбора информации с помощью датчиков) агент получает новые данные восприятия только после выдачи запроса на их получение. Таким образом, после перемещения с помощью действия Left агент не знает, является ли левый квадрат грязным, поэтому два последних условных результата больше не появляются в описании действия в уравнении 12.2. Чтобы узнать, есть ли в квадрате мусор, агент может выполнить действие CheckDirt следующим образом:
Action (CheckDirt, Effect: when AtL a CleanL: К(CleanL) a
when AtL a -CleanL: К(—CleanL) a
when AtR a CleanR: К(CleanR) a
when AtR a —CleanR: К(—CleanR))(12.3)
Можно легко показать, что выполнение действия Left, за которым следует действие CheckDirt, при организации работы с помощью активных средств сбора информации приводит к получению тех же двух доверительных состояний, к которым приводило действие Left при использовании организации работы с помощью средств автоматического сбора информации. При активном сборе информации всегда имеет место то, что физические действия отображают доверительное состояние в единственное доверительное состояние-преемник. Многочисленные доверительные состояния могут быть введены только с помощью действий по сбору информации датчиками, которые позволяют получить конкретные знания и поэтому дают возможность использовать в планах условные проверки.
Выше был описан общий подход к условному планированию на основе поиска в пространстве состояний AND-OR. Такой подход зарекомендовал себя как чрезвычайно эффективный применительно к некоторым контрольным задачам, но другие задачи оказались трудноразрешимыми. Теоретически можно доказать, что условное планирование принадлежит к более трудному классу сложности, чем классическое планирование. Напомним, что определение класса задач NP состоит в том, что потенциальное решение может быть проверено для определения того, действительно ли оно является решением, за полиномиальное время. Это определение относится к классическим планам (по крайней мере, к планам, имеющим полиномиальные размеры), поэтому задача классического планирования относится к числу NP- трудных. Но в условном планировании потенциальное решение должно быть проверено для определения того, что для всех возможных состояний существует некоторый путь через план, позволяющий достичь цели. Проверка такой комбинации “все/некоторые” не может быть выполнена за полиномиальное время, поэтому условное планирование труднее, чем NP. Единственный способ выхода из этой ситуации состоит в том, чтобы игнорировать некоторые из возможных непредвиденных ситуаций, которые могут рассматриваться на этапе планирования, и реагировать на них, только когда они действительно возникают. Именно этот подход рассматривается в следующем разделе.
Контроль выполнения и перепланирование
Агент, контролирующий выполнение, проверяет свои восприятия для определения того, все ли идет в соответствии с планом. Закон Мэрфи говорит нам о том, что даже самые тщательно продуманные планы, которые составляют мыши, люди и агенты, занимающиеся условным планированием, часто оканчиваются неудачей. Проблема заключается в неограниченной недетерминированности — всегда могут возникнуть непредвиденные обстоятельства, для которых описания действий, подготовленные агентом, будут неправильными. Поэтому в реальных вариантах среды всегда требуется контроль выполнения. Мы будем рассматривать два способа организации контроля выполнения: простую, но слабую форму, называемую контролем действий, в которой агент проверяет среду для определения того, что следующее действие окажется применимым, и более сложную, но и более эффективную форму, называемую контролем плана, в которой агент проверяет весь оставшийся план.
Перепланирующий агент знает, что делать, когда происходит что-то непредвиденное: снова вызвать планировщик, чтобы он предложил ему новый план достижения
цели. Для предотвращения использования слишком больших затрат времени на планирование такая операция обычно осуществляется в виде попытки исправить старый план — найти способ перехода из текущего непредвиденного состояния обратно в одно из тех состояний, которые были предусмотрены в плане.
В качестве примера еще раз рассмотрим мир пылесоса с “двойным законом Мэрфи”, показанный на рис. 12.6. В этом мире перемещение в чистый квадрат иногда приводит к тому, что в этом квадрате откладывается мусор, но что если агент не будет знать или задумываться об этом? Такой подход позволяет предложить очень простое решение: [Left]. Если мусор не был оставлен после прибытия агента в квадрат во время фактического выполнения плана, то агент обнаружит, что цель достигнута. В противном случае, поскольку предусловие CleanL неявного шага Finish не выполнено, агент выработает новый план: [Suck]. Выполнение этого плана всегда приводит к успеху.
Контроль выполнения и перепланирование, вместе взятые, образуют общую стратегию, которая может применяться и в полностью наблюдаемых, и в частично наблюдаемых вариантах среды, а также может распространяться на самые различные представления, применяемые в планировании, включая планы в пространстве состояний, планы с частичным упорядочением и условные планы. Один из простых подходов к планированию в пространстве состояний показан в листинге 12.5. Планирующий агент начинает с цели и создает начальный план ее достижения. Затем агент приступает к последовательному выполнению действий. А перепланирующий агент, в отличие от других рассматриваемых нами планирующих агентов, следит за выполнением как оставшегося невыполненного сегмента плана plan, так и полного первоначального плана whole_plan. В нем используется ^контроль действий: прежде чем выполнить следующее действие плана plan, агент проверяет свои результаты восприятия для определения того, не оказались ли вдруг невыполненными какие-либо предусловия плана. Если они действительно являются таковыми, то агент пытается снова попасть в колею, перепланируя последовательность действий, которые должны помочь ему вернуться в некоторый пункт плана whole_plan.
Листинг 12.5. Алгоритм агента, который занимается контролем действий и перепланированием. В нем в качестве процедуры используется полный алгоритм планирования в пространстве состояний, называемый Planner. Если предусловия следующего действия не выполняются, агент проходит по циклу через возможные пункты р в плане whole_plan, пытаясь найти такой из них, путь к которому может быть запланирован с помощью алгоритма Planner. Этот путь называется repair (поправка). Если в алгоритме Planner удается найти такую поправку repair, агент соединяет repair и остаток плана после пункта р, чтобы создать новый план. Затем агент возвращается к первому этапу нового плана
function Replanning-Agent(percept) returns действие action
static: KB, база знаний (включает описания действий) plan, план, первоначально представленный пустым списком [] whole_plan, общий план, первоначально представленный пустым списком [] goal, цель
Tell(КВ, Make-Percept-Sentence(percept, t)) current <— State-Description(KB, t) if plan = [] then
whole_plan <— plan <— Planner (current, goal, KB) if предусловия Preconditions(First(plan)) не имеют в настоящее время значения true in КВ then
candidates <— Sort(whole_plan, упорядоченный по расстояниям до текущего состояния current)
find состояние s среди возможных кандидатов candidates, такое, что failure ^ repair <— Planner(current, s, KB) continuation <— хвост общего плана whole_plan, начинающийся c s whole_plan <— plan <- Append (repair, continuation)
return Pop(plan)
Схематически этот процесс приведен на рис. 12.9. Перепланирующий агент обнаруживает, что в текущем состоянии не выполнены предусловия первого действия в плане plan. Поэтому он вызывает алгоритм планирования, чтобы получить новый субплан repair, позволяющий перейти из текущего состояния в некоторое состояние s плана whole_plan. В данном примере оказалось, что состояние s находится на один шаг назад от текущего, оставшегося плана plan (это удалось определить благодаря тому, что осуществляется контроль за выполнением всего плана, а не только оставшегося). Вообще говоря, следует выбирать состояние s так, чтобы оно было как можно ближе к текущему состоянию. Соединение плана repair и части плана whole_plan от s и дальше, которую мы называем continuation, позволяет получить новый план plan, и агент становится готовым возобновить выполнение плана.
whole_plan
Рис. 12.9. Перед выполнением планировщик предлагает план, называемый здесь whole_plan, для перехода из состояния S в состояние G. Агент выполняет этот план до тех пор, пока не встретится пункт Е. Прежде чем выполнить оставшийся план plan, агент, как обычно, проверяет предусловия и обнаруживает, что он фактически находится в состоянии О, а не в состоянии Е. Затем он вызывает свой алгоритм планирования для получения поправки repair, которая представляет собой план перехода из пункта О в некоторый пункт Р первоначального плана whole_plan. Теперь новый план plan становится конкатенацией планов repair и continuation (продолжения первоначального плана whole_plan/
Теперь вернемся к примеру задачи, в которой нужно было добиться, чтобы цвет стула и стола совпадал, но на этот раз применим перепланирование. Предполагается
наличие полностью наблюдаемой среды. В начальном состоянии стул окрашен синей краской, стол — зеленой, и имеются банка с синей краской и банка с красной краской. Таким образом, может быть сформулировано следующее определение задачи:
Init(Color(Chair, Blue) a Color(Table, Green) л ContainsColor(BC, Blue) a PaintCan(BC)) a ContainsColor(RC, Red) a PaintCan(RC) Goal(Color(Chair, x) a Color(Table, x) )
Action(Paint(object, color),
Precond: HavePaint(color) , Effect: Color(object, color)) Action(Open(can), Precond: PaintCan(can) a ContainsColor(can, color), Effect: HavePaint(color))
Алгоритм Planner агента должен предложить такой план:
[Start; Open (ВС) ; Paint(Table, Blue); Finish]
Теперь агент готов выполнить этот план. Предположим, что все шло хорошо, поскольку агент успешно открыл банку с синей краской и нанес эту краску на стол. В этот момент агенты, описанные в предыдущих разделах, объявили бы о победе, поскольку они завершили все этапы в плане. Но агент, контролирующий выполнение, должен вначале проверить предусловие этапа Finish, в котором сказано, что эти два предмета мебели должны иметь одинаковый цвет. Предположим, агент обнаружил, что стол и стул не имеют одинакового цвета, поскольку он не закрасил часть стола и осталось зеленое пятно. Теперь агент должен определить, в какую позицию плана whole^plan он должен перейти и какая последовательность корректирующих действий позволяет в нее попасть. Агент обнаруживает, что текущее состояние идентично предусловию перед выполнением действия Paint, поэтому агент выбирает пустую последовательность для repair и принимает, что его план plan должен быть таким же, как и только что выполненная последовательность [Paint, Finish]. После принятия этого нового плана контроль выполнения возобновляется и предпринимается попытка выполнить действие Paint. Такое поведение повторяется в цикле до тех пор, пока результаты восприятия не будут указывать, что стол полностью перекрашен. Но заслуживает внимания то, что этот цикл создается процессом “запланировать-выполнить-перепланировать”, а не явным циклом в плане.
Контроль действий — это очень простой метод контроля выполнения, но он может иногда приводить к поведению, которое нельзя назвать интеллектуальным. Например, предположим, что агент формирует план решения задачи по перекраске, предусмотрев окрашивание стула и стола в красный цвет. Затем он открывает банку с красной краской и обнаруживает, что краски достаточно только для стула. При контроле действий неудача не была бы обнаружена до тех пор, пока не будет окрашен стул, поскольку в этот момент предусловие HavePaint (Red) становится ложным. А фактически требуется обнаруживать неудачное завершение каждый раз, когда состояние является таковым, что оставшийся план больше не будет работать. В методе ^ контроля плана эта цель достигается путем проверки предусловий успеха всего оставшегося плана, т.е. предусловий каждого этапе в плане, за исключением
тех предусловий, которые достигаются с помощью еще одного этапа в оставшемся плане. В условиях контроля плана выполнение поставленного под сомнение плана прекращается настолько быстро, насколько это возможно, а не продолжается до тех пор, пока фактически не возникнет неудачное завершение. В некоторых случаях такое поведение позволяет спасти агента от несчастья, когда поставленный под сомнение план завел бы его к тупик, из которого цель будет недостижима.
Модифицировать алгоритм планирования таким образом, чтобы в нем в каждом пункте план сверялся с предусловиями успеха оставшегося плана, относительно несложно. Если же мы расширим контроль плана для проверки того, выполняются ли в текущем состоянии предусловия плана в любом будущем пункте, а не только в текущем пункте, то контроль плана позволит также воспользоваться преимуществом удачи, т.е. случайного успеха. Если кто-то вдруг придет на помощь и покрасит стол в красный цвет одновременно с тем, как агент красит в красный цвет стул, то предусловия завершения плана будут выполнены (поскольку цель достигнута) и агент сможет раньше уйти с работы.
До сих пор методы контроля и перепланирования рассматривались в полностью наблюдаемых вариантах среды. А если среда является частично наблюдаемой, то ситуация может стать гораздо более сложной. Во-первых, обстоятельства могут так измениться в худшую сторону, что агент не сумеет этого обнаружить. Во-вторых, для “проверки предусловий” может потребоваться выполнение действий по получению информации с помощью датчиков, которые должны быть запланированы (либо на этапе планирования, что потребует от нас возврата к условному планированию, либо на этапе выполнения плана). В наихудшем случае для осуществления любого действия по получению информации с помощью датчиков может потребоваться составление сложного плана, который сам требует контроля и поэтому применения дополнительных действий по сбору информации, и т.д. Если агент упорно добивается того, чтобы были проверены все предусловия, то может так и не перейти к фактическому выполнению каких-либо действий. Агент должен предпочесть в такой ситуации проверку лишь переменных, которые имеют важное значение, характеризуются значительной вероятностью того, что их значения окажутся неправильными, и не требуют слишком больших затрат на сбор информации об их значениях. Это позволяет агенту отвечать должным образом на важные опасности, но не тратить время на проверку того, не падает ли небо на голову.
Теперь, после описания одного из методов контроля и перепланирования, мы должны ответить на вопрос: “Будет ли он работать?” Этот вопрос — на удивление сложный. Если под ним подразумевается: “Можем ли мы гарантировать, что агент всегда достигнет цели, даже в условиях неограниченной недетерминированности?”, то ответ будет отрицательным, поскольку агент может неожиданно попасть в тупиковую ситуацию, как описано применительно к оперативному поиску в разделе 4.5. Например, агент-пылесос может не знать, что его аккумуляторы способны разрядиться. Но мы исключим из рассмотрения тупиковые ситуации, т.е. предположим, что агент может сформировать план достижения цели из любого состояния в своей среде. Если принять предположение, что среда действительно является недетерми-
нированной, в том смысле, что подобный план всегда имеет какой-то шанс на успех в любой конкретной попытке его выполнения, то агент в конечном итоге достигнет цели. Поэтому перепланирующий агент обладает способностями, аналогичными тем, которыми обладает агент, занимающийся условным планированием. В действительности можно модифицировать условный планировщик таким образом, чтобы он формировал только частичный план решения, который включает этапы в форме “if <test> then planK else replan”. С учетом принятых выше предположений такой план может стать правильным решением первоначальной задачи, к тому же его формирование может оказаться намного дешевле по сравнению с созданием полного условного плана.
Неприятности возникают, когда повторные попытки достижения цели агентом становятся бесплодными — когда они блокируются каким-то предусловием или результатом, о котором агент не знает. Например, если агенту выдали неправильную магнитную карточку-ключ от его номера в гостинице, то он не сможет открыть дверь, даже вставляя эту карточку и вынимая бесконечное количество раз. Одно из решений состоит в том, чтобы выбрать случайным образом один из множества возможных планов исправления ситуации, а не пытаться каждый раз выполнить один и тот же план. В данном случае полезной альтернативной был бы план исправления ситуации, состоящий в том, чтобы снова подойти к администратору гостиницы и получить правильную карточку-ключ от комнаты. Учитывая то, что агент может оказаться неспособным отличать друг от друга действительно недетерминированный случай и случай, в котором все попытки будут напрасными, такой способ организации выполнения плана, в котором предусмотрено использование нескольких вариантов исправления ситуации, в целом становится более целесообразным.
Еще одним решением проблемы неправильных описаний действий является обучение. После нескольких попыток обучающийся агент должен быть способен модифицировать описание действия, в котором указано, что данный ключ открывает дверь. С этого момента перепланировщик должен автоматически выработать альтернативный план, который состоит в получении нового ключа. Такого рода обучение рассматривается в главе 21.
Даже несмотря на все эти потенциальные усовершенствования, перепланирующий агент все еще обладает несколькими недостатками. Он не может действовать в тех вариантах среды, где все происходит в реальном времени, и не существует пределов количества времени, которое он может затратить на перепланирование, и поэтому нет пределов времени, в течение которого он решится на выполнение какого- то действия. Кроме того, данный агент не способен формулировать новые цели самостоятельно или принимать к исполнению новые цели, дополнительно к его текущим целям, поэтому такой агент не сможет долго существовать в сложной среде. Указанные недостатки будут устранены в следующем разделе.
Непрерывное планирование
В этом разделе рассматривается проект агента, способного существовать в некоторой среде неопределенно долго. Поэтому он не является “решателем задач”, который получает единственную цель, а затем составляет план и действует до тех пор, пока эта цель не будет достигнута; скорее, данный агент существует, проходя через целые ряды этапов формулировки постоянно меняющихся целей, планирования и осуществления действий. Вместо трактовки процессов планирования и контроля выполнения как отдельных процессов, один из которых передает свои результаты другому, их можно рассматривать как единый процесс, осуществляемый ^ непрерывно планирующим агентом (continuous planning agent).
Такого агента можно рассматривать как находящегося постоянно в ситуации осуществления плана — грандиозного плана прожития его жизни. Его деятельность включает выполнение некоторых этапов плана, готовых к выполнению, уточнение плана для удовлетворения открытых предусловий или разрешения конфликтов, а также модификацию плана в свете дополнительной информации, полученной во время его выполнения. Очевидно, что агент, впервые приступая к формулировке новой цели, не будет иметь в своем распоряжений действий, готовых для выполнения, поэтому он потратит некоторое время на выработку частичного плана. Однако вполне возможно, что агент начнет выполнение плана еще до того, как разработка плана будет полностью закончена, особенно если в нем имеются независимые подцели, которых требуется достичь уже сейчас. Непрерывно планирующий агент постоянно контролирует состояние мира, обновляя свою модель мира по новым результатам восприятия, даже если его размышления над планом еще продолжаются.
Вначале рассмотрим один пример, а затем опишем программу агента, которая получила название Continuous-POP-Agent, поскольку в ней для представления намеченной деятельности используются планы с частичным упорядочением. Чтобы упростить это представление, мы будем предполагать наличие полностью наблюдаемой среды. Те же самые методы могут быть распространены и на частично наблюдаемый случай.
В качестве примера рассматривается задача из проблемной области мира блоков (раздел 11.1). Начальное состояние показано на рис. 12.10, я. Нам потребуется действие Move (х, у), в котором блок х перемещается на блок у, при условии, что обе их верхние поверхности являются свободными. Схема этого действия состоит в следующем:
Action kMove (х, у) ,
Precond: ClearVx^ л Clearly) л Оп(х,z),
Effect: Оп(х,у) л C2ear(z) л -Onlx, z) л -^Clearly) )
Агенту вначале необходимо сформулировать для себя цель. Здесь мы не будем обсуждать процесс формулировки цели, а вместо этого предположим, что агенту было дано задание достичь цели On (С, D) л On (О, В) (или он принял это решение самостоятельно). Агент начинает планировать действие по достижению данной цели. В отличие от всех других описанных в этой книге агентов, которые отключают все свои восприятия до тех пор, пока планировщик не вернет полное решение данной задачи, непрерывно планирующий агент формирует свой план поэтапно, затрачивая на каждый этап ограниченное количество времени. После каждого этапа планирования агент возвращает в качестве своего действия пустую операцию NoOp и снова
проверяет результаты своего восприятия. Предположим, что результаты восприятия не меняются и агент быстро составляет план, показанный на рис. 12.11. Обратите внимание на то, что предусловия обоих действий, Move кВ, В) и Move (С, В^, выполнены еще в состоянии Start, но в соответствии с существующим ограничением упорядочения первое из них вносится в план прежде, чем второе. Это требуется для обеспечения того, чтобы предикат Clear кв^ оставался истинным до выполнения действия Move кВ, В). На протяжении всего процесса непрерывного планирования в качестве метки для текущего состояния всегда используется Start. Агент обновляет это состояние после каждого действия.
Рис. 12.10. Последовательность состояний, возникающих в ходе того, как непрерывно планирующий агент пытается достичь целевого состояния On (С, Dj л On ф, ВЛ как показано на рис. 12.10, г: начальное состояние (а); вмешательство другого агента, поставившего блок D на блок В (б); агент выполнял действие Move (С, ПЛ но допустил ошибку и вместо перемещения блока С на блок D уронил блок С на блок А (в); агент предпринял повторную попытку выполнить действие Move (С, D; и достиг целевого состояния (г)
Рис. 12.11. Начальный план, сформированный непрерывно планирующим агентом. Пока что этот план нельзя отличить от плана, подготовленного обычным планировщиком с частичным упорядочением
Теперь план готов к выполнению, но прежде чем агент сможет приступить к действию, вмешивается природа. Какой-то внешний агент (возможно, учитель агента, потерявший терпение) перемещает блок в на блок в, после чего мир переходит в состояние, показанное на рис. 12.10, в. Агент воспринимает информацию об этом состоянии, учитывает, что предикаты Clear кв^ и On kD, G} больше не являются истинными в текущем состоянии, и обновляет соответствующим образом модель текущего состояния. Причинные связи, которые создавали предусловия ClearкВ^ и On к В, G) для действия Move кВ, В), становятся недействительными и должны быть удалены из плана. Новый план показан на рис. 12.12. Состояние Start всегда представляет текущее состояние, но оно изменилось, поэтому на данном рисунке состояние Start отличается от соответствующего состояния на предыдущем рисунке. Обратите внимание на то, что теперь план стал неполным: два из предусловий для действия Move кВ, В) являются открытыми, а его предусловие On кВ, у) теперь неконкретизировано, поскольку больше нет смысла предполагать, что это перемещение будет выполнено из позиции блока G.
Рис. 12.12. После того как некто посторонний перемещает блок D на блок В, неподдерживаемые связи, создающие предусловия Clear (В) и On(D,G), уничтожаются, в результате чего создается показанный здесь планРис. 12.12. После того как некто посторонний перемещает блок D на блок В, неподдерживаемые связи, создающие предусловия Clear (В) и On(D,G), уничтожаются, в результате чего создается показанный здесь план
Рис. 12.12. После того как некто посторонний перемещает блок D на блок В, неподдерживаемые связи, создающие предусловия Clear (В) и On(D,G), уничтожаются, в результате чего создается показанный здесь план
Рис. 12.12. После того как некто посторонний перемещает блок D на блок В, неподдерживаемые связи, создающие предусловия Clear (В) и On(D,G), уничтожаются, в результате чего создается показанный здесь план
Теперь агент может воспользоваться преимуществом этого “полезного” вмешательства, обнаружив, что причинная связь Move (D, В) °^4^Finish может быть заменена прямой связью от состояния Start к состоянию Finish. Этот процесс называется ^ продлением (extension) причинной связи и осуществляется каждый раз, когда некоторое условие может быть взято из более раннего, а не более позднего этапа без создания нового конфликта.
После удаления старой причинной связи от Move{D, В) к Finish действие MovekD, В) больше не поддерживает вообще какие-либо причинные связи. Теперь оно становится М избыточным этапом (redundant step). Все избыточные этапы и все поддерживающие их связи удаляются из плана. В результате создается план, показанный на рис. 12.13.
Рис. 12.13. Связь, поддерживаемая действием Move f D, В), теперь заменена связью, проходящей от состояния Start, а этап Move fD, В), ставший избыточным, удаленРис. 12.13. Связь, поддерживаемая действием Move f D, В), теперь заменена связью, проходящей от состояния Start, а этап Move fD, В), ставший избыточным, удален
Рис. 12.13. Связь, поддерживаемая действием Move f D, В), теперь заменена связью, проходящей от состояния Start, а этап Move fD, В), ставший избыточным, удален
Рис. 12.13. Связь, поддерживаемая действием Move f D, В), теперь заменена связью, проходящей от состояния Start, а этап Move fD, В), ставший избыточным, удален
После этого стал готовым к выполнению этап MovekC.D^, поскольку все его предусловия выполнены на этапе Start, перед ним не требуется проходить какие- либо другие этапы и он не конфликтует с какой-либо другой связью в плане. Данный этап удаляется из плана и выполняется. К сожалению, агент допустил оплошность и уронил блок С на блок А, вместо того чтобы поставить его на О, поэтому было получено состояние, показанное на рис. 12.10, в. Новое состояние плана приведено на рис. 12.14. Обратите внимание на то, что в плане нет новых действий, но все еще остается открытое условие для этапа Finish.
Ontable(A)
Оп(В,Е)
StartStart№1) Finish№1) FinishОп(С,А)
Start
Start
№1) Finish
№1) Finish
On(D,B) - Gear(F) Clear(C) Clear(D) Clear(G)
Puc. 12.14. После того как действие Move fС, D) выполнено и удалено из плана, результаты этапа Start отражают тот факт, что в конечном итоге блок С оказался на блоке А, а не на блоке D, для установки на котором он предназначался. Предусловие цели On fC, DJ все еще открыто
Агент решает составить план для этого открытого условия. Опять-таки целевое условие будет выполнено с помощью действия Move (С, D). Его предусловия удовлетворяются за счет новых причинных связей от этапа Start. Новый план приведен на рис. 12.15.Агент решает составить план для этого открытого условия. Опять-таки целевое условие будет выполнено с помощью действия Move (С, D). Его предусловия удовлетворяются за счет новых причинных связей от этапа Start. Новый план приведен на рис. 12.15.Рис. 12.15. Открытое предусловие удовлетворяется за счет повторного введения в план действия Move (С, D). Обратите внимание на то, что для предусловий применяются новые связыванияРис. 12.15. Открытое предусловие удовлетворяется за счет повторного введения в план действия Move (С, D). Обратите внимание на то, что для предусловий применяются новые связывания
Агент решает составить план для этого открытого условия. Опять-таки целевое условие будет выполнено с помощью действия Move (С, D). Его предусловия удовлетворяются за счет новых причинных связей от этапа Start. Новый план приведен на рис. 12.15.
Агент решает составить план для этого открытого условия. Опять-таки целевое условие будет выполнено с помощью действия Move (С, D). Его предусловия удовлетворяются за счет новых причинных связей от этапа Start. Новый план приведен на рис. 12.15.
Рис. 12.15. Открытое предусловие удовлетворяется за счет повторного введения в план действия Move (С, D). Обратите внимание на то, что для предусловий применяются новые связывания
Рис. 12.15. Открытое предусловие удовлетворяется за счет повторного введения в план действия Move (С, D). Обратите внимание на то, что для предусловий применяются новые связывания
Действие MovekC, D) снова готово к выполнению. На этот раз оно завершается успешно и достигается целевое состояние, показанное на рис. 12.10, г. После удаления данного этапа из плана целевое условие On (С, О) снова становится открытым. Но поскольку этап Start обновлен и в нем отражено новое состояние мира, целевое условие может быть немедленно выполнено с помощью связи от этапа Start. Таковым является обычный ход событий, когда какое-то действие оказывается успешным. Конечное состояние данного плана показано на рис. 12.16. Поскольку все целевые условия удовлетворяются этапом Start и больше нет оставшихся действий, агент теперь вправе удалить все подцели из состояния Finish и сформулировать новую цель.
StartStartOntable(A) Оп(В,Е) On(d,%- Оп(П,Ю - Clear(F) Clear(Q CJear(X)Ontable(A) Оп(В,Е) On(d,%- Оп(П,Ю - Clear(F) Clear(Q CJear(X)► On(C,D)►On(D,B)► On(C,D)►On(D,B)FinishFinish
Start
Start
Ontable(A) Оп(В,Е) On(d,%- Оп(П,Ю - Clear(F) Clear(Q CJear(X)
Ontable(A) Оп(В,Е) On(d,%- Оп(П,Ю - Clear(F) Clear(Q CJear(X)
► On(C,D)►On(D,B)
► On(C,D)►On(D,B)
Finish
Finish
Puc. 12.16. После того как действие Move (С, DJ выполняется и удаляется из плана, оставшееся открытое условие On (С, DJ может быть разрешено путем добавления причинной связи от нового этапа Start. Теперь выполнение плана закончено
Из этого примера ясно, что непрерывное планирование весьма напоминает планирование с частичным упорядочением. В каждой итерации алгоритм находит что- то, касающееся плана, что требует исправления (так называемые ^ дефекты плана— plan flaw), и исправляет это положение. Сам алгоритм POP также может рассматриваться как алгоритм устранения дефектов, в котором учитываются два дефекта: открытые предусловия и конфликты причинных связей. Непрерывно планирующий агент, с другой стороны, справляется с гораздо более широким перечнем дефектов, которые описаны ниже.
Недостающие цели. Агент может принять решение по добавлению в состояние Finish новой цели или целей. (При непрерывном планировании было бы больше смысла применять вместо названия Finish название Infinity, а вместо Start — Current, но авторы будут придерживаться установившейся традиции.)
Открытые предусловия. Агент добавляет причинную связь к открытому предусловию, выбирая либо новое, либо существующее действие (как в алгоритме POP).
Конфликты причинных связей. При наличии причинной связи А—^В и действия С с результатом -.р агент для разрешения этого конфликта выбирает ограничение упорядочения или ограничение переменной (как в алгоритме POP).
Неподдерживаемые связи. Если есть причинная связь Start—^А, где предикат р больше не является истинным в состоянии Start, агент удаляет эту связь (что позволяет предотвратить выполнения действия, предусловия которого являются ложными.)
Избыточные действия. Если какое-то действие А не обеспечивает выполнения ни одной причинной связи, агент удаляет и это действие, и его связи (что позволяет ему воспользоваться преимуществом удачно сложившихся обстоятельств.)
Невыполненные действия. Если некоторое действие А (отличное от Finish) имеет все выполненные предусловия в состоянии Start, не связано с упорядоченными перед ним другими действиями (кроме Start) и не конфликтует ни с одной причинной связью, агент удаляет из плана действие А вместе с его причинными связями и возвращает его как действие, которое должно быть выполнено.
Ненужные, существовавшие в прошлом цели. Если в плане нет открытых предусловий и нет действий (поэтому все причинные связи проходят непосредственно от состояния Start к состоянию Finish), то текущее множество целей достигнуто. Агент удаляет эти цели и связи, ведущие к ним, чтобы освободить место для новых целей.
Алгоритм Continuous-POP-Agent приведен в листинге 12.6. В нем имеется цикл “принять результаты восприятия, удалить дефекты, выполнить действие”. Агент, действующий в соответствии с этим алгоритмом, хранит в своей базе знаний постоянно существующий план и в каждой операции удаляет из этого плана по одному дефекту. Затем он выполняет некоторое действие (хотя таким действием часто бывает пустая операция NoOp) и повторяет цикл. Этот агент способен преодолевать многие проблемы, перечисленные при обсуждении перепланирующего агента на с. 599. В частности, он может действовать в реальном времени, пользуется удачным стечением обстоятельств, способен формулировать цели самостоятельно и справляется с непредвиденными ситуациями, которые влияют на выполнение плана в будущем.
Листинг 12.6. Алгоритм непрерывно планирующего агента с частичным упорядочением Continuous-POP-Agent. После получения очередных результатов восприятия агент удаляет один дефект из своего постоянно обновляемого плана, а затем возвращает действие. Агенту часто приходится выполнять много этапов планирования, связанных с удалением дефектов, в течение которых он возвращает пустую операцию NoOp, пока он не будет готов выполнить какое-то реальное действие
function Continuous-POP-Agent(percept) returns действие action static: plan, план, первоначально содержащий только действия Start и Finish
action <— NoOp (действие NoOp применяется по умолчанию) Effects[Start] = Update(Effects[Start], percept) Remove-Flaw(plan) // Возможно, выполнение этой операции приведет // к обновлению действия action
return action
Мультиагентное планирование
До сих пор нам приходилось иметь дело только с одноагентными вариантами среды, в которых рассматриваемый агент действует в одиночестве. А если в этой среде есть также другие агенты, наш агент может просто включить их в свою модель среды, не изменяя своих основных алгоритмов. Но во многих случаях такой подход приводит к низкой производительности, поскольку взаимодействие с другими агентами во многом отличается от взаимодействия с природой. В частности, природа (как обычно принято считать) безразлична к намерениям агента15, а другие агенты — нет. В данном разделе приведены основные сведения о мультиагентном планировании, которое предназначено для решения указанных проблем.
Как было показано в главе 2, мультиагентные варианты среды могут быть кооперативными или конкурентными. Начнем с простого кооперативного примера: планирование действий команды в парном теннисе. Для определения действий обоих игроков в команде могут быть составлены планы; в этом разделе будут описаны методы эффективного формирования таких планов. Эффективно сформированный план полезен, но не гарантирует успеха; прежде всего агенты должны согласиться использовать один и тот же план! Для этого требуется определенная форма координации, которая может быть достигнута с помощью общения.
Кооперация: совместные цели и планы
Два агента, играющие в одной команде в парный теннис, имеют единую цель — выиграть матч, что приводит к возникновению различных подцелей. Предположим, что в какой-то момент игры они имеют общую цель — отбить мяч, который направлен на их половину поля, и обеспечить, чтобы по меньшей мере один из них играл под сеткой. Мы можем представить это общее намерение в виде задачи ^ мультиагентного планирования, как показано в листинге 12.7.
Листинг 12.7. Задача игры в парный теннис. Два агента играют в одной команде и могут присутствовать в одном из четырех мест: [Left,Baseline] (слева, у задней линии), [JRigrht, Baseline! (справа, у задней линии), [Left, Net] (слева, под сеткой) и [Right, Net] (справа, под сеткой). Мяч может быть отбит, если в нужном месте находится один и только один игрок
Agents кА, В)
InitkAtkA, [Left, Baseline]) л At кВ, [Right, Net]) л
Approaching к Bal1, [Right, Baseline])) л PartnerkA.B) л PartnerkB.A) Goal к Returned к Ball) л Atkagent, [x, Net]))*
ActionkHitkagent, Ball),
Precond: Approaching к Bal 1, [x, у] ) л Atkagent, [x, у] ) л Partnerkagent,partner) л —At kpartner, [x,y] ) ,
Effect: ReturnedkBall))
ActionkGokagent, [x, y] ),
Precond: Atkagent, [a, b]),
Effect: Atkagent, [x,y]) л —Atkagent, [a, b] ) )
В этой постановке задачи применяются два новых средства. Во-первых, в высказывании Agents к А, в) объявляется, что в плане участвуют два агента, Айв (по условиям данной задачи противостоящие им игроки не рассматриваются как агенты). Во-вторых, в каждом действии в качестве формального параметра упоминается агент, поскольку нам необходимо следить за тем, что делает каждый агент.
Решением мультиагентной задачи планирования является М совместный план (joint plan), состоящий из действий для каждого агента. Совместный план представляет собой решение, если цель будет достигнута при условии, что каждый агент выполнит назначенные ему действия. Решением данной задачи игры в теннис является приведенный ниже план.
Plan 1:
[Go(A, [Right, Baseline]), Hit(A, Ball)]
[NoOp (В) , NoOp(В)]
Если оба агента имеют одинаковую базу знаний и если это решение является единственным, то все сложится идеально; каждый из агентов сможет определить это решение, а затем совместно выполнить его. Но к большому сожалению для этих агентов (и мы вскоре увидим, почему им приходится об этом сожалеть), существует другой план, позволяющий так же успешно достичь цели, как и первый:
Plan 2:
[Go(A, [Left, Net]), NoOp(A)]
[Go(B, [Right, baseline]), Hit(B, Ball)]
Если агент А выберет план 2, а агент в — план 1, то никто из них не отобьет мяч. И наоборот, если агент А выберет план 1, а агент в— план 2, то они, вероятно, столкнутся друг с другом; ни один из них не отобьет мяч, и к тому же пространство под сеткой может остаться неприкрытым. Поэтому само существование правильных совместных планов еще не означает, что цель будет достигнута. Агентам нужен некоторый механизм ^ координации для достижения одного и того же совместного плана; более того, оба агента должны обладать общими знаниями (см. главу 10) о том, что должен быть выполнен некоторый конкретный совместный план.
Многотельное планирование
В данном разделе речь пойдет в основном о формировании правильных совместных планов, а вопросы координации мы пока отложим. Авторы называют данный подход ^ многотельным планированием (multibody planning); по сути именно в этом состоит задача планирования, с которой сталкивается также один централизованный агент, который может раздавать указания по выполнению действий каждой из нескольких физических сущностей. А если рассматривается случай, в котором действует несколько настоящих агентов, такое планирование дает возможность каждому агенту выяснить, каковы возможные совместные планы, которые позволили бы агентам добиться успеха, если бы они действовали согласованно.
Применяемый нами подход к многотельному планированию будет основан на планировании с частичным упорядочением, которое описано в разделе 11.3. Чтобы упростить решение этой проблемы, мы будем исходить из предположения о полной
15 С нами могут не согласиться жители Соединенного Королевства, где сами действия по подготовке пикника гарантируют дождь.
наблюдаемости среды. Есть еще один дополнительный вопрос, который не возникает в одноагентном случае: среда больше не является в полном смысле этого слова статической, поскольку другие агенты могут действовать, пока какой-то конкретный агент размышляет. Поэтому необходимо позаботиться о ^ синхронизации. Для упрощения мы будем предполагать, что каждое действие занимает одно и то же количество времени и что действия, выполняемые в каждом пункте совместного плана, являются одновременными.
В любой момент времени каждый агент выполняет одно и только одно действие (возможно, включая пустую операцию NoOp). Такое множество одновременных действий называется ^совместным действием (joint action). Например, совместным действием в проблемной области тенниса (с. 1) с агентами Айв является <ЖЮр(А) , Hit (В, Ball) >. Совместный план состоит из частично упорядоченного графа совместных действий. Например, план 2 для описанной выше задачи игры в теннис может быть представлен как такая последовательность совместных действий:
<Go(A, [Left, Net]), Go(B, [Right, Baseline])>
<NoOp(A) , Hit(B, Ball)>
Это планирование может быть выполнено с помощью обычного алгоритма POP, применяемого к множеству всех возможных совместных действий. Единственная проблема состоит в огромных размерах этого множества: при наличии 10 действий и 5 агентов количество совместных действий составляет 105. Было бы очень утомительным правильное определение предусловий и результатов каждого действия, а разработка плана на таком большом множестве стала бы неэффективной.
Альтернативный подход заключается в том, что совместные действия определяются неявно путем описания того, как каждое отдельное действие сочетается с другими возможными действиями. Такой подход должен быть проще, поскольку большинство действий независимы друг от друга, поэтому нам потребуется перечислить лишь немного действий, которые действительно взаимодействуют друг с другом. Это можно сделать, дополнив обычные описания действий Strips или ADL одним новым средством — ^ списком одновременных действий (concurrent action list). Этот список аналогичен предусловию любого описания действия, за исключением того, что в нем описываются не переменные состояния, а действия, которые должны или не должны выполняться одновременно. Например, действие удара по мячу, Hi t, может быть описано следующим образом:
Action(Hi t(A, Ball), Concurrent: —Hit (В, Ball), Precond: Approaching(Ball, [x, y]) a At(A, [x, y] ), Effect: Returned(Ball))
В данном случае мы встречаемся с ограничением, запрещающим одновременное выполнение, согласно которому при выполнении действия Hit одним агентом не должно быть выполнения действия Hi t другим агентом. А иногда как раз и требуются одновременные действия, например, если портативный холодильник, заполненный напитками, смогут отнести на теннисный корт только два агента. В описании для этого действия должно быть сказано, что агент А не сможет выполнить действие Carry, если нет другого агента, в, который одновременно выполнил бы действие Carry применительно к тому же холодильнику:
Action(Carry(A, cooler, here, there), Concurrent: CarrykB, cooler, here, there), Precond: AtkA, here) a Atkcooler, here) л Cooler(cooler) , Effect: At kA, there) л Atkcooler, there) л -iAt(A, here) л —At к cooler, here))
При использовании такого представления появляется возможность создать планировщик, который весьма напоминает планировщик с частичным упорядочением, действующий по алгоритму POP. Но между этими двумя планировщиками существуют три различия, которые описаны ниже.
Кроме отношения временного упорядочения А ^ в разрешается использовать отношения А = в и А 5 в, которые означают “одновременно” и “прежде или одновременно”, соответственно.
Если какое-то новое действие требует одновременных действий, необходимо конкретизировать эти действия, используя новые или существующие действия в плане.
Запрещенные одновременные действия являются дополнительным источником ограничений. Каждое ограничение должно быть разрешено путем наложения на конфликтующие действия таких ограничений, чтобы они могли быть выполнены либо прежде, либо позже другого конфликтующего действия.
Такое представление позволяет создать алгоритм планирования для многотельных проблемных областей, эквивалентный алгоритму POP. Мы могли бы дополнить этот подход с помощью уточнений, приведенных в последних двух главах (сетей HTN, частичной наблюдаемости, условных планов, контроля выполнения и перепланирования), но такая задача выходит за рамки настоящей книги.
Механизмы координации
Простейший метод, с помощью которого группа агентов может обеспечить координацию при выполнении совместного плана, состоит в принятии определенного ^ соглашения (convention) до начала совместной деятельности. Соглашением является любое ограничение, касающееся выбора совместных планов, выходящее за рамки того основного ограничения, в соответствии с которым совместный план должен работать, если ему следуют все агенты. Например, соглашение “придерживаться своей стороны поля” станет причиной того, что партнеры в парном теннисе выберут план 2, а соглашение, что “один игрок всегда остается у сетки”, приведет их к плану 1. Некоторые соглашения, такие как вождение по правильной стороне дороги, приняты настолько широко, что считаются ^ общественными законами. Естественные языки также могут рассматриваться как соглашения.
Соглашения, указанные в предыдущем абзаце, являются характерными для конкретной проблемной области и могут быть реализованы путем внесения в описания действий таких ограничений, которые позволили бы исключить нарушения соответствующего соглашения. Более общий подход состоит в использовании соглашений, независимых от проблемной области. Например, если каждый агент эксплуатирует один и тот же алгоритм многотельного планирования с одними и теми же входными данными, то может следовать соглашению о выполнении первого найденного осу-
ществимого совместного плана и быть уверенным в том, что другие агенты сделают такой же выбор. Более надежная, но и более дорогостоящая стратегия могла бы состоять в том, чтобы выработать все совместные планы, а затем выбрать, например, тот из них, внешнее представление для вывода на печать которого находится на первом месте в алфавитном порядке.
Соглашения могут также возникать благодаря эволюционным процессам. Например, колонии общественных насекомых выполняют очень сложные совместные планы, а осуществление подобных действий к тому же обеспечивается благодаря общим генетическим характеристикам отдельных особей в этой колонии. Согласованность действий может также быть обусловлена тем фактом, что отход от соглашений приводит к уменьшению эволюционной приспособляемости всех особей, поэтому любой осуществимый совместный план может стать шагом к стабильному равновесию. Аналогичные условия распространяются и на процесс развития любого человеческого языка, когда важным становится не тот факт, на каком языке должен говорить каждый индивидуум, а тот факт, что все индивидуумы должны говорить на одном и тот же языке. Наш последний пример относится к тому, как ведут себя птицы, сбиваясь в стаи во время полета. Вполне приемлемая модель такого процесса может быть получена, если каждый птицеподобный агент (который иногда именуется орнитоидом или ^ бондом от слова bold, или birdoid) выполняет три перечисленных ниже правила, применяя определенный метод их комбинирования.
Отделение. Направлять свой полет подальше от соседей, если ты начинаешь к ним слишком заметно приближаться.
Соединение в линию. Придерживаться направления полета, позволяющего занять среднюю позицию по отношению к соседям.
Выравнивание. Рулить в сторону средней ориентации (направления движения) соседей.
Если все птицы выполняют одни и те же описанные выше правила, то вся стая обнаруживает М эмерджентное поведение (от слова emergent — появляющийся), совершая полет в виде одного псевдоустойчивого тела приблизительно с постоянной плотностью, которое не рассеивается со временем. Как и в случае общественных насекомых, для каждого агента не требуется обладание совместным планом, который моделировал бы действия других агентов.
Как правило, принимаются такие соглашения, которые охватывают целый универсум отдельных задач мультиагентного планирования, а не требуют разработки с нуля перед началом решения каждой новой задачи. Это может приводить к недостаточной гибкости и нарушениям в работе, как иногда можно наблюдать в парном теннисе, когда мяч пролетает приблизительно на равных расстояниях между двумя партнерами. В отсутствие применимого соглашения агенты могут использовать общение для получения общих знаний об осуществимом совместном плане. Например, в парном теннисе игрок может крикнуть “Мой!” или “Твой!”, имея в виду мяч, чтобы указать на предпочтительный для него совместный план. Механизмы общения рассматриваются более подробно в главе 22, в которой отмечается, что общение не обязательно требует устного обмена репликами. Например, один игрок может неявно сообщить о предпочтительном совместном плане другому, просто выполнив его первую часть. В нашей задаче игры в теннис, если агент А направился к сетке, то
агент В обязан отойти назад, к линии подачи, чтобы отбить мяч, поскольку план 2 является единственным совместным планом, который начинается с того, что агент А направляется к сетке. Такой подход к координированию действия, иногда называемый распознаванием плана (plan recognition), является применимым, если для безошибочного определения нужного совместного плана достаточно одного действия (или краткой последовательности действий).
Вся нагрузка по определению того, как агенты должны приходить к успешному совместному плану, может быть возложена либо на проектировщиков агентов, либо на самих агентов. В первом случае проектировщик агента должен доказать, что правила и стратегии агентов будут успешными, еще до того, как агенты приступят к планированию. Сами агенты смогут правильно и успешно реагировать на обстановку, если заложенные в них правила и стратегии применимы для той среды, в которой они существуют, и им не нужно иметь явные модели, описывающие действия других агентов. А в последнем случае агентам приходится больше рассуждать; они должны доказывать или демонстрировать другими способами, что их планы будут успешными, принимая во внимание рассуждения других агентов. Например, в среде с двумя логическими агентами, Айв, оба этих агента могут иметь следующее определение:
^PtS Feasible^p, s) <=> CommonKnowledge ((A, В}, Achieves (p, s, Goal))
В нем указано, что в любой ситуации s план р представляет собой осуществимый совместный план в данной ситуации, если оба агента располагают знаниями о том, что план р позволяет достичь цели. Нам потребуются дополнительные аксиомы для формирования общих знаний о ^ совместном намерении (joint intention) выполнить конкретный совместный план; только после этого агенты могут приступать к действиям.
Конкуренция
Не все мультиагентные варианты среды включают кооперирующих агентов. Агенты с конфликтующими функциями полезности находятся в состоянии ^ конкуренции друг с другом. Одним из примеров этого являются игры между двумя игроками с нулевой суммой, такие как шахматы. Как было описано в главе 6, агенту, играющему в шахматы, приходится рассматривать возможные ходы противника на несколько этапов в будущее. Это означает, что любой агент в конкурентной среде должен, во-первых, признавать наличие других агентов, во-вторых, прогнозировать некоторые из возможных планов другого агента, в-третьих, определять, как планы другого агента повлияют на его собственные планы, и, в-четвертых, определять наилучшее действие с учетом указанных влияний. Поэтому в условиях конкуренции, как и в условиях кооперации, требуется модель с описанием планов другого агента. С другой стороны, в конкурентной среде действия агентов не вносят свой вклад в совместный план.
В разделе 12.4 проводится аналогия между играми и задачами условного планирования. Алгоритм условного планирования, приведенный в листинге 12.4, позволяет составлять планы, действующие при наихудших предположениях о данной среде, поэтому эти планы могут применяться в таких конкурентных ситуациях, когда агента интересует только успех или неудача. А если для агента и его противников важна также стоимость плана, то применимым становится алгоритм минимакса. До сих пор еще очень мало сделано в области совместного использования алгоритма
минимакса с такими методами, как планирование POP и HTN, которые выходят за рамки модели поиска в пространстве состояний, применяемой в главе 6. Мы вернемся к вопросу конкуренции в разделе 17.6, где рассматривается теория игр.
Резюме
В данной главе описаны некоторые сложности, связанные с планированием и осуществлением действий в реальном мире. Основные идеи, изложенные в этой главе, перечислены ниже.
Во многих действиях потребляются ресурсы, такие как деньги, топливо или сырье. Эти ресурсы удобно в целом рассматривать как числовые величины, а не пытаться рассуждать, скажем, о каждой отдельной монете или купюре во всем мире. Действия способны вырабатывать и потреблять ресурсы, поэтому обычно дешевле и эффективнее проверять частичные планы на предмет удовлетворения в них ресурсных ограничений, прежде чем предпринимать попытки их дальнейшего уточнения.
Время — это один из наиболее важных ресурсов. За его расходованием можно следить, применяя специализированные алгоритмы составления расписаний или объединяя составление расписаний с планированием.
Планирование с помощью иерархической сети задач (Hierarchical Task Network — HTN) позволяет агенту получить совет от проектировщика проблемной области в форме правил декомпозиции. Такой подход обеспечивает создание очень больших планов, требуемых для многих реальных приложений.
В стандартных алгоритмах планирования предполагается наличие полной и правильной информации, а также детерминированной, полностью наблюдаемой среды. Это предположение является недействительным во многих проблемных областях.
С проблемой неполной информации в планировании можно справиться, используя действия по применению датчиков для получения необходимой информации. Условные планы позволяют агенту получать с помощью датчиков информацию о мире во время выполнения плана для определения того, по какой ветви плана он должен следовать дальше. В некоторых случаях может использоваться планирование без использования датчиков или согласованное планирование для формирования плана, который во время своего выполнения не требует применения результатов восприятия. И планы без использования датчиков, и условные планы могут быть сформированы по методу поиска в пространстве доверительных состояний.
Неправильная информация приводит к тому, что предусловия действий и планов остаются невыполненными. Контроль выполнения позволяет обнаруживать нарушения предусловий, создавая предпосылки успешного осуществления плана.
В перепланирующем агенте используется контроль выполнения и по мере необходимости осуществляются восстановительные действия для возврата к первоначальному плану.
Непрерывно планирующий агент создает новые цели в процессе своей деятельности и реагирует на изменения ситуации в реальном времени.
Мультиагентное планирование необходимо, если в среде имеются другие агенты, с которыми приходится кооперировать, конкурировать или координировать свои действия. В многотельном планировании формируются совместные планы с использованием эффективной декомпозиции описаний совместных действий, но это планирование должно дополняться определенной формой координации, если два кооперативных агента должны согласовать друг с другом, какой из совместных планов следует выполнить.
Библиографические и исторические заметки
Планирование с непрерывным учетом времени было впервые реализовано в программе Deviser [1541]. Проблема систематического представления времени в планах была решена Дином и др. [358] в системе Forbin. Программы Nonlin+ [1496] и Sipe [1593], [1594] обладают способностью формировать рассуждения о распределении ограниченных ресурсов по различным этапам плана. Программа О-Р1ап [93] (планировщик HTN) поддерживает равномерное, общее представление для ограничений, распространяющихся на время и ресурсы. Кроме приложения для Hitachi, упомянутого в этой главе, программа О-Plan применялась для планирования поставок программного обеспечения в компании Price Waterhouse и для планирования сборки заднего моста автомобиля в компании Jaguar Cars. Кроме того, был разработан целый ряд гибридных систем планирования и составления расписаний: система Isis [489], [490] использовалась при составлении производственных расписаний компании Westinghouse, система Gari [392] осуществляла планирование машинной обработки и конструирования механических деталей, система Forbin применялась для управления фабрикой, а система Nonlin+ служила средством планирования поставок для военно-морского флота.
После первоначального стремительного наплыва теоретических работ в области временного планирования в конце 1980-х годов наступило затишье, и лишь недавно интерес к этой теме возобновился в связи с тем, что появились новые алгоритмы и возросли обрабатывающие мощности, что привело к появлению возможности создавать новые практические приложения. В двух разработанных недавно планировщиках, Sapa [401] и Т4 [627], используется прямой поиск в пространстве состояний в сочетании со сложными эвристическими функциями для учета действий, характеризующихся различными продолжительностями и требующих разных ресурсов. Альтернативой этого подхода является применение очень выразительных языков действий, но поиск в подобных системах должен осуществляться под управлением составленных людьми эвристик, характерных для данной проблемной области, как это сделано в системах ASPEN [511], HSTS [744] и IxTeT [549].
Разработки в области составления расписаний для аэрокосмических проектов имеют долгую историю. Программа T-Sched [412] использовалась для составления расписаний, представляющих собой последовательности принципиально важных команд для спутника Uosat-II. Программы Optimum-AIV [1] и Plan-ERSl [509], основанные на программе О-Plan, применялись в Европейском космическом агентст-
ве, соответственно, для сборки космических аппаратов и планирования наблюдений. Программа Spike [741] использовалась для планирования наблюдений с помощью космического телескопа Хаббл в NASA, а система Space Shuttle Ground Processing Scheduling System [355] осуществляла составление производственного расписания с охватом вплоть до 16 000 рабочих смен. Программа Remote Agent [1108] стала первой автономной программой планирования и составления расписаний, применяемой для управления космическим аппаратом, которая работала на борту космического аппарата Deep Space One в 1999 году. В [1527] приведен обзор литературы по применению средств составления производственных расписаний в области исследования операций; теоретические результаты приведены в [993].
Применяемые в программе Strips средства для изучения ^ макроопераций (“микрооператоров”, состоящих из последовательности примитивных этапов) могут рассматриваться как первый механизм иерархического планирования [465]. Иерархия использовалась также в системе Lawaly [1410]. В системе Abstrips [1336] была реализована идея М иерархии абстракции, на основе которой было разрешено игнорировать предусловия действий низкого уровня при планировании на более высоких уровнях, чтобы можно было проще выявить общую структуру рабочего плана. В тезисах докторской диссертации Остина Тэйта [1494] и в работе Эрла Сакердоти [1338] были разработаны основные идеи планирования HTN в его современной форме. Многие практически применяемые планировщики, включая О-Plan и Sipe, представляют собой планировщики HTN. В [1628] обсуждаются свойства действий, благодаря которым планирование HTN становится эффективным. В [443], [444] представлен планировщик с полной иерархической декомпозицией, а также приведен ряд результатов анализа сложности для чистых планировщиков HTN. Другие авторы [25], [72], [766], [1635] предложили гибридный подход, принятый в данной главе, согласно которому декомпозиции просто представляют собой еще одну форму уточнения, которая может использоваться в планировании с частичным упорядочением.
Начиная с исследований по использованию микрооператоров в языке Strips, одной из целей иерархического планирования было повторное использование ранее накопленного опыта планирования в форме обобщенных планов. В некоторых системах, включая Soar [881] и Prodigy [221], в качестве средства обобщения ранее вычисленных планов применялся метод обучения на основе объяснений (explanationbased learning), описанный более подробно в главе 19. Альтернативный подход состоит в том, что ранее вычисленные планы должны сохраняться в их первоначальной форме, а затем использоваться повторно для решения новых подобных проблем по аналогии с первоначальной проблемой. Именно этот подход принят в области, получившей название М планирование на основе прецедентов (case-based planning) [23], [220], [609]. В [765] приведено обоснование того мнения, что планирование на основе прецедентов должно рассматриваться как форма планирования на основе уточнения и что этот метод может служить средством формального описания для планирования с частичным упорядочением на основе прецедентов.
На самых ранних этапах осуществления робототехнических проектов, в которых использовались методы планирования, включая Shakey [465] и Freddy [1045], была обнаружена проблема непредсказуемости и частичной наблюдаемости реальных вариантов среды. Эта проблема стала привлекать больше внимания после публикации статьи Макдермотта Planning and Acting [1021], оказавшей значительное влияние на ход дальнейших исследований.
В ранних планировщиках, в которых отсутствовали условные выражения и циклы, не была явно реализована концепция условного планирования, но несмотря на это, некоторые из таких планировщиков в ответ на неопределенность среды иногда прибегали к стилю, предусматривающему принудительный переход в заданное состояние. В программе Noah, разработанной Сакердоти, такой принудительный переход использовался в предлагаемом программой решении задачи с “ключами и ящиками”. Это — известная задача в области планирования, в которой планировщик имеет мало информации о начальном состоянии. Мэйсон [996] доказал, что в робототехническом планировании часто можно и нужно отказываться от сбора информации с помощью датчиков, и описал план без использования датчиков, позволяющий передвинуть инструмент в заданную позицию на столе с помощью последовательности раскачивающих действий, независимой от начальной позиции. Мы опишем эту идею в контексте робототехники (рис. 25.16).
Голдмен и Бодди [572] ввели термин согласованное планирование (conformant planning) применительно к планировщикам без использования датчиков, которые позволяют справиться с неопределенностью, принудительно переводя мир в известные состояния, и отметили, что планы без использования датчиков часто эффективнее, даже если агент имеет датчики. Первым достаточно эффективным согласованным планировщиком была программа Conformant Graphplan, или CGP, Смита и Уэлда [1437]. Феррарис и Гуинки- лья [464], а также Ринтанен [1289] независимо разработали согласованные планировщики на основе алгоритма SATplan. В [148] описан согласованный планировщик, основанный на эвристическом поиске в пространстве доверительных состояний, который представляет собой результат дальнейшего развития идей, впервые реализованных в 1960-х годах в частично наблюдаемых марковских процессах принятия решения, или POMDP (Partially Observable Markov Decision Processes) (см. главу 17). В настоящее время в самых быстрых согласованных планировщиках, осуществляющих поиск в пространстве доверительных состояний, таких как HSCP [118], для представления доверительных состояний используются двоичные диаграммы решений (Binary Decision Diagram — BDD) [200]; такие планировщики характеризуются быстродействием, примерно на пять порядков превышающим быстродействие алгоритма CGP.
Планировщик Warplan-C [1555] представляет собой один из вариантов планировщика Warplan, который принадлежит к числу первых планировщиков, основанных на использовании условных действий (conditional action). В [1153] описаны основные проблемы, касающиеся условного планирования.
Подход к организации условного планирования, описанный в данной главе, основан на эффективных алгоритмах поиска для циклических графов AND-OR, разработанных Хименесом и Торрасом [737], а также Хансеном и Зильберштейном [613]. В [119] описан подход на основе BDD, позволяющий составлять условные планы с циклами. В программе C-Buridan [413] осуществляется условное планирование для действий с вероятностными результатами; это — та же проблема, попытки решения которой предпринимались с помощью процессов POMDP (см. главу 17).
Существует тесная связь между условным планированием и автоматизированным синтезом программ; большое количество ссылок по этой теме приведено в главе 9. Но работы в этих двух научных областях осуществлялись отдельно из-за невероятной разницы в стоимостях между выполнением машинных команд и осуществлением действий с помощью транспортных средств или манипуляторов роботов. В [934] предпринята явная попытка добиться взаимного обогащения идеями между этими двумя областями.
Теперь в ретроспективе можно непредвзято наблюдать за тем, как появление основных классических алгоритмов планирования привело к созданию расширенных версий этих алгоритмов для проблемных областей, связанных с учетом неопределенности. Разработка методов на основе поиска привела к созданию методов поиска в пространстве доверительных состояний [148]; опыт в области использования алгоритма SATplan привел к созданию стохастического алгоритма SATplan [970] и к разработке средств планирования с применением булевых логических выражений с кванторами [1289]; работы в области планирования с частичным упорядочением привели к созданию программ UWL [446], CNLP [1206] и Cassandra [1241]. Опыт эксплуатации алгоритма Graphplan привел к появлению программы Sensory Graphplan, или SGP [1569], но задача разработки полностью вероятностного алгоритма Graphplan еще не совсем решена.
Одной из самых первых значительных работ по контролю выполнения было создание программы Planex [465], которая применялась в сочетании с планировщиком Strips для управления роботом Shakey. В программе Planex использовались треугольные таблицы (по сути — это эффективный механизм хранения для предусловий плана в каждом пункте плана), что обеспечивает возобновление работы после частичного неудачного завершения при выполнении плана без полного перепланирования. Модель выполнения, применяемая в роботе Shakey, рассматривается более подробно в главе 25. В планировщике Nasi [1021] проблема планирования рассматривается просто как спецификация выполнения сложного действия, что позволяет полностью унифицировать этапы выполнения и планирования В этом планировщике для формирования рассуждений о таких сложных действиях используются средства доказательства теорем.
Одним из первых планировщиков, в котором осуществлен систематический подход к решению задач перепланирования, была программа Sipe (System for Interactive Planning and Execution monitoring) [1593], [1594]. Эта программа использовалась в демонстрационных проектах в нескольких проблемных областях, включая планирование операций на взлетной палубе авианосца и составление производственного расписания для одного из пивзаводов в Австралии. Еще в одном исследовании программа Sipe применялась для планирования строительства многоэтажных зданий, что представляет собой одну из наиболее сложных проблемных областей, в которых когда-либо применялись программы-планировщики.
Система Ipem (Integrated Planning, Execution, and Monitoring) [25] оказалась первой системой, в которой было применено сочетание планирования с частичным упорядочением и выполнения для создания непрерывно планирующего агента. В алгоритме Continuous-POP-Agent, приведенном в этой книге, объединены идеи, взятые из системы Ipem, планировщика Puccini [570] и системы Cypress [1595].
В середине 1980-х годов некоторые специалисты считали, что планирование с частичным упорядочением и связанные с ним методы никогда не позволят добиться достаточно высокого быстродействия для формирования эффективного поведения агента в реальном мире [7]. Вместо этого были предложены системы ^ реактивного планирования; в своей основной форме эти системы представляли собой рефлексных агентов, возможно, с учетом внутреннего состояния, которые могут быть реализованы с помощью любого из самых различных представлений для правил “условие-действие”. В архитектуре обобщения Брукса [189] (см. главы 7 и 25) использовались многоуровневые конечные автоматы для управления движениями и
обхода препятствий шагающими и колесными роботами. Система Pengi [7] обладала способностью играть в (полностью наблюдаемую) видеоигру с использованием логических схем в сочетании с “визуальным” представлением текущих целей и внутреннего состояния агента.
В качестве метода поиска по таблице для реактивного планирования были разработаны “универсальные планы” Шопперса [1366], но, как оказалось, они представляли собой повторное открытие идеи ^ правил, которые уже давно использовались в марковских процессах принятия решений. Универсальный план (или правило) содержит отображение из любого состояния в действие, которое должно быть выполнено в этом состоянии. Гинсберг [557] предпринял яростную эмоциональную атаку на идею универсальных планов и, в частности, показал неразрешимость результатов для некоторых формулировок задачи реактивного планирования. Шоппере [1367] ответил на эту статью не менее эмоционально.
Как часто случается, сложившееся противоречие удалось разрешить с помощью гибридного подхода. Использование тщательно разработанных иерархий, планировщиков HTN, таких как PRS [542] и RAP [471], а также непрерывно планирующих агентов позволяет добиться сокращения времени отклика, свойственного реактивным подходам, и осуществления сложного долгосрочного планирующего поведения во многих проблемных областях.
Популярность мультиагентного планирования особенно возросла в последние годы, но само это направление имеет долгую историю. В [833] предложена формализация мультиагентного планирования в логике первого порядка, а описание в стиле Strips дано в [1195]. Понятие совместного намерения, которое приобретает особую важность, если агенты должны выполнить совместный план, впервые было сформулировано в исследованиях по актам общения [276], [277]. Приведенное в данной главе описание многотельного планирования с частичным упорядочением основано на [157].
В этой главе была лишь слегка затронута тема согласования в мультиагентном планировании. В [424] обсуждается вопрос о том, как может осуществляться совместное использование задач агентами с помощью согласования действий между ними. В [858] описана система для ведения Diplomacy, настольной игры, в которой допускается согласование действий, формирование и разрушение коалиций, а также нарушение взятых на себя обязательств. В [1468] показано, что агенты могут взаимодействовать как члены одной команды в конкурентной, динамической, частично наблюдаемой среде робототехнического футбола. В [1564] приведен обзор мультиа- гентных систем, который занимает целую книгу.
Модель орнитоида, приведенная на с. 609, разработана Рейнольдсом [1284], который получил премию Оскар Американской академии киноискусства за успешное применение этой модели во время съемок полчищ летучих мышей и стай пингвинов в кинофильме “Batman Returns” (Бэтмен возвращается).
Упражнения
Тщательно изучите представление времени и ресурсов, приведенное в разделе 12.1.
Почему целесообразно сделать предикат Duration (d) одним из результатов действия, а не предусмотреть в действии отдельное поле в форме
Duration: d? (Подсказка. Рассмотрите условные результаты и дизъюнктивные результаты.)
Почему Resource: т задано как отдельное поле в действии, а не оформлено как результат?
^ Потребляемым ресурсом называется ресурс, который (частично) расходуется при выполнении действия. Например, для крепления двигателей к автомобилям требуются винты. Винты после их использования становятся недоступными для создания других креплений.
Объясните, как модифицировать представление, приведенное в листинге 12.2, чтобы в нем первоначально было 100 винтов, для двигателя Ег требовалось 40 винтов, а для двигателя Е2 — 50. В литералах результата для ресурсов могут использоваться функциональные символы + и -.
Объясните, как должно быть модифицировано определение конфликта между причинными связями и действиями в планировании с частичным упорядочением для учета потребляемых ресурсов.
Некоторые действия (например, пополнение на заводе запасов винтов или повторная заправка топливом автомобиля) способны увеличивать доступность ресурсов. Если ни одно действие не увеличивает доступность ресурса, он становится монотонно невозрастающим. Объясните, как можно использовать это свойство для отсечения ветвей в пространстве поиска.
Приведите декомпозиции для этапов HireBuilder и GetPermit, показанных на рис. 12.4, и объясните, как декомпонованные субпланы соединяются в общий план.
Приведите пример двух абстрактных субпланов из проблемной области строительства дома, которые не могут быть объединены в согласованный план без совместно выполняемых этапов. (Подсказка. Участками, в которых обычно должны взаимодействовать два субплана, являются те места, в которых совместно устанавливаются две физические детали дома.)
Некоторые специалисты утверждают, что одним из преимуществ планирования HTN является то, что оно позволяет решать задачи типа “совершить прямую и обратную поездку из Лос-Анджелеса в Нью-Йорк”, которые трудно выразить в системах обозначения, отличных от HTN, поскольку начальное и целевое состояния должны быть одинаковыми (At(LA^\ Можете ли вы предложить способ отображения и решения таких задач без сетей HTN?
Покажите, как может быть перезаписано стандартное описание действия Strips в виде декомпозиции HTN с использованием обозначения Achieve (р) для указания на деятельность по достижении условия р.
Некоторые операции в стандартных языках программирования можно промоделировать как действия, которые меняют состояние мира. Например, в операции присваивания копируется содержимое участка памяти, а в операции печати изменяется состояние выходного потока. Программа, состоящая из этих операций, может также рассматриваться как план, цель которого задана в спецификации программы. Поэтому алгоритмы планирования могут использоваться для создания программ, которые реализуют заданную спецификацию.
Запишите операторную схему для оператора присваивания (в котором значение одной переменной присваивается другой). Помните, что первоначальное значение должно быть при этом перезаписано!
Покажите, как может использоваться в планировщике процедура создания объекта для разработки плана обмена значениями между двумя переменными с применением временной переменной.
Ознакомьтесь со следующими доводами: “В инфраструктуре, которая допускает наличие неопределенных начальных состояний, дизъюнктивные результаты являются просто удобным способом обозначения, а не источником дополнительной выразительной мощи. Для любой схемы действий а с дизъюнктивным результатом Р v Q можно всегда заменить его условным результатом when R: Р д when ->R: Q, который, в свою очередь, можно свести к двум обычным действиям. Высказывание R обозначает случайное высказывание, которое не известно в начальном состоянии и для которого не предусмотрено каких-либо действий по получению информации с помощью датчиков”. Являются ли эти доводы правильными? Рассмотрите отдельно два случая, в одном из которых в плане имеется только один экземпляр схемы действия а, тогда как во втором имеется больше одного экземпляра.
Почему условное планирование не позволяет справиться с неограниченной недетерминированностью?
В мире блоков мы были вынуждены ввести два действия Strips (Move и MoveToTable), чтобы иметь возможность сопровождать предикат Clear должным образом. Покажите, как можно использовать условные результаты для представления обоих этих случаев с помощью одного действия.
Условные результаты были проиллюстрированы на примере действия Suck в мире пылесоса — от того, в каком квадрате находится робот, зависит, какой из квадратов станет чистым. Можете ли вы предложить новое множество пропозициональных переменных для определения состояний мира пылесоса, таких, что действие Suck имеет безусловное описание? С использованием этих пропозициональных переменных составьте описания действий Suck, Left и Right и покажите, что их достаточно для представления всех возможных состояний мира.
Составьте полное описание действия Suck для пылесоса в мире “двойного закона Мэрфи”, который иногда оставляет мусор после его перемещения в чистый квадрат назначения, а иногда оставляет мусор после выполнения действия Suck в чистом квадрате.
Найдите достаточно грязный ковер, свободный от препятствий, и очистите его пылесосом. Нарисуйте путь, проделанный чистящей головкой пылесоса, настолько точно, насколько сможете. Объясните характер этого пути, ссылаясь на формы планирования, описанные в этой главе.
Приведенные ниже цитаты взяты из инструкций на задних стенках бутылок с шампунем. Обозначьте каждую из этих инструкций как безусловный план, условный план или план с контролем выполнения: а) “Разотрите пену. Прополосните волосы. Повторите процедуру”; б) “Нанесите шампунь на волосы
и оставьте на несколько минут. Прополосните волосы и повторите процедуру в случае необходимости”; в) “Если не удается устранить проблемы, обратитесь к врачу”.
В алгоритме And-Or-Graph-Search, приведенном в листинге 12.4, осуществляется проверка повторяющихся состояний только в пути от корня до текущего состояния. Предположим, что, кроме того, в этом алгоритме было бы предусмотрено хранение в виде списка каждого когда-либо посещенного состояния и проверка по этому списку (см., например, алгоритм GraphSearch, приведенный в листинге 3.6). Определите, какая информация должна записываться в список и как она должна использоваться в алгоритме при обнаружении повторяющегося состояния. {Подсказка. Вам потребуется, по меньшей мере, проводить различие между состояниями, для которых перед этим был успешно сконструирован субплан, и состояниями, для которых не удалось найти субплана.) Объясните, как можно использовать метки для предотвращения необходимости иметь несколько копий субпланов.
^ Объясните точно, как следует модифицировать алгоритм And-Or-Graph- Search для выработки циклического плана, если не существует ни одного ациклического плана. Вам придется рассмотреть три проблемы: применение меток для этапов плана так, чтобы циклический план мог указывать обратно на какую-то предыдущую часть плана, модификация алгоритма Or-Search так, чтобы он продолжал поиск ациклических планов после нахождения циклического плана, а также дополнение средств представления плана, чтобы они позволяли указать, является ли план циклическим. Покажите, как действует ваш алгоритм: а) в мире пылесоса с тройным законом Мэрфи и б) в альтернативном мире пылесоса с двойным законом Мэрфи. Вам может потребоваться реализация алгоритма на компьютере для проверки полученных результатов. Может ли план для случая б) быть записан с использованием стандартного синтаксиса цикла?
Полностью определите процедуру обновления доверительного состояния для частично наблюдаемых вариантов среды. Под этим подразумевается метод вычисления нового представления доверительного состояния (как списка высказываний с оценкой знаний) из текущего представления доверительного состояния и описания действия с условными результатами.
Составьте описания действий, аналогичные уравнению 12.2, для действий Right и Suck. Запишите также описание для действия CheckLocation, аналогичное приведенному уравнению 12.3. Повторите это упражнение, используя альтернативное множество высказываний из упр. 12.11.
Рассмотрите приведенный на с. 599 список действий, которые не могут быть выполнены перепланирующим агентом. Составьте набросок алгоритма, который позволяет выполнить одно или несколько таких действий.
Рассмотрите следующую задачу: пациент поступил в приемную врача с симптомами, которые могут быть вызваны либо обезвоживанием, либо болезнью D (но не обеими этими причинами вместе). Существуют два возможных действия: Drink (Питьё), которое, безусловно, позволяет справиться с обезвоживанием, и Medicate (Медикаментозное лечение), излечивающее заболевание
D, но имеющее нежелательный побочный эффект, который возникает, если организм пациента обезвожен. Составьте описание этой проблемы на языке PDDL и разработайте план без использования датчиков, позволяющий решить эту задачу, перечислив все относящиеся к ней возможные миры.
В задаче из области медицины, приведенной в предыдущем упражнении, добавьте действие Test (Лабораторный анализ), которое имеет условный результат Cui tureGrowth (Развитие бактериальной культуры), если предикат Disease имеет истинное значение, и в любом случае имеет результат из области восприятия Known (Си! tureGrowth). Составьте условный план, который решает эту задачу и сводит к минимуму использование действия Medi cate.
Часть V
Неопределенные знания И РАССУЖДЕНИЯ В УСЛОВИЯХ НЕОПРЕДЕЛЕННОСТИ
622660718778815622660718778815Неопределенность
622
660
718
778
815
622
660
718
778
815
Вероятностные рассуждения
Вероятностные рассуждения во времени
Принятие простых решений
Принятие сложных решений
13 Неопределенность
В данной главе показано, как должен действовать агент в условиях недостающей информации.
Действия в условиях неопределенности
Логические агенты, описанные в частях III и IV, пользовались базами знаний, эпистемологический вклад которых состоял в том, что содержащиеся в них высказывания были истинными, ложными или неизвестными. Если агенту известно достаточно фактов о его среде, соответствующий логический подход позволяет ему формировать планы, которые гарантированно будут работать. Такая организация функционирования агента является очень удобной. К сожалению, ^ агенты почти никогда не имеют доступа ко всем необходимым сведениям о своей среде. Поэтому агенты должны действовать в условиях неопределенности. Например, агент в мире вампу- са, описанный в главе 7, имеет датчики, которые сообщают ему только локальную информацию; основная часть мира не является для него непосредственно наблюдаемой. Агент в мире вампуса часто оказывается в такой ситуации, что не имеет возможности определить, какой из двух квадратов содержит яму. Если эти квадраты находятся на пути к золоту, то агенту может потребоваться испытать судьбу и войти наугад в один из этих двух квадратов.
Реальный мир намного сложнее по сравнению с миром вампуса. Логический агент не всегда имеет возможность составить полное и правильное описание того, как будут осуществляться его действия. Предположим, например, что агент- водитель такси желает отвести пассажира в аэропорт, чтобы тот успел на самолет, и составляет план Д90, в котором предусматривается выезд из дома за 90 минут до вылета самолета и вождение на приемлемой скорости. Но даже если аэропорт находится от дома на расстоянии примерно 15 миль, агент все равно не сможет со всей определенностью сделать вывод, что “план А90 позволит нам прибыть в аэропорт вовремя”. Вместо этого он приходит к более слабому заключению: “План д90 позволит нам прибыть в аэропорт вовремя, если только в моем автомобиле не возникнет неисправность или не закончится топливо, и я не попаду в аварию, и не будет аварий на мосту, и самолет не вылетит раньше времени, и...”. Ни одно из этих условий нельзя довести до логического вывода, поэтому невозможно сформировать логическим путем заключение о том, что реализация плана будет успешной. Это — один из примеров проблемы спецификации, которая упоминалась в главе 10.
Если логический агент не сможет сделать заключение о том, какая именно конкретная стратегия позволяет ему достичь цели, то не сможет действовать. Условное планирование позволяет до некоторой степени преодолеть неопределенность, но только если агент сможет получать требуемую информацию с помощью действий, предусматривающих применение датчиков, и только если количество различных непредвиденных ситуаций не слишком велико. Еще одно возможное решение состоит в том, чтобы наделить агента простой, но, возможно, неправильной теорией мира, которая позволит ему составить план; можно надеяться на то, что подобные планы чаще всего будут выполнимыми, но если происходящие события будут противоречить теории агента, возникнут проблемы. Более того, даже сам выбор компромисса между точностью и полезностью этой рабочей теории агента, по-видимому, потребует формирования рассуждений о неопределенности. В конечном итоге ни один чисто логический агент не сможет прийти к выводу, что план А90 — именно то, что следует делать.
Тем не менее предположим, что план А90 действительно представляет собой правильное руководство к действию. Что подразумевается под этим утверждением? Как было описано в главе 2, под этим подразумевается, что из всех планов, которые могут быть выполнены, только план д90, по всей видимости, позволит максимизировать показатели производительности агента при наличии всей той информации о своей среде, которую имеет агент. Показатели производительности включают своевременную доставку пассажира в аэропорт к указанному рейсу, предотвращение продолжительного, непродуктивного ожидания в аэропорту и избавление от необходимости дополнительно оплачивать проезд по скоростным участкам шоссе. Информация, которой обладает агент, не позволяет гарантировать получение ни одного из этих результатов выполнения плана д90, но может обеспечить достижение некоторой степени уверенности в том, что эти результаты будут достигнуты. Другие планы, такие как а120, способны повысить степень уверенности агента в том, что он доставит пассажира в аэропорт вовремя, но вместе с тем повысят вероятность продолжительного ожидания. с^= Таким образом, выбор правильной стратегии — рационального решения — зависит и от относительной важности различных целей, и от вероятности того (от степени уверенности в том), что они могут быть достигнуты. Эти идеи будут уточнены в оставшейся части данного раздела в целях подготовки к разработке общих теорий проведения рассуждений в условиях неопределенности и принятия рациональных решений, которые будут представлены в этой и последующих главах.
Учет наличия неопределенных знаний
В этом разделе характер неопределенных знаний рассматривается более подробно. Для иллюстрации связанных с этим понятий будет использоваться простой пример из области диагностики. Диагностика (проводимая при обследовании пациента, при ремонте автомобиля или в других областях) представляет собой задачу, в которой почти всегда приходится сталкиваться с неопределенностью. Попробуем записать правила для диагностики заболеваний зубов с использованием логики первого порядка, чтобы можно было ознакомиться с тем, какие трудности возникают при осуществлении логического подхода. Рассмотрим следующее правило:
Vp Symptom kp, Toothache^ => Disease kp. Cavi ty^
Проблема состоит в том, что это правило является неверным. Не все пациенты с зубной болью имеют в зубе дупло; у некоторых из них встречается заболевание десен, нарыв или одна из нескольких других проблем:
Vp Symptomkp,Toothache) =>
Disease kp, Cavi ty) v Diseasekp,GumDisease) v Disease kp, Abscess) ...
К сожалению, для того чтобы сделать это правило истинным, мы вынуждены ввести в него почти бесконечный список возможных причин. Еще одна попытка может состоять в том, чтобы это правило было преобразовано в причинное правило:
Vp Disease kp, Cavi ty) => Symptomkp, Toothache)
Но и это правило нельзя назвать верным; не все зубы, в которых имеется дупло, вызывают боль. Единственный способ откорректировать данное правило состоит в том, чтобы сделать его логически исчерпывающим: дополнить левую сторону описаниями всех обстоятельств, которые должны иметь место для того, чтобы дупло вызывало зубную боль. Но даже в этом случае с целью правильной диагностики необходимо также учитывать вероятность того, что наличие зубной боли у пациента и наличие дупла в зубе могут быть не связаны.
Таким образом, попытка использовать логику первого порядка для представления знаний в таких проблемных областях, как медицинская диагностика, оканчивается неудачей по трем основным причинам, описанным ниже.
^ Экономия усилий. Для формирования полного множества антецедентов или консеквентов, необходимого для составления правила, не имеющего исключений, требуется слишком много работы, а само применение таких правил является слишком сложным.
^ Отсутствие теоретических знаний. Медицинская наука не имеет полной теории для данной проблемной области.•
^ Отсутствие практических знаний. Даже если известны все правила, может оставаться неопределенность в отношении диагноза данного конкретного пациента, поскольку все необходимые обследования не были или не могли быть выполнены.
Связь между зубной болью и наличием дупла не является просто логическим следствием, действующим в обоих направлениях. Такая ситуация типична не только для данной области медицинской диагностики, но и для большинства других областей, в которых требуется формирование суждений об определенных ситуациях: юриспруденция, экономика, проектирование, ремонт автомобилей, садоводство, датирование ископаемых находок и т.д. Знания агента в лучшем случае позволяют сформировать относящиеся к делу высказывания только с определенной ^ степенью уверенности (degree of belief). Основным применяемым нами инструментальным средством для учета степеней уверенности будет ^ теория вероятностей, в которой каждому высказыванию присваивается числовое значение степени уверенности от 0 до 1. (Некоторые альтернативные методы формирования рассуждений в условиях неопределенности описаны в разделе 14.7.)
^ Вероятности предоставляют способ суммарного учета неопределенности, возникающей по причинам экономии усилий и отсутствия знаний. Мы не можем знать со всей уверенностью, что беспокоит данного конкретного пациента, но можем быть уверенны-
ми в том, что, скажем, в 80 случаях из 100 (т.е. с вероятностью 0,8) у пациента в зубе имеется дупло, если он испытывает зубную боль. Это означает, что из числа всех ситуаций, неотличимых от текущей ситуации в рамках тех знаний, которыми обладает агент, пациент в 80% этих ситуаций должен иметь дупло в зубе. Такая уверенность может быть основана на статистических данных (о том, что у 80% пациентов с зубной болью, наблюдавшихся до сих пор, было обнаружено дупло в зубе), или на основе некоторых общих правил, или с использованием определенной комбинации сведений, полученных из разных источников. В этих 80% дана сводная информация обо всех случаях, в которых присутствовали все факторы, необходимые для того, чтобы дупло вызывало зубную боль, и о других случаях, в которых у пациента были и дупло, и зубная боль, но эти два обстоятельства оказались несвязанными. Эти недостающие 20% подытоживают все другие возможные причины зубной боли, для подтверждения или отрицания которых мы либо затратили слишком мало усилий, либо не имели достаточно знаний.
Присваивание вероятности 0 данному конкретному высказыванию соответствует безусловной уверенности в том, что это высказывание ложно, а присваивание вероятности 1 соответствует безусловной уверенности, что высказывание истинно. Значения вероятности между 0 и 1 соответствуют промежуточным степеням уверенности в истинности высказывания. В действительности само высказывание может быть либо истинным, либо ложным независимо от этого. Важно отметить, что степень уверенности отличается от степени истинности. Вероятность 0,8 не означает “истинно на 80%”, а просто указывает на 80%-ную степень уверенности, т.е. на довольно обоснованные ожидания. Таким образом, теория вероятностей вносит такой же онтологический вклад, как и логика, т.е. позволяет указать, являются ли некоторые факты действительными в этом мире. Степени истинности, в отличие от степеней уверенности, являются предметом нечеткой логики, которая рассматривается в разделе 14.7.
В логике такое высказывание, как “У пациента в зубе имеется дупло”, является истинным или ложным в зависимости от интерпретации и от мира; оно истинно именно тогда, когда имеет место факт, на который оно ссылается. С другой стороны, в теории вероятностей такое высказывание, как “Вероятность того, что у данного пациент в зубе имеется дупло, равна 0,8”, касается степени уверенности агента, а не относится непосредственно к самому миру. Эта степень уверенности зависит от результатов восприятия, полученных агентом до сих пор. Сами результаты восприятия представляют собой свидетельство, на котором основаны вероятностные утверждения. Например, предположим, что агент вытянул карту из растасованной колоды. Прежде чем посмотреть на эту карту, агент может присвоить значение вероятности 1/52 такому событию, что карта окажется тузом пик, а после взгляда на вынутую из колоды карту соответствующая вероятность для того же высказывания примет значение 0 или 1. Таким образом, присваивание значения вероятности некоторому высказыванию аналогично утверждению о том, что данное конкретное логическое высказывание (или его отрицание) следует из базы знаний, а не о том, является ли оно истинным или ложным. Разумеется, оценка того, следует ли высказывание из базы знаний, может изменяться по мере добавления в базу знаний новых высказываний; и, по аналогии с этим, вероятности могут изменяться после получения дополнительных свидетельств.
Поэтому во всех вероятностных утверждениях должно быть указано свидетельство, с учетом которого оценивалась данная вероятность. По мере получения агентом новых результатов восприятия его вероятностные оценки обновляются таким образом, чтобы в них отражались новые свидетельства. Вероятности, оцениваемые до получения свидетельства, называются априорными, или безусловными, вероятностями, а вероятности, оцениваемые после получения свидетельства, называются апостериорными, или условными, вероятностями. В большинстве случаев агент должен получать определенные свидетельства из результатов своих восприятий; после этого ему необходимо вычислять апостериорные вероятности результатов, которые его интересуют.
Неопределенность и рациональные решения
Из-за наличия неопределенности способ принятия решений агентом изменяется коренным образом. В обычных условиях логический агент ставит перед собой цель и выполняет любой план, который гарантирует ее достижение. Действие в этом плане может быть выбрано или отвергнуто с учетом того, способствует ли оно достижению цели, независимо от наличия или отсутствия каких-либо иных действий, способствующих ее достижению. А если в ситуацию вмешивается неопределенность, такой подход становится неосуществимым. Снова рассмотрим план прибытия в аэропорт, Д90. Предположим, что этот план имеет 95%-ные шансы на успех. Означает ли это, что решение по выбору данного плана является рациональным? Не обязательно: могут существовать другие планы, такие как а120, с большими вероятностями успеха. Если для пассажира жизненно важно успеть на самолет, то стоит рискнуть тем, что ему придется дольше ждать в аэропорту. А что можно сказать о плане А1440, который предусматривает заблаговременный выезд из дома за 24 часа до отправления самолета? В большинстве обстоятельств это — не лучший выбор, поскольку он предусматривает невыносимо долгое ожидание, даже несмотря на то, что почти полностью гарантирует своевременное прибытие в аэропорт.
Чтобы иметь возможность выбирать среди подобных вариантов, агент должен вначале получить информацию о М предпочтениях между различными возможными ^ результатами разных планов. Каждый конкретный результат представляет собой полностью определенное состояние, включая такие факторы, как своевременное прибытие агента и продолжительность ожидания в аэропорту. Для представления и формирования рассуждений с учетом предпочтений мы будем использовать ^теорию полезности. (Термин “полезность” имеет англоязычный эквивалент “utility”, который в данном контексте обозначает “свойство быть полезным”, а не электростанцию или предприятие, предоставляющее коммунальные услуги.) Теория полезности указывает, что каждое состояние имеет определенную степень полезности (или просто полезность) для агента и что агент предпочитает состояние с более высокой полезностью.
Полезность состояния является относительной для агента, предпочтения которого должна описывать функция полезности. Например, функции вознаграждения для игр, описанные в главе 6, представляют собой функции полезности. Полезность состояния, в котором белые могут победить в ходе какой-то шахматной партии, безусловно, высока для агента, играющего белыми, но низка для агента, играющего черными. Еще один пример состоит в том, что некоторые игроки (включая авторов
этой книги) будут счастливы, сыграв вничью против чемпиона мира, а о других игроках (включая бывшего чемпиона мира) этого сказать нельзя. При этом не учитываются личные вкусы или предпочтения: читатель может подумать, что агент, который предпочитает шоколадным чипсам мороженое “Халапеньо” с добавлением компонентов жевательной резинки, — странный или даже бестолковый тип, но не сможет утверждать, что этот агент нерационален. В функции полезности может быть даже учтена польза от альтруистического поведения просто путем включения оценки благополучия других как одного из факторов, которые вносят вклад в полезность для самого агента.
Предпочтения, будучи выраженными в виде полезности, комбинируются с вероятностями в общей теории рациональных решений, называемой М теорией решений, следующим образом:
Теория решений = Теория вероятностей + Теория полезности
Фундаментальная идея теории решений состоит в том, что ^ любой агент является рациональным тогда и только тогда, когда он выбирает действие, позволяющее достичь наибольшей ожидаемой полезности, усредненной по всем возможным результатам данного действия. Это — так называемый принцип максимальной ожидаемой полезности (Maximum Expected Utility — MEU). Мы наблюдали этот принцип в действии в главе 6, когда кратко рассматривали оптимальные решения в нардах, а ниже будет показано, что это — действительно полностью общий принцип.
Проект агента, действующего в соответствии с теорией решений
Набросок структуры агента, который использует теорию решений для выбора действий, приведен в листинге 13.1. На некотором уровне абстракции этот агент идентичен логическому агенту, описанному в главе 7. Основное различие состоит в том, что знания о текущем состоянии агента, действующего в соответствии с теорией решений, являются неопределенными; ^доверительное состояние этого агента является представлением вероятностей всех возможных фактических состояний мира. Со временем агент накапливает больше свидетельств и его доверительное состояние изменяется. На основании своего доверительного состояния агент может делать вероятностные предсказания результатов действий и поэтому выбирать действие с наивысшей ожидаемой полезностью. В настоящей и следующей главах изложение в основном сосредоточивается на задаче представления и вычисления с учетом вероятностной информации в целом. Глава 15 посвящена описанию методов решения конкретных задач представления и обновления доверительного состояния, а также задач предсказания обстановки в среде. В главе 16 более подробно рассматривается теория полезности, а в главе 17 разрабатываются алгоритмы, применяемые для принятия сложных решений.
Листинг 13.1. Агент, действующий на основании теории решений, который выбирает рациональные действия. Этапы работы этого алгоритма подробно описываются в следующих пяти главах
function DT-Agent (percept) returns действие action
static: belief_state, доверительное состояние - вероятностные убеждения, касающиеся текущего состояния мира action, действие агента
обновить доверительное состояние belief_state с учетом действия action и восприятия percept
вычислить результирующие вероятности для действий actions
на основании описаний действий action и текущего доверительного состояния belief„state
выбрать действие action с наивысшей ожидаемой полезностью с учетом вероятностей результатов и информации о полезности
return action
Основная вероятностная система обозначений
Теперь, после определения общей инфраструктуры для рационального агента, нам потребуется формальный язык для представления и формирования рассуждений с неопределенными знаниями. Любая система обозначений, применяемая для описания степеней уверенности, должна предоставлять возможность решать две основные проблемы: отражать характер высказываний, которым присваиваются оценки степени уверенности, и показывать зависимость степени уверенности от опыта агента. В представленной здесь версии теории вероятностей используется одно из расширений пропозициональной логики, которое распространяется на высказывания в этой логике. Зависимость от опыта отражается в синтаксическом различии между априорными вероятностными утверждениями, которые применяются до получения каких-либо свидетельств, и условными вероятностными утверждениями, которые явно включают соответствующие свидетельства.
Высказывания
Оценки степеней уверенности всегда применяются к высказываниям — утверждениям о том, что имеет место то-то и то-то. До сих пор в этой книге рассматривались два формальных языка, применяемых для составления высказываний, — пропозициональная логика и логика первого порядка. В теории вероятностей, как правило, используется язык, немного более выразительный, чем пропозициональная логика. Этот язык описан в данном разделе. (В разделе 14.6 обсуждаются способы, позволяющие предписывать оценки степеней уверенности утверждениям в логике первого порядка.)
Основным элементом этого языка является ^ случайная переменная, которая может рассматриваться как ссылающаяся на некоторую “часть” мира, “состояние” которого первоначально неизвестно. Например, утверждение Cavity может касаться того, имеется ли у пациента дупло в нижнем левом зубе мудрости. Случайные переменные играют роль, аналогичную той, которую выполняют переменные CSP в задачах удовлетворения ограничений и пропозициональные символы в пропозициональной логике. Мы будем всегда записывать имена случайных переменных с прописной буквы. (Тем не менее для представления любой неизвестной случайной переменной все еще используются однобуквенные имена в виде строчных букв, например Р(а) = l-P(-ia).)
Каждая случайная переменная имеет М область определения значений, которые она может принимать. Например, область определения переменной Cavity может
представлять собой <true, false>. (Для имен значений используются прописные буквы.) В этом высказывании простейшего вида утверждается, что случайная переменная имеет конкретное значение, взятое из ее области определения. Например, Cavity = true может представлять высказывание, что у пациента действительно имеется дупло в левом нижнем зубе мудрости.
Как и в случае переменных CSP, случайные переменные обычно подразделяются на три описанных ниже вида, в зависимости от типа области определения.
^ Булевы случайные переменные, такие как Cavity, имеют область определения <true, false>. Мы часто будем сокращенно записывать высказывание, подобное Cavity= true, в виде имени этой переменной, записанного со строчной буквы, cavity. Аналогичным образом, высказывание Cavity= false будет сокращенно записываться как -icavi ty.
^ Дискретные случайные переменные, которые включают булевы случайные переменные как частный случай и принимают значения из счетной области определения. Например, областью определения погоды Wea ther может быть <sunny, rainy, cloudy, snow>. Значения в области определения должны быть взаимно исключительными и исчерпывающими. Если не возникает путаница, мы будем, например, использовать snow как сокращение для высказывания Weather- snow.
^ Непрерывные случайные переменные принимают свои значения из области действительных чисел. Эта область определения может представлять собой всю ось действительных чисел или некоторое ее подмножество, такое как интервал [0,1]. Например, в высказывании Х=4.02 утверждается, что случайная переменная X имеет точное значение 4.02. Высказывания, касающиеся непрерывных случайных переменных, могут также представлять собой неравенства, такие как X < 4.02.
За небольшими исключениями, мы будем в основном сосредоточиваться на дискретном случае.
Элементарные высказывания, такие как Cavity=true и Toothache^ false, могут комбинироваться для формирования сложных высказываний с использованием всех стандартных логических связок. Например, Cavity = true a Toothache= false представляет собой высказывание, которому может быть предписана определенная степень уверенности (неуверенности). Как было указано в предыдущем абзаце, это высказывание может быть также записано как cavity a -^toothache.
Атомарные события
Для понимания основ теории вероятностей полезно ознакомиться с понятием ^ атомарного события. Атомарное событие представляет собой полную спецификацию состояния мира, в отношении которого знания агента являются неопределенными. Оно может рассматриваться как некоторое присваивание конкретных значе-
ний всем переменным, из которых состоит этот мир. Например, если мир пациента состоит только из булевых переменных Cavity и Toothache, то существует всего лишь четыре разных атомарных события; одним из таких событий является высказывание Cavity= false a Toothache- true.
Атомарные события имеют некоторые важные свойства, описанные ниже.
Они являются взаимно исключающими — фактически может иметь место, самое большее, одно такое событие. Например, не могут одновременно происходить такие события, как cavity a toothacheи cavity а —\toothache.
Множество всех возможных атомарных событий является исчерпывающим — должно иметь место по меньшей мере одно из этих событий. Это означает, что дизъюнкция всех атомарных событий логически эквивалентна true.
Из любого конкретного атомарного события следует истинность или ложность каждого высказывания, либо простого, либо сложного. В этом можно убедиться, используя стандартные определения семантики для логических связок (см. главу 7). Например, из атомарного события cavity л ^toothache следует истинность высказывания cavity и ложность высказывания cavity => toothache.
Любое высказывание логически эквивалентно дизъюнкции всех атомарных событий, из которых следует истинность этого высказывания. Например, высказывание cavity эквивалентно дизъюнкции атомарных событий cavity a toothache и cavi ty а —\toothache.
В упр. 13.4 предлагается доказать некоторые из этих свойств.
Априорная вероятность
М Безусловная, или М априорная, вероятность, связанная с высказыванием а, представляет собой степень уверенности, относящуюся к этому высказыванию в отсутствии любой другой информации; она записывается как Р(а). Например, если априорная вероятность того, что у пациента в зубе имеется дупло, равна 0,1, то можно записать следующее:
Р(Cavity = true) = 0.1 или Р(cavity) = 0.1
Важно помнить, что вероятность Р(а) может использоваться, только если нет другой информации. Как только становится известной какая-то новая информация, мы должны проводить рассуждения с условной вероятностью высказывания а, в которой учитывается эта новая информация. Условные вероятности рассматриваются в следующем разделе.
Иногда приходится вести речь о вероятностях всех возможных значений случайной переменной. В этом случае используется такое выражение, как Р (Weather), которое обозначает вектор значений для вероятностей каждого отдельного состоя-
ния погоды. Таким образом, вместо того, чтобы записывать следующие четыре уравнения:
Р( Weather = sunny') = 0.7
Р( Weather = rain) = 0.2
Р( Weather = cloudy) = 0.08
P( Weather = snow) = 0.02
можно просто применить такую запись:
Р(Weather) = ( 0.7,0.2,0.08,0.02 )
В этом выражении определено ^ распределение априорных вероятностей для случайной переменной Weather.
Кроме того, такие выражения, как Р(Weather, Cavity), могут использоваться для обозначения вероятностей всех комбинаций значений множества случайных переменных. В этом случае выражение Р(Weather, Cavity) можно представить с помощью таблицы вероятностей с размерами 4x2. Такая таблица называется ^ совместным распределением вероятностей переменных Wea ther и Cavi ty.
Иногда возникает необходимость рассматривать полное множество случайных переменных, используемых для описания мира. Совместное распределение вероятностей, которое охватывает указанное полное множество, называется М полным совместным распределением вероятностей. Например, если мир состоит только из переменных Cavity, Toothache и Weather, то полное совместное распределение определяется следующим выражением:
Р (Cavity, Toothache, Weather)
Это совместное распределение может быть представлено в виде таблицы с размерами 2x2x4, имеющей 16 элементов. Полное совместное распределение вероятностей задает вероятность каждого атомарного события и поэтому представляет собой полную спецификацию неопределенности знаний некоего лица о рассматриваемом мире. Как будет показано в разделе 13.4, с помощью полного совместного распределения можно получить ответ на любой запрос, касающийся вероятностных знаний.
Для непрерывных переменных возможность записать все распределение в виде таблицы просто исключена, поскольку количество значений бесконечно велико. Вместо этого обычно определяется вероятность, которую принимает случайная переменная при некотором значении х, в виде параметризованной функции от х. Например, допустим, что случайная переменная X обозначает прогноз максимальной температуры воздуха на завтра в Беркли. В таком случае следующее высказывание:
Р(Х = х) = [/[18,26] (х)
выражает уверенность в том, что значение храспределено равномерно между 18 и 26 градусами Цельсия. (Некоторые полезные непрерывные распределения описаны в приложении А.) Вероятностные распределения для непрерывных переменных называются ^ функциями плотности вероятностей. Функции плотности отличаются по смыслу от дискретных распределений. Например, с использованием распределения температур,
приведенного выше, можно найти, что Р(Х = 20.5) =[/[18,26] (20.5) =0.125/С. Это не означает, что имеется 12,5% шансов на то, что завтра максимальная температура будет точно равна 20,5 градуса; вероятность того, что это произойдет, разумеется, равна нулю. Формальный смысл приведенного выше выражения состоит в том, что вероятность пребывания значений температуры в небольшом регионе вокруг 20,5 градуса равна в этих пределах значению 0,125, деленному на ширину региона в градусах Цельсия:
lim Р(20.5 < X < 20.5+dx)/dx = 0.125/С
Некоторые авторы используют разные символы для дискретных распределений и функций плотности, а авторы данной книги в обоих случаях используют обозначение Р, поскольку путаница возникает редко и уравнения для обоих случаев обычно одинаковы. Следует учитывать, что вероятности обозначаются безразмерными числами, а функции плотности измеряются с помощью некоторой единицы, в данном примере в качестве такой единицы применяется единица измерения, обратная градусам Цельсия.
Условная вероятность
После того как агент получает определенное свидетельство, касающееся ранее неизвестных случайных переменных, составляющих рассматриваемую проблемную область, априорные вероятности становятся больше не применимыми. Вместо этого должны использоваться М условные, или М апостериорные, вероятности. При этом используется обозначение Р(а | Ь), где а и Ь — любые высказывания. Это обозначение читается как “вероятность а, при условии, что все, что нам известно, — это Ь”. Например, следующее выражение:
РI cavity \ toothache) = 0.8
показывает, что если наблюдается пациент, имеющий зубную боль, и еще не получена какая-либо иная информация, то вероятность наличия у этого пациента дупла в зубе составляет 0,8. Априорная вероятность, такая как Р( cavity), может рассматриваться как частный случай условной вероятности, Р( cavi ty | ), где условием вероятности является отсутствие свидетельства.
Условные вероятности могут быть определены в терминах безусловных вероятностей. Таким определяющим уравнением является следующее, которое остается истинным, если Р(Ь) > 0:
Это уравнение может быть также записано следующим образом и в таком виде называется ^ правилом произведения:
Р(а л Ь) = Р(а|Ь)Р(Ь)
По-видимому, правило произведения запомнить проще; оно основано на таком факте: для того чтобы а и b были истинными, необходимо, чтобы b было истинным,
а также необходимо, чтобы а было истинным, если дано Ь. Такое же утверждение можно выразить иначе:
Р(а л b) = P(jb| а) Р(а)
В некоторых случаях проще формировать рассуждения в терминах априорных вероятностей конъюнкций, но чаще всего мы в качестве своего основного инструмента для вероятностного логического вывода будем использовать условные вероятности.
Кроме того, для условных распределений может использоваться обозначение Р. Выражение Р (х| У) задает значения выражения Р(Х=х£ | Y^y^) для каждой возможной комбинации 1, j. В качестве примера того, что с помощью векторного обозначения можно добиться сокращения размеров формул, рассмотрим, как применяется правило произведения к каждому случаю, когда высказывания а и Ь, соответственно, подтверждают конкретные значения переменных X и Y. При этом будут получены следующие уравнения:
Р(Х = Xi л Y = у^ = РкХ = Х1|У = У1)Р(У = yi)
РкХ = Xi л Y = у2) = Р(Х = Х1|У = у2)Р(У = у2)
Все эти уравнения можно объединить в такое единственное уравнение:
Р(Х, У) = Р(Х| У) Р(У)
Следует учитывать, что это уравнение обозначает множество уравнений, которые связывают между собой соответствующие отдельные записи в таблицах распределения вероятностей, а не выражает матричное умножение этих таблиц.
Было бы соблазнительно, но неправильно рассматривать условные вероятности как логические следствия с оценкой неопределенности. Например, высказывание Р(а | Ь) =0.8 нельзя интерпретировать в том смысле, что “если b истинно, из этого следует вывод, что вероятность Р(а) равна 0,8”. Такая интерпретация была бы неправильной в двух отношениях: во-первых, Р(а) всегда обозначает априорную вероятность а, но не апостериорную вероятность, полученную с учетом некоторого свидетельства; во-вторых, само утверждение Р (а | Ь) = 0.8 непосредственно относится к делу, только если Ь— единственное доступное свидетельство. Как только становится доступной дополнительная информация с, степень уверенности в истинности а становится равной Р(а | b л с), а это значение может быть почти не связанным со значением Р(а| Ь). Например, в высказывании с может быть непосредственно указано, является ли а истинным или ложным. Если врач обследует пациента, который жалуется на зубную боль, и обнаруживает дупло, то получает дополнительное свидетельство cavi ty и составляет логический вывод (тривиальный), что Р(cavity| toothache a cavity) =1.0.
ятность наличия дупла примерно равна 0,1. Согласно этим взглядам, утверждение “вероятность дупла равна 0,1 ” означает, что 0.1 — это доля соответствующих пациентов, которая будет наблюдаться в пределе при обследовании выборки, состоящей из бесконечного количества людей. А любая конечная выборка позволяет оценить истинную долю, а также рассчитать, насколько точной, по-видимому, является эта оценка.
Согласно М объективистским взглядам, вероятности — это реальные аспекты универсума (связанные с тем, что в поведении объектов наблюдаются определенные закономерности), а не просто описания степени уверенности наблюдателя. Например, тот факт, что подлинная монета падает решкой вверх с вероятностью 0,5, отражает закономерности падения самой монеты. С точки зрения сторонников этих взглядов, фреквентистские измерения представляют собой попытки проведения наблюдений за реализацией таких закономерностей. Большинство физиков согласны с тем, что квантовые феномены, наблюдаемые в микроскопических масштабах, объективно являются вероятностными, а неопределенность в макроскопических масштабах (например, при подбрасывании монеты) обычно обусловлена незнанием начальных условий и, скорее всего, не согласуется с этими взглядами о реализации каких-то закономерностей.
Сторонники М субъективистских взглядов описывают вероятности как способ описания уверенности агента, а не как проявления, имеющие какую- то внешнюю физическую значимость. Именно это позволяет врачу или аналитику оперировать с числами, например, чтобы иметь возможность утверждать: “По моему мнению, ожидаемая вероятность наличия дупла составляет около 0,1”. Кроме того, для выявления вероятностных оценок, применяемых людьми, было разработано несколько более надежных методов, таких как системы регистрации ставок, описанные на с. 637.
В конце концов, даже строго фреквентистская позиция требует субъективного анализа, поэтому с точки зрения практики различия между взглядами сторонников этих трех направлений, по-видимому, не имеют большого значения. То, что нельзя обойтись без субъективного подхода, иллюстрирует проблема ^ референтного класса (reference class). Предположим, что некий врач, сторонник фреквентистских взглядов, желает знать, каковы шансы того, что некоторый пациент имеет данное конкретное заболевание. Этот врач хочет рассмотреть сведения о других пациентах, которые обладают аналогичными характеристиками по важным показателям (возраст, симптомы и, возможно, пол), и определить, какая часть из них имеет это заболевание. Такая задача может быть решена, но если врач станет рассматривать все, что известно о пациенте (вес с точностью до грамма, цвет волос, девичья фамилия матери и т.д.), результатом станет то, что не найдется больше пациентов, имеющих точно такие же характеристики, и поэтому нельзя будет определить референтный класс, в котором можно было бы собрать экспериментальные данные. Это — одна из неразрешимых проблем в философии науки.
В принципе безразличия Лапласа [887] утверждается, что высказывания, которые являются синтаксически “симметричными” по отношению к данному свидетельству, должны рассматриваться как равновероятные. Были предложены различные уточнения этого принципа, а кульминацией этих усилий ста-
ла попытка Карнапа и других ученых разработать строгую индуктивную логику, позволяющую правильно вычислять вероятность любого высказывания на основании результатов любой коллекции наблюдений. В настоящее время считается, что никакой уникальной индуктивной логики не существует; вместо этого любая подобная логика опирается на субъективное априорное распределение вероятностей, субъективность которой уменьшается по мере накопления все большего и большего количества наблюдений.
Аксиомы ВЕРОЯТНОСТЕЙ
До сих пор в этой главе был определен синтаксис для высказываний, а также для априорных и условных вероятностных утверждений об этих высказываниях. Теперь необходимо определить своего рода семантику для вероятностных утверждений. Начнем с базовых аксиом, которые служат для определения шкалы вероятностей и ее конечных точек, как описано ниже.
Все вероятности находятся в пределах от 0 до 1; для любого высказывания а справедливо следующее:
О < Р(а) < 1
Безусловно истинные (т.е. выполнимые) высказывания имеют вероятность 1, а безусловно ложные (т.е. невыполнимые) высказывания имеют вероятность 0: P(true) = 1Р(false) = 0
Кроме того, требуется аксиома, которая соединяет вероятности логически взаимосвязанных высказываний. Такую аксиому можно проще всего составить, определив вероятность дизъюнкции, как показано ниже.
Вероятность дизъюнкции задается следующей формулой:
Р(а v Ь) = Р(а) + Р(Ь) - Р(а л Ь)
Это правило можно легко запомнить, отметив, что те случаи, когда высказывание а является истинным, вместе с теми случаями, когда b является истинным, безусловно, охватывают все те случаи, когда истинно высказывание a v Ь; но в сумме двух множеств случаев их пересечение встречается дважды, поэтому необходимо вычесть Р( а л Ь).
Эти три аксиомы часто называют ^ аксиомами Колмогорова в честь советского математика Андрея Колмогорова, который показал, как построить остальную часть теории вероятностей на этом простом фундаменте. Обратите внимание на то, что в этих аксиомах речь идет только об априорных вероятностях, а не об условных; это связано с тем, что последние уже были определены в терминах первых в уравнении 13.1.
Использование аксиом вероятностей
Из этих основных аксиом можно вывести целый ряд полезных фактов. Например, знакомое правило отрицания следует из подстановки -.а вместо b в аксиому 3, что приводит к получению следующего выражения:
Р(а v —ia) = Р(а) + P(-ia) - Р(а л -ia) (согласно аксиоме 3 с b = -па)
P(true) = Р(а) + P(-ia) - Р(false) согласно правилу логической эквивалентности)
= Р(а) + Р(-па)согласно аксиоме 2)
P(-ia) = 1 - Р(а)(согласно алгебраическому
определению)
Третья строка этого логического вывода сама является полезным фактом и может быть распространена с данного булева случая на общий дискретный случай. Допустим, что дискретная переменная D имеет область определения <dlf.... dn>. Тогда можно легко показать (упр. 13.2), что справедлива следующая формула:
п
^ P(D=di) = 1
i=l
Это означает, что любое вероятностное распределение по одной переменной должно в сумме составлять 1. Справедливо также утверждение, что любое совместное распределение вероятностей по любому множеству переменных должно в сумме составлять 1; в этом можно убедиться, создав одну мегапеременную, областью определения которой является перекрестное произведение областей определения первоначальных переменных.
Напомним, что любое высказывание а эквивалентно дизъюнкции всех атомарных событий, в которых а является истинным; назовем эту дизъюнкцию множеством событий е (а). Напомним также, что атомарные события являются взаимно исключающими, поэтому вероятность любой конъюнкции атомарных событий равна нулю, согласно аксиоме 2. Таким образом, из аксиомы 3 можно вывести следующее простое соотношение: ^ вероятность любого высказывания равна сумме вероятностей атомарных событий, в которых оно является истинным; т.е. вывести такое уравнение:
Р(а) =^ P(ei)(13.2)
е^е (а)
Это уравнение предоставляет простой метод вычисления вероятности любого высказывания при наличии полного совместного распределения, которое задает вероятности всех атомарных событий (см. раздел 13.4.) В следующих разделах будут выведены дополнительные правила для манипулирования вероятностями. Но вначале исследуем теоретические основы самих этих аксиом.
Теоретическое обоснование аксиом вероятностей
Аксиомы вероятностей могут рассматриваться как ограничивающие множество вероятностных убеждений, которых может придерживаться некоторый агент. Такой подход в определенной степени подобен логическому подходу, согласно которому,
например, логический агент не может одновременно быть уверенном в истинности высказываний А, В и -i(A д В). Тем не менее в вероятностном подходе возникает дополнительное усложнение. В логическом случае семантическое определение конъюнкции означает, что, по меньшей мере, одно из трех только что упомянутых убеждений должно быть ложным в этом мире, поэтому для любого агента неразумно было бы сохранять уверенность в истинности этих трех высказываний. Но в случае вероятностей, с другой стороны, утверждения относятся не непосредственно к самому миру, а к собственному состоянию знаний агента. В таком случае, почему агент не мог бы иметь приведенное ниже множество убеждений, которое явно нарушает аксиому 3?
Р(а) = 0.4
Р(а л Jb) =0.0
Р(Ь) = 0.3
Р(а v Ъ) = 0.8 (13.3)
Такого рода вопрос был предметом яростных дебатов, продолжавшихся в течение нескольких десятилетий, между теми, кто отстаивал допустимость использования вероятностей как единственной обоснованной формы оценки степеней уверенности, и теми, кто отстаивал альтернативные подходы. В данном разделе мы приведем один довод в пользу аксиом вероятностей, впервые сформулированный в 1931 году в работах Бруно де Финетти (Bruno de Finetti).
Ключом к этому доводу де Финетти является связь между степенью уверенности и действиями. Идея состоит в том, что если агент имеет некоторую степень уверенности в истинности высказывания а, то агент должен быть способен сформулировать оценку того, в какой степени он безразличен к ставке за или против высказывания а. Рассмотрим эту ситуацию как игру между двумя агентами: агент 1 утверждает “моя степень уверенности в истинности события а равна 0,4”. Затем агент 2 вправе выбрать, будет ли он делать ставку за или против высказывания а, применяя суммы, которые совместимы с заявленной степенью уверенности. Это означает, что агент 2 может решить сделать ставку на то, что событие а произойдет, поставив 4 доллара против 6 долларов агента 1. С другой стороны, агент 2 может поставить 6 долларов против 4, что А не произойдет. Если степень уверенности агента не точно отражает состояние мира, можно вполне рассчитывать на то, что в долговременной перспективе он будет проигрывать деньги агенту-противнику, убеждения которого более точно отражают состояние мира.
Но де Финетти доказал гораздо более сильное утверждение: с^= если агент 7 руководствуется множеством степеней уверенности, которое нарушает аксиомы теории вероятностей, то существует такая комбинация ставок агента 2, которая гарантирует, что агент 7 будет терять деньги при каждой ставке. Поэтому, если вы придерживаетесь той идеи, что агент должен стремиться “ставить свои деньги на те события, вероятности которых выше”, то должны также признать, что нерационально иметь такие убеждения, которые нарушают аксиомы вероятностей.
На первый взгляд может показаться, что эта игра со ставками довольно надумана. Например, что было бы, если один из агентов отказался бы делать ставки? Закончился бы на этом спор? Ответ на данный вопрос состоит в том, что эта игра со ставками представляет собой абстрактную модель для ситуации принятия решений, в которую любой агент неизбежно вовлечен в любой момент своего существования. Каждое действие (включая бездействие) — это своего рода ставка, а каждый результат может рассматриваться как положительное или отрицательное вознаграждение за эту ставку. Отказ делать ставку аналогичен решению предоставить все естественному течению событий.
Мы не будем доказывать представленную выше теорему де Финетти, а приведем один пример. Предположим, что агент 1 руководствуется множеством степеней уверенности, приведенным в уравнении 13.3. В табл. 13.1 показано, что если агент 2 решит делать ставки 4 доллара на событие а, 3 доллара — на событие b и 2 доллара на событие -i (a v Ь), то агент 1 будет всегда терять деньги, независимо от результатов а и Ь.
Таблица 13.1. Пример того, что при наличии у агента 1 несогласованных убеждений агент 2 получает возможности составить множество ставок, которое гарантирует потери для агента 1, независимо от результатов а и b
Агент 1
Агент 2
Результат для Агента 1
Высказывание
Степень уверенности
Ставка
Сумма ставки
а л b
а л -иЬ
—за а Ь
—за л —зЬ
а
0.4
а
4-6
-6
-6
4
4
b
0.3
b
3-7
-7
3
-7
3
a v b
0.8
-л (a v
Ь) 2-8
2
2
2
-8
-11
-1
-1
-1
В пользу применения вероятностей были выдвинуты и другие весомые философские аргументы; к числу наиболее широко известных из них относятся сформулированные Коксом [304] и Карнапом [225]. Но мир таков, каким он является, и практические свидетельства иногда становятся более весомыми, чем доказательства. Успех систем формирования рассуждений, основанных на теории вероятностей, оказался гораздо более привлекательным стимулом, который вызвал пересмотр многих взглядов. В следующем разделе будет показано, как описанные выше аксиомы могут быть применены для составления логических выводов.
Логический вывод с использованием полных СОВМЕСТНЫХ РАСПРЕДЕЛЕНИЙ
В данном разделе будет описан простой метод ^ вероятностного вывода, т.е. вычисления апостериорных вероятностей для высказываний, заданных в виде запросов, на основании наблюдаемых свидетельств. Мы будем использовать полное совместное распределение как своего рода “базу знаний”, из которой могут быть выве-
дены ответы на все вопросы. В ходе этого мы также представим несколько полезных методов манипулирования уравнениями, в которых учитываются вероятности.
Начнем с очень простого примера — с описания проблемной области, состоящей только из трех булевых переменных, Toothache, Cavity и Catch (неприятные ощущения от захвата зуба стальными клещами дантиста все еще свежи в памяти автора). Полное совместное распределение представляет собой таблицу с размерами 2x2x2 (табл. 13.2).
Таблица 13.2. Полное совместное распределение для мира Toothache, Cavity, Catch
toothache
-i toothache
catch
-xcatch
catch
—icatch
cavi ty
0.108
0.012
0.072
0.008
-icavi ty
0.016
0.064
0.144
0.576
Обратите внимание на то, что вероятности в этом совместном распределении в сумме составляют 1, как и требуется согласно аксиомам вероятностей. Следует также отметить, что уравнение 13.2 предоставляет нам прямой способ вычисления вероятности любого высказывания, простого или сложного: мы должны определить те атомарные события, в которых данное высказывание является истинным, и сложить их вероятности. Например, имеется шесть атомарных событий, в которых истинным является высказывание cavity v toothache:
P^cavity v toothache') = 0.108 + 0.012 + 0.072 + 0.008 + 0.016 + 0.064 = 0.28
Одна из задач, которая встречается особенно часто, состоит в том, чтобы извлечь из подобной таблицы распределение вероятностей по некоторому подмножеству переменных или по одной переменной. Например, складывая элементы первого ряда табл. 13.2, получим безусловную, или ^маргинальную, вероятность события са vi ty.
Pkcavity) = 0.108 + 0.012 + 0.072 + 0.008 = 0.2
Такой процесс называется ^ маргинализацией, или исключением из суммы, поскольку из суммы вероятностей исключаются прочие переменные, кроме Cavity. Можно записать следующее общее правило маргинализации для любых множеств переменных Y и Z:
P(Y) = ^ P(Y,z) (13.4) z
Это означает, что распределение вероятностей по Y может быть получено путем исключения из суммы вероятностей всех прочих переменных, относящихся к любому совместному распределению вероятностей, содержащему Y. В одном из вариантов этого правила учитываются условные вероятности, а не совместные вероятности с использованием правила произведения:
P(Y) = 2 , P(Y|z)P(z)(13.5)
z
Это правило называется правилом ^ обусловливания. Как оказалось, правила маргинализации и обусловливания являются очень полезными правилами для всех видов логических выводов, в которых применяются вероятностные выражения.
В большинстве случаев нас будет интересовать задача вычисления условных вероятностей некоторых переменных при наличии свидетельств, касающихся других переменных. Условные вероятности можно найти, вначале воспользовавшись уравнением 13.1 для получения выражения в терминах безусловных вероятностей, а затем рассчитав это выражение на основании полного совместного распределения. Например, можно вычислить вероятность наличия дупла после получения свидетельства о том, что пациент страдает от зубной боли, следующим образом:
,.Р(cavity л toothache)
Р(cavity\ toothache) = Р( toothache)
_ 0.108 + 0.012 _
" 0.108 + 0.012 + 0.016 + 0.064 " °*6
Просто для проверки мы можем также рассчитать вероятность того, что у пациента нет дупла, если у него наблюдается зубная боль:
,.Pk-^cavity л toothache)
PHcavity\ toothache) = Р( toothache)
_ 0.016 + 0.064 _
" 0.108 + 0.012 + 0.016 + 0.064 " °*4
Обратите внимание на то, что в этих двух примерах вычисления вероятности терм 1/Р( toothache) остается постоянным, независимо оттого, какое значение Cavity вычисляется. Фактически этот терм может рассматриваться как константа ^нормализации для распределения P{Cavity\ toothache), гарантирующая, что полученные вероятности в сумме составят 1. Во всех главах этой книги, где речь идет о вероятностях, для обозначения подобных констант будем использовать символ ос. С помощью такого обозначения можно записать два приведенных выше уравнения в виде одного:
Р (Cavi ty| toothache) = ос P (Cavi ty, toothache) }
= ос [P {Cavity, toothache, catch) + P {Cavity, toothache, -^catch) ]
= 0( [<0.108,0.016> + <0.012,0.064>] = ОС <0.12,0.08> = <0.6,0.4>
Как оказалось, нормализация является полезным сокращением во многих вероятностных вычислениях.
На основании приведенного выше примера можно составить общую процедуру вероятностного вывода. Мы будем придерживаться того случая, в котором запрос касается только одной переменной. Кроме того, потребуются некоторые обозначения: допустим, что X— переменная запроса (в данном примере Cavity); Е — множество переменных свидетельства (в данном примере к нему относится только Toothache); е — наблюдаемые значения этих переменных; Y — оставшиеся ненаблюдаемые переменные (в данном примере таковой является только Catch). Запросом является р (х | е), и ответ на него может быть вычислен следующим образом:
Р(Х|е) = ос Р(Х,е) = ос Р(Х,е,у)(13.6)
У
где суммирование осуществляется по всем возможным значениям у (т.е. по всем возможным комбинациям значений ненаблюдаемых переменных Y). Обратите внимание на то, что переменные X, Е и Y, вместе взятые, составляют полное множество переменных для данной проблемной области, поэтому Р(Х, е,у) представляет собой подмножество вероятностей из полного совместного распределения. Алгоритм вычисления ответа на запрос приведен в листинге 13.2. В этом алгоритме проверяются в циклах значения X и значения у для перебора всех возможных атомарных событий с фиксированными значениями е, складываются их вероятности из таблицы совместного распределения, после чего результаты нормализуются.
Листинг 13.2. Алгоритм вероятностного вывода путем перебора всех элементов в таблице полного совместного распределения
function Enumerate-Joint-Ask (X, е, Р) returns распределение по X inputs: X, переменная запроса
е, наблюдаемые значения переменных Е Р, совместное распределение по переменным {X} и Е и Y} /* Y - скрытые переменные */
Q(X) <— распределение по X, первоначально пустое for each значение Xi переменной X do
Q(xi) <— Enumerate-Joint (Xi, e, Y, [], P) return Normalize(Q(X) )
function Enumerate-Joint(x, e, vars, values, P) returns действительное число
if Empty?(vars) then return P(x,e,values)
Y <— First(vars)
return У Enumerate-Joint(x, e, Rest(vars), [y|values), P)
При наличии полного совместного распределения, с которым можно было бы работать, алгоритм Enumerate-Joint-Ask становится полным алгоритмом получения ответов на вероятностные запросы, касающиеся дискретных переменных. Но этот алгоритм недостаточно хорошо масштабируется, поскольку при наличии проблемной области, которая описана п булевыми переменными, он требует входной таблицы с размером О (2П), а обработка этой таблицы занимает время О (2П) .• В реальных задачах может потребоваться рассмотреть сотни или тысячи случайных переменных, а не только три. Попытка определить огромные количества требуемых вероятностей быстро становится полностью неосуществимой, поскольку может быть даже не накоплено достаточного количества экспериментальных данных, которые требуются для того, чтобы отдельно оценить каждую из записей этой таблицы.
По этим причинам полное совместное распределение вероятностей в табличной форме нельзя считать практически применимым инструментальным средством для создания систем формирования рассуждений (хотя в исторических заметках в конце данной главы упоминается одно реальное приложение, основанное на этом методе).
Вместо этого данный подход следует рассматривать как теоретическую основу, на которой могут быть созданы более эффективные подходы. В оставшейся части данной главы представлены некоторые основные идеи, которые потребуются для подготовки к разработке реально осуществимых систем, описанных в главе 14.
Независимость
Расширим полное совместное распределение, приведенное в табл. 13.2, введя четвертую переменную, Weather. После этого полное совместное распределение, состоящее из 32 элементов (поскольку переменная Wea ther имеет четыре значения), принимает вид Р (Toothache, Catch, Cavity, Weather). Оно содержит четыре варианта таблицы, показанной в табл. 13.2, по одному на каждый вид погоды. Напрашивается резонный вопрос о том, какую связь имеют эти варианты друг с другом и с первоначальной таблицей, состоящей из трех переменных. Например, как связаны друг с другом высказывания Р{ toothache, catch, cavity, Weather= cloudy) и P( toothache, catch, cavity) ? Один из способов получения ответа на этот вопрос состоит в использования правила произведения:
Р( toothache, catch, cavity, Weather = cloudy)
= P(Weather=cloudy|toothache, catch,cavity)
P(toothache, catch, cavi ty)
Но человек, не верящий в существование колдунов, не может себе представить, что чьи-то проблемы с зубами могут влиять на погоду. Поэтому кажется резонным следующее утверждение:
PkWeather = cloudy|toothache, catch,cavity)
= P(Weather = cloudy)(13.7)
На основании этого можно вывести следующее:
Р(toothache,catch,cavity, Weather = cloudy)
= P{Weather = cloudy)P(toothache,catch,cavity)
Аналогичное уравнение существует для каждого элемента в распределении Р (Toothache, Catch, Cavity, Weather). В действительности можно записать такое общее уравнение:
Р {Toothache, Catch, Cavity, Weather) = P(Toothache,Catch,Cavity)P(Weather)
Таким образом, 32-элементная таблица для четырех переменных может быть сконструирована из одной 8-элементной таблицы и одной 4-элементной. Такая декомпозиция показана схематически на рис. 13.1, а.
Свойство вероятностей, используемое при составлении уравнения 13.7, называется ^ независимостью (а также маргинальной независимостью и абсолютной независимостью). В частности, погода независима от чьих-то проблем с зубами. Независимость между высказываниями а и b может быть показана следующим образом:
(13.8)(13.8)P(a|b) = Р{а) или Р{Ь\а) = Р{Ь) или Р{а л Ь) = Р{а)Р{Ь)
(13.8)
(13.8)
а)а)б)б)Рис. 13.1. Два примера факторизации большого совместного распределения на меньшие распределения с использованием свойства абсолютной независимости: независимы друг от друга погода и проблемы с зубами (а); независимы друг от друга броски монеты (б)Рис. 13.1. Два примера факторизации большого совместного распределения на меньшие распределения с использованием свойства абсолютной независимости: независимы друг от друга погода и проблемы с зубами (а); независимы друг от друга броски монеты (б)
а)
а)
б)
б)
Рис. 13.1. Два примера факторизации большого совместного распределения на меньшие распределения с использованием свойства абсолютной независимости: независимы друг от друга погода и проблемы с зубами (а); независимы друг от друга броски монеты (б)
Рис. 13.1. Два примера факторизации большого совместного распределения на меньшие распределения с использованием свойства абсолютной независимости: независимы друг от друга погода и проблемы с зубами (а); независимы друг от друга броски монеты (б)
Все эти формы записи являются эквивалентными (упр. 13.7). Свойство независимости между переменными х и У можно сформулировать следующим образом (все эти формы записи также эквивалентны):
Р(Х1У) = Р(Х) или Р(У1Х) = Р(У) или Р(Х, У) = Р(Х)Р(У)
Утверждения о независимости обычно основаны на знаниях о проблемной области. Как показывает приведенный выше пример, эти утверждения позволяют существенно уменьшить объем информации, необходимой для описания полного совместного распределения. Если все множество переменных может быть разделено на независимые подмножества, то полное совместное распределение может быть факторизовано на отдельные совместные распределения, заданные на этих подмножествах. Например, совместное распределение результатов п независимых бросков монеты, Р (Ci,..., Сп), может быть представлено как произведение п распределений Р (Ci) с одной переменной. Например, с точки зрения практики очень благоприятным фактором является независимость данных зубоврачебного дела и метеорологии, поскольку в противном случае для занятия зубоврачебным делом потребовались бы глубокие знания в области метеорологии, и наоборот.
Поэтому утверждения о независимости, если они имеются, позволяют сократить размеры представления проблемной области и уменьшить сложность проблемы вывода. К сожалению, чистое разделение целых множеств переменных по признаку независимости встречается редко. Если между двумя переменными существует хоть какая-то связь, пусть даже косвенная, свойство независимости перестает соблюдаться. Кроме того, даже независимые подмножества могут оказаться чрезвычайно большими, например, в области стоматологии могут встретиться десятки заболеваний и сотни симптомов, причем все они взаимосвязаны друг с другом. Чтобы справиться с такими проблемами, мы должны иметь более тонкие методы, чем прямолинейная концепция независимости.
Правило Байеса и его использование
На с. 632 определено правило произведения и указано, что оно может быть записано в двух следующих формах благодаря коммутативности конъюнкции:
PU л ЭД = Р(а | Jb) P(Jb)
Р(а л b) = P(Jb|a)P(a)
Приравняв две правые части стороны и разделив их на Р(а), получим такое уравнение:
Р^ЪГРШ
(13.9)(13.9)р(Ь1а) = ^
(13.9)
(13.9)
Это уравнение известно под названием М правила Байеса (а также закона Байеса, или теоремы Байеса). Это простое уравнение лежит в основе всех современных систем искусственного интеллекта для вероятностного вывода. Более общий случай многозначных переменных может быть записан в системе обозначений р следующим образом:
Р(У|Х)Р(У|Х)Р(Х| У)Р(У)Р(Х)Р(Х| У)Р(У)Р(Х)
Р(У|Х)
Р(У|Х)
Р(Х| У)Р(У)Р(Х)
Р(Х| У)Р(У)Р(Х)
Это уравнение также следует рассматривать как представляющее множество уравнений, в каждом из которых рассматриваются конкретные значения переменных. Время от времени нам также придется использовать более общую версию, которая обусловлена некоторым фоновым свидетельством е:
Р(У|Х,е)Р(У|Х,е)Р(Х| У,е)Р(У|е)Р(Х|е)Р(Х| У,е)Р(У|е)Р(Х|е)(13.10)(13.10)
Р(У|Х,е)
Р(У|Х,е)
Р(Х| У,е)Р(У|е)Р(Х|е)
Р(Х| У,е)Р(У|е)Р(Х|е)
(13.10)
(13.10)
Применение правила Байеса: простой случай
На первый взгляд правило Байеса не кажется очень полезным. В нем требуются три терма (одна условная вероятность и две безусловных вероятности) только для вычисления одной условной вероятности.
Но правило Байеса находит очень широкое практическое применение, поскольку во многих случаях имеются хорошие оценки вероятностей для этих трех термов и нужно вычислить четвертый. В такой задаче, как медицинская диагностика, часто известны условные вероятности причинных связей и требуется определить диагноз. Врач знает, что такое заболевание, как менингит, очень часто вызывает у пациента симптом, характеризующийся снижением подвижности шеи; предположим, что этот симптом наблюдается в 50% случаев. Кроме того, врачу известны некоторые безусловные факты: априорная вероятность того, что некоторый пациент имеет менингит, равна 1/50 000, а априорная вероятность того, что некоторый пациент имеет неподвижную шею, равна 1/2 0. Предположив, что s — высказывание, согласно которому пациент имеет неподвижную шею, ат — высказывание, что пациент имеет менингит, получим следующее:
P(s|m) = 0.5
Pim) = 1/50000
P(s) = 1/20
, . x Р(5|л7)Р(л7)0.5 x 1/50000 A
fMs} = ^ = 1720 = 0-0002
Итак, следует предполагать, что 1 из 500 0 пациентов с неподвижной шеей имеет менингит. Следует отметить, что даже если неподвижная шея является весьма надежным показателем наличия менингита (с вероятностью 0,5), сама вероятность наличия менингита у пациента остается низкой. Это связано с тем, что априорная вероятность наличия симптома неподвижной шеи намного выше по сравнению с вероятностью менингита.
В разделе 13.4 показан процесс, с помощью которого можно избежать необходимости оценки вероятности свидетельства (в данном случае P(s)), вместо этого вычислив апостериорную вероятность для каждого значения переменной запроса (в данном случае т и -im), а затем нормализовав результаты. Тот же процесс можно применить при использовании правила Байеса. Таким образом, мы имеем:
P(M|s) = ос <P(s|m) Р(т) , P(s|-im) Р (—im) >
Итак, чтобы воспользоваться этим подходом, необходимо вместо P(s) вычислить значение Р( s | —im). Осуществление такого подхода требует определенных затрат; иногда эти затраты не столь велики, а иногда становятся довольно значительными. Общая форма правила Байеса с нормализацией является таковой:
р(у|х) = «р(х|у)р(у)(13.11)
где ос — константа нормализации, необходимая для того, чтобы записи в распределении Р ( У| X) в сумме составляли 1.
Один из очевидных вопросов, касающихся правила Байеса, состоит в том, почему может оказаться доступной условная вероятность, реализуемая в одном направлении, но не в другом. В проблемной области лечения менингита, возможно, врач знает, что из симптома неподвижной шеи следует наличие менингита в 1 из 5000 случаев; это означает, что врач имеет количественную информацию в диагностическом направлении, от симптомов к причинам. Для такого врача не требуется использование правила Байеса. К сожалению, ^ диагностические знания часто встречаются намного реже по сравнению с причинными знаниями. Если внезапно возникает эпидемия менингита, то безусловная вероятность менингита, Pim), повышается. Врач, который вывел диагностическую вероятность Р (т | s) непосредственно из статистических наблюдений за пациентами перед эпидемией, не будет иметь представления о том, как обновить это значение, а врач, который вычисляет Р 1т | s) из других трех значений, обнаружит, что значение Plm\ s) должно увеличиваться пропорционально Р(ш). Еще более важно то, что причинная информация P(s|ni) остается незатронутой данной эпидемией, поскольку она просто показывает, в чем выражается действие менингита. Использование такого рода прямых причинных знаний, или знаний, основанных на модели, позволяет достичь надежности, которая крайне важна при создании вероятностных систем, применимых в реальном мире.
Использование правила Байеса: комбинирование свидетельств
Как было показано выше, правило Байеса может применяться для получения ответов на вероятностные запросы, в которых учтено условие, составляющее одно из свидетельств, например неподвижная шея. В частности, было показано, что вероятностная информация часто доступна в форме Р (effect | cause') (где effect — результат, a cause — причина). А что произойдет, если свидетельств два или больше? Например, какой вывод может сделать зубной врач, если его стальной инструмент захватил больной зуб пациента, причинив еще большие страдания? Если известно полное совместное распределение (табл. 13.2), можно сразу же прочитать ответ:
P(Cavi ty\toothache л catch)= ос <0.108,0.016> = <0.871,0.129>
Но нам уже известно, что такой подход не масштабируется на большее количество переменных.
Тогда можно попытаться воспользоваться правилом Байеса для переформулировки этой задачи:
Р(Саvity|toothache л catch) =
ос Р (toothache л catch | Cavi ty) Р (Cavity)(13.12)
Для того чтобы можно было найти ответ запрос в такой формулировке, необходимо знать условные вероятности конъюнкции toothache a catch для каждого значения Cavity. Такая задача может быть осуществима, если речь идет только о двух переменных свидетельства, но этот подход снова становится источником затруднений при его применении в больших масштабах. Если имеется п возможных переменных свидетельства (рентгеновское обследование, диета, гигиена полости рта и т.д.), то количество возможных комбинаций наблюдаемых значений, для которых необходимо будет знать условные вероятности, составит 2n. С таким же успехом можно было бы снова вернуться к использованию полного совместного распределения. Именно по этой причине исследователи после первых попыток отказались от применения теории вероятностей и обратились к приближенным методам комбинирования свидетельств, в которых требуется использовать меньше чисел для получения ответов, хотя сами эти ответы не всегда бывают правильными.
Вместо того чтобы следовать по такому пути, мы должны найти некоторые дополнительные утверждения о рассматриваемой проблемной области, которые позволят упростить применяемые выражения. Понятие независимости, приведенное в разделе 13.5, дает ключ к этому решению, но требует уточнения. Было бы прекрасно, если бы переменные Toothache и Catch были независимыми, но они таковыми не являются: если зубной врач захватывает зуб своим инструментом, то он делает это, вероятно, потому, что в этом зубе есть дупло, а это действие, вероятно, в свою очередь вызывает боль. Но эти переменные независимы, если речь идет о наличии или отсутствии дупла. Причиной каждого из соответствующих действий было дупло, но ни одно из них не оказывает непосредственного влияния на другое: зубная боль зависит от состояния нервов в зубе, а точность наложения инструмента зависит от навыков зубного врача, к которым зубная боль не имеет отношения. Математически это свойство записывается следующим образом:
Р(toothache л catch|Cavi ty) =
Р(toothache|Cavity) Р(catch\Cavity)(13.13)
В данном уравнении выражена ^ условная независимость переменных toothache и catch, если дана вероятность Cavity. Соответствующее выражение можно вставить в уравнение 13.12 для определения вероятности наличия дупла:
Р(Cavity|toothache л catch) =
а Р (toothache | Cavi ty) Р (catch | Cavi ty) P (Cavi ty)
Теперь требования к наличию информации становятся такими же, как и при вероятностном выводе с использованием каждого свидетельства отдельно: необходимо знать априорную вероятность Р (Саvi ty) для переменной запроса и условную вероятность каждого результата, если дана его причина.
Общее определение условной независимости двух переменных X и Y, если дана третья переменная Z, выражается следующей формулой:
Р(Х, У| Z) = Р(Х\ Z) P(Y\ Z)
Например, в проблемной области стоматологии представляется вполне резонным применение утверждения об условной независимости переменных Toothache и Catch, если дана вероятность Cavi ty.
Р(Toothache,Catch\Cavity) =
P(Toothache|Cavi ty) P(Catch\Cavity)(13.14)
Обратите внимание на то, что это утверждение немного строже по сравнению с уравнением 13.13, в котором сформулировано утверждение о независимости только для конкретных значений Toothache и Catch. А при использовании свойства абсолютной независимости, сформулированного в уравнении 13.8, могут также применяться следующие эквивалентные формы:
P(X\Y,Z) = P(X\Z) и P(Y\X,Z) = Р(У|2)
В разделе 13.5 показано, что утверждения с описанием свойств абсолютной независимости позволяют выполнять декомпозицию полного совместного распределения на гораздо более мелкие распределения. Как оказалось, аналогичную декомпозицию позволяют выполнять утверждения об условной независимости. Например, с помощью утверждения, приведенного в уравнении 13.14, декомпозицию можно вывести следующим образом:
Р(Toothache,Catch,Cavity)
= P(Toothache,Catch|Cavity) P(Cavity)(по правилу
произведения)
= P(Toothache|Cavity) P(Catch\Cavity) P(Cavity) (согласно уравнению 13.14)
Таким образом, первоначальная крупная таблица декомпонована на три меньшие таблицы. В исходной таблице было семь независимых чисел (23-1, поскольку эти числа должны в сумме составлять 1). Меньшие таблицы содержат пять независимых чисел (2х(21-1) для каждого распределения условных вероятностей и 21-! для распределения априорной вероятности Cavity). Такое достижение на первый взгляд может показаться не очень значительным, но дело в том, что для п симптомов, являющихся условно независимыми, если дана вероятность Cavity, размер представления растет как О(п), а не О( 2П). Таким об-
разом, ^ утверждения об условной независимости могут обеспечивать масштабирование вероятностных систем; более того, такие утверждения могут быть подкреплены данными намного проще по сравнению с утверждениями об абсолютной независимости. С концептуальной точки зрения переменная Cavity ^ разделяет переменные Toothache и Catch, поскольку наличие дупла является прямой причиной и зубной боли, и наложения инструмента на зуб. Разработка методов декомпозиции крупных вероятностных областей определения на слабо связанные подмножества с помощью свойства условной независимости стало одним из наиболее важных достижений в новейшей истории искусственного интеллекта.
Приведенный выше пример из области стоматологии может служить проявлением часто встречающейся ситуации, в которой одна причина непосредственно влияет на целый ряд результатов, причем все эти результаты являются условно независимыми, если дана эта причина. Полное совместное распределение может быть записано следующим образом:
Р (Cause, Effecti,Effects = Р (Cause) J J P (Effecti | Cause) i
Указанное распределение вероятностей называется ^ наивной байесовской моделью. Такая модель называется “наивной”, поскольку часто используется (как упрощающее допущение) в тех случаях, когда переменные “результата” не являются условно независимыми, если дана переменная причины. (Наивную байесовскую модель иногда называют байесовским классификатором, а это не совсем корректное применение термина побудило настоящих специалистов в области байесовских моделей называть ее не наивной, а ^ идиотской байесовской моделью.) На практике наивные байесовские системы могут действовать удивительно успешно, даже если предположение о независимости не является истинным. В главе 20 описаны методы изучения наивных байесовских распределений по данным наблюдений.
Еще одно возвращение в мир вампуса
Теперь мы можем применить многие идеи, изложенные в этой главе, для решения задач в мире вампуса, требующих использования вероятностных рассуждений (полное описание мира вампуса приведено в главе 7). Неопределенность в мире вампуса возникает из-за того, что датчики агента сообщают только частичную, локальную информацию об этом мире. Например, на рис. 13.2 показана ситуация, в которой каждый из трех достижимых квадратов ([1,3], [2,2] и [3,1]) может содержать яму. Чисто логический вывод не позволяет прийти к каким-либо заключениям о том, какой квадрат с наибольшей вероятностью окажется безопасным, поэтому логический агент может быть вынужден выбирать среди них случайным образом. В этом разделе будет показано, что вероятностный агент может действовать гораздо успешнее, чем логический агент.
Рис. 13.2. Пример из мира вампуса: после обнаружения ветерка и в квадрате [1,2], и в квадрате [2,1] агент заходит в тупик — больше нет такого квадрата, который он мог бы обследовать без опасений (а); разделение квадратов на категории Known (Известные), Fringe (Периферийные) «Other (Другие) для формирования запроса (Query/ касающегося квадрата [1,3] (б).Рис. 13.2. Пример из мира вампуса: после обнаружения ветерка и в квадрате [1,2], и в квадрате [2,1] агент заходит в тупик — больше нет такого квадрата, который он мог бы обследовать без опасений (а); разделение квадратов на категории Known (Известные), Fringe (Периферийные) «Other (Другие) для формирования запроса (Query/ касающегося квадрата [1,3] (б).
Рис. 13.2. Пример из мира вампуса: после обнаружения ветерка и в квадрате [1,2], и в квадрате [2,1] агент заходит в тупик — больше нет такого квадрата, который он мог бы обследовать без опасений (а); разделение квадратов на категории Known (Известные), Fringe (Периферийные) «Other (Другие) для формирования запроса (Query/ касающегося квадрата [1,3] (б).
Рис. 13.2. Пример из мира вампуса: после обнаружения ветерка и в квадрате [1,2], и в квадрате [2,1] агент заходит в тупик — больше нет такого квадрата, который он мог бы обследовать без опасений (а); разделение квадратов на категории Known (Известные), Fringe (Периферийные) «Other (Другие) для формирования запроса (Query/ касающегося квадрата [1,3] (б).
Наша цель будет состоять в том, чтобы вычислить вероятность наличия ямы в каждом из этих трех квадратов. (В данном конкретном примере игнорируется наличие вампуса и золота.) Относящиеся к этой задаче свойства мира вампуса состоят в том, что, во-первых, яма становится причиной возникновения ветерка во всех соседних квадратах, и, во-вторых, каждый квадрат, отличный от [1,1], содержит яму с вероятностью 0,2. Первый этап состоит в определении множества необходимых случайных переменных, как показано ниже.
Как и в случае пропозициональной логики, требуется по одной булевой переменной Pij для каждого квадрата, которая принимает истинное значение тогда и только тогда, когда квадрат [ i, j ] действительно содержит яму.
Требуются также булевы переменные в^, принимающие истинное значение тогда и только тогда, когда в квадрате [ i, j ] чувствуется ветерок; мы предусматриваем эти переменные только для наблюдаемых квадратов, в данном случае [1,1], [1,2] и [2,1].
Следующий этап состоит в определении полного совместного распределения р (Pizi,..., Р4,4, в1Л, Blz2, B2,i). Применяя правило произведения, получаем следующее:
Р ( Р1, 1 / . . . , Р4,4 , В1, 1 , В1,2 • В2 , 1 ) =
Р ( Bl, 1 , В1,2 , В2,1 I Pl, 1 , ... , Р4,4 ) Р ( Pl, 1 / • • • / Р4,4 )
Эта декомпозиция позволяет очень легко определить, какими должны быть значения совместной вероятности. Первый терм представляет собой условную вероятность некоторой конфигурации данных о наличии ветерка, если дана конфигурация расположения ям; он принимает значение 1, если в квадратах, соседних с ямами, чувствуется ветерок, в противном случае принимает значение 0. Вторым термом яв-
ляется априорная вероятность конфигурации расположения ям. Каждый квадрат может содержать яму с вероятностью 0,2, независимо от других квадратов, поэтому имеет место следующее:
Р(Р1,1Р4,4)Р(Р1,1Р4,4)4,4i,j=l,l4,4i,j=l,l(13.15)(13.15)
Р(Р1,1Р4,4)
Р(Р1,1Р4,4)
4,4
i,j=l,l
4,4
i,j=l,l
(13.15)
(13.15)
Для конфигурации с п ямами это значение равно 0.2пх0.816"п.
В ситуации, показанной на рис. 13.2, а, свидетельство состоит из наблюдаемого ветерка (или его отсутствия) в каждом посещенном квадрате, в сочетании с тем фактом, что каждый такой квадрат не содержит ямы. Эти факты можно сокращенно представить как b=-\bltl л b1>2 a b2,i и known=-ip1(1 a -aPii2 a -ip2,i- Мы заинтересованы в получении ответов на такие запросы, как р (Plr31 known, b): насколько велика вероятность того, что квадрат [1,3] содержит яму, если даны результаты всех наблюдений, сделанных до сих пор?
Для получения ответа на этот запрос можно воспользоваться стандартным подходом, основанном на уравнении 13.6 и реализованном в алгоритме Enumerate- Joint-Ask, а именно просуммировать элементы из таблицы полного совместного распределения. Допустим, что Unknown (Неизвестное) — составная переменная, которая состоит из переменных Pi j для квадратов, отличных от квадратов Known и квадрата запроса [1,3]. В таком случае с помощью уравнения 13.6 получаем следующее:
Р (Pi, з | known, Jb)Р (Pi, з | known, Jb)ОС ^ ^ Р (Рх,з, unknown, known, Jb)
Р (Pi, з | known, Jb)
Р (Pi, з | known, Jb)
unknown
Полное совместное распределение вероятностей уже было задано, поэтому задача решена, точнее, осталось только выполнить вычисления. Количество неизвестных квадратов равно 12, поэтому требуемая сумма состоит из 212=4 096 термов. Вообще говоря, количество термов в этой сумме растет экспоненциально в зависимости от количества квадратов.
Но интуиция подсказывает, что здесь есть какое-то упущение. Безусловно, напрашивается вопрос, не являются ли другие квадраты не относящимися к делу? Ведь содержимое квадрата [4,4] не влияет на то, имеется ли яма в квадрате [1,3]! И действительно, эта догадка является правильной. Пользуясь ею, предположим, что Fringe — переменные (отличные от переменной запроса), которые описывают свойства квадратов, соседних по отношению к посещенным квадратам; в данном случае таковыми являются только [2,2] и [3,1]. Кроме того, допустим, что Other — это переменные, которые относятся к другим неизвестным квадратам; в данном случае количество других квадратов равно 10, как показано на рис. 13.2, б. Ключевая идея состоит в том, что данные о наблюдаемом ветерке являются условно независимыми от других переменных, если даны условные переменные, переменные периферии и переменная запроса. После этой догадки остается лишь, так сказать, дело техники — выполнить несколько алгебраических операций.
Чтобы воспользоваться этой идеей, необходимо преобразовать формулу запроса в такую форму, в которой данные о наличии ветерка становятся условно зависимыми
от всех других переменных, а затем упростить полученное выражение с использованием утверждения об условной независимости, как показано ниже.
Р (Р1,з | known, Jb)
= ос ^ ' Р (Ь| Р1.з, known, unknown) Р (Р1,з, known, unknown) (согласно
unknown
правилу произведения)
fringefringe^^ Р (Ъ| known, Р1.з, fringe, other) Р (Р1,з, known, fringe, other)
fringe
fringe
other
^^ P (b| known, Pi,3, fringe) P (Pi,3, known, fringe, other)
other
В этом преобразовании на конечном этапе используется утверждение об условной независимости. Теперь первый терм в выражении не зависит от других переменных, поэтому можно переместить операцию суммирования внутрь выражения, следующим образом:
Р (Р1,з | known, b)
= ос ^^ Р (Jb| known, Р1,з, fringe) ^^ Р (Pi,3, known, fringe, other) fringeother
Согласно утверждению о независимости, соответствующему приведенному в уравнении 13.15, терм априорной вероятности может быть факторизован, после чего все эти термы могут быть переупорядочены следующим образом:
Р (Р1,з | known, b)
= ОС ^^ Р (Ъ| known, Р1,3/fringe) ^^ Р (Р1,з) P(known) Р( fringe) Р( other) fringeother
= ОС P(known) Р (Р1,з) ^^ Р (Jb| known, Pi,3, fringe) Р( fringe) ^^ P^other) fringeother
= ОС' Р(Р1,з) ^^ Р (Ь| known, Pi, 3, fringe) Р( fringe) fringe
В этом преобразовании на последнем этапе постоянный терм Р(known) вводится в нормализующую константу и используется тот факт, что выражение
£otherp(other) равно 1.
Теперь в сумме по периферийным переменным Р2,2 и Рзл осталось только четыре терма. Использование свойств независимости и условной независимости позволило полностью исключить из рассмотрения другие квадраты. Обратите внимание на то, что выражение Р (b| known, Р1#3, fringe) равно 1, если периферия совместима с данными наблюдений о наличии ветерка, а в противном случае равно 0. Поэтому для получения каждого значения Р1/3 проводится суммирование по логическим моделям для периферийных переменных, которые согласованы с известными фактами (это можно сравнить с тем, как осуществлялся перебор моделей на
рис. 7.4). Эти модели и связанные с ними априорные вероятности, Р( fringe), по
казаны на рис. 13.3. Итак, получаем следующие значения:
Р(Р1,з1 known, Ь) = «' < 0.2(0.04 + 0.16 + 0.16), 0.8(0.04 + 0.16) > =
<0.31,0.69>
0,2x0,2 = 0,040,2x0,8 = 0,160,8x0,2 = 0,160,2x0,2 = 0,040,2x0,8 = 0,16
а)б)
Рис. 13.3. Согласованные модели для периферийных переменных ^2,2 и Рз,ъ показывающие значение Р ffringe? для каждой модели: три модели с Р i, 3 = true, где показаны две или три ямы (а); две модели cP 1,3 = false, где показаны одна или две ямы (б)
Это означает, что квадрат [1,3] (а также квадрат [3,1], поскольку для него могут быть выполнены подобные вычисления) содержит яму с вероятностью приблизительно 31%. Аналогичное вычисление, которое авторы рекомендуют выполнить читателю, показывает, что квадрат [2,2] содержит яму с вероятностью приблизительно 86%. Агент в мире вампуса определенно должен избегать квадрата [2,2]!
В данном разделе наглядно продемонстрировано, что даже такие задачи, которые внешне кажутся очень сложными, могут быть точно сформулированы в терминах теории вероятностей и решены с использованием простых алгоритмов. Для получения эффективных решений могут применяться соотношения, определяющие свойства независимости и условной независимости, которые позволяют упростить требуемые операции суммирования. Эти соотношения часто соответствуют нашему интуитивному пониманию того, как следует выполнять декомпозицию задачи. В следующей главе будут разработаны формальные представления для таких соотношений, а также алгоритмы, оперирующие с соответствующими представлениями и позволяющие эффективно осуществлять вероятностный вывод.
Резюме
В данной главе было показано, что понятие вероятности лежит в основе правильных способов формирования рассуждений о неопределенности.
Неопределенность возникает и по причине экономии усилий, и из-за отсутствия знаний. Неопределенности нельзя избежать в сложных, динамичных или труднодоступных мирах.
Наличие неопределенности означает, что многие упрощения, возможные в дедуктивном логическом выводе, становятся больше не допустимыми.
В оценках вероятности выражается неспособность агента прийти к определенному решению, касающемуся истинности высказывания. Вероятности являются выражением степени уверенности агента.
К основным типам вероятностных утверждений относятся утверждения, касающиеся априорных вероятностей и условных вероятностей простых и сложных высказываний.
Полное совместное распределение вероятностей задает вероятность каждого полного присваивания значений случайным переменным. Это распределение обычно слишком велико для того, чтобы его можно было создать или использовать в явной форме.
Аксиомы вероятностей регламентируют возможные присваивания вероятностей высказываниям. Агент, не учитывающий в своих действиях эти аксиомы, ведет себя в некоторых обстоятельствах нерационально.
Если полное совместное распределение доступно, оно может использоваться для получения ответов на запросы путем суммирования элементов с данными об атомарных событиях, соответствующих высказываниям запроса.
Наличие свойства абсолютной независимости между подмножествами случайных переменных позволяет факторизовать полное совместное распределение на меньшие совместные распределения. Это дает возможность значительно уменьшить сложность, но редко встречается на практике.
Правило Байеса позволяет вычислять неизвестные вероятности из известных условных вероятностей, обычно в причинном направлении. При наличии многочисленных свидетельств применение правила Байеса, как правило, приводит к возникновению таких же проблем масштабирования, которые возникают при использовании полного совместного распределения.
Свойство условной независимости, вызванное наличием прямых причинных связей в рассматриваемой проблемной области, может обеспечить факторизацию полного совместного распределения на меньшие условные распределения. В наивной байесовской модели предполагается наличие условной независимости всех переменных действия, если задана одна переменная причины; размеры этой модели увеличиваются линейно, в зависимости от количества результатов.
Агент в мире вампуса может рассчитывать вероятности ненаблюдаемых объектов мира и использовать их для принятия лучших решений по сравнению с теми, которые принимает простой логический агент.
Библиографические и исторические заметки
Игры с элементами случайного выбора известны, по меньшей мере, с 300 года до н.э., но математический анализ случайных чисел и вероятностей стал проводиться гораздо позднее. Некоторые работы, выполненные индийским математиком Махавиракарьей (Mahaviracarya), датированы примерно IX веком. В Европе первые попытки проведения такого анализа начались только в эпоху итальянского Возрождения, приблизительно с 1500 года. Первый значимый систематический анализ был проведен Джироламо Кардано примерно в 1565 году, но его работы оставались неопубликованными до 1663 года. В это время открытие Блезом Паскалем систематического способа вычисления вероятностей (о котором он сообщил в переписке с
Пьером Ферма в 1654 году) впервые привело к утверждению теории вероятностей как математической дисциплины. Первым опубликованным учебником по теории вероятностей была книга Гюйгенса De Ratiociniis in Ludo Aleae [712]. Кроме того, Паскаль ввел понятие условной вероятности, которое описано в учебнике Гюйгенса. Преподобный Томас Байес (1702-1761 гг.) сформулировал правило формирования рассуждений об условных вероятностях, которое было названо в его честь. Работы Байеса были опубликованы только после его смерти [88]. Колмогоров в свой работе [826] (которая вышла вначале на немецком языке, в 1933 году) впервые представил теория вероятностей в виде строго аксиоматической инфраструктуры. В дальнейшем Реньи [1282] сформулировал аксиоматическое представление, в котором в качестве примитивного понятия используется условная, а не абсолютная вероятность.
Паскаль использовал вероятность в таких вычислениях, которые требовали не только ее объективной интерпретации, как свойства мира, основанного на симметрии или относительных частотах событий, но и субъективной интерпретации, основанной на оценке степени уверенности. Первая интерпретация обнаруживается в проведенном Паскалем анализе вероятностей в играх с элементами случайности, а последняя — в знаменитых доводах “Спора с Паскалем”, касающихся возможного существования Бога. Однако Паскаль недостаточно четко учитывал различие между этими двумя интерпретациями. Указанное различие было впервые наглядно подчеркнуто Джеймсом Бернулли (1654-1705 гг.).
Лейбниц ввел “классическое” понятие вероятности как доли перечислимых, равновероятных случаев, которое использовалось также Бернулли, но полностью проанализировано Лапласом (1749-1827 гг.). Это понятие является противоречивым из- за наличия частотной и субъективной интерпретации. События могут рассматриваться как равновероятные либо из-за наличия естественной, физической симметрии между ними, либо просто из-за того, что мы не обладаем достаточными знаниями, которые позволили бы считать одно событие более вероятным, чем другое. Подход, предусматривающий использование последних, субъективных соображений, оправдывающих допустимость присваивания равных вероятностей, известен под названием принципа безразличия [792].
Споры между приверженцами объективного и субъективного подходов обострились в XX столетии. Колмогоров [827], Р.А. Фишер [473] и Ричард фон Мизес [1544] были сторонниками относительной частотной интерпретации. Приведенная в работе Карла Поппера [1228] (которая была вначале выпущена на немецком языке, в 1934 году) интерпретация “проявлений закономерностей” позволяет проследить истоки формирования относительных частот вплоть до основополагающих законов физической симметрии. Франк Рамсей [1265], Бруно де Финетти [342], Р.Т. Кокс [304], Леонард Сэведж [1354] и Ричард Джеффри [727] интерпретировали вероятности как степени уверенности конкретных лиц. Проводимый ими анализ степеней уверенности был тесно связан с полезностями и с поведением, а именно в этом направлении анализа оценивалась готовность субъекта делать те или иные ставки. Рудольф Карнап, последовав за Лейбницем и Лапласом, предложил субъективную интерпретацию вероятности другого рода — не как определенной степени уверенности конкретного лица, а как степень уверенности, которую должна иметь идеализированная личность в отношении истинности конкретного высказывания а, если дан конкретный ряд свидетельств е. Карнап попытался продвинуться дальше Лейбница или Лапласа, сформулировав понятие степени ^ подтверждения математически
точно, как логического отношения между а и е. Исследования этого отношения имели своей целью создание математической дисциплины, которая была названа ^индуктивной логикой по аналогии с обычной дедуктивной логикой [224], [225]. Карнап не смог далеко расширить свою индуктивную логику за пределы пропозиционального случая, а Хилари Патнем [1247] показала, что некоторые фундаментальные сложности послужили бы препятствием при создании строгих расширений языков, способных выражать арифметические соотношения.
С попыткой создать индуктивную логику тесно связана проблема референтных классов. Подход, предусматривающий выбор “наиболее конкретного” референтного класса с достаточными размерами, был формально предложен Рейхенбахом [1273]. Были сделаны различные попытки сформулировать более сложные подходы для предотвращения некоторых очевидных ошибок, связанных с использованием правила Рейхенбаха (к наиболее известным из них относятся работы Генри Кайберга [873], [874]), но такие подходы остаются в определенной степени лишенными теоретического фундамента. В опубликованной в дальнейшем работе [54] методы Карнапа распространены на теорию первого порядка, что позволило избежать многих сложностей, связанных с применением прямолинейного метода референтных классов.
Байесовские вероятностные рассуждения использовались в искусственном интеллекте начиная с 1960-х годов, особенно в области медицинской диагностики. Эти методы применялись не только для составления диагноза на основании доступных свидетельств, но и для выбора дополнительных вопросов и тестов с использованием теории информационного значения (раздел 16.6), если доступные свидетельства не позволяли прийти к окончательному выводу [583], [584]. Одна из систем превзошла людей-экспертов в области диагностики острых брюшных заболеваний [340]. Но такие ранние байесовские системы были подвержены многочисленным недостаткам. Поскольку в этих системах отсутствовали какие-либо теоретические модели диагностируемых ими условий, они были чувствительными к нерепрезентативным данным, встречающимся в тех ситуациях, когда доступны были лишь небольшие выборки [341]. Еще более важным недостатком было то, что в этих системах не применялись лаконичные формальные средства (подобные тем, которые будут описаны в главе 14) для представления и использования информации об условной независимости, поэтому эксплуатация этих систем требовала накопления, хранения и обработки таблиц с вероятностными данными, достигающих колоссальных размеров. Из-за этих сложностей вероятностные методы решения задач в условиях неопределенности не вызывали интереса исследователей в области искусственного интеллекта в период 1970-х— середины 1980-х годов. Достижения в этой области, появившиеся в конце 1980-х годов, которые изменили эту ситуацию, описаны в следующей главе.
Наивное байесовское представление для совместных распределений широко исследовалось в литературе по распознаванию образов с 1950-х годов [421]. Кроме того, такой способ представления использовался в области выборки текста, часто не совсем продуманно, начиная с [984]. Вероятностные основы этого метода, который дополнительно описан в упр. 13.18, были сформулированы в работе Робертсона иСпарка Джонса [1297]. Домингос и Паццани [402] объяснили причины поразительного успеха наивных байесовских рассуждений даже в тех проблемных областях, где они явно нарушали предположения о независимости.
По теории вероятностей есть много хороших вводных учебников, включая [254] и [1310]. Морис де Грот [378] подготовил объединенное введение в проблематику ве-
роятностей и статистики с байесовской точки зрения, а также выпустил более расширенный учебник [377]. В учебнике Ричарда Хемминга [608] дано математически сложное введение в теорию вероятностей с точки зрения интерпретации проявления закономерностей, основанной на физической симметрии. В [605] и [606] описана ранняя история развития понятия вероятности. Бернстейн [114] составил увлекательный популярный отчет об истории понятия риска.
Упражнения
Докажите на основании основных принципов, чтоР(а|Ь а а) = 1.
С использованием аксиом вероятностей докажите, что любое распределение вероятностей дискретной случайной переменной должно в сумме составлять 1.
Было бы рациональным для агента придерживаться трех убеждений — Р(А) = 0.4, Р(В) = 0.3 и Р( A v в) = 0.5? Если это так, то какой диапазон вероятностей был бы рациональным для агента применительно к А а в? Составьте таблицу, подобную приведенной в табл. 13.1, и покажите, подтверждает ли она ваши доводы в отношении рациональности. Затем составьте еще одну версию этой таблицы, в которой Р(А v в) =0.7. Объясните, почему рационально иметь уверенность в наличии этой вероятности, даже несмотря на то, что таблица показывает один случай, который соответствует проигрышу, и три случая, в которых достигается ничья. (Подсказка. Какие обязательства взял на себя агент 1 применительно к вероятности каждого из четырех случаев, в частности, того случая, когда имеет место проигрыш?)
Этот вопрос касается свойств атомарных событий, как описано на с. 629.
Докажите, что дизъюнкция всех возможных атомарных событий логически эквивалентна значению true. (Подсказка. Используйте доказательство по индукции, которое распространяется на произвольное количество случайных переменных.)
Докажите, что любое высказывание логически эквивалентно дизъюнкции атомарных событий, из которых следует истинность этого высказывания.
Рассмотрите проблемную область, в которой речь идет о раздаче в покере на руки по 5 карт из стандартной колоды в 52 карты, на основе предположения, что раздача проводится честно.
Каково количество атомарных событий в совместном распределении вероятностей (т.е. каково количество различных раздач по 5 карт)?
Какова вероятность каждого атомарного события?
Какова вероятность получения королевского флеша стрит? Четырех королей?
Исходя из полного совместного распределения, приведенного в табл. 13.2, вычислите следующее:
Р( toothache)
Р (Cavi ty)
Р ( Toothache\ cavity)
Р (Cavi ty | toothache v catch)
Покажите, что три формы описания свойства независимости, приведенные в уравнении 13.8, являются эквивалентными.
После ежегодного медицинского осмотра некоторого пациента у врача есть плохая новость и хорошая новость. Плохая новость состоит в том, что оказалась положительной проверка на наличие серьезного заболевания и что точность результатов проверки составляет 99% (это означает, что вероятность получения положительного результата проверки, если пациент имеет это заболевание, равна 0,99, и такова же вероятность получения отрицательных результатов проверки, если пациент не имеет этого заболевания). Хорошая новость состоит в том, что это заболевание — редкое и поражает только 1 из 10 000 людей того возраста, в котором находится пациент. Почему новость, что это заболевание редкое, названа хорошей? Каковы шансы на то, что пациент действительно имеет данное заболевание?
Очень часто бывает полезно рассмотреть результаты некоторых конкретных высказываний в контексте определенного общего фонового свидетельства, которое остается неизменным, а не действовать в условиях полного отсутствия информации. В приведенных ниже вопросах предлагается доказать более общие версии правила произведения и правила Байеса применительно к некоторому фоновому свидетельству е.
Докажите версию общего правила произведения с условными вероятностями:
Р(Х,У|е) = Р(Х|У,е) Р(У|е)
Докажите версию правила Байеса из уравнения 13.10 с условными вероятностями.
Покажите, что утверждение
Р(А,В|С) = Р(А|С) Р(В|С)
эквивалентно любому из следующих утверждений:
Р(А|В,С) = Р(А|С) и Р(В|А,С) = Р(В|С)
Допустим, что вам вручили мешок, содержащий п подлинных монет, и сообщили, что п-1 из этих монет являются нормальными, такими, что с одной стороны имеется орел, с другой — решка, а одна монета — фальшивая, и с обеих ее сторон имеется орел.
Предположим, что вы открыли мешок, случайным образом выбрали монету, не пытаясь определить ее свойства, подбросили ее, после чего выпал орел. Какова (условная) вероятность того, что выбранная вами монета является фальшивой?
Предположим, что вы продолжаете подбрасывать монету всего к раз после того, как ее выбрали, и обнаруживаете к выпадений орла. Какова теперь условная вероятность того, что вы выбрали фальшивую монету?
Предположим, что вы хотите принять решение в отношении того, является ли выбранная монета фальшивой, подбросив ее к раз. Процедура
принятия решения возвращает FAKE (Фальшивая), если все к бросков приводят к выпадению орла, а в противном случае возвращает NORMAL (Нормальная). Какова (безусловная) вероятность того, что эта процедура допускает ошибку?
В этом упражнении предлагается выполнить вычисление коэффициента нормализации для примера с менингитом. Вначале выберите подходящее значение для P{S\-iM) и примените его для вычисления ненормализованных значений Р{м\5) и p(-iM|S) (т.е. игнорируя терм P(S) в выражении правила Байеса). Теперь нормализуйте эти значения таким образом, чтобы они в сумме составляли 1.
В этом упражнении исследуется то, как влияют соотношения, касающиеся условной независимости на количество информации, требуемой для вероятностных вычислений.
Предположим, что необходимо рассчитать значение P(h\ ег, е2), а информация об условной независимости отсутствует. Какие из следующих множеств чисел являются достаточными для такого вычисления?
Р(Ех,Е2),Р(Н),Р(Ех|Н),Р(Е2|Н)
р(Ех,е2),р(н),р(Ех,е2|н)
р^н^р^Е^т,РкЕ2\т
Предположим, известно, что р (Ег | н, е2 ) =р (Ех | н) для всех значений н, Ех, е2. Какое из этих трех множеств значений теперь будет достаточным?
Допустим, что X, У, Z — булевы случайные переменные. Обозначьте восемь элементов в совместном распределении Р (X, У, Z) буквами алфавита от а до Н. Выразите утверждение, что X и У являются условно независимыми, если дано Z, в виде множества уравнений, связывающих элементы от а до Н. Сколько среди них неизбыточных уравнений?
{Адаптировано из [1191].) Предположим, что вы — свидетель ночного наезда на пешехода в Афинах с участием такси, виновник которого уехал с места происшествия. Все такси в Афинах покрашены в синий или зеленый цвет. Вы поклялись под присягой, что такси было синим, а результаты широких экспериментов показывают, что в условиях плохого освещения надежность распознавания синего и зеленого цветов составляет 75%. Возможно ли рассчитать наиболее вероятный цвет этого такси? {Подсказка. Тщательно проведите различие между высказыванием, что такси — синего цвета, и высказыванием, что оно внешне казалось синим.)
А что можно сказать, получив информацию о том, что в Афинах 9 из 10 такси имеют зеленый цвет?
{Адаптировано из [1191].) Три заключенных, А, В и С, заперты в своих камерах. Всем известно, что один из них завтра будет казнен, а другие помилованы. Но только губернатор знает, кто именно будет казнен. Заключенный А просит охранника об одолжении: “Пожалуйста, узнайте у губернатора, кто будет казнен, азатем передайте сообщение одному из моих друзей, в или С, чтобы он знал, что утром будет помилован”. Охранник соглашается, а после возвращения говорит заключенному А, что передал сообщение о помиловании заключенному В.
Каковы шансы заключенного А на то, что он будет казнен, при наличии этой информации? (Ответьте на этот вопрос с помощью математики, а не энергичной жестикуляции.)
Напишите общий алгоритм получения ответов на запросы в форме р(Cause|е) с использованием наивного байесовского распределения. Вы должны исходить из предположения, что свидетельство е может присваивать значения любому подмножеству переменных результата.
Категоризацией текста называется задача присваивания данному конкретному документу одной из фиксированного множества категорий на основе анализа содержащегося в нем текста. Для решения этой задачи часто используются наивные байесовские модели. В этих моделях переменной запроса является категория документа, а в качестве переменных “результата” рассматривается наличие или отсутствие каждого слова из языка документа; основное предположение состоит в том, что слова в документах встречаются независимо друг от друга, а их частоты определяются категорией документа.
Объясните точно, как можно сформировать такую модель, получив в качестве “обучающих данных” множество документов, которые были распределены по категориям.
Объясните точно, как следует определять категорию нового документа.
Является ли указанное предположение о независимости обоснованным? Обсудите этот вопрос.
В проведенном в данной главе анализе мира вампуса использовался тот факт, что каждый квадрат содержит яму с вероятностью 0,2, независимо от содержимого других квадратов. Вместо этого примите предположение, что точно N/5 ям разбросаны равномерно случайным образом среди N квадратов, отличных от [1,1]. Остаются ли переменные Р^з и Рк<1 все еще независимыми? Каково теперь совместное распределение р (Р1Л,..., Р4/4) ? Снова проведите вычисления вероятностей наличия ям в квадратах [1,3] и [2,2].
14 Вероятностные РАССУЖДЕНИЯ
В этой главе описано, как составлять сетевые модели для формирования рассуждений в условиях неопределенности в соответствии с законами теории вероятностей.
В главе 13 рассматривались синтаксис и семантика теории вероятностей. В ней отмечалась важность связей, определяющих независимость и условную независимость высказываний, для упрощения вероятностных представлений о мире. В данной главе описан систематический способ явного представления таких связей в форме байесовских сетей. В ней будут определены синтаксис и семантика этих сетей и показано, как они могут использоваться для представления неопределенных знаний естественным и эффективным способом. Затем в этой главе будет продемонстрировано, что вероятностный вывод, хотя и не осуществимый с помощью вычислительных методов в наихудшем случае, может эффективно выполняться во многих практических ситуациях. Кроме того, будет описан целый ряд алгоритмов приближенного вероятностного вывода, которые часто могут применяться в тех случаях, когда точный вероятностный вывод неосуществим. В этой главе будут также представлены способы, с помощью которых теория вероятностей может быть применена к мирам с объектами и отношениями, т.е. к представлениям первого порядка, в отличие от пропозициональных представлений. Наконец, в данной главе приведен обзор альтернативных подходов к формированию рассуждений в условиях неопределенности.
Представление знаний в неопределенной ПРОБЛЕМНОЙ ОБЛАСТИ
В главе 13 было показано, что полное совместное распределение вероятностей позволяет отвечать на любые вопросы о рассматриваемой проблемной области, но может приобретать по мере увеличения количества переменных настолько большие размеры, что вычисления становятся невозможными. Более того, сам способ задания вероятностей для атомарных событий является довольно неестественным и
может оказаться весьма затруднительным при отсутствии большого объема данных, на основании которых накапливаются статистические оценки.
Кроме того, в предыдущей главе было показано, что связи, определяющие независимость и условную независимость между переменными, позволяют намного сократить количество вероятностей, которые должны быть заданы в целях определения полного совместного распределения. В настоящем разделе показана структура данных, называемая ^ байесовской сетью, которая позволяет представить связи между переменными и составить краткую спецификацию любого полного совместного распределения вероятностей.
Байесовская сеть — это ориентированный граф, в котором каждая вершина помечена количественной вероятностной информацией. Полная спецификация такой сети описана ниже.
Вершинами сети является множество случайных переменных. Переменные могут быть дискретными или непрерывными.
Вершины соединяются попарно ориентированными ребрами, или ребрами со стрелками; ребра образуют множество ребер. Если стрелка направлена от вершины X к вершине У, то вершина X называется родительской вершиной вершины У.
Каждая вершина Х1 характеризуется распределением условных вероятностей Р(Xi | Parents (Xi) ), которое количественно оценивает влияние родительских вершин на эту вершину.
Граф не имеет циклов, состоящих из ориентированных ребер (и поэтому является ориентированным ациклическим графом (Directed Acyclic Graph — DAG)).
Топология сети (множество вершин и ребер) показывает отношения, определяющие условную независимость, которые проявляются в данной проблемной области, в том смысле, который вскоре будет точно сформулирован. Интуитивный смысл стрелки в правильно составленной сети обычно состоит в том, что вершина X оказывает непосредственное влияние на вершину У. Для специалиста в проблемной области задача определения того, какие непосредственные влияния существуют в этой проблемной области, обычно является довольно легкой; действительно, она намного легче по сравнению с фактическим определением самих вероятностей. После того как составлена топология байесовской сети, остается только указать распределение условных вероятностей для каждой переменной с учетом ее родительских переменных. В данной главе будет показано, что применение этой топологии и распределений условных вероятностей вполне позволяет (неявно) задать полное совместное распределение для всех переменных.
Еще раз вернемся к простому миру, описанному в главе 13, который состоит из переменных Toothache, Cavity, Catch и Weather. В этой главе было показано, что переменная Weather не зависит от других переменных; более того, было продемонстрировано, что переменные Toothache и Catch являются условно независимыми, если задана переменная Cavity. Эти отношения представлены в виде структуры байесовской сети, показанной на рис. 14.1. Формально условная независимость переменных Toothache и Catch, если задана переменная Cavity, обозначается отсутствием связи между Toothache и Catch. Интуитивно можно понять, что в сети представлен такой факт— Cavity является непосредственной причиной Toothache и Catch, тогда как между Toothache и Catch не существует прямой причинной связи.
Рис. 14.1. Простая байесовская сеть, в которой переменная Weather независима от трех других переменных, а переменные Toothache и Catch являются условно независимыми, если задана переменная Cavity
Теперь рассмотрим следующий пример, который является немного более сложным. Житель пригорода установил в своем доме новую систему тревожной сигнализации для обнаружения взлома. Она довольно надежно обнаруживает взлом, но иногда также реагирует на небольшие землетрясения. (Этим примером мы обязаны Джуди Перлу, который живет в Лос-Анджелесе, поэтому проявляет острый интерес к землетрясениям.) У этого человека есть два соседа, Джон и Мэри, которые обещали звонить ему на работу, услышав тревожный сигнал. Джон всегда звонит, услышав тревожный сигнал, но иногда путает с ним телефонный звонок в доме соседа и в этих случаях также звонит. Мэри любит слушать довольно громкую музыку и поэтому иногда вообще пропускает тревожный сигнал. Получив факты о том, кто из этих соседей звонил или не звонил, необходимо оценить вероятность взлома. Байесовская сеть для этой проблемной области приведена на рис. 14.2.
На время отвлечемся от распределения условных вероятностей, показанных на этом рисунке, и сосредоточимся на топологии сети. В случае сети определения взлома топология показывает, что взлом и землетрясения непосредственно влияют на вероятность появления тревожного сигнала, а звонки Джона и Мэри зависят только от тревожного сигнала. Поэтому сеть подтверждает наши предположения, что соседи самостоятельно не обнаруживают какие-либо попытки взлома, не замечают незначительных землетрясений и не совещаются друг с другом перед звонками.
Обратите внимание на то, что в этой сети нет вершин, соответствующих тем ситуациям, в которых Мэри в настоящее время слушала бы громкую музыку или звонил бы телефон и сбивал с толку Джона. Эти факторы подытожены в показателях
неопределенности, связанных с ребрами, направленными от вершины Alarm к вершинам JohnCalls и MaryCalls. Такая структура сети служит примером проявления в действии не только экономии усилий, но и недостатка знаний, поскольку потребовалось бы слишком много работы, чтобы узнать, по какой причине эти факторы могут оказаться более или менее вероятными в каждом конкретном случае; к тому же все равно отсутствует приемлемый способ получения релевантной информации. Вероятности, показанные на рисунке, фактически подытоживают потенциально бесконечное множество обстоятельств, которые либо могут вызвать нарушения при выработке тревожного сигнала (высокая влажность, отказ сети электропитания, разрядка аккумулятора, обрыв проводов, дохлая мышь, застрявшая внутри звонка, и т.д.), либо станут причиной того, что Джон или Мэри не смогут о нем сообщить (из-за того, что выйдут на обед, отправятся в отпуск, на время оглохнут, не расслышат сигнал в шуме пролетающего вертолета и т.д.). Но именно благодаря использованию приближенных оценок маленький агент получает возможность узнавать, что происходит в большом мире, по крайней мере, приблизительно. Степень приближения к истине может быть повышена по мере введения дополнительной релевантной информации.
Рис. 14.2. Типичная байесовская сеть, на которой показаны и топология, и таблицы условных вероятностей (Conditional Probability Table — СРТ). В таблицах СРТ буквами В, Е, A, J и М обозначены следующие события: Burglary (Взлом), Earthquake (Землетрясение), Alarm (Тревожный сигнал), JohnCalls (Звонки Джона) и MaryCalls (Звонки Мэри)
Теперь обратимся к распределениям условных вероятностей, показанным на рис. 14.2. На этом рисунке каждое распределение представлено в виде ^таблицы условных вероятностей, или сокращенно СРТ (Conditional Probability Table). (Такая форма таблицы может использоваться для дискретных переменных; другие представления, включая те, которые подходят для непрерывных переменных, описаны в разделе 14.2.) Каждая строка в таблице СРТ содержит условную вероятность каждого значения вершины для М обусловливающего случая (conditioning case), определяющего условную вероятность. Обусловливающий случай представляет собой одну из возможных комбинаций значений родительских вершин (в принципе его можно
рассматривать как миниатюрное атомарное событие). Каждая строка должна в сумме составлять 1, поскольку элементы этой строки представляют собой исчерпывающее множество случаев для данной переменной. А если речь идет о булевых переменных, то после определения вероятности истинного значения, скажем р, вероятность ложного значения должна быть равна 1-р, поэтому в таблицах СРТ второе число часто не указывают, как и на рис. 14.2. Вообще говоря, любая таблица для булевой переменной с к булевыми родительскими переменными содержит 2к независимо определяемых вероятностей. Таблица для вершины без родительских вершин имеет только одну строку, представляющую априорные вероятности каждого возможного значения соответствующей переменной.
Семантика байесовских сетей
В предыдущем разделе описано, какой должна быть байесовская сеть, но не указано, что означает эта сеть. Существуют два способа, позволяющих понять семантику байесовских сетей. Первый из них состоит в том, что сеть следует считать одним из представлений совместного распределения вероятностей, а второй — в том, что она должна рассматриваться как описание совокупности утверждений об условной независимости. Эти две трактовки являются эквивалентными, но первая оказалась более полезной при определении способа составления сетей, а вторая — более применимой при проектировании процедур вероятностного вывода.
Представление полного совместного распределения
Любая байесовская сеть представляет собой полное описание рассматриваемой проблемной области. Каждый элемент в полном совместном распределении вероятностей (которое ниже будет сокращенно именоваться “совместным распределением”) может быть рассчитан на основании информации, представленной в этой сети. Универсальным элементом в совместном распределении является вероятность конъюнкции конкретных присваиваний значений каждой переменной, такой как Р(Х1=х1 а ... а Хп=хп). В качестве сокращенного обозначения для такой конъюнкции будет использоваться выражение Р (хх,..., хп). Значение этого элемента задается следующей формулой:
п
Р(Х1, ..., xn) = PJ P(Xi\parents (Xi) ) (14.1) i=l
где parents (Xi) обозначает конкретные значения переменных в множестве вершин Parents (Xi). Поэтому каждый элемент в совместном распределении представлен в виде произведения соответствующих элементов в таблицах условных вероятностей (Conditional Probability Table— СРТ) байесовской сети. Таким образом, таблицы СРТ обеспечивают декомпонованное представление совместного распределения.
Для иллюстрации описанных выше понятий рассчитаем вероятность того, что прозвучал тревожный сигнал, но не произошли ни взлом, ни землетрясение, а позвонили и Мэри, и Джон. Мы будем использовать однобуквенные имена для этих переменных (см. рис. 14.2):
P{j л т л а л -ib л -ie)
= Р( j | а) Р(л1| а) Р{а | —ib л -ie) P(-iJb) P(-ie)
= 0.90 х 0.70 х 0.001 х 0.999 х 0.998 = 0.00062
В разделе 13.4 было описано, как можно использовать полное совместное распределение для получения ответа на любой запрос о данной проблемной области. А если байесовская сеть служит представлением совместного распределения, то может также применяться для получения ответа на любой запрос путем суммирования соответствующих элементов совместного распределения. В разделе 14.4 показано, как найти ответ с помощью такого способа, а также описаны методы, которые являются гораздо более эффективными.
Метод составления байесовских сетей
В уравнении 14.1 показано, что означает данная конкретная байесовская сеть. Но это уравнение не позволяет определить, как следует составлять байесовскую сеть таким образом, чтобы результирующее совместное распределение служило адекватным представлением данной проблемной области. Тем не менее в этом разделе будет показано, что из уравнения 14.1 следуют определенные отношения условной независимости, которые могут использоваться инженером по знаниям в качестве руководящих указаний при составлении топологии сети. Вначале перезапишем это совместное распределение в терминах условных вероятностей с использование правила произведения (см. главу 13):
Р(Х1, Xn) = Р(Хп|Хп-1, Х1)Р(Хп-1,Х1)
Затем повторим этот процесс, приводя каждую конъюнктивную вероятность к условной вероятности и меньшей конъюнкции. В конечном итоге будет получено одно большое произведение:
Р(Х1, ..., Хп) = Р(Хп|хп-1, Х1)Р(Хп-1|хп-2, Х1) ... Р (Х2 | Х1) Р (Х1)
П
= P(Xi I Xi-1, Xi) i=l
Это тождество справедливо для любого множества случайных переменных и называется М цепным правилом (chain rule). Сравнивая его с уравнением 14.1, можно обнаружить, что данная спецификация совместного распределения эквивалентна общему утверждению, что для каждой переменной Xi в сети верно следующее:
P(Xi|Xi-i, ..., Xi) = Р (Xi I Parents (XJ )(14.2)
при условии, что Parents кх^ с { х^,..., хг }. Это последнее условие можно выполнить, разметив вершины графа в любом порядке, совместимом с частичным упорядочением, неявно заданным в структуре графа.
Фактически уравнение 14.2 свидетельствует о том, что байесовская сеть служит правильным представлением проблемной области, только если каждая вершина в ней условно независима от ее предшественников в конкретном упорядочении вершин, после того как заданы ее родительские вершины. Поэтому, для того чтобы составить байесовскую сеть с правильной структурой для рассматриваемой проблемной области, необходимо выбрать для каждой вершины родительские вершины так, чтобы соблюдалось это свойство. Интуитивно ясно, что множество родительских
вершин вершины Xi должно включать все такие вершины из множества Х1#..., Xi_15 которые ^ непосредственно влияют на Х£. Например, предположим, что мы полностью составили сеть, показанную на рис. 14.2, и осталось только выбрать родительские вершины для MaryCalls. Безусловно, на вершину MaryCalls оказывает влияние то, произошло ли событие Burglary или Earthquake, но это — не непосредственное влияние. Очевидно, что наши знания в этой проблемной области говорят о том, что эти события влияют на поведение Мэри, касающееся звонков, только через свое воздействие на тревожный сигнал. Кроме того, если речь идет о наличии тревожного сигнала, то звонок Джона не влияет на звонок Мэри. Формально говоря, составляя эту сеть, мы уверены в том, что справедливо следующее утверждение об условной независимости:
Р(MaryCalls\JohnCalIs, Alarm, Earthquake, Burglary) = P(MaryCalls|Alarm)
Компактность сети и упорядочение вершин
Байесовская сеть не только является полным и неизбыточным представлением проблемной области, но часто оказывается намного более компактной по сравнению с полным совместным распределением. Именно благодаря этому свойству байесовские сети становятся применимыми для представления проблемных областей со многими переменными. Компактность байесовских сетей является примером очень общего свойства М локально структурированных систем (называемых также М разреженными системами). В локально структурированной системе каждый субкомпонент непосредственно взаимодействует только с ограниченным количеством других компонентов независимо от общего количества компонентов. Локальная структура обычно ассоциируется с линейным, а не с экспоненциальным ростом сложности. В случае байесовских сетей резонно предположить, что в большинстве проблемных областей на каждую случайную переменную оказывают непосредственное влияние самое большее к других переменных, где к — некоторая константа. Если для простоты предположить, что в сети представлено п булевых переменных, то количество информации, необходимое для задания каждой таблицы условных вероятностей, будет составлять не больше 2к чисел, а полная сеть может быть определена с помощью п2к чисел. В отличие от этого, совместное распределение содержит 2П чисел. В качестве конкретного примера предположим, что имеется п=3 0 вершин, а каждая из них имеет пять родительских вершин (к=5). В таком случае для соответствующей байесовской сети потребуется 960 чисел, а для полного совместного распределения — больше миллиарда.
Существуют и такие проблемные области, в которых на каждую переменную могут оказывать непосредственное влияние все другие переменные, поэтому соответствующая сеть является полносвязной. В таком случае для задания таблиц условных вероятностей требуется такое же количество информации, как и для задания совместного распределения. Но есть и такие проблемные области, в которых существуют незначительные зависимости, тем не менее, обязательно требующие включения в сеть путем добавления нового ребра. Но если эти зависимости выражены очень слабо, то может не иметь смысла дополнительно повышать сложность сети ради небольшого выигрыша в точности. Например, можно было бы раскритиковать структуру нашей сети определения взлома на том основании, что если бы было землетря-
сение, то Джон и Мэри не позвонили бы, даже услышав тревожный сигнал, поскольку посчитали бы, что его причиной является землетрясение. Решение вопроса о том, следует ли вводить связи от Earthquake к JohnCalls и MaryCalls (и таким образом увеличивать размеры таблиц), зависит от результатов сравнения важности получения более точных вероятностей с затратами на указание дополнительной информации.
Составление локально структурированной байесовской сети даже в локально структурированной проблемной области представляет собой нетривиальную задачу. Для этого требуется не только знать, что на каждую переменную непосредственно влияют лишь несколько других переменных, но и убедиться в том, что топология сети действительно отражает эти непосредственные влияния, представленные с помощью соответствующего множества родительских вершин. В связи с тем, как организована сама процедура составления сети, ‘‘непосредственно влияющие” вершины должны быть введены в сеть первыми, если они затем станут родительскими вершинами тех вершин, на которые влияют. Поэтому ^ правильный порядок, в котором следует вводить вершины, состоит в том, что вначале необходимо вводить вершины “коренных причин”, затем вершины переменных, на которые они влияют, и т.д. до тех пор, пока не будут достигнуты “листовые вершины”, которые не оказывают непосредственного причинного влияния на другие переменные.
А что произойдет, если будет выбран порядок, который окажется неправильным? Еще раз рассмотрим пример со взломом. Предположим, что мы решили вводить вершины в порядке MaryCalls, JohnCalls, Alarm, Burglary, Earthquake. В таком случае будет получена немного более сложная сеть, показанная на рис. 14.3, а. При этом процесс введения вершин происходит, как описано ниже.
Рис. 14.3. Пример того, что структура сети зависит от порядка введения вершин. В каждой из сетей, показанных на этом рисунке, вершины вводились в порядке сверху внизРис. 14.3. Пример того, что структура сети зависит от порядка введения вершин. В каждой из сетей, показанных на этом рисунке, вершины вводились в порядке сверху вниз
Рис. 14.3. Пример того, что структура сети зависит от порядка введения вершин. В каждой из сетей, показанных на этом рисунке, вершины вводились в порядке сверху вниз
Рис. 14.3. Пример того, что структура сети зависит от порядка введения вершин. В каждой из сетей, показанных на этом рисунке, вершины вводились в порядке сверху вниз
Введение вершины MaryCalls — родительские вершины отсутствуют.
Введение вершины JohnCalls — если звонит Мэри, это, по-видимому, означает, что раздался тревожный сигнал, а вероятность такого события, очевид-
но, будет выше, если позвонит также и Джон. Поэтому для вершины JohnCalls необходимо использовать в качестве родительской вершину MaryCalls.
Введение вершины Alarm — безусловно, если позвонили оба соседа, вероятность того, что раздался тревожный сигнал, больше, чем лишь при одном звонке или вообще без звонков, поэтому в качестве родительских необходимо включить обе вершины, и MaryCalls, и JohnCalls.
Введение вершины Burglary — если известно состояние тревожного сигнала, то звонок от Джона или Мэри может дать жильцу охраняемого дома информацию о том, что звонил его телефон или Мэри слушала музыку, но не о взломе:
Р (Burglary | Alarm, JohnCalls, MaryCalls) = Р (Burglary | Alarm)
Поэтому для использования в качестве родительской вершины требуется только Alarm.
Введение вершины Earthquake — если раздался тревожный сигнал, то возможно также, что было землетрясение (эта тревожная сигнализация является к тому же своего рода детектором землетрясения). Но известно, что если был взлом, то тревожный сигнал объясняется именно этим, а вероятность землетрясения должна быть лишь ненамного выше нормальной. Поэтому в качестве родительских вершин для этой вершины необходимо иметь и Alarm, и Burglary.
Результирующая сеть имеет на два ребра больше по сравнению с первоначальной сетью, показанной на рис. 14.2, а также требует указания трех дополнительных вероятностей. Но что еще хуже, некоторые из ее связей представляют надуманные отношения, которые требуют формирования сложных и неестественных суждений о вероятностях, таких как оценки вероятности Earthquake, если даны Burglary и Alarm. Такой феномен является весьма распространенным и связан с различием между причинными и диагностическими моделями, которые были представлены в главе 8. Если мы попытаемся построить диагностическую модель со связями от симптомов к причинам (как, например, от MaryCalls к Alarm или от Alarm к Burglary), то в конечном итоге будем вынуждены задавать дополнительные зависимости между причинами, которые во всем остальном являются независимыми (а часто даже между отдельно возникающими симптомами). с^= Если же мы будем придерживаться причинной модели, то в конечном итоге нам придется задавать меньше чисел и сами эти числа, скорее всего, можно будет легче определить. Например, Тверский и Канеман [1523] для проблемной области медицинской диагностики показали, что опытные врачи предпочитают составлять вероятностные суждения для причинных, а не диагностических правил.
На рис. 14.3, б показано еще худшее упорядочение вершин: MaryCalls, JohnCalls, Earthquake, Burglary, Alarm. Для этой сети требуется задать 31 отдельную вероятность — точно такое же количество, как и при использовании полного совместного распределения. Однако важно понять, что любая из этих трех сетей может представлять точно такое же совместное распределение, как и другие. Просто в последних двух версиях не удалось успешно выявить все отношения условной независимости и поэтому вместо них пришлось ввести много ненужных чисел.
Отношения условной независимости в байесовских сетях
В предыдущем разделе была определена “числовая” семантика для байесовских сетей в терминах представления полного совместного распределения, как в уравнении 14.1. Используя эту семантику для вывода метода составления байесовских сетей, мы пришли к заключению, что вершина является условно независимой от ее предшественников, если заданы ее родительские вершины. Как оказалось, можно также двигаться в другом направлении. Мы можем начать с “топологической” семантики, которая задает отношения условной независимости, закодированные в структуре графа, а из этой информации вывести “числовую” семантику. Топологическая семантика задается любой из приведенных ниже спецификаций, которые являются эквивалентными.
Вершина является условно независимой от вершин, не являющихся ее ^потомками, если даны ее родительские вершины. Например, на рис. 14.2 вершина JohnCalls независима от Burglary и Earthquake, если дано значение Alarm.
Вершина является условно независимой от всех других вершин в сети, если даны ее родительские вершины, дочерние вершины и родительские вершины дочерних вершин, т.е. дано ее М марковское покрытие (Markov blanket). Например, вершина Burglагу независима от JohnCalls и MaryCalls, если даны Alarm и Earthquake.
Примеры применения этих спецификаций показаны на рис. 14.4. На основании приведенных утверждений об условной независимости и таблиц СРТ можно реконструировать полное совместное распределение; таким образом, “числовая” семантика и “топологическая” семантика являются эквивалентными.
Эффективное представление распределений УСЛОВНЫХ ВЕРОЯТНОСТЕЙ
Даже если максимальное количество родительских вершин к невелико, для заполнения таблицы СРТ, относящейся к некоторой вершине, необходимо будет задать вплоть до О(2к) чисел, а также, возможно, потребуется значительный опыт оценки всех возможных обусловливающих случаев. К тому же на практике иногда встречается наихудшая ситуация, в которой связь между родительскими вершинами и дочерней вершиной является полностью произвольной. Обычно такие отношения можно описать с помощью М канонического распределения, которое соответствует некоторому стандартному образцу. В таких случаях всю таблицу можно задать, указав тип распределения и, возможно, введя несколько параметров, что намного проще по сравнению с определением экспоненциального количества параметров.
Рис. 14.4. Примеры использования спецификаций топологической семантики: вершина X является условно независимой от вершин, не являющихся ее потомками (например, от вершин Чц), если даны ее родительские вершины (вершины и2, показанные в затененной области) (а); вершина X является условно независимой от всех других вершин в сети, если дано ее марковское покрытие (затененная область) (б)
С другой стороны, примером простейшей ситуации является наличие ^ детерминированных вершин. Детерминированная вершина характеризуется тем, что ее значение точно определяется значениями ее родительских вершин, без какой-либо неопределенности. Отношение между вершинами может быть логическим, например, отношение между родительскими вершинами Canadian, US, Mexican и дочерней вершиной NorthAmerican состоит в том, что значение дочерней вершины представляет собой дизъюнкцию значений родительских вершин. Такое отношение может также быть числовым, например, если значениями родительских вершин являются цены на конкретную модель автомобиля у нескольких дилеров, а значением дочерней вершины является цена, которую в конечном итоге заплатит охотник за низкими ценами, то значением дочерней вершины является минимальное из значений родительских вершин. Если же значениями родительских вершин являются притоки воды (через реки, ключи, росу) в озеро и оттоки воды (через реки, испарения, дренаж) из озера, а значением дочерней вершины является изменение уровня воды в озере, то значение дочерней вершины представляет собой общую разницу между родительскими вершинами с притоком и родительскими вершинами с оттоком.
Неопределенные отношения можно также часто охарактеризовать с использованием так называемых “зашумленных” логических отношений. Стандартным примером является отношение ^ зашумленного OR, которое представляет собой обобщение логического отношения OR. В пропозициональной логике можно составить утверждение, что высказывание Fever (Жар) является истинным тогда и только тогда, когда истинны высказывания Cold (Простуда), Flu (Грипп) или Malaria (Малярия). Модель зашумленного OR позволяет учитывать неопределенность знаний в отношении способности каждой из родительских вершин вызывать присваивание истинного значения дочерней вершине, поскольку причинная связь между родительской и дочерней вершинами может быть заблокирована и поэтому иногда
пациент бывает простужен, но у него не обнаруживается жар. В этой модели приняты два предположения. Во-первых, в ней предполагается, что учтены все возможные причины. (Это — не такое строгое требование, как кажется на первый взгляд, поскольку всегда есть возможность ввести так называемую ^ вершину утечки (leak node), которая покрывает “прочие причины”.) Во-вторых, предполагается, что блокирование каждой родительской вершины не зависит от блокирования любых других родительских вершин, например, та причина, которая блокирует возникновение жара под влиянием действия вершины Malaria, не зависит от тех причин, которые блокируют возникновение жара под действием вершины Flu. С учетом этих предположений значение вершины Fever является ложным тогда и только тогда, когда заблокированы все ее родительские вершины, имеющие истинное значение, а вероятность такой ситуации представляет собой произведение вероятностей блокировки каждой родительской вершины. Предположим, что такие отдельные вероятности блокировки выражаются следующим образом:
Р(—if ever | cold, —iflu, -malaria) = 0.6
P(—if ever \—icold, flu,—malaria) = 0.2
P(—if ever | —icold, —iflu, malaria) = 0.1
В таком случае появляется возможность составить всю таблицу СРТ на основании этой информации и предположений модели зашумленного OR. Пример вычисления значений соответствующих элементов показан в табл. 14.1.
Таблица 14.1. Пример вычисления значений таблицы СРТ
Cold
Flu
Malaria
Р( Fever)
P(-iFever)
F
F
F
0.0
1.0
F
F
Т
0.9
0.1
F
Т
F
0.8
0.2
F
Т
Т
0.98
0.02 =0.2x0.1
Т
F
F
0.4
0.6
Т
F
Т
0.94
0.06 = 0.6 х 0.1
Т
Т
F
0.88
0.12 = 0.6 х 0.2
Т
Т
Т
0.988
0.012 = 0.6 х 0.2 х 0.1
Вообще говоря, зашумленные логические отношения, в которых некоторая переменная зависит от к родительских переменных, могут быть описаны с использованием О (к) параметров вместо О(2к) параметров, которые требуются для полной таблицы условных вероятностей. Благодаря этому задачи присваивания значений и обучения намного упрощаются. Например, распределения зашумленного OR и зашумленного МАХ успешно использовались в сети CPCS [1232] для моделирования отношений между заболеваниями и симптомами в диагностике внутренних органов. При наличии 448 вершин и 906 связей в этой сети потребовалось только 8 254 значения вместо 13 3 931 430 значений для сети с полными таблицами СРТ.
Байесовские сети с непрерывными переменными
Для решения многих реальных задач требуется учитывать непрерывные количества, такие как уровень, масса, температура и сумма денежных средств; в действи-
тельности большая часть такого научного направления, как статистика, посвящена исследованию случайных переменных, области определения которых являются непрерывными. По определению непрерывные переменные имеют бесконечное количество возможных значений, поэтому невозможно явно задать условные вероятности для каждого значения. Один из возможных способов обработки непрерывных переменных состоит в избавлении от них с помощью М дискретизации, т.е. разделения всех возможных значений на постоянное множество интервалов. Например, температуры могут быть разделены на интервалы (<0°С), (0°С— 100°С) и (>100°С). Иногда дискретизация становится вполне адекватным решением, но часто приводит к значительной потере точности и появлению очень больших таблиц СРТ. Еще одно решение состоит в определении стандартных семейств функций плотности вероятностей (см. приложение А), которые задаются с помощью конечного количества ^параметров. Например, гауссово (или нормальное) распределение Д/"(р,,о2) (х) имеет в качестве параметров среднее ц и дисперсию о2.
Сеть, в которой имеются и дискретные, и непрерывные переменные, называется ^ гибридной байесовской сетью. Для составления гибридной сети необходимо определить два новых типа распределений: условное распределение для непрерывной переменной, если даны дискретные или непрерывные родительские переменные, и условное распределение для дискретной переменной, если даны непрерывные родительские переменные. Рассмотрим простой пример, приведенный на рис. 14.5, в котором клиент покупает какие-то фрукты в зависимости от их стоимости, которая, в свою очередь, зависит от размера урожая и от того, применяется ли правительственная программа субсидий. Переменная Cost (Стоимость) является непрерывной и имеет непрерывные и дискретные родительские переменные; переменная Buys (Покупает) является дискретной и имеет непрерывную родительскую переменную.
Рис. 14.5. Простая сеть с дискретными переменными (Subsidy — субсидия) и Buys — покупает) и непрерывными переменными fHarvest — урожай и Cost — стоимость)
Для переменной Cost необходимо задать распределение Р(Cost|Harvest, Subsidy). Это дискретное родительское значение учитывается с помощью явного перечисления, т.е. определения и значения P^Cost \Harvest, subsidy), и значения Р( Cost | Harvest, -^subsidy). Чтобы учесть переменную Harvest, требуется определить, как распределение по стоимости зависит от непрерывного значения h переменной Harvest. Иными словами, необходимо определить параметры распределения стоимости как функции от h. Наиболее часто применяемым вариантом является М линейное гауссово распределение, в котором дочерняя переменная имеет
гауссового распределение со средним ц, изменяющимся линейно в зависимости от значения родительской переменной, и с постоянным среднеквадратичным отклонением о. Необходимо иметь два распределения, одно для subsidy, а другое, для ^subsidy, с разными параметрами:."
1 Гс-(ath+bt )V
21s J
P( c | h, subsidy) = N(ath + bt, Ot2) (c) = 7=6 v r y
0^x1271
_ Vc— (afh+bf)Y
P(c| h, —^subsidy) = N(ath + bt, Of2) (c) = —^7= e Sf
of\2K
Итак, в данном примере условное распределение для переменной Cost было задано путем обозначения его как линейного гауссового распределения и предоставления параметров at, bt, ot, af, bt и of. Эти два отношения показаны на рис. 14.6, а и б. Обратите внимание на то, что в каждом случае наклон кривых является отрицательным, поскольку цена уменьшается по мере увеличения поставок. (Безусловно, из предположения о линейности следует, что цена в некоторый момент станет отрицательной; линейная модель является приемлемой, только если объем урожая ограничен каким-то узким диапазоном.) На рис. 14.6, в показано распределение Р (с | h), усредненное по двум возможным значениям Subsidy, в предположении, что каждое из этих двух значений имеет априорную вероятность 0,5. Данный пример показывает, что даже с помощью очень простых моделей могут быть представлены весьма интересные распределения.
Рис. 14.6. Графики отношений. На графиках а) и б) показаны распределения вероятностей по значению стоимости Cost как функции от объема урожая Harvest, при условии, что переменная Subsidy имеет соответственно истинное и ложное значения. На графике в) показано распределение Р (Cost /Harvest), полученное путем суммирования по двум случаям, связанным с субсидией (предоставление и не предоставление) ,
Линейное гауссово условное распределение обладает некоторыми особыми свойствами. Сеть, содержащая только непрерывные переменные с линейными гауссовыми распределениями, имеет совместное распределение, представляющее собой многомерное гауссово распределение по всем переменным (упр. 14.5).
нескольких измерениях, которая имеет пик в районе среднего значения, в п измерениях, и уменьшается по всем направлениям.) Если в сеть введены дискретные переменные (при условии, что ни одна дискретная переменная не является дочерней применительно к непрерывной переменной), то сеть определяет ^ условное гауссово распределение, или распределение CG (conditional Gaussian): если дано любое присваивание дискретным переменным, то распределение по непрерывным переменным становится многомерным гауссовым распределением.
Теперь обратимся к распределениям для дискретных переменных с непрерывными родительскими переменными. Например, рассмотрим вершину Buys на рис. 14.5. Представляется обоснованным предположение, что клиент сделает покупку, если стоимость является низкой, и не сделает покупку, если она высока, а также, что вероятность покупки изменяется плавно в некотором промежуточном регионе. Другими словами, условное распределение напоминает “мягкую” пороговую функцию. Один из способов определения мягких пороговых функций состоит в использовании интеграла стандартного нормального распределения:
Ф(х) =^(0/l)(x) dx
В таком случае вероятность события Buys, если дано значение Cost, может выражаться следующей формулой:
P(buys | Cost=c) = Ф ( (— сч-ц) /о)
которая означает, что пороговое значение стоимости обнаруживается в районе ц, ширина порогового региона пропорциональна о, а вероятность покупки уменьшается по мере возрастания стоимости.
Такое распределение вероятностей называется ^ пробит-распределением (probit distribution) и показано на рис. 14.7, а. Возможность применения распределения с такой формой может быть обосновано тем, что соответствующий процесс принятия решения имеет твердый порог, но точное расположение этого порогового значения подвержено воздействию случайного гауссового шума. Альтернативным по отношению к пробит-распределению является М логит-распределение (logit distribution), в котором для формирования мягкого порога используется ^ сигмоидальная функция (sigmoid function):
1
Р (buys I Cost=c) = l+exp(-2-™^)
Это распределение показано на рис. 14.7, б. Два распределения внешне выглядят одинаковыми, но фактически логит-распределения имеют более длинные “хвосты”. Пробит-распределения часто лучше подходят в реальных ситуациях, а логит-распределения иногда проще поддаются математической обработке. Последние широко используются в нейронных сетях (глава 20). И пробит- и логит- распределения могут быть обобщены для учета многочисленных непрерывных родительских значений путем применения линейной комбинации родительских значений. Расширения для случая многомерных дискретных дочерних значений рассматриваются в упр. 14.6.
а) б)
Рис. 14.7. Примеры других распределений: пробит-распределение для вероятности события Buys, если дано значение Cost, которое характеризуется значениями ц = 6.0 и а = 1.0 (а); логит- распределение с такими же параметрами (б)
Точный ВЕРОЯТНОСТНЫЙ ВЫВОД В БАЙЕСОВСКИХ СЕТЯХ
Основной задачей для любой системы вероятностного вывода является вычисление распределения апостериорных вероятностей для множества переменных запроса, если дано некоторое наблюдаемое М событие, т.е. если выполнено некоторое присваивание значений множеству переменных свидетельства. Мы будем использовать систему обозначений, введенную в главе 13: X обозначает переменную запроса; Е — множество переменных свидетельства, Ег,.... Е^ е — конкретное наблюдаемое событие; Y обозначает переменные, отличные от переменных свидетельства, Ylf..., Yy (иногда называемые ^ скрытыми переменными). Таким образом, полное множество переменных определяется выражением X={X}UEUY. В типичном запросе содержится просьба определить распределение апостериорных вероятностей Р (X | е).
В сети с описанием взлома может наблюдаться событие, в котором JohnCalls= true и MaryCalls= true. В таком случае можно ввести следующий запрос, скажем, для определения вероятности того, что произошел взлом:
Р (Burglary] JohnCalls= true, MaryCalls= true) = <0.284,0.716>
В этом разделе рассматриваются точные алгоритмы вычисления апостериорных вероятностей и приводятся сведения о сложности такой задачи. Как оказалось, в общем случае эта задача неразрешима, поэтому в разделе 14.5 рассматриваются методы приближенного вероятностного вывода.
Вероятностный вывод с помощью перебора
Как говорилось в главе 13, любую условную вероятность можно вычислить, суммируя элементы из полного совместного распределения. Более конкретно следует указать, что ответ на запрос Р(х|е) можно получить с использованием уравнения 13.6, которое мы повторяем здесь для удобства:
Р(Х|е) = ос Р(Х,е) = ос ^ Р(Х,е,у)
У
Итак, любая байесовская сеть создает исчерпывающее представление полного совместного распределения. А именно, в уравнении 14.1 показано, что термы Р(х,е,у) в совместном распределении можно записать в виде произведений условных вероятностей, взятых из сети. Поэтому ^ на любой запрос можно найти ответ с помощью байесовской сети, вычисляя суммы произведений условных вероятностей из этой сети.
В листинге 13.2 был приведен алгоритм Enumerate-Joint-Ask, обеспечивающий вероятностный вывод путем перебора элементов полного совместного распределения, который принимает на входе полное совместное распределение р и выполняет в нем поиск значений. Этот алгоритм несложно модифицировать так, чтобы он принимал на входе байесовскую сеть Ьп и “отыскивал” элементы совместного распределения, умножая соответствующие элементы таблиц СРТ, взятые из сети Ьп.
Рассмотрим запрос Р (Burglary \JohnCalls= true, MaryCalls- true). Скрытыми переменными для этого запроса являются Earthquake и Alarm. Из уравнения 13.6, используя начальные символы имен переменных для сокращения длины выражений, можно получить следующее:
P(B\j,m) = ос Р (В, j, т) = осZXР (В, е, a, j, т) е а
В таком случае выражение в терминах элементов таблицы СРТ может быть получено с учетом семантики байесовских сетей (уравнение 14.1). Для упрощения получим соответствующее выражение только для случая Burglary = true:
P(b\j,m) = осXL P(b) Р(е) P(a\b, е) P(j \а) Р(т\а) е а
Для вычисления этого выражения необходимо сложить четыре терма, каждый из которых вычисляется путем умножения пяти чисел. В наихудшем случае, когда приходится находить сумму почти по всем переменным, сложность этого алгоритма для сети с п булевыми переменными равна О(п2п).
Некоторое упрощение может быть достигнуто на основе следующих простых наблюдений: терм Р(Ь) представляет собой константу и может быть перенесен за пре-
делы выражений суммирования по а и е, а терм Р(е) — перенесен за пределы выражения суммирования по а. Поэтому получаем следующее:
P(b\j,m) = ос Р(Ь)Е р(е)Е Р(а| Ь, е) Р( j | а) Р(л1| а)(14.3)
еа
Это выражение можно вычислить, последовательно обрабатывая в цикле его переменные и перемножая в ходе этого элементы таблицы СРТ. При каждом суммировании необходимо также выполнить цикл по возможным значениям переменной. Структура этих вычислений показана на рис. 14.8. Используя числа, приведенные на рис. 14.2, получим выражение P(b|j,т)=ахО.00059224. Соответствующее вычисление для -зЬ приводит к получению выражения ссхО .0 014919, поэтому имеет место следующее:
P(B|j,m) = ОС <0.00059224,0.0014919> = <0.2 84,0.716>
Таким образом, вероятность взлома, при условии, что поступили звонки от обоих соседей, составляет около 28%.
Процесс вычисления выражения, приведенного в уравнении 14.3, показан в виде дерева синтаксического анализа выражения на рис. 14.8. В алгоритме Enumeration-Ask, приведенном в листинге 14.1, вычисление подобных деревьев осуществляется с использованием рекурсии в глубину. Таким образом, пространственная сложность алгоритма Enumeration-As к зависит от количества переменных только линейно; по сути этот алгоритм вычисляет суммы по полному совместному распределению, даже не формируя его явно. К сожалению, его временная сложность для сети с п булевыми переменными всегда составляет О(2П); это лучше по сравнению с оценкой О(п2п) для простого подхода, описанного выше, но все еще довольно велика. В отношении дерева, приведенного на рис. 14.8, необходимо сделать еще одно замечание — в нем явно показаны повторяющиеся подвыражения, вычисляемые с помощью этого алгоритма. Произведения Р( j | а) Р(т| а) и Р( j | -.а) Р(т| -.а) вычисляются дважды, по одному для каждого значения е. В следующем разделе описан общий метод, позволяющий избежать таких избыточных вычислений.
Листинг 14.1. Алгоритм перебора для получения ответов на запросы в байесовских сетях
function Enumeration-Ask(X, е, bn) returns распределение по X inputs: X, переменная запроса
е, наблюдаемые значения переменных Е Ьп, байесовская сеть с переменными
{X} u Е u Y} /* Y - скрытые переменные */
Q(X) <— распределение по X, первоначально пустое for each значение xi переменной X do дополнить е значением xi переменной X Q(xi) <— Enumerate-All (Vars [bn] , e)
return Normalize (Q (X) )
function Enumerate-All(vars, e) returns действительное число if Empty? (vars) then return 1.0 Y <— First(vars) if переменная Y имеет значение у в множестве е
then return Р (у | paren ts(Y)) xEnumera tе - Al 1 (Res t (vars) , e)
else return 5 P (y | paren ts (Y) ) xEnumera te-All (Rest (vars) , ey) , где ey представляет собой множество e, дополненное
Рис. 14.8. Структура выражения, показанного в уравнении 14.3. Процесс вычисления осуществляется сверху вниз; при этом значения вдоль каждого пути умножаются и суммируются в узлах “+”. Обратите внимание на то, что пути для j и m повторяются
Алгоритм устранения переменной
Описанный выше алгоритм перебора можно существенно улучшить, исключив повторные вычисления такого типа, как показано на рис. 14.8. Его идея проста: выполнить вычисление один раз и сохранить результаты для дальнейшего использования. В этом выражается одна из форм динамического программирования. Существует несколько версий такого подхода; в данной главе будет представлен алгоритм устранения переменной (variable elimination), который является наиболее простым. Устранение переменной осуществляется путем вычисления выражений, подобных представленному в уравнении 14.3, в порядке справа налево (т.е. на рис. 14.8 — сверху вниз). Промежуточные результаты сохраняются, а операции суммирования по каждой переменной выполняются только для тех частей выражения, которые зависят от этой переменной.
Проиллюстрируем этот процесс на примере сети с описанием взлома. Нам необходимо вычислить следующее выражение:
P(B|j,m) = ОСР(В)2р(е)ЕР (а | В, е) Р( j | а) Р(т| а)
'*' е' v'а' v ' ' v v '
ВЕA JМ
Обратите внимание на то, что каждая часть этого выражения аннотирована именем связанной с ней переменной; эти части называются М факторами. Этапы работы алгоритма устранения переменной описаны ниже.
Фактор для М, Р(ш| а), не требует суммирования по М (поскольку значение М уже фиксировано). Мы сохраним эту вероятность при условии, что задано каждое значение а в виде следующего двухэлементного вектора:
(Обозначение f м показывает, что для получения f используется м.)
Аналогичным образом сохраняется фактор для J в виде двухэлементного вектора fj(A).
Фактор для А выражается распределением р (а | В, е), которое представляет собой матрицу f д (А, В, Е) с размерами 2x2x2.
Теперь необходимо устранить путем суммирования из произведения этих трех факторов переменную А, что позволит получить матрицу 2x2, индексы которой пробегают только по В и Е. Поместим штрих над А в имени этой матрицы для указания на то, что А устранена путем суммирования:
£ым(В,Е) = ^ '£д(а,В,Е) X fj(a) х £м(а)
а
= £д (а, В, Е) xf j (а) х£м (a) +f д (~ia, В, Е) xf j (ia) xfM(па)
Применяемый в этом выражении процесс умножения называется процессом получения М точечного произведения (pointwise product) и будет вскоре описан.
Обработаем таким же образом переменную Е. исключим Е путем суммирования из произведения fЕ (Е) и f AJM (в, Е):
fEAJw(-B) = fе (е) xfajm(В, е)+fе (—>е) xfajm (В, —ie)
Теперь мы можем вычислить ответ, умножив фактор для В (т.е. fB(В) = Р (В)) на накопленную матрицу f eajm (В):
P(B\j,m’) = Ct fs (В) xfEAjM (В)
В упр. 14.7, а предлагается проверить, действительно ли данный процесс приводит к получению правильного ответа.
Исследуя приведенную выше последовательность этапов, можно убедиться в том, что требуются две основные вычислительные операции: получение точечного произведения пары факторов и исключение некоторой переменной путем суммирования из произведения факторов.
Точечное произведение — это не результат умножения матриц и не результат поэлементного умножения. Точечное произведение двух факторов, f г и f 2, представляет собой новый фактор f, переменные которого являются объединением переменных из fx и f2. Предположим, что два фактора имеют общие переменные Ух,..., Ук. В таком случае получим следующее:
f (X1...XJ, У1...Ук,2х...2х) = fx(Xx...Xj, Ух...Ук) f2(yi...yk,2i...Zx)
Если все переменные являются бинарными, то факторы f г и f 2 имеют 2j+k и 2k+1 элементов соответственно, а точечное произведение включает 2j+k+1 элементов. Например, если даны два фактора, fх (А, В) и f2 (В, С), с распределениями вероятностей, показанными ниже, то точечное произведение fx х f2 задается в табл. 14.2 как f3 (А, В, С).
Таблица 14.2. Пример произведения факторов
А
В
fl (А,В)
В
С
f2(B,C)
А
В
С
f3(A,B, С)
Т
т
.3
т
т
.2
Т
т
т
.3 х.2
Т
F
.7
т
F
.8
Т
т
F
.3 х.8
F
Т
.9
F
Т
.6
т
F
Т
.7 х.б
F
F
.1
F
F
.4
т
F
F
.7 х.4
F
Т
Т
.9 х.2
F
Т
F
.9 х.8
F
F
Т
.1 х.б
F
F
F
.1 х.4
Операция исключения некоторой переменной путем суммирования из произведения факторов также является несложной. Единственное затруднение заключается в следующем: в этой операции необходимо учитывать, что любой фактор, который не зависит от переменной, подлежащей исключению путем суммирования, может быть вынесен за пределы выражения суммирования, например, как показано ниже.
^ fE(e)xfA(A,B, e)xfj(A)xfM(A) = е
fj(A)xfM(A)x^ fE(e)xfA(A,B, е) е
Теперь вычисляется точечное произведение в выражении суммирования и переменная исключается путем суммирования из результирующей матрицы следующим образом:
fj(A)XfM(A)X^fj(A)XfM(A)X^fE(е)XfА(А, В, е)fE(е)XfА(А, В, е)= fj(A)XfM(A)XfE.A(A,B)= fj(A)XfM(A)XfE.A(A,B)
fj(A)XfM(A)X^
fj(A)XfM(A)X^
fE(е)XfА(А, В, е)
fE(е)XfА(А, В, е)
= fj(A)XfM(A)XfE.A(A,B)
= fj(A)XfM(A)XfE.A(A,B)
е
Обратите внимание на то, что матрицы не умножаются до тех пор, пока не потребуется исключить некоторую переменную путем суммирования из накопленного произведения. В данный момент умножаются только те матрицы, которые включают переменную, подлежащую исключению путем суммирования. Если даны процедуры получения точечного произведения и исключения путем суммирования, то сам алгоритм устранения переменной может быть записан весьма просто, как показано в листинге 14.2.
Листинг 14.2. Алгоритм устранения переменной, предназначенный для получения ответов на запросы в байесовских сетях
function Elimination-Ask(X, е, bn) returns распределение по X inputs: X, переменная запроса
е, свидетельство, определяемое как некоторое событие Ьп, байесовская сеть, которая задает совместное распределение P(Xi,...,Xn)
factors <— []; vars <— Reverse (Vars [bn] ) for each var in vars do
factors <— [Make-Factor(var, e)|factors] if переменная var является скрытой
then factors <— Sum-Out (var, factors') return Normalize(Pointwise-Product(factors))
PU\b) = ос Р^Ь) У У Р(а|±>,е) P(J|PU\b) = ос Р^Ь) У У Р(а|±>,е) P(J|Рассмотрим еще один запрос: Р( JohnCalls | Burglary^ true). Как обычно, на первом этапе необходимо записать вложенное выражение суммирования:
PU\b) = ос Р^Ь) У У Р(а|±>,е) P(J|
PU\b) = ос Р^Ь) У У Р(а|±>,е) P(J|
а) Р^т\а)
еam
Если бы мы вычисляли это выражение справа налево, то заметили бы нечто интересное: терм £mpM а^ равен 1 по определению! Поэтому сразу отпадает необходимость учитывать это выражение; переменная И не имеет отношения к данному запросу. Эту мысль можно выразить иным образом: результат запроса Р( JohnCalls\ Burg 1 arу= true') не изменится, если из сети вообще будет исключена переменная MaryCalls. Вообще говоря, из сети может быть удалена любая листовая вершина, если она не относится к переменной запроса или к переменной свидетельства. После ее удаления могут еще оставаться некоторые листовые вершины, которые также могут не относится к данному запросу. Продолжая указанный процесс, мы в конечном итоге обнаружим, что <9® к запросу не относится любая переменная, которая не является потомком переменной запроса или переменной свидетельства. Поэтому алгоритм устранения переменной позволяет удалять все эти переменные, прежде чем приступать к вычислению ответа на запрос.
Сложность точного вероятностного вывода
Выше было показано, что устранение переменной является более эффективным по сравнению с перебором, поскольку позволяет предотвратить повторяющиеся вычисления (а также обеспечить удаление не относящихся к делу переменных). Требования процесса устранения переменной к времени и пространству зависят в основном от размера наибольшего фактора, сформированного в процессе работы данного алгоритма. А этот размер, в свою очередь, зависит от порядка устранения переменных и от структуры сети.
Сеть с описанием взлома, приведенная на рис. 14.2, принадлежит к семейству сетей, в которых имеется самое большее один неориентированный путь между любыми двумя вершинами в сети. Такие сети называются ^ односвязными (singly connected) сетями, или ^ полидеревьями (polytree), и обладают одним особо привле-
кательным свойством: с^= временная и пространственная сложность точного вероятностного вывода в полидеревьях линейно зависят от размера сети. В данном случае размер определяется как количество элементов таблиц СРТ; если количество родительских вершин каждой вершины ограничено некоторой константой, то сложность также будет зависеть линейно от количества вершин. Эти результаты справедливы для любого упорядочения, совместимого с топологическим упорядочением сети (упр. 14.7).
Для ^ многосвязных (multiply connected) сетей, подобных приведенной на рис. 14.9, а, процедура устранения переменной в наихудшем случае может иметь экспоненциальную временную и пространственную сложность, даже если количество родительских вершин в расчете на каждую вершину ограниченно. В этом нет ничего удивительного, если учесть, что ^ вероятностный вывод в байесовских сетях является NP-трудным, поскольку включает вывод в пропозициональной логике как частный случай. Фактически можно показать (упр. 14.8), что эта задача является настолько трудной, насколько трудна задача вычисления количества выполняющих присваиваний для формулы пропозициональной логики. Это означает, что данная задача является #Р-трудной (читается “шарп-Р-трудной”, или “диез-Р-трудной”), т.е. строго труднее, чем NP-полные задачи.
Существует тесная связь между сложностью вероятностного вывода в байесовской сети и сложностью задач удовлетворения ограничений (Constraint Satisfaction Problem — CSP). Как было показано в главе 5, трудность решения дискретной задачи CSP зависит от того, насколько “древовидным” является ее граф ограничений. Такие показатели, как ширина гипердерева, которые устанавливают пределы сложности решения задачи CSP, могут также применяться непосредственно к байесовским сетям. Более того, существует возможность обобщить алгоритм устранения переменной таким образом, чтобы он позволял находить решения не только в байесовских сетях, но и в задачах CSP.
Алгоритмы кластеризации
Описанный выше алгоритм устранения переменной является простым и эффективным средством получения ответов на отдельные запросы. Если же возникает необходимость вычислить апостериорные вероятности для всех переменных в сети, то этот алгоритм может оказаться менее эффективным. Например, в сети с полидрево- видной структурой для этого потребуется выдать О(п) запросов со стоимостью О(п) каждый, что в сумме составляет затраты времени Oln2V Использование алгоритмов ^кластеризации (известных также под названием алгоритмов М дерева соединения — join tree), позволяет сократить это время до О(п). По указанной причине данные алгоритмы широко используются в коммерческих инструментальных средствах на основе байесовских сетей.
Основная идея кластеризации состоит в том, что отдельные узлы в дереве должны быть соединены для формирования кластерных вершин таким образом, чтобы результирующая сеть стала полидеревом. Например, многосвязная сеть, показанная на рис. 14.9, а, может быть преобразована в полидерево путем объединения вершин Sprinkler (Опрыскиватель) и Rain (Дождь) в кластерную вершину, называемую Sprinkler+Rain (см. рис. 14.9, б). Эти две булевы вершины заменяются мегавершиной, которая принимает четыре возможных значения: ТТ, TF, FT и ЕЕ. Данная
а)а)S+RS+R/ t tf ft ff/ t tf ft ffР(С)=о,5Р(С)=о,5P(S+R=x)Ctttfftfft0,080,020,720,18f0,100,400,100,40P(S+R=x)Ctttfftfft0,080,020,720,18f0,100,400,100,40мегавершина имеет только одну родительскую вершину— булеву переменную Cloudy, поэтому для нее количество обусловливающих случаев равно двум.
а)
а)
S+R
S+R
/ t tf ft ff
/ t tf ft ff
Р(С)=о,5
Р(С)=о,5
P(S+R=x)
Ctttfftff
t0,080,020,720,18
f0,100,400,100,40
P(S+R=x)
Ctttfftff
t0,080,020,720,18
f0,100,400,100,40
Д1Я 0,99 0,90 0,90 0,00
Puc. 14.9. Пример применения кластеризации: многосвязная сеть с таблицами условных вероятностей (а); кластеризованный эквивалент многосвязной сети (б)
После преобразования сети в форму полидерева применяется алгоритм вероятностного вывода специального назначения. По сути этот алгоритм представляет собой одну из форм алгоритма распространения ограничений (см. главу 5), где ограничения обеспечивают согласование соседних кластеров по апостериорной вероятности любых переменных, которые являются в них общими. При наличии тщательно продуманных средств учета этот алгоритм позволяет вычислять апостериорные вероятности для всех вершин в сети, отличных от вершин свидетельства, за время О(п), где п теперь обозначает размер модифицированной сети. Тем не менее NP-трудность решаемой задачи не исчезает: если сеть требует экспоненциальных затрат времени и пространства при устранении переменной, то экспоненциальные затраты времени и пространства требуются и для построения таблиц СРТ в кластеризованной сети.
Приближенный вероятностный вывод
В БАЙЕСОВСКИХ СЕТЯХ
Исходя из того, что точный вероятностный вывод в больших многосвязных сетях является неосуществимым, важно предусмотреть методы приближенного вероятностного вывода. В настоящем разделе описаны рандомизированные алгоритмы выборки (называемые также алгоритмами ^ Монте-Карло), обеспечивающие получение приближенных ответов, точность которых зависит от количества сформированных выборок. В последние годы алгоритмы Монте-Карло нашли широкое распространение в компьютерных науках для получения оценочных значений величин, которые трудно вычислить точно. Например, алгоритм эмуляции отжига, описанный в главе 4, представляет собой метод Монте-Карло для задач оптимизации. В этом разделе нас интересует применение методов выборки для вычисления апо-
стериорных вероятностей. Здесь описаны два семейства алгоритмов: непосредственная выборка и выборка с помощью цепи Маркова. Два других подхода (вариационные методы и метод циклического распространения) упоминаются в библиографических и исторических заметках, приведенных в конце данной главы.
Методы непосредственной выборки
Примитивной операцией в любом алгоритме выборки является формирование выборок из известного распределения вероятностей. Например, подлинная монета может рассматриваться как случайная переменная Coin со значениями <heads, tails> и априорным распределением Р (Coin) =<0.5,0.5>. Операция получения выборки из этого распределения полностью аналогична подбрасыванию монеты: с вероятностью 0,5 эта операция будет возвращать значение heads (орел) и с такой же вероятностью — значение tails (решка). Если имеется источник случайных чисел в диапазоне [0,1], сформировать любые распределения по одной переменной совсем несложно (см. упр. 14.9).
В процессе случайного формирования выборки простейшего типа для байесовских сетей, рассматриваемом в этом разделе, вырабатываются события, не имеющие связанных с ними свидетельств, которые могут быть зарегистрированы в сети. Идея этого метода состоит в том, что выборка должна формироваться последовательно по каждой переменной, в топологическом порядке. Распределение вероятностей, из которого берется выборка значения, обусловливается значениями, уже присвоенными родительским переменным этой переменной. Соответствующий алгоритм приведен в листинге 14.3. Проиллюстрируем его работу на примере сети, приведенной на рис. 14.9, а, предполагая, что имеет место упорядочение [Cloudy, Sprinkler, Rain, WetGrass], какописано ниже.
Листинг 14.3. Алгоритм формирования выборки, который вырабатывает события на основании байесовской сети
function Prior-Sample(bn) returns событие, выработанное путем применения операции формирования выборки к априорному распределению, заданному в виде сети Ьп
inputs: bn, байесовская сеть, задающая совместное распределение P(Xi,...,Xn)
х <— событие с п элементами
for i = 1 to п do
xi <— случайная выборка из Р (Xi |parents (Xi) ) return х
Выборка из распределения Р (Cloudy) =<0.5,0.5>; предположим, что она возвращает true.
Выборка из распределения Р (Sprinkler | Cloudy= true) =<0.1,0.9>; предположим, что она возвращает false.
Выборка из распределения Р (Rain | Cloudy=true) =<0.8,0.2>; предположим, что она возвращает true.
Выборка из распределения Р (WetGrass | Sprinkler= false, Rain= true) =<0. 9,0.1>; предположим, что она возвращает true.
В данном случае алгоритм Prior-Sample возвращает событие [ true, false, true, true].
Можно легко показать, что алгоритм Prior-Sample формирует выборки на основе априорного совместного распределения, которое задано рассматриваемой сетью. Прежде всего предположим, что SpS(xlz ...,хп) представляет собой вероятность того, что конкретное событие сформировано алгоритмом Prior-Sample. Достаточно лишь проанализировать сам процесс формирования выборки, чтобы убедиться в справедливости следующего соотношения, поскольку каждый этап формирования выборки зависит только от значений родительских переменных:
п
Sps(xi...xn) = P(xi |parents (Xi) )
i=l
Это выражение должно показаться читателю весьма знакомым, поскольку оно определяет также вероятность события в соответствии с представлением совместного распределения в байесовской сети, как указано в уравнении 14.1. Поэтому получаем следующее:
Sps(Xi...Xn) = Р(Х1...ХП)
Благодаря такому простому факту задача получения ответов на вопросы с помощью выборок решается очень просто.
В любом алгоритме формирования выборки ответы вычисляются путем подсчета фактически сформированных выборок. Предположим, что общее количество выборок равно N, а также допустим, что mxlf..., хп) — частота конкретного события xlf ...,хп. Следует полагать, что эта частота сойдется в пределе к ее ожидаемому значению, соответствующему вероятности сформированной выборки:
. ^Ps(Xl/ ...,Хп)„ ,,Л
11Ш г; = Sps(xi, ...,хп) = Р(Х1,..., Хп)(14.4)
N—и»
Например, рассмотрим событие, полученное ранее: [ true, false, true, true]. Вероятность формирования выборки для этого события такова:
Sps (true,false, true, true) = 0.5x0.9x0.8x0.9 = 0.324
Поэтому следует полагать, что в пределе, при очень больших значениях N, около 32,4% выборок будут относиться к этому событию.
В последующем изложении мы будем использовать знак приближенного равенства (=) для обозначения соотношения, имеющего именно этот смысл, — что оцениваемая вероятность становится точной при больших пределах количества выборок. Такая оценка называется ^ согласованной. Например, может быть получена согласованная оценка вероятности любого частично заданного события xlr...,xm, где т < п, следующим образом:
Р(Х1xm) « NpS(xlt..., х^) / N(14.5)
Это означает, что вероятность события можно оценить с помощью деления количества выборок частично заданного события на количество всех событий, получен-
ных в процессе формирования выборок. Например, если на основании сети с описанием опрыскивателя (см. рис. 14.9, а) сформирована 1000 выборок и для 511 из них справедливо выражение Rain=true, то оценка вероятности дождя, которая записывается как V(Rain= true), равна 0,511.
Формирование выборок с исключением в байесовских сетях
^ Формирование выборок с исключением представляет собой общий метод получения выборок на основании распределения, для которого трудно получить выборки, если дано распределение, позволяющее легко сформировать выборки. В своей простейшей форме этот метод может использоваться для вычисления условных вероятностей, т.е. для определения вероятностей Р(х|е). Алгоритм RejectionSampling приведен в листинге 14.4. Вначале он формирует выборки из априорного распределения, определяемого сетью, а затем исключает все те выборки, которые не соответствуют свидетельству. Наконец, формируется оценка Р(Х=х|е) путем подсчета того, насколько часто событие Х=х встречалось в оставшихся выборках.
Листинг 14.4. Алгоритм формирования выборок с исключением для получения ответов на запросы, если даны свидетельства в байесовской сети
function Rejection-Sampling(X, е, bn, N) returns оценка значения Р(Х|е) inputs: X, переменная запроса
е, свидетельство, определяемое как некоторое событие Ьп, байесовская сеть
N, общее количество выборок, которые должны быть сформированы
local variables: N, вектор результатов подсчетов по X, первоначально равный нулю
for j = 1 to ^ do
х <— Prior-Sample(bn)
if выборка x согласуется co свидетельством e then N[x] <— N[x]+1, где x представляет собой значение переменной X в множестве х
return Normalize (N[X])
Допустим, что Р (X| е) — оцениваемое распределение, которое возвращено алгоритмом. Из определения алгоритма получаем следующее:
,NPS(X,e)
Р(Х е) = a NpS(X,e) =
Nps (е)
С помощью уравнения 14.5 это соотношение может быть преобразовано в следующее:
_। Р(Х,е),
»(х|е) = ------ = Р(х|е)
Таким образом, алгоритм формирования выборок с исключением вырабатывает согласованную оценку истинной вероятности.
Продолжая пример, приведенный на рис. 14.9, а, предположим, что необходимо оценить вероятность Р (Rain | Sprinkler^ true) с использованием 100 выборок. Допустим, что из 100 сформированных выборок 73 соответствуют событию
Sprinkler^false и исключаются, а для 27 имеет место Sprinkler= true; из 27 выборок в 8 наблюдается событие Ra in^ true, а в 19— Rain= false. Поэтому получаем следующее:
Р(Rain|Sprinkler-true) = Normalize(<8,19>) = <0.296,0.704>
Правильным ответом является <0.3 , 0.7>. В ходе дальнейшего накопления все большего количества выборок эта оценка сходится к правильному ответу. Среднеквадратичное отклонение ошибки в каждой оценке вероятности будет пропорционально 1/^, где п — количество выборок, используемых для получения оценки.
Самым большим недостатком алгоритма формирования выборок с исключением является то, что в нем приходится исключать слишком много выборок! Доля выборок, согласованных со свидетельством е, уменьшается экспоненциально по мере увеличения количества переменных свидетельства, поэтому данная процедура становится неприменимой для решения сложных задач.
Обратите внимание на то, что процесс формирования выборок с исключением весьма напоминает процесс оценки условных вероятностей непосредственно поданным, полученным из реального мира. Например, чтобы оценить вероятность дождя после того, как накануне вечером наблюдался красный закат, Р (Rain | RedSkyAtNight= true), можно подсчитать, насколько часто наблюдался дождь после красного заката, игнорируя данные о тех вечерах, когда закат не был красным. (Поэтому в данном случае роль алгоритма формирования выборок играет сама природа.) Безусловно, для проведения таких наблюдений может потребоваться много времени, если закат бывает красным очень редко, и в этом состоит недостаток процедуры формирования выборок с исключением.
Оценка веса с учетом правдоподобия
В методе ^ оценки веса с учетом правдоподобия преодолен указанный недостаток метода формирования выборок с исключением благодаря тому, что в нем вырабатываются только события, согласованные со свидетельством е. Начнем с описания того, как работает алгоритм, затем покажем, что он работает правильно, т.е. вырабатывает согласованные оценки вероятности.
В алгоритме Likelihood-Weighting, приведенном в листинге 14.5, значения для переменных свидетельства Е фиксируются и формируются выборки только для оставшихся переменных X и Y. Это позволяет гарантировать, что каждое выработанное событие будет согласованным со свидетельством. Но не все события являются равноправными. Поэтому перед подведением итогов подсчетов в распределении для переменной запроса каждое событие взвешивается с учетом правдоподобия того, что событие согласуется со свидетельством. Такое правдоподобие измеряется с помощью произведения условных вероятностей для каждой переменной свидетельства, если даны ее родительские переменные. Интуитивно ясно, что события, в которых фактическое свидетельство кажется маловероятным, должны получать меньший вес.
Листинг 14.5. Алгоритм оценки веса с учетом правдоподобия, предназначенный для вероятностного вывода в байесовских сетях
function Likelihood-Weighting(X, е, bn, N) returns оценка значения Р(х|е)
inputs: X, переменная запроса
е, свидетельство, определяемое как некоторое событие
Ьп, байесовская сеть
N, общее количество выборок, которые должны быть сформированы
local variables: W, вектор взвешенных результатов подсчетов по X,первоначально равный нулю
for j = 1 to Я do
х, w <— Weighted-Sample(bn)
W[x] <— W[x]+w, где x представляет собой значение переменной X в множестве х
return Normalize(W[X] )
function Weighted-Sample(bn, e) returns событие x и вес w
x <— событие с n элементами; w <— 1 for i = 1 to n do
if Xi имеет значение Xi in свидетельство e then w <— wxP(Xi=Xi [parents (Xi))
else Xi <— случайная выборка из P (Xi \ parents (Xi) ) return x, w
Применим этот алгоритм к сети, показанной на рис. 14.9, а, на примере получения ответа на запрос Р kRain | Sprinkler= true, WetGrass=true). Этот процесс происходит следующим образом: вначале вес w устанавливается равным 1,0, затем вырабатывается событие, как описано ниже.
Выборка из распределения Р (Cloudy') =<0. 5,0.5>; предположим, что она возвращает значение true.
Sprinkler — переменная доказательства со значением true. Поэтому мы устанавливаем:
w <— WXP к Sprinkler- true | Cloudy= true) =0.1
Выборка из распределения Р kRain | Cloudy^ true) =<0.8,0.2>; предположим, что она возвращает значение true.
Wet Grass — переменная доказательства со значением true. Поэтому мы устанавливаем:
w <— wxPkWetGrass=true|Sprinkler=true,Rain=true)=0.099
Теперь алгоритм Weighted-Sample возвращает событие [true, true, true, true] с весом 0,099, и данные об этом событии подытоживаются с учетом условия Rain= true. Этот вес является низким потому, что событие описывает пасмурный день, в который вероятность применения опрыскивателя является весьма небольшой.
Чтобы понять, как работает алгоритм оценки веса с учетом правдоподобия, начнем с изучения сформированного с помощью выборок распределения S^s для функции Weighted-Sample. Напомним, что переменные свидетельства Е зафиксированы со значениями е. Обозначим все прочие переменные как Z, иными словами, z={X}uy. В алгоритме выборки для каждой переменной из Z, если даны ее родительские значения, формируются следующим образом:
1
S^s(z,e) = Пр(^ \parentskZi) )(14.6)
i=l
Обратите внимание на то, что в число переменных Parents (Z^ могут входить и скрытые переменные, и переменные свидетельства. В отличие от априорного распределения P(z), в распределении S^s некоторое внимание уделено свидетельству: на значения сформированных выборок для каждой переменной z^ кроме других предков z^ оказывает влияние само свидетельство. С другой стороны, в распределении Sws свидетельству уделяется меньше внимания, чем в истинном апостериорном распределении P(z | е), поскольку в значениях сформированных выборок для каждой переменной z^ игнорируются свидетельства, относящиеся к переменным, которые не являются предками Zv
Весовое значение правдоподобия w представляет собой разность между фактическим и желаемым распределениями вероятностей сформированных выборок. Такой вес для данной конкретной выборки х, состоящий из значений z и е, является произведением значений правдоподобия каждой переменной свидетельства, если даны ее родительские переменные (причем некоторые или все эти переменные могут находиться среди переменных z^:
m
w(z,e) = J J P( ei | parents (Ei) )(14.7)
i = l
Умножая уравнения 14.6 и 14.7, можно определить, что соотношение для взвешенной вероятности выборки имеет следующую особенно удобную форму, поскольку эти два произведения охватывают все переменные, заданные в сети:
m
Sws (z, е) w^z, е) = J J P( Zi |parents (Z^ ) J J P(ei |parents (Ei) )
i = li=l
= P(z,e)(14.8)
Это позволяет использовать для вычисления совместной вероятности уравнение 14.1.
Теперь можно легко показать, что оценки весов, полученные с учетом правдоподобия, являются согласованными. Для любого конкретного значения х переменной X оценка апостериорной вероятности может быть рассчитана следующим образом:
Р(х|е) = ос ^^ Ews (х,у, е) w(x,у, е)из алгоритма Likelihood-Weighting
У
~ ОС' ^^ Sws кх, у, е) wkx, у, е) для больших N
У
= ос' у , Р(х,у,е)согласно уравнению 14.8
У
= ос' Р(х,е) = Р(х|е)
Поэтому алгоритм оценки веса с учетом правдоподобия возвращает согласованные оценки.
Поскольку в алгоритме оценки веса с учетом правдоподобия используются все сформированные выборки, он может оказаться гораздо более эффективным по сравнению с алгоритмом формирования выборок с исключением. Тем не менее его недостатком является снижение производительности по мере увеличения количества переменных свидетельства. Это связано с тем, что в таком случае большинство выборок имеет очень низкие веса, поэтому в составе взвешенной оценки доминирует крошечная доля выборок, которые согласуются со свидетельством с правдоподобием, большим бесконечно малого. Эта проблема усугубляется, если переменные свидетельства расположены на последних местах в упорядочении переменных, поскольку в таком случае процесс формирования выборок представляет собой процесс моделирования, имеющий мало сходства с реальностью и имитируемый с помощью свидетельства.
Вероятностный вывод по методу моделирования цепи Маркова
В этом разделе описан алгоритм ^ Монте-Карло с применением цепи Маркова (Markov chain Monte Carlo — MCMC), предназначенный для вероятностного вывода в байесовских сетях. Вначале опишем, какие действия выполняются в этом алгоритме, затем объясним, благодаря чему он работает и почему имеет такое сложное название.
Алгоритм МСМС
В отличие от других двух алгоритмов формирования выборок, которые вырабатывают каждое событие с нуля, в алгоритме МСМС каждое событие вырабатывается путем внесения случайного изменения в предыдущее событие. Поэтому сеть целесообразно рассматривать как находящуюся в конкретном текущем состоянии, заданном с помощью присваивания значения каждой переменной. Переход в следующее состояние осуществляется путем случайного формирования выборки значения для одной из переменных xi? отличных от переменных свидетельства, причем это значение обусловлено текущими значениями переменных в марковском покрытии переменной х£. (Напомним, что, как было сказано на с. 1, марковское покрытие переменной состоит из ее родительских переменных, дочерних переменных и родительских переменных дочерних переменных.) Поэтому в алгоритме МСМС предусмотрено случайное блуждание по пространству состояний (пространству возможных полных присваиваний), в котором каждый раз изменяется значение одной переменной, но значения переменных свидетельства остаются зафиксированными.
Рассмотрим запрос Р ^Rain\Sprinkler^ true, WetGrass^ true), примененный к сети, которая показана на рис. 14.9, а. Для переменных свидетельства Sprinkler и WetGrass зафиксированы их наблюдаемые значения, а скрытые переменные Cloudy и Rain инициализированы случайным образом; допустим, что им присвоены значения true и false соответственно. Таким образом, начальным
состоянием является [ true, true, false, true]. После этого повторно выполняются описанные ниже этапы.
Формируется выборка для переменной Cloudy с учетом текущих значений переменных марковского покрытия: в данном случае выборка берется из Р (Cloudy | Sprinkler^ true, Rain-false). (Вскоре мы покажем, как рассчитать это распределение.) Предположим, что результатом является Cloudy= false. В таком случае новым текущим состоянием становится [false, true, false, true].
Формируется выборка для переменной Rain с учетом текущих значений переменных марковского покрытия: в данном случае выборка берется из P(Rain \ Cloudy= false, Sprinkler=true, WetGrass= true). Предположим, что эта операция приводит к получению Rain=true. Новым текущим состоянием становится [ false, true, true, true].
Каждое состояние в пространстве состояний, посещенное в ходе этого процесса, представляет собой выборку, которая вносит свой вклад в оценку вероятности переменной запроса Rain. Если в данном процессе посещаются 20 состояний, в которых переменная Rain принимает истинное значение, и 60 состояний, в которых переменная Rain становится ложной, то ответом на запрос становится Normalize (<20,60>) =<0.2 5,0.7 5>. Полный алгоритм показан в листинге 14.6.
Листинг 14.6. Алгоритм МСМС приближенного вероятностного вывода в байесовских сетях
function MCMC-Ask (X, е, bn, N) returns оценка значения Р(Х|е) local variables: N[X] , вектор результатов подсчетов по X, первоначально равный нулю
Z, переменные в сети Ьп, отличные от переменных свидетельства
х, текущее состояние сети, первоначально скопированное из е
инициализировать х случайными значениями переменных из Z
for j = 1 to N do
for each Zy in Z do
выполнить выборку значения переменной Zy в векторе х
из Р (Zy |mb(Zi) ) , если даны значения MB(Zy) в векторе х
N[x] <— Ы[х]+1, где х представляет собой значение переменной X в множестве х
return Normalize (N[X] )
Обоснование правильности работы алгоритма МСМС
В этом разделе будет показано, что алгоритм МСМС возвращает согласованные оценки для апостериорных вероятностей. Материал, изложенный в данном разделе, является весьма формальным, но основное утверждение в нем несложно: ^ процесс формирования выборок переходит в “динамическое равновесие”, в котором в конечном итоге доля времени, проведенного в каждом состоянии, точно пропорциональна апостериорной вероятности этого состояния. Такое замечательное свойство является следствием конкретной ^ переходной вероятности, с которой данный процесс переходит из од-
ного состояния в другое и которая определена условным распределением, заданным с учетом марковского покрытия переменной, для которой формируется выборка.
Предположим, что qkx->x' ) — вероятность того, что в этом процессе произойдет переход из состояния х в состояние х'. Эта переходная вероятность определяет информационную структуру, заданную на пространстве состояний, которая называется ^ цепью Маркова. (Цепи Маркова играют также важную роль в главах 15 и 17.) Теперь предположим, что мы развернули цепь Маркова на t этапов, и допустим, что nt (х) — вероятность того, что система находится в состоянии х во время t. Аналогичным образом, допустим, что лЁ+1 (х*) — вероятность пребывания системы в состоянии х * во время t+1. Если дано значение лЁ (х), то значение лЁ+1 (х •) можно рассчитать путем суммирования по всем состояниям, в которых система может находиться во время t, вероятностей пребывания в этом состоянии, умноженных на вероятности осуществления перехода в состояние х *, следующим образом:
Kt+i(x') = лй(х)д(х->х')
X
Цепь называется достигшей своего М стационарного распределения (stationary distribution), если лЁ = л^. Назовем это стационарное распределение л; итак, его определяющим уравнением является следующее:
л(х') = ^^ л(х)д(х—>х') для всех х'(14.9)
X
При некоторых стандартных допущениях, касающихся распределения вероятностей перехода q, существует одно и только одно распределение л, удовлетворяющее этому уравнению при каждом конкретном значении q.
Уравнение 14.9 можно трактовать как утверждение, что в установившемся режиме ожидаемый “отток” из каждого состояния (т.е. его текущее “население”) равен ожидаемому “притоку” из всех других состояний. Один из очевидных способов удовлетворения этого отношения состоит в достижении того, чтобы ожидаемый поток между любыми парами состояний был одинаковым в обоих направлениях. В этом состоит свойство М детализированного равновесия, которое показано ниже.
л(х) qkx—>х') = л(х') д(х' —>х) для всех х, х'(14.10)
Можно показать, что из этого свойства детализированного равновесия можно вывести свойство стационарности, получив суммы пох в уравнении 14.10. Получаем следующее соотношение:
^^ л(х)д(х—>х') = ^^ л (х' ) д(х' —>х) = л(х') ^^ д(х'-эх) = л(х')
XXX
где возможен последний этап преобразования, поскольку гарантировано выполнение перехода из состояния х *.
Теперь мы покажем, что вероятность перехода д(х-»х' ), определяемая на этапе формирования выборки в алгоритме МСМС-Ask, удовлетворяет уравнению детализированного равновесия со стационарным распределением, равным Р(х|е) (истинному апостериорному распределению по скрытым переменным). Мы проведем это доказательство в два этапа. Вначале определим цепь Маркова, в которой формирование выборки по каждой переменной обусловлено текущими значениями всех прочих переменных, и покажем, что это условие соответствует свойству детализированного равновесия. Затем мы просто констатируем, что для байесовских сетей формирование такой условной выборки эквивалентно условному формированию выборки по марковскому покрытию переменной (см. с. 1).
Допустим, что Xi — переменная, для которой должна быть сформирована выборка, и предположим, что Д — все скрытые переменные, отличные от х£. Их значениями в текущем состоянии являются Xi и ^. Если будет выполнена выборка нового значения хС для переменной Xi$ обусловленного всеми прочими переменными, включая переменные свидетельства, то будет получено следующее:
д(х-эх') = g( (xi,Xi)->(xi',Xi) ) = P(xi'|xi,e)
Это выражение для переходной вероятности называется ^ формирователем выборок Гиббса (Gibbs sampler) и служит основой особенно удобной формы алгоритма МСМС. Теперь мы покажем, что формирователь выборок Гиббса находится в детализированном равновесии с истинной апостериорной вероятностью:
л(х) д(х —> х') = Р(х|е) P(xi* |^i,e) = P(xi, ^i | е) P(xi' |X'i,e)
= P(xi | x’i, e) P(xi | e) P(xi'|x\/e) (использование цепного правила после первого терма)
= P(xi |xi, е) P(xi1 , x’i | e)(использование цепного правила для
перехода в обратном направлении)
= л(х' ) д(х'—>х)
Как указано на с. 1, переменная независима от всех других переменных, если дано ее марковское покрытие, поэтому имеет место следующее соотношение:
P(xi'|xi,e) = P(xi' |mb(Xi) )
где mjb(Xi) обозначает значения переменных в марковском покрытии Xi$ МВ^Х^. Как показано в упр. 14.10, вероятность переменной, если дано ее марковское покрытие, пропорциональна вероятности переменной, если даны ее родительские переменные, умноженной на вероятность каждой дочерней переменной, если даны ее соответствующие родительские переменные:
P(Xi' |mb(Xi) ) =
ос P(xi1 \parents (Xi) ) хj^ JP(yj | parents (Yj) )(14.11)
YjEChildren(X^)
Поэтому для изменения значения каждой переменной х£ необходимо выполнить такое количество операций умножения, которое равно количеству дочерних переменных переменной х£.
В этом разделе рассматривался только один простой вариант алгоритма МСМС — вариант, основанный на использовании формирователя выборок Гиббса.
В своей наиболее общей форме алгоритм МСМС представляет собой мощный метод вычислений с помощью вероятностных моделей, поэтому было разработано много вариантов этого алгоритма, включая алгоритм эмуляции отжига (см. главу 4), алгоритмы стохастической выполнимости (см. главу 7) и формирователь выборок Мет- рополиса—Гастингса, рассматриваемый в главе 15.
Распространение вероятностных методов на ПРЕДСТАВЛЕНИЯ В ЛОГИКЕ ПЕРВОГО ПОРЯДКА
В главе 8 описывалось, какими преимуществами с точки зрения возможностей представления обладает логика первого порядка по сравнению с пропозициональной логикой. В логике первого порядка учитывается существование объектов и отношений между ними, и она позволяет выражать факты о некоторых или обо всех объектах в проблемной области. Это часто приводит к созданию представлений, намного более кратких, чем эквивалентные пропозициональные описания. Теперь отметим, что байесовские сети по существу являются пропозициональными: множество переменных в них является фиксированным и конечным, а каждая переменная имеет постоянную область определения, состоящую из возможных значений. В связи с этим применимость байесовских сетей становится ограниченной. ^ Если бы можно было найти способ применения теории вероятностей в сочетании с выразительными возможностями представлений в логике первого порядка, то можно было бы рассчитывать на существенное расширение спектра задач, решаемых таким образом.
Основная идея, которая может привести к достижению этой цели, состоит в следующем: в пропозициональном контексте байесовская сеть задает распределения вероятностей по атомарным событиям, каждое из которых определяет значение для каждой переменной в сети. Таким образом, атомарное событие является моделью, или одним из возможных миров, в терминологии пропозициональной логики. А в контексте логики первого порядка модель (с ее интерпретацией) задает область определения объектов, отношения, которые имеют место между этими объектами, и отображения из констант и предикатов базы знаний в объекты и отношения модели. Поэтому ^ вероятностная база знаний первого порядка должна задавать вероятности для всех возможных моделей первого порядка. Допустим, что ц (М) — вероятность, присвоенная модели мс помощью базы знаний. Для каждого высказывания в логике первого порядка ф вероятность Р(ф) за- даС1Ся обычным образом, путем суммирования по всем возможным мирам, где высказывание ф является истинным:
Р(ф) = ^ ^(М) (14.12) М:ф является истинным в М
До сих пор все, казалось бы, шло хорошо. Тем не менее есть одна проблема: множество моделей первого порядка является бесконечным. Это означает, что, во- первых, суммирование может быть неосуществимым, и, во-вторых, задача определения полного, согласованного распределения на бесконечном множестве миров может оказаться очень трудной.
Поэтому мы должны умерить наши амбиции, по крайней мере, на время. В частности, определим ограниченный язык, для которого интересующими становятся только модели, количество которых является конечным. Для этого можно использовать несколько способов. В этом разделе будут описаны М реляционные вероятностные модели, или RPM (Relational Probability Model), идея которых заимствована из семантических сетей (см. главу 10) и из объектно-реляционных баз данных. Другие подходы обсуждаются в библиографических и исторических заметках в конце настоящей главы.
Модели RPM допускают использование константных символов, которыми именуются объекты. Например, допустим, что Prof Smith — имя профессора, a Jones — имя студента. Каждый объект представляет собой экземпляр некоторого класса; например, Prof Smith относится к классу Professor (Профессор), Jones — к классу Student (Студент). Предполагается, что класс каждого константного символа известен.
Применяемые нами функциональные символы будут подразделяться на два типа. Функции первого типа, ^ простые функции, отображают объект не на другой структурированный объект, а на некоторое значение из фиксированной области значений, полностью аналогично случайной переменной. Например, значениями функций Intelligence Jones) (Интеллект Джонса) и Funding^ ProfSmi th) (Финансирование профессора Смита) могут быть hi (высокий) или 1о (низкий), а значениями функций Success (Jones) (Успех Джонса) и Fame (ProfSmi th) (Известность профессора Смита) могут быть true (истинный) или false (ложный). Функциональные символы не должны применяться к таким значениям, как true и false, поэтому вложение простых функций невозможно. Это позволяет исключить один из источников бесконечных ветвлений. Значение простой функции, применяемое к конкретному объекту, может быть наблюдаемым или неизвестным; для нашего представления эти значения будут служить значениями основных случайных переменных.
Допускается также использование ^ сложных функций, которые отображают объекты на другие объекты. Например, значением функции Advisor(Jones) (Консультант Джонса) может быть Prof Smith. Каждая сложная функция имеет заданную область определения и диапазон значений, которые являются классами. Например, областью определения функции Advisor является Student, а диапазоном значений — Professor. Функции применяются только к объектам соответствующего им класса; например, значение консультанта Advisor для ProfSmi th не определено. Сложные функции могут вкладываться, например значением выражения DeptHead (Advisor (Jones) ) может быть Pro fMoore. На данный момент предполагается, что для всех константных символов значения всех сложных функций известны. Поскольку база знаний является конечной, из этого следует, что каждая цепочка применений сложных функций приводит к получению одного объекта из конечного множества объектов.
Последним необходимым нам элементом является вероятностная информация. Для каждой простой функции задается множество родительских объектов, так же, как и в байесовских сетях. Родительскими объектами могут быть другие простые функции от того же объекта; например, финансирование (Funding) некоторого профессора (Professor) может зависеть от его известности (Fame). Кроме того, родительские объекты могут быть простыми функциями от связанных объектов, например, успех (Success) студента может зависеть от его интеллекта (Intelligence) и от известности (Fame) консультанта этого студента. По сути подобные высказывания представляют собой утверждения о родительских объектах всех объектов в классе с квантором всеобщности. Таким образом, можно записать следующее:
Vx х е Student =>
Parents(Success(х)) = {Intelligence(х),Fame(Advisor(x) ) }
(При менее формальном подходе можно нарисовать диаграммы, подобные приведенной на рис. 14.10, а.) Теперь определим распределение условных вероятностей для дочернего объекта, если даны значения его родительских объектов. Например, можно сформулировать следующее утверждение:
Vx х е Student =>
Р (Success (х) =true\Intelligence (х) =hi, Fame (Advisor (х) )= true) = 0.95
Рис. 14.10. Примеры диаграмм: модель RPM с описанием двух классов — Professor и Student. Имеются два профессора и два студента, причем Prof Smith является консультантов обоих студентов (а); байесовская сеть, эквивалентная модели RPM, приведенной на рис. 14.10, а (б)Рис. 14.10. Примеры диаграмм: модель RPM с описанием двух классов — Professor и Student. Имеются два профессора и два студента, причем Prof Smith является консультантов обоих студентов (а); байесовская сеть, эквивалентная модели RPM, приведенной на рис. 14.10, а (б)
Рис. 14.10. Примеры диаграмм: модель RPM с описанием двух классов — Professor и Student. Имеются два профессора и два студента, причем Prof Smith является консультантов обоих студентов (а); байесовская сеть, эквивалентная модели RPM, приведенной на рис. 14.10, а (б)
Рис. 14.10. Примеры диаграмм: модель RPM с описанием двух классов — Professor и Student. Имеются два профессора и два студента, причем Prof Smith является консультантов обоих студентов (а); байесовская сеть, эквивалентная модели RPM, приведенной на рис. 14.10, а (б)
Как и в семантических сетях, распределение условных вероятностей можно закрепить за самим классом так, чтобы его экземпляры наследовали зависимости и условные вероятности от этого класса.
В семантике для языка RPM подразумевается, что каждый константный символ ссылается на отдельный объект; в этом состоит предположение об уникальности имен, описанное в главе 10. С учетом этого определения и ограничений, перечисленных выше, можно показать, что каждая модель RPM вырабатывает фиксированное конечное множество случайных переменных, причем каждая из них является результатом применения простой функции к константному символу. Таким образом, при условии, что родительско-дочерние зависимости являются ациклическими, можно составить эквивалентную байесовскую сеть. Это означает, что модель RPM и
байесовская сеть задают идентичные вероятности для каждого возможного мира. На рис. 14.10, б показана байесовская сеть, соответствующая модели RPM, приведенной на рис. 14.10, а. Обратите внимание на то, что связи Advisor, имеющиеся в модели RPM, в байесовской сети отсутствуют. Это связано с тем, что такие связи являются фиксированными и известными. Однако они присутствуют в топологии сети неявно, например, объект Success(Jones) имеет в качестве родительского объект Fame(ProfSmith), поскольку значением функции Advisor (Jones) является Prof Smith. Вообще говоря, отношения, которые имеют место между объектами, определяют характер зависимостей между свойствами этих объектов.
Для повышения выразительной мощи моделей RPM применяется несколько способов. В частности, могут быть разрешены ^ рекурсивные зависимости между переменными, позволяющие представить несколько типов зависимостей, которые ссылаются сами на себя. Например, предположим, что склонность к питанию всухомятку вызвана фактором McGene. В таком случае для любого х истинность выражения McGene (х) зависит от McGene (Father(x) ) и McGene (Mother (x) ), которые, в свою очередь, зависят отMcGene(Father (Father (x) ) ), McGene(Mother (Father (x) ) ), и т.д. Даже несмотря на то, что такие базы знаний соответствуют байесовским сетям с бесконечно большим количеством случайных переменных, иногда решения могут быть получены на основе уравнений с неподвижной точкой (fixed-point equation). Например, равновесное распределение вероятностей для генетического фактора McGene можно рассчитать на основе условной вероятности наследования этого фактора. Еще одно очень важное семейство рекурсивных баз знаний состоит из временньгх вероятностных моделей, которые описаны в главе 15. В этих моделях свойства рассматриваемого состояния во время t зависят от свойств этого состояния во время t-1 и т.д.
Модели RPM могут быть также расширены, чтобы в них можно было представить М реляционную неопределенность, т.е. неопределенность, касающуюся значений сложных функций. Например, в базе знаний может отсутствовать информация о том, кто является консультантом Джонса, Advisor (Jones). В таком случае Advisor (Jones) становится случайной переменной с возможными значениями Prof Smith и ProfMoore. Соответствующая сеть показана на рис. 14.11.
Рис. 14.11. Часть байесовской сети, соответствующая одной из моделей RPM, в которой значение Advisor f Jones) неизвестно, но им может быть либо ProfSmith, либо ProfMoore. Выбор студентом консультанта зависит от того, какой объем финансирования имеет каждый профессор. Обратите внимание на то, что теперь успех Джонса, Success fJones^, зависит от известности, Fame, обоих профессоров, хотя тот факт, какой из этих профессоров окажет влияние на успех Джонса, фактически зависит от значения переменной Advisor (Jones)
Модели RPM позволяют также представить такое свойство, как ^ неопределенность идентичности (identity uncertainty); например, в базе знаний может отсутствовать информация о том, что Магу и ProfSmi th — одно и то же лицо. При наличии свойства неопределенности идентичности количество объектов и высказываний в разных возможных мирах может изменяться. В мире, где Магу и ProfSmi th — одно и то же лицо, количество объектов меньше, чем в том мире, где они считаются разными людьми. В результате этого процесс вероятностного вывода усложняется, но основные принципы, установленные в уравнении 14.12, все еще соблюдаются: вероятность любого высказывания вполне определена и может быть рассчитана. Свойство неопределенности идентичности является особенно важным для роботов и встроенных систем датчиков, которые должны следить за многими объектами. Мы вернемся к описанию этой проблемы в главе 15.
Теперь рассмотрим проблему вероятностного вывода. Очевидно, что такой вывод может осуществляться в эквивалентной байесовской сети при условии, что язык RPM будет ограничен таким образом, чтобы эквивалентная сеть была конечной и имела фиксированную структуру. Такой подход аналогичен способу, с помощью которого логический вывод в логике первого порядка может быть выполнен посредством логического вывода в пропозициональной логике по эквивалентной пропозициональной базе знаний (см. раздел 9.1). Но, как и в случае логического вывода, эквивалентная сеть может оказаться слишком большой для того, чтобы существовала возможность ее построить, не говоря уже о том, чтобы выполнять в ней вычисления. Кроме того, при этом возникает проблема плотных взаимосвязей (см. упр. 14.12). Поэтому для вероятностного вывода на основе модели RPM очень полезными являются приближенные алгоритмы, такие как МСМС (см. раздел 14.5).
В ходе применения алгоритма МСМС к байесовской сети, которая эквивалентна простой базе знаний RPM без реляционной неопределенности или неопределенности идентичности, алгоритм формирует выборки из пространства возможных миров, определяемых значениями простых функций, заданных на объектах. Можно легко показать, что такой подход может быть также дополнен с учетом реляционной неопределенности или неопределенности идентичности. В таком случае переход между возможными мирами способен привести к изменению значения простой функции или сложной функции и поэтому вызвать изменение структуры зависимостей. Кроме того, переходы могут стать причиной изменения отношений идентичности между константными символами. Поэтому создается впечатление, что алгоритм МСМС представляет собой изящный способ осуществления вероятностного вывода на основе весьма выразительных вероятностных баз знаний в логике первого порядка.
Исследования в этой области все еще находятся на ранних этапах, но уже стало очевидно, что вероятностные рассуждения в логике первого порядка позволяют достичь колоссального повышения эффективности применения систем искусственного интеллекта для обработки неопределенной информации. К числу потенциальных приложений относятся машинное зрение, обработка естественного языка, выборка информации и оценка ситуаций. Во всех этих областях множество объектов (и поэтому множество случайных переменных) заранее не известно, поэтому “чисто пропозициональные” методы, такие как байесовские сети, не способны полностью представить ситуацию. Была предпринята попытка расширить возможности таких сетей с помощью метода поиска в пространстве моделей, но подходы, основанные на использовании моделей RPM, обеспечивают формирование рассуждений об указанных видах неопределенности в рамках одной модели.
Другие подходы к формированию рассуждений
В УСЛОВИЯХ НЕОПРЕДЕЛЕННОСТИ
Применение вероятности в качестве модели для неопределенности уже очень давно стало доминирующим методом исследований не только в искусственном интеллекте, но и в других науках (например, в физике, генетике и экономике). В 1819 году Пьер Лаплас заявил: “Теория вероятностей есть не что иное, как здравый смысл, который удалось свести к вычислениям”, а в 1850 году Джеймс Максвелл сказал, что “истинной логикой для нашего мира является исчисление вероятностей, в котором учитывается та величина вероятности, какой она является или должна быть по оценке рассудительного человека”.
Поскольку существует такая долгая традиция в использовании вероятностных методов, может на первый взгляд показаться удивительным, что в искусственном интеллекте рассматривалось много альтернативных подходов, не предусматривающих применение вероятностей. В ранних экспертных системах 1970-х годов игнорировалась неопределенность и использовались строго логические рассуждения, но вскоре стало очевидно, что такой подход является практически не применимым для большинства проблемных областей реального мира. Поэтому в следующем поколении экспертных систем (особенно в проблемных областях медицины) использовались вероятностные методы. Первые результаты этого оказались многообещающими, но сами эти системы не могли быть развернуты в больших масштабах из-за экспоненциального количества вероятностей, которые требовались в полном совместном распределении (тогда еще не были известны эффективные алгоритмы для байесовских сетей). В результате этого вероятностные подходы в период 1975—1988 гг. перестали привлекать интерес исследователей, и по многим причинам, описанным ниже, был опробован целый ряд альтернативных подходов.
Один из широко распространенных взглядов состоит в том, что теория вероятностей по сути является числовой, тогда как рассуждения человека, в которых выражаются его оценки, в большей степени имеют “качественный” характер. Безусловно, люди сознательно не выполняют числовые расчеты со степенями уверенности (к тому же люди не осознают те ситуации, в которых они выполняют унификацию, но, по-видимому, обладают способностью формировать логические рассуждения определенного вида). Тем не менее может оказаться, что числовые оценки степеней уверенности определенного рода кодируются непосредственно в виде интенсивностей соединений и параметров активизации нейронов человеческого мозга. Если дело обстоит действительно так, то не стоит удивляться тому, что человеку так трудно сознательно оценить эти интенсивности. Следует также отметить, что механизмы качественного рассуждения могут быть сформированы непосредственно на основе теории вероятностей, поэтому доводы против использования людьми вероятностей, поскольку они “не мыслят с помощью чисел”, можно легко опровергнуть. Однако некоторые схемы качественных рассуждений сами по себе оказались весьма привлекательными. Одним из наиболее хорошо исследованных подходов является формирование рассуждений по умолчанию, в котором логические заключения рассматриваются не как “являющиеся предметом уверенности в их истинности до определенной степени”, а как “являющиеся предметом уверенности в их
истинности до тех пор, пока не будет обнаружена более весомая причина для того, чтобы предметом уверенности в их истинности не стало нечто иное”. Методы формирования рассуждений по умолчанию рассматривались в главе 10.
Были также предприняты попытки учета неопределенности с помощью подходов на основе правил. Приверженцы таких подходов надеялись развить успех логических систем на основе правил, но, как было признано в дальнейшем, в каждом правиле, в котором учитывалась неопределенность, в них приходилось добавлять своего рода “коэффициент подгонки под факты” (fudge factor). Эти методы разрабатывались в середине 1970-х годов и составили основу большого количества экспертных систем в медицине и других областях.
Еще одна область, которая до сих пор не рассматривалась в этой книге, относится к вопросу о незнании, которое следует отличать от неопределенности. Рассмотрим задачу с подбрасыванием монеты. Если мы знаем, что монета подлинная, то вполне резонно можем считать, что вероятность выпадения орла равна 0,5. Если же известно, что монета поддельная, но не известно, есть ли на ней два орла или две решки, то по-прежнему единственным разумным решением является принятие гипотезы о вероятности 0,5. Очевидно, что оба эти случая не одинаковы, но теория вероятностей, по-видимому, не позволяет провести между ними различие. В теории Демпстера—Шефера для представления знаний агента о вероятности высказывания используются оценки степени уверенности с интервальными значениями. В литературе обсуждались также другие методы, в которых используются вероятности второго порядка.
Теория вероятностей вносит такой же онтологический вклад в познание действительности, как и логика: в ней утверждается, что в рассматриваемом мире события являются истинными или ложными, даже если агент не может знать со всей определенностью, каковыми являются эти события. Исследователи в области нечеткой логики предложили онтологию, которая допускает неосведомленность (vagueness) — незнание о том, “до какой степени” является истинным некоторое событие. Как будет показано ниже, фактически проблемы неосведомленности и неопределенности являются ортогональными.
В следующих трех подразделах некоторые из этих подходов рассматриваются немного более подробно. В них не даны исчерпывающие формальные сведения, а указаны ссылки на литературу для дальнейшего изучения.
Методы на основе правил для формирования рассуждений в условиях неопределенности
Системы на основе правил стали итогом ранних работ по практическим и интуитивным системам, применяемым для логического вывода. Логические системы в целом и логические системы на основе правил в частности обладают тремя описанными ниже желаемыми свойствами.
М Локальность. В логических системах, если имеется правило в форме А => в, можно вывести в при наличии свидетельства А, не учитывая существование каких-либо иных правил. С другой стороны, в вероятностных системах необходимо учитывать все свидетельства, представленные в марковском покрытии.
^ Отделение (detachment). Как только будет найдено логическое доказательство для высказывания в, это высказывание может использоваться без учета того, как оно было получено. Это означает, что высказывание может быть отделено от его обоснования. С другой стороны, при манипулировании с вероятностями важно учитывать источник свидетельства, который служит обоснованием для рассматриваемой оценки степени уверенности, поскольку это требуется для дальнейшего формирования рассуждений.
^ Истинностная функциональность (truth-functionality). В логике истинность сложных высказываний может быть вычислена на основании значений истинности их компонентов. Вероятностные комбинации не обладают таким свойством, за исключением тех случаев, когда используются сильные глобальные предположения о независимости.
В связи с этим было сделано несколько попыток разработать схемы неопределенных рассуждений, в которых сохранялись бы эти преимущества. При этом идея состояла в том, чтобы закрепить степени уверенности за высказываниями и правилами, а также разработать чисто локальные схемы для комбинирования и распространения таких степеней уверенности. Соответствующие схемы также обладают свойством истинностной функциональности; например, степень уверенности в истинности высказывания A v в является функцией от степени уверенности в истинности высказывания А и степени уверенности в истинности высказывания в.
Но перспективы успешного развития систем на основе правил находятся под сомнением в связи с тем, что свойства ^ локальности, отделения и истинностной функциональности просто не распространяются на неопределенные рассуждения. Вначале рассмотрим истинностную функциональность. Допустим, что Ну является событием, связанным с тем, что подлинная монета падает орлом вверх, а также предположим, что ТТ — событие, в котором эта монета при том же подбрасывании падает решкой вверх, а н2 — событие, что та же монета при втором подбрасывании падает орлом вверх. Безусловно, все три события имеют одну и ту же вероятность 0,5, поэтому система с истинностной функциональностью должна присваивать одну и ту же оценку степени уверенности дизъюнкции любых двух из этих событий. Но как показано в табл. 14.3, можно доказать, что вероятность дизъюнкции зависит от самих событий, а не только от их вероятностей.
Таблица 14.3. Значения вероятностей отдельных событий и их дизъюнкций
Р(А)Р(В)р(д у В)
B(HJ =0.5p(Hi v HJ = 0.50
Р(Н1) = 0.5Р(Т1) = 0.5p(Hi v TJ = 1.00
Р(Н2) = 0.5р(Н! v Н2) = 0.75
Ситуация становится еще хуже при соединении свидетельств в цепочку логических выводов. В системах с истинностной функциональностью предусмотрены правила в форме А н> в, которые позволяют вычислять степень уверенности в истинности в как функцию от степени уверенности в истинности правила и степени уверенности в истинности А. Могут быть разработаны системы и прямого и обратного логического вывода. Предполагается, что степень уверенности в истинности прави-
ла является постоянной, и это значение обычно определяется инженером по знаниям, например, как А НЭ0 g В.
Рассмотрим ситуацию с влажной травой, показанную на рис. 14.9, а. Если бы нам потребовалось иметь возможность проводить и причинные, и диагностические рассуждения, то нужны были бы два следующих правила:
Rain н» WetGrass и WetGrass н» Rain
Эти два правила образуют петлю обратной связи: свидетельство в пользу события Rain повышает степень уверенности в истинности события WetGrass, что, в свою очередь, еще больше повышает степень уверенности в истинности события Rain. Очевидно, что в системах формирования неопределенных рассуждений приходится отслеживать пути, по которым распространяется свидетельство.
Сложными становятся также межпричинные рассуждения (или исключение из объяснений некоторых причин). Рассмотрим, что произойдет, если имеются следующие два правила:
Sprinkler н» WetGrass и WetGrass н» Rain
Предположим, мы видим, что опрыскиватель включен. При формировании прямого логического вывода по нашим правилам это свидетельство увеличивает степень уверенности в том, что трава должна быть мокрой, а это, в свою очередь, увеличивает степень уверенности в том, что идет дождь. Но это же нелепо — тот факт, что опрыскиватель включен, полностью объясняет наличие мокрой травы и должен уменьшить степень уверенности в том, что идет дождь! А система с истинностной функциональностью действует таким образом, как будто в ней реализуется также уверенность в том, что применение опрыскивателя вызывает дождь, Sprinkler н> Rain.
С учетом описанных сложностей, можно ли рассчитывать на то, что системы с истинностной функциональностью когда-либо найдут практическое применение? Ответ состоит в том, что для этого нужно ограничивать решаемые задачи и тщательно конструировать базу правил, чтобы в ней не возникали нежелательные взаимодействия. Наиболее известным примером системы с истинностной функциональностью для неопределенных рассуждений является модель М факторов определенности (certainty factor), которая была разработана для программы медицинской диагностики Mycin и широко использовалась в экспертных системах в конце 1970-х и в 1980-х гг. Почти во всех областях использования факторов определенности предусматривались наборы правил, которые были либо чисто диагностическими (как в программе Mycin), либо чисто причинными. Более того, данные свидетельства вводились только в “корнях” мультидерева правил, а большинство деревьев правил были односвязными. Хекерман [639] показал, что при таких обстоятельствах незначительно модифицированный вариант вероятностного вывода на основе фактора определенности был точно эквивалентен байесовскому вероятностному выводу на полидеревьях. В других обстоятельствах применение факторов определенности из-за переоценки свидетельства приводило к появлению настолько неправильных степеней уверенности, что дальнейшая эксплуатация системы становилась невозможной. По мере увеличения размеров деревьев правил нежелательные взаимодействия правил становятся все более частыми, поэтому практики пришли к выводу, что приходится “поправлять” факторы определенности во многих других правилах после добавле-
ния новых правил. Нет смысла даже останавливаться на том, по каким причинам этот подход больше не рекомендуется.
Представление незнания: теория Демпстера—Шефера
Теория ^ Демпстера—Шефера разработана для того, чтобы можно было учесть различие между неопределенностью (uncertainty) и незнанием (ignorance). Вместо вычисления вероятности высказывания в ней вычисляется вероятность того, что данное свидетельство поддерживает высказывание. Этот показатель измерения степени уверенности называется М доверительной функцией (belief function), которая обозначается как Bel (X).
Вернемся к задаче с подбрасыванием монеты, чтобы рассмотреть пример применения доверительных функций. Предположим, что к вам подходит подозрительный тип и предлагает поспорить на 10 долларов, что его монета упадет орлом вверх после следующего подбрасывания. С учетом того, что эта монета может оказаться либо подлинной, либо фальшивой, какую степень уверенности вы должны назначить тому событию, что она упадет орлом вверх? В теории Демпстера-Шефера утверждается, что у вас пока нет свидетельств в пользу того или иного предположения, поэтому вам следует исходить из предположения, что степень уверенности Bel kHeads) = 0 и что Bel k-Heads) =0. Таким образом, в системах формирования рассуждений на основе теории Демпстера—Шефера принят скептический взгляд на то, что могут подсказывать некоторые интуитивные соображения. А теперь предположим, что вы пригласили эксперта, который освидетельствовал монету и с определенностью 90% заявил, что монета является подлинной (т.е. он на 90% уверен, что Р к Heads) =0.5). В таком случае теория Демпстера—Шефера дает оценку Bel kHeads) =0.9x0.5=0.45 и, аналогичным образом, Bel k-^Heads) = 0.45. Таким образом, все еще остается “зазор” в 10%, который не охватывается этим свидетельством. В “правиле Демпстера” [382] показано, как комбинировать свидетельства для получения новых значений Bel, а в работе Шефера эти вычисления развиты до уровня полной вычислительной модели.
Однако, как и при формировании рассуждений по умолчанию, возникает проблема при соединении степеней уверенности с действиями. При использовании вероятностей теория принятия решений утверждает, что если Р kHeads) =Р k^Heads) =0.5, то (при условии, что выигрыш в 10 долларов и проигрыш в 10 долларов рассматриваются как противоположные исходы с равной величиной) механизм формирования рассуждений не отдаст предпочтения одному из действий, в котором предложение сделать ставку отклоняется или принимается. С другой стороны, механизм формирования рассуждений Демпстера-Шефера имеет оценку Bel k-^Heads) = 0 и поэтому не видит причин принять ставку, но, кроме того, он имеет и оценку Bel kHeads) = 0 и поэтому не видит причин, по которым он мог бы отклонить это предложение. Таким образом, на первый взгляд кажется, что механизм формирования рассуждений Демпстера-Шефера приходит к такому же заключению о том, как действовать в данном случае. К сожалению, теория Демпстера—Шефера не позволяет также прийти к определенному решению во многих других случаях, притом что в вероятностном выводе вырабатывается какой-то конкретный вариант. В действительности понятие полезности в модели Демпстера-Шефера еще не достаточно полно исследовано.
Еще в одной интерпретации теории Демпстера-Шефера предусмотрено определение интервала вероятностей, например, интервал для Heads равен [0,1] до про-
верки монеты экспертом и становится равным [0.45,0.55] после такой проверки. Оценка ширины этого интервала может способствовать выработке решения о получении дополнительных свидетельств; в частности, такая оценка говорит о том, что заявление эксперта поможет вам, если вы не знаете, является ли монета подлинной, но уже не поможет, если вы узнали, что монета — подлинная. Однако не существует четких рекомендаций в отношении того, как следует принимать указанные решения, поскольку еще нет четкого понимания того, что означает ширина интервала. При использовании байесовского подхода рассуждения такого рода могут быть сформированы более легко путем исследования вопроса, как изменилась бы степень уверенности некоего лица при получении им дополнительных свидетельств. Например, знание о том, что монета — подлинная, оказало бы значительное влияние на степень уверенности в том, что она упадет орлом вверх, а обнаружение смещения ее центра тяжести оказало бы влияние на степень уверенности в том, что монета — подлинная. Полная байесовская модель должна была бы включать вероятностные оценки для факторов, подобных этому, что позволило бы нам выражать наше “незнание” в терминах того, как изменялись бы значения степеней уверенности в процессе сбора информации в будущем.
Представление неосведомленности: нечеткие множества и нечеткая логика
^ Теория нечетких множеств — это один из подходов к определению того, насколько хорошо некоторый объект подходит под расплывчатое описание. Например, рассмотрим высказывание: “Нат имеет стройную фигуру”. Является ли это высказывание истинным, если Нат имеет рост примерно 180 см? Большинство людей затрудняются при выборе ответа “да” или “нет”, предпочитая сказать “скорее всего”. Обратите внимание на то, что этот вопрос не относится к сфере неопределенности знаний о внешнем мире — нам точно известен рост Ната. Проблема состоит в том, что лингвистическое выражение “стройный” не ссылается на четкую классификацию людей по признаку того, насколько стройной является его фигура. По этой причине ^ теория нечетких множеств вообще не является методом формирования неопределенных рассуждений. Вместо этого в теории нечетких множеств оценка стройности фигуры, Tall, рассматривается как нечеткий предикат и принимается предположение, что истинностное значение высказывания Tall (Nate) — это число от 0 до 1, а не просто значение true или false. Само название “нечеткое множество” исходит из интерпретации предиката как неявно определяющего множество его элементов — множество, не имеющее четких границ.
^ Нечеткая логика — это метод формирования рассуждений с помощью логических выражений, описывающих принадлежность элементов к нечетким множествам. Например, сложное высказывание Tall (Nate) л Heavy(Nate) с оценкой того, насколько стройным является Нат и насколько велик его вес, имеет нечеткое истинностное значение, которое является функцией истинностных значений его компонентов. Ниже приведены стандартные правила оценки нечеткой истинности Т сложного высказывания.
Т(А л В) = min(Т(А) , Т(В) ) Т(А v В) = max(T(A) ,Т(В) ) Т(-^А) = 1 - Т(А)
Поэтому нечеткая логика представляет собой систему с истинностной функциональностью, а этот факт становится причиной серьезных затруднений. Например, предположим, что Т( Tall (Nate) )=0.6 и T(Heavy(Nate) ) =0.4. В таком случае получаем значение T(Tall (Nate) л T(Heavy(Nate) )=0.4, которое кажется обоснованным, но получаем также результат T(Tall (Nate) л -iTall(Nate) )=0.4, который таковым не кажется. Безусловно, эта проблема возникает из-за того, что истинностнофункциональный подход не позволяет учитывать корреляции или антикорреляции между компонентами высказываний.
^ Нечеткое управление — это методология создания систем управления, в которых отображение между реальными входными данными и выходными параметрами представлено с помощью нечетких правил. Нечеткое управление оказалось очень успешным в таких коммерческих продуктах, как автоматические коробки передач, видеокамеры и электрические бритвы. Критики этого подхода утверждают, что такие приложения оказались успешными потому, что в них используются небольшие базы правил, логические выводы не формируют цепочки, а для повышения производительности системы может осуществляться настройка параметров (см., например, [434]). И действительно, тот факт, что правила функционирования этих систем реализованы с помощью нечетких операторов, может не быть ключевым фактором их успеха; секрет состоит в том, чтобы применялся лаконичный и интуитивно понятный способ задания гладко интерполируемой функции с реальными значениями.
Предпринимались также попытки предложить одну из трактовок нечеткой логики в терминах теории вероятностей. Одна из таких идей состоит в том, чтобы такие утверждения, как “Нат — стройный”, рассматривались в качестве дискретных наблюдений, сделанных применительно к непрерывной скрытой переменной — фактическому росту, Height, Ната. В такой вероятностной модели определяется вероятность Р(Наблюдатель сообщает, что Нат — стройный| Height), возможно, с использованием пробит-распределения (см. с. 674). В таком случае появляется возможность рассчитать апостериорное распределение вероятностей значений роста Ната обычным образом, например, если эта модель входит в состав гибридной байесовской сети. Безусловно, такой подход не относится к категории истинностнофункциональных. Например, следующее условное распределение:
Р(Наблюдатель сообщает, что Нат имеет стройную фигуру
и большой вес|Height, Weight)
допускает взаимодействия роста и веса в обоснованиях наблюдения. Таким образом, некто, имеющий рост примерно 245 см и вес 85 кг, с очень малой вероятностью будет назван “имеющим стройную фигуру и большой вес”, даже несмотря на то, что человек, имеющий рост “245 см” рассматривается как “стройный”, а вес “85 кг” принято считать “большим”.
Нечетким предикатам может быть также дана вероятностная интерпретация в терминах ^ случайных множеств, т.е. случайных переменных, возможными значениями которых являются множества объектов. Например, Tall — это случайное множество, возможными значениями которого являются множества людей. Вероятность Р(Та11=5г) , где Si — некоторое определенное множество людей, представляет собой вероятность того, что именно данное множество будет обозначено некоторым наблюдателем как “характеризующееся стройными фигурами”. Таким образом, вероятность того, что “Нат имеет стройную фигуру”, представляет собой сумму вероятностей для всех множеств, элементом которых является Нат.
Создается впечатление, что и подход на основе гибридных байесовских сетей, и подход с использованием случайных множеств охватывает многие аспекты нечеткости, не требуя учета степеней истинности. Тем не менее остается много нерешенных вопросов, касающихся правильного представления лингвистических наблюдений и непрерывных количеств, а этими вопросами пренебрегают большинство исследователей, не относящихся к сообществу специалистов по нечетким представлениям.
Резюме
В этой главе описаны байесовские сети — тщательно разработанное представление для неопределенных знаний. Байесовские сети играют роль, примерно аналогичную той, которую выполняет пропозициональная логика применительно к определенным знаниям.
Байесовская сеть — это ориентированный ациклический граф, вершины которого соответствуют случайным переменным; с каждой вершиной связано распределение условных вероятностей для этой вершины, если даны ее родительские вершины.
Байесовские сети лежат в основе удобного способа представления отношений условной независимости в рассматриваемой проблемной области.
Любая байесовская сеть задает полное совместное распределение; каждый элемент совместного распределения определяется как произведение соответствующих элементов в локальных условных распределениях. Байесовская сеть часто позволяет экспоненциально уменьшить размеры вероятностного представления по сравнению с полным совместным распределением.
Многие условные распределения могут быть представлены компактно с помощью канонических семейств распределений. Целый ряд канонических распределений используется в гибридных байесовских сетях, которые включают и дискретные, и непрерывные переменные.
Под вероятностным выводом в байесовских сетях подразумевается вычисление распределения вероятностей множества переменных запроса, если дано множество переменных свидетельства. Алгоритмы точного вероятностного вывода, такие как алгоритм устранения переменной, позволяют вычислять суммы произведений условных вероятностей настолько эффективно, насколько это возможно.
В полидеревьях (односвязных сетях) точный вероятностный вывод требует времени, линейно зависящего от размера сети. А в общем случае проблема такого вывода неразрешима.
Методы стохастической аппроксимации, такие как оценка веса с учетом правдоподобия и метод Монте-Карло на основе цепи Маркова, позволяют получить приемлемые оценки истинных апостериорных вероятностей в сети и способны справиться с гораздо более крупными сетями по сравнению с точными алгоритмами.
Теория вероятностей может применяться в сочетании с идеями представления знаний, заимствованными из логики первого порядка, для создания очень мощных систем формирования рассуждений в условиях неопределенности. Реляционные модели вероятностей (Relational Probability Model — RPM) включают ограничения на средства представления, которые гарантируют получение полностью определенного распределения вероятностей, которое может быть выражено в виде эквивалентной байесовской сети.
Был предложен целый ряд альтернативных систем для формирования рассуждений в условиях неопределенности. Вообще говоря, истинностно-функциональные системы не очень хорошо подходят для таких рассуждений.
Библиографические и исторические заметки
Широкое использование сетей для представления вероятностной информации началось с первых десятилетий XX столетия, когда были опубликованы работы Сьюэлла Райта по вероятностному анализу генетического наследования и показателей развития животных [1622], [1624]. Одна из его сетей показана на обложке данной книги. И.Дж. Гуд [575] в сотрудничестве с Аланом Тьюрингом разработал вероятностные представления и методы байесовского вероятностного вывода, которые могут рассматриваться как предшествующие современным байесовским сетям, хотя указанная статья не часто цитируется в данном контексте. Та же статья является оригинальным литературным источником с описанием модели зашумленного OR.
Форма представления для задач принятия решений с помощью диаграммы влияния, которая была встроена в представление DAG для случайных переменных, использовалась в анализе принятия решений с конца 1970-х годов (глава 16), но для вычислений применялись только методы перебора. Джуди Перл разработал метод передачи сообщений для осуществления вероятностного вывода в древовидных сетях [1186] и ввел понятие полидревовидных сетей [796], а также объяснил важность составления причинных, а не диагностических вероятностных моделей, в противовес системам, основанным на использовании факторов определенности, которые были в моде в то время. Первой экспертной системой, в которой использовались байесовские сети, стала Convince [795], [797]. Многие новейшие медицинские системы включают систему Munin для диагностирования нейромускульных нарушений [27] и систему Pathfinder для выявления патологий [640]. Одними из наиболее широко используемых систем на основе байесовских сетей оказались модули диагностики и восстановления (например, модуль Printer Wizard) в операционной системе Microsoft Windows [178] и Office Assistant в пакете Microsoft Office [685].
Перл [1189] разработал алгоритм кластеризации для точного вероятностного вывода в байесовских сетях общего вида, используя метод преобразования в ориентированное полидерево кластеров, в котором для достижения согласованности по переменным, разделяемым между кластерами, использовалась передача сообщений.
Аналогичный подход, разработанный статистиками Дэвидом Шпигельхальтером и Штеффеном Лауритценом [895], [1449], основан на преобразовании в неориентированную сеть (Маркова). Этот подход реализован в системе Hugin, которая представляет собой эффективное и широко применяемое инструментальное средство для формирования рассуждений в условиях неопределенности [27]. Росс Шахтер, работающий в сообществе исследователей диаграмм влияния, разработал точный метод, который основан на сокращении сети, управляемом целями, с использованием преобразований, сохраняющих апостериорную вероятность [1383].
Метод устранения переменных, описанный в данной главе, ближе всего по замыслу к методу Шахтера, на основе которого разработан алгоритм символического вероятностного вывода (Symbolic Probabilistic Inference — SPI) [1385]. В алгоритме SPI предпринимается попытка оптимизировать вычисление деревьев выражений, подобных приведенному на рис. 14.8. Описанный в данной книге алгоритм больше всего напоминает алгоритм, разработанный Чжангом и Пулом [1643], [1644]. Критерии отсечения нерелевантных переменных были разработаны Гейгером и др. [530], а также Лауритценом и др. [894]; приведенный в данной книге критерий представляет собой простой частный случай этих критериев. Рина Дехтер [369] показала, что идея устранения переменной по сути идентична М непоследовательному динамическому программированию [117]— алгоритмическому подходу, который может использоваться для решения целого ряда задач вероятностного вывода в байесовских сетях, например поиска наиболее вероятного объяснения для множества наблюдений. В этом подходе алгоритмы байесовских сетей применяются в сочетании с соответствующими методами решения задач CSP и дается прямая оценка меры сложности точного вывода в терминах ширины гипердерева сети.
Вопрос о включении непрерывных случайных переменных в байесовские сети рассматривался Перлом [1191], а также Шахтером и Кенли [1386]; в этих статьях обсуждаются сети, содержащие только непрерывные переменные с линейными гауссовыми распределениями. Проблема включения дискретных переменных исследовалась Лауритценом и Вермутом [896], а полученные результаты реализованы в системе cHUGIN [1154]. Пробит-распределение впервые было исследовано Финнеем [469], который назвал его сигмоидальным распределением. Это распределение широко использовалось для моделирования феномена дискретного выбора и может быть дополнено, если требуется его применение в тех случаях, когда количество выборов превышает два [318]. В [133] приведено обоснование целесообразности использования логит-распределения в данной научной области.
Купер [291] показал, что общая проблема вероятностного вывода в байесовских сетях без ограничений является NP-трудной, и Пол Дагум и Майк Луби [319] показали, что NP-трудной является соответствующая задача аппроксимации. Одной из серьезных проблем при использовании методов кластеризации и устранения переменной является также пространственная сложность. Применение метода определения условий выбора множества разрыва цикла, который был разработан для задач CSP в главе 5, позволяет исключить необходимость построения экспоненциально больших таблиц. В байесовской сети множеством разрыва цикла является множество вершин, позволяющих после их конкретизации свести оставшиеся вершины к полидереву, которое может быть решено с линейными затратами времени и пространства. Поиск ответа на запрос осуществляется путем суммирования по всем конкретизациям множества разрыва цикла, поэтому общие требования к пространству все
еще остается линейными [1191]. В [323] описан рекурсивный алгоритм обусловливания, который допускает широкий выбор компромиссных методов сокращения затрат пространства/времени.
В настоящее время разработка быстрых алгоритмов аппроксимации для вероятностного вывода в байесовских сетях представляет собой очень активную научную область, которая испытывает положительное влияние со стороны статистики, компьютерных наук и физики. Способ формирования выборок с исключением представляет собой общий метод, давно известный статистикам; он был впервые применен к байесовским сетям Максом Хенрионом [648], который назвал этот метод логическим формированием выборок. Метод взвешивания с учетом правдоподобия, который был разработан Фунгом и Чангом [512], а также Шахтером и Пеотом [1387], представляет собой пример широко известного статистического метода формирования выборок с учетом важности. Результаты крупномасштабного применения метода взвешивания с учетом правдоподобия в области медицинской диагностики опубликованы в [1407]. Ченг и Друздзель [247] описали адаптивную версию метода взвешивания с учетом правдоподобия, которая действует очень успешно, даже если свидетельства имеют крайне низкое априорное правдоподобие.
Развитие алгоритмов Монте-Карло на основе цепи Маркова (Markov chain Monte Carlo — MCMC) началось с создания алгоритма Метрополиса, впервые опубликованного в статье [1036], которая стала также первой публикацией сведений об алгоритме эмуляции отжига (см. главу 4). Формирователь выборок Гиббса был предложен в [535] для вероятностного вывода в неориентированных сетях Маркова. Применение алгоритма МСМС к байесовским сетям было предложено Перлом [1190]. Статьи, собранные в [554], охватывают широкий диапазон направлений использования алгоритма МСМС, многие из которых были разработаны при создании широко известного пакета Bugs [555].
В этой главе не рассматривались два очень важных семейства методов аппроксимации. Первым из них является семейство методов ^ вариационной аппроксимации, которые могут использоваться для упрощения сложных вычислений любых типов. Основная идея состоит в том, что должна быть предложена сокращенная версия первоначальной задачи, с которой легче работать, но которая напоминает первоначальную задачу настолько близко, насколько это возможно. Сокращенная задача описывается с помощью некоторых ^ вариационных параметров X, которые корректируются с целью минимизации функции расстояния D между оригинальной и сокращенной задачами, часто путем решения системы уравнений dD/dX=0. Во многих случаях могут быть получены строгие верхние и нижние границы. Вариационные методы уже давно использовались в статистике [1333]. В статистической физике метод поля осредненных величин (mean field) представляет собой особую вариационную аппроксимацию, в которой предполагается, что отдельные переменные, входящие в состав модели, являются полностью независимыми. Эта идея была применена для поиска решений в крупных неориентированных сетях Маркова [1174], [1209]. В [1353] представлены результаты разработки математических основ применения вариационных методов к байесовским сетям и получения точных аппроксимаций нижней границы для сигмоидальных сетей с использованием методов поля осредненных величин. Эта методология была дополнена в [720] для получения нижней и верхней границ. Обзор вариационных подходов приведен в [748].
Второе важное семейство алгоритмов аппроксимации основано на алгоритме Перла передачи сообщений в полидереве [1186]. Как указал Перл [1191], этот алгоритм может применяться к сетям общего типа. Иногда результаты оказываются неправильными, или же не удается добиться нормального завершения работы алгоритма, но во многих случаях полученные значения близки к истинным значениям. Так называемый подход с М распространением оценок степени уверенности (или с циклическим распространением) привлекал мало внимания до тех пор, пока Макэлис и др. [1027] не обнаружили, что передача сообщений в многосвязной байесовской сети полностью аналогична вычислениям, выполняемым в алгоритме ^ турбодекодирования (turbo decoding) [115], который оказался крупным научным прорывом в области разработки эффективных кодов коррекции ошибок. Из этого следует вывод, что способ циклического распространения быстро и точно работает в очень крупных и тесно связанных сетях, используемых для декодирования, и поэтому может найти более широкое применение. В [1105] представлены результаты эмпирического исследования областей использования этого алгоритма. В [1630] подробно описаны связи между методом циклического распространения и идеями статистической физики.
Связь между вероятностными методами и языками первого порядка была впервые исследована Карнапом [225]. В [513] и [1373] определен язык, в котором вероятности могут быть объединены с высказываниями первого порядка и для которого моделями являются вероятностные показатели в возможных мирах. В рамках искусственного интеллекта эта идея была разработана Нильссоном для пропозициональной логики [1144] и Халперном для логики первого порядка [607]. Результаты первого обширного исследования проблем представления знаний в таких языках были опубликованы в [51], а в [1577] приведен обзор первых подходов к реализации этих способов представления на основе формирования эквивалентных пропозициональных байесовских сетей. В дальнейшем исследователи пришли к пониманию важности полных баз знаний, т.е. баз знаний, в которых, как и в байесовских сетях, определяется уникальное совместное распределение по всем возможным мирам. Методы осуществления этого были основаны на вероятностных версиях логического программирования [1226], [1352] или на семантических сетях [823]. Реляционные вероятностные модели такого типа, описанные в данной главе, были глубоко исследованы Пфеффером [1210]. В [1179] приведены результаты исследования проблем реляционной неопределенности и неопределенности идентичности в рамках моделей RPM, а также результаты использования вероятностного вывода с помощью алгоритма мсмс.
Как было описано в главе 13, после появления первых вероятностных систем в начале 1970-х годов интерес к ним упал и частично образовался вакуум, который стали заполнять альтернативные методы. Для использования в медицинской экспертной системе Mycin [1406] был разработан подход на основе факторов определенности, который был предназначен как для выработки проектных решений, так и для моделирования субъективных суждений, формируемых в условиях неопределенности. В сборнике статей Rule-Based Expert Systems [204] приведен полный обзор системы Mycin и других систем, разработанных на ее основе (см. также [1458]). Дэвид Хекер- ман [639] показал, что в некоторых случаях слегка модифицированная версия на основе вычислений с фактором определенности позволяет получить правильные вероятностные результаты, но в других случаях приводит к серьезной переоценке важности свидетельств. В экспертной системе Prospector [420] используется подход на
основе правил, в котором правила были обоснованы с помощью предположения о глобальной независимости (которое редко оправдывается).
Теория, получившая название теории Демпстера—Шефера, была впервые опубликована в статье Артура Демпстера [382], который предложил обобщение способа представления вероятностей в виде интервальных значений и обосновал правила комбинирования для их использования. После того как в дальнейшем была опубликована работа Гленна Шефера [1388], теория Демпстера—Шефера стала рассматриваться как научный подход, способный конкурировать с вероятностным подходом. В [1319] приведены результаты анализа связи между теорией Демпстера-Шефера и стандартной теорией вероятностей. Шеной [1401] предложил метод принятия решений с помощью доверительных функций Демпстера-Шефера.
Нечеткие множества были разработаны Лотфи Задэ [1637] в целях устранения широко признанных сложностей при предоставлении точных входных данных для интеллектуальных систем. В [1649] приведено исчерпывающее введение в теорию нечетких множеств; статьи по приложениям нечетких множеств собраны в [1648]. Как уже было указано в данной книге, нечеткую логику часто трактуют неправильно, усматривая в ней прямого конкурента для теории вероятностей, тогда как в этой теории фактически рассматриваются другие вопросы. Для вычислений с учетом неопределенности в нечетких системах была предложена М теория возможностей (possibility theory) [1638], которая имеет много общего с теорией вероятностей. В [419] предложен исчерпывающий обзор по проблеме связей между теорией возможностей и теорией вероятностей.
Пробуждение в последнее время интереса к вероятностным методам в основном вызвано тем открытием, что байесовские сети являются удобным средством представления и использования информации об условной независимости. Но сторонникам байесовского подхода пришлось бороться за его дальнейшее распространение; некоторое представление о том, какие дебаты они вели со своими противниками, можно получить, ознакомившись с воинственной статьей Питера Чизмена In Defense of Probability [242] и с его последующей статьей An Inquiry into Computer Understanding [243] (с комментариями). Одним из принципиальных возражений противников байесовского подхода (и последователей логицистского подхода) было то, что числовые вычисления, применяемые в теории вероятностей, не очевидны для интуитивного восприятия и претендуют на наличие нереального уровня точности в наших неопределенных знаниях. Результаты разработки Веллманом качественных вероятностных сетей [1574] привели к созданию чисто качественной абстракции байесовских сетей, в которой используется понятие положительных и отрицательных влияний между переменными. Веллман показал, что во многих случаях такая информация является достаточной для принятия оптимальных решений и не требует точного указания вероятностных значений. В работе Эднана Дарвича и Мэтта Гинсберга [324] выявлены основные свойства методов обусловливания и комбинирования свидетельств, разработанных в рамках теории вероятностей, и показано, что эти методы могут также применяться при формировании логических рассуждений и рассуждений по умолчанию.
Система диагностики сердечных заболеваний, описанная в данной главе, разработана Лукасом [962]. К другим отраслевым приложениям байесовских сетей относится выполненные в компании Microsoft работы по выявлению целей пользователя компьютера на основании анализа его действий [685] и по фильтрации нежелательной электронной почты [1344], а также работа Electric Power Research Institute по
контролю над электрическими генераторами [1088] и работа NASA по выводу крайне чувствительной ко времени информации на дисплей в Центре управления полетами в Хьюстоне [684].
Некоторые важные ранние статьи по применению методов формирования рассуждений в условиях неопределенности в искусственном интеллекте собраны в антологиях Readings in Uncertain Reasoning [1389] и Uncertainty in Artificial Intelligence [768]. Наиболее важной отдельной публикацией, посвященной развитию байесовских сетей, безусловно, является книга Probabilistic Reasoning in Intelligent Systems [1191]. Более свежие материалы можно найти в нескольких превосходных книгах, включая [734], [746] и [893]. Новейшие результаты исследований в области вероятностных рассуждений публикуются и в профильных журналах по искусственному интеллекту, таких как Artificial Intelligence и Journal of AI Research, и в более специализированных журналах, таких как International Journal of Approximate Reasoning. Многие статьи по графическим моделям, к которым относятся байесовские сети, публикуются в статистических журналах. Превосходными источниками сведений о современных исследованиях являются труды конференций Uncertainty in Artificial Intelligence (UAI), Neural Information Processing Systems (NIPS) и Artificial Intelligence and Statistics (AISTATS).
Упражнения
Рассмотрите сеть для диагностики автомобиля, показанную на рис. 14.12.
Рис. 14.12. Байесовская сеть, описывающая некоторые характеристики электрической системы и двигателя автомобиля. Каждая переменная является булевой, а значение true указывает на то, что соответствующая подсистема автомобиля находится в рабочем состоянии
Дополните сеть булевыми переменными icyWeather (Морозная погода) и StarterMotor (Стартер).
Приведите приемлемые таблицы условных вероятностей для всех вершин.
Сколько независимых значений содержится в совместном распределении вероятностей для восьми булевых вершин, если исходить из предположения, что неизвестны какие-либо отношения условной независимости, которые бы их связывали?
Какое количество независимых вероятностных значений содержится в таблицах вашей сети?
Условное распределение для вершины Starts (Запускается) может быть описано как распределение зашумленного AND. Дайте общее определение этого семейства распределений и покажите его связь с распределениями зашумленного OR.
Допустим, что вы живете рядом с атомной электростанцией, в которой предусмотрена тревожная сигнализация, срабатывающая, если показания датчика температуры превышают некоторое пороговое значение. Датчик измеряет температуру в реакторе. Рассмотрите булевы переменные А (звучит тревожный сигнал), ГА (тревожная сигнализация неисправна) и FG (неисправен датчик), а также многозначные вершины G (показания датчика) и г (фактическая температура в реакторе).
Нарисуйте байесовскую сеть для этой проблемной области с учетом того, что вероятность отказа датчика повышается, если температура в реакторе становится слишком высокой.
Является ли ваша сеть полидеревом?
Примите предположение, что есть только два значения фактической и измеряемой температур — нормальная и высокая; вероятность того, что датчик сообщает правильную температуру, равна х, когда он работает, а если не исправен, равна у. Приведите таблицу условных вероятностей, связанную с вершиной G.
Примите предположение, что тревожная сигнализация действует правильно, при условии, что она не вышла из строя; в последнем случае тревожный сигнал никогда не звучит. Приведите таблицу условных вероятностей, связанную с вершиной А.
Примите предположение, что тревожная сигнализация и датчик исправны и что тревожный сигнал звучит. Вычислите выражение для вероятности того, что температура в реакторе слишком высока, в терминах различных условных вероятностей в данной сети.
Два астронома в различных частях Земли провели измерения, мг и м2, количества звезд, N, в некотором небольшом регионе неба с помощью своих телескопов. Обычно вероятность ошибки е на одну звезду в большую или меньшую сторону при подсчете этого количества не очень велика. Каждый телескоп может также оказаться (с гораздо меньшей вероятностью f) сильно расфокусированным (события Fx и F2), и в этом случае ученый не досчитается трех или большего количества звезд (или, если N меньше 3, вообще не обнаружит ни одной звезды). Рассмотрите эти три сети, показанные на рис. 14.13.
Какая из этих трех байесовских сетей может служить правильным (но не обязательно эффективным) представлением приведенной выше информации?
Какая из этих сетей является самой лучшей? Объясните, почему.
Запишите распределение условных вероятностей Р (^ | N) для случая, где Ne {1,2,3} и мге {0,1,2,3,4}. Каждая запись в распределении условных вероятностей должна быть представлена как функция от параметров е и/или f.
Примите предположение, что ^=1 и м2=3. Каково возможное количество звезд, если предполагается, что на значения nhc налагаются априорные ограничения?
Каково наиболее вероятное количество звезд, если даны эти наблюдения? Объясните, как рассчитать эту вероятность, или, если ее невозможно рассчитать, объясните, какая требуется дополнительная информация и как она повлияет на результат.
Рассмотрите сеть, показанную на рис. 14.13, б; примите предположение, что два телескопа дают идентичные результаты, №{1,2,3} и мг,м2е {0,1,2,3,4}, а также, что применяются такие символические таблицы СРТ, как описано в упр. 14.3. Используя алгоритм перебора, рассчитайте распределение вероятностей P(^| ^=2,^=2).
Рис. 14.13. Три возможные сети для задачи с телескопом
Рассмотрите семейство линейных гауссовых сетей, которое показано на с. 672.
Допустим, что в сети с двумя переменными переменная хг является родительской по отношению к переменной х2, переменная Xi имеет гауссово распределение априорных вероятностей, а р (х21XJ — линейное гауссово распределение. Покажите, что совместное распределение P(X1ZX2) представляет собой многомерное гауссово распределение, и рассчитайте его матрицу ковариации.
Докажите по индукции, что совместное распределение для линейной гауссовой сети общего вида по переменным Xi,..., хп также является многомерным гауссовым распределением.
Пробит-распределение, описанное на с. 674, позволяет представить распределение вероятностей для булевой дочерней переменной, если задана одна непрерывная родительская переменная.
Как можно расширить это определение, чтобы оно охватывало несколько непрерывных родительских переменных?
Как оно может быть расширено с учетом многозначной дочерней переменной? Рассмотрите и те случаи, в которых значения дочерней переменной упорядочены (как при выборе во время вождения автомобиля передачи в зависимости от скорости, крутизны подъема, требуемого ускорения и т.д.), и те случаи, в которых они не упорядочены (как при выборе для проезда на работу или автобуса, или электропоезда, или автомобиля). {Подсказка. Рассмотрите способы распределения возможных значений по двум множествам для имитации булевой переменной.)
В этом упражнении речь идет об алгоритме устранения переменной, приведенном в листинге 14.2.
В разделе 14.4 алгоритм устранения переменной применялся к следующему запросу:
Р(Burglary|JohnCalls=true, MaryCalls=true)
Проведите указанные вычисления и проверьте правильность ответа.
Подсчитайте количество выполненных арифметических операций и сравните его с количеством операций, выполняемых в алгоритме перебора.
Предположим, что сеть имеет форму цепи — последовательности булевых переменных Хг,...,ХП1 где Parents (ХД ={Xi_1} для 1=2,..., п. Какова сложность вычисления выражения Р (Хх | xn= true) с использованием алгоритма перебора? С использованием алгоритма устранения переменной?
Докажите, что сложность применения алгоритма устранения переменной в сети, имеющей форму полидерева, линейно зависит от размера дерева при любом упорядочении переменных, согласованном со структурой сети.
Проведите исследование сложности точного вывода в байесовских сетях общего вида.
Докажите, что любую задачу 3-SAT можно свести к задаче точного вывода в байесовской сети, сформированной для представления данной конкретной задачи, и поэтому такой точный вывод является NP-трудным. {Подсказка. Рассмотрите сеть с одной переменной для каждого пропозиционального символа, с одной для каждого выражения и с одной для конъюнкции выражений.)
Проблема подсчета количества выполняющих присваиваний для задачи 3-SAT является #Р-полной (шарп-, или диез-Р-полной). Покажите, что задача точного вывода является, по меньшей мере, такой же трудной, как эта.
Рассмотрите задачу формирования случайной выборки из заданного распределения по одной переменной. Вы можете принять предположение, что в вашем распоряжении имеется генератор случайных чисел, который возвращает случайное число с равномерным распределением в интервале от 0 до 1.
Допустим, что X — дискретная переменная с P(X=xi)=Pi для ie (1,..., к}. ^Кумулятивное распределение (cumulative distribution) X задает вероятность того, что хе {хт,..., х^ для каждого возможного j. Объясните, как рассчитать это кумулятивное распределение за время
О (к) и как получить из него одну выборку X. Может ли последняя операция быть выполнена за время меньше О (к) ?
Теперь предположим, что необходимо сформировать N выборок X, где N>k. Объясните, как выполнить эту операцию с ожидаемым временем прогона в расчете на выборку, которое является постоянным (т.е. независимым от к).
После этого рассмотрим непрерывную переменную с параметризованным (например, с гауссовым) распределением. Как можно формировать выборки с помощью такого распределения?
Предположим, что необходимо сформулировать запрос, касающийся непрерывной переменной, и что для вероятностного вывода используется такой алгоритм, как LikelihoodWeighting. Как вы модифицировали бы процесс поиска ответов на такие запросы?
Марковское покрытие переменной определено на с. 669.
Докажите, что переменная является независимой от всех других переменных в сети, если дано ее марковское покрытие.
Выведите уравнение 14.11.
Рассмотрите запрос PkRain\ Sprinkler^ true, WetGrass^ true) к байесовской сети, приведенной на рис. 14.9, а, и покажите, как можно получить на него ответ с помощью алгоритма МСМС.
Какое количество состояний имеет эта цепь Маркова?
Рассчитайте матрицу переходов Q, содержащую значение q^y-^y' ) для всех у, у.
Что представляет собой О2, квадрат матрицы переходов?
А что можно сказать о выражении 0й, где п-^оо?
Объясните, как следует выполнять вероятностный вывод в байесовских сетях, при условии, что доступно выражение (7х. Является ли такой способ вероятностного вывода практически применимым?
(й) Три футбольные команды, А, В и С, играют друг с другом по одному разу. Каждый матч проводится между двумя командами и может закончиться для команды выигрышем, ничьей или проигрышем. Каждой команде присвоена постоянная, неизвестная оценка ее класса (целое число в диапазоне от 0 до 3), и результат матча оценивается вероятностной зависимостью от разницы в классе между двумя участвующими командами.
Сформируйте реляционную вероятностную модель для описания этой проблемной области и предложите реальные числовые значения для всех необходимых распределений вероятностей.
Сформируйте эквивалентную байесовскую сеть.
Примите предположение, что в первых двух матчах команда А побеждает В и играет вничью с С. Используя выбранный вами алгоритм точного вывода, вычислите распределение апостериорных вероятностей для результатов третьего матча.
Предположим, что в этой футбольной лиге п команд и известны результаты всех матчей, кроме последнего. Как сложность предсказания результатов последней игры зависит от л?
Рассмотрите возможность применения алгоритма МСМС для решения этой задачи. Насколько быстро этот алгоритм сходится на практике и насколько хорошо он масштабируется?
15 Вероятностные рассуждения ВО ВРЕМЕНИ
В данной главе предпринимается попытка истолковать настоящее, понять прошлое, а также, возможно, предсказать будущее, даже если пока лишь немногое полностью ясно.
Агенты, действующие в неопределенных вариантах среды, должны быть способны следить за текущим состоянием среды; это требование аналогично тому, которое предъявляется к логическим агентам. Указанная задача в значительной степени усложняется из-за наличия частичных и зашумленных результатов восприятия, а также из-за неопределенности в отношении того, как среда изменяется во времени. В лучшем случае агент будет способен получить только вероятностную оценку текущей ситуации. В этой главе описаны способы представления и алгоритмы вероятностного вывода, благодаря которым такая оценка становится возможной, на основе идей, представленных в главе 14.
Базовый подход описан в разделе 15.1: изменяющийся мир моделируется с использованием случайных переменных, обозначающих каждый аспект состояния мира в каждый момент времени. Отношения между этими переменными описывают, как развивается данное состояние. В разделе 15.2 определены основные задачи вероятностного вывода и описана общая структура алгоритмов вероятностного вывода для временных моделей. Затем рассматриваются три конкретных типа моделей: скрытые марковские модели, фильтры Калмана и динамические байесовские сети (которые включают скрытые марковские модели и фильтры Калмана в качестве частных случаев). Наконец, в разделе 15.6 показано, благодаря чему временные вероятностные модели образуют ядро современных систем распознавания речи. Центральную роль в создании всех этих моделей играет обучение, но подробное исследование алгоритмов обучения будет отложено до части VI.
Время и неопределенность
В предыдущих главах методы вероятностных рассуждений рассматривались в контексте статических миров, в которых каждая случайная переменная имеет одно фиксированное значение. Например, в ходе ремонта автомобиля предполагается, что неисправный узел остается неисправным на протяжении всего процесса диагностики; наша задача состоит в вероятностном выводе информации о состоянии автомобиля из наблюдаемых свидетельств, которые также остаются фиксированными.
Теперь обратимся к несколько другой задаче — лечение больного диабетом. Как и в случае ремонта автомобиля, в нашем распоряжении имеются факты, такие как последние дозы приема инсулина, рацион питания, результаты измерения количества сахара в крови и другие физические симптомы. Задача состоит в том, чтобы оценить текущее состояние пациента, включая фактический уровень сахара в крови и уровень инсулина. При наличии такой информации врач (или больной) принимает решение о рационе питания больного и дозе инсулина. Но в отличие от случая с ремонтом автомобиля теперь становятся существенными динамические аспекты задачи. Значения уровня сахара в крови и результаты их измерения могут резко изменяться во времени, в зависимости от последнего приема пищи больным и доз инсулина, от интенсивности обмена веществ в организме, времени суток и т.д. Чтобы оценить текущее состояние больного по хронологии накопленных фактов и предсказать результаты терапевтических действий, необходимо моделировать эти изменения.
Точно такие же соображения возникают во многих других контекстах, начиная от слежения за экономической активностью определенного государства по приблизительным и частичным статистическим данным и заканчивая пониманием последовательности слов устной речи по зашумленным и неоднозначным результатам акустических измерений. Возникает вопрос: как можно промоделировать подобные динамические ситуации?
Состояния и наблюдения
Основной подход, который будет принят в этой главе, основан на идеях, аналогичных идеям ситуационного исчисления, как описано в главе 10: процесс изменения может рассматриваться как ряд снимков, каждый из которых описывает состояние мира в данный конкретный момент времени. Каждый снимок, или ^ временной срез, содержит множество случайных переменных, причем одна часть из них является наблюдаемой, а другая — нет. Для упрощения будем предполагать, что в каждом временном срезе является наблюдаемым одно и то же подмножество переменных (хотя такое требование не является строго необходимым во всем последующем изложении). Мы будем использовать xt для обозначения множества ненаблюдаемых переменных состояния во время t и Et для обозначения множества наблюдаемых переменных свидетельства. Результаты наблюдения во время t представляют собой множество Et=et, соответствующее некоторому множеству значений et.
Рассмотрим следующий крайне упрощенный пример. Предположим, что на каком-то секретном подземном объекте служит охранник, который никогда не выходит наружу. Он хочет знать, идет ли сегодня дождь, но единственный доступ к информации из внешнего мира охранник получает только по утрам, когда видит директора, пришедшего с зонтиком или без зонтика. Таким образом, в каждые сутки с
15 Вероятностные рассуждения ВО ВРЕМЕНИ
В данной главе предпринимается попытка истолковать настоящее, понять прошлое, а также, возможно, предсказать будущее, даже если пока лишь немногое полностью ясно.
Агенты, действующие в неопределенных вариантах среды, должны быть способны следить за текущим состоянием среды; это требование аналогично тому, которое предъявляется к логическим агентам. Указанная задача в значительной степени усложняется из-за наличия частичных и зашумленных результатов восприятия, а также из-за неопределенности в отношении того, как среда изменяется во времени. В лучшем случае агент будет способен получить только вероятностную оценку текущей ситуации. В этой главе описаны способы представления и алгоритмы вероятностного вывода, благодаря которым такая оценка становится возможной, на основе идей, представленных в главе 14.
Базовый подход описан в разделе 15.1: изменяющийся мир моделируется с использованием случайных переменных, обозначающих каждый аспект состояния мира в каждый момент времени. Отношения между этими переменными описывают, как развивается данное состояние. В разделе 15.2 определены основные задачи вероятностного вывода и описана общая структура алгоритмов вероятностного вывода для временных моделей. Затем рассматриваются три конкретных типа моделей: скрытые марковские модели, фильтры Калмана и динамические байесовские сети (которые включают скрытые марковские модели и фильтры Калмана в качестве частных случаев). Наконец, в разделе 15.6 показано, благодаря чему временнь/е вероятностные модели образуют ядро современных систем распознавания речи. Центральную роль в создании всех этих моделей играет обучение, но подробное исследование алгоритмов обучения будет отложено до части VI.
Время и неопределенность
В предыдущих главах методы вероятностных рассуждений рассматривались в контексте статических миров, в которых каждая случайная переменная имеет одно фиксированное значение. Например, в ходе ремонта автомобиля предполагается, что неисправный узел остается неисправным на протяжении всего процесса диагностики; наша задача состоит в вероятностном выводе информации о состоянии автомобиля из наблюдаемых свидетельств, которые также остаются фиксированными.
Теперь обратимся к несколько другой задаче — лечение больного диабетом. Как и в случае ремонта автомобиля, в нашем распоряжении имеются факты, такие как последние дозы приема инсулина, рацион питания, результаты измерения количества сахара в крови и другие физические симптомы. Задача состоит в том, чтобы оценить текущее состояние пациента, включая фактический уровень сахара в крови и уровень инсулина. При наличии такой информации врач (или больной) принимает решение о рационе питания больного и дозе инсулина. Но в отличие от случая с ремонтом автомобиля теперь становятся существенными динамические аспекты задачи. Значения уровня сахара в крови и результаты их измерения могут резко изменяться во времени, в зависимости от последнего приема пищи больным и доз инсулина, от интенсивности обмена веществ в организме, времени суток и т.д. Чтобы оценить текущее состояние больного по хронологии накопленных фактов и предсказать результаты терапевтических действий, необходимо моделировать эти изменения.
Точно такие же соображения возникают во многих других контекстах, начиная от слежения за экономической активностью определенного государства по приблизительным и частичным статистическим данным и заканчивая пониманием последовательности слов устной речи по зашумленным и неоднозначным результатам акустических измерений. Возникает вопрос: как можно промоделировать подобные динамические ситуации?
Состояния и наблюдения
Основной подход, который будет принят в этой главе, основан на идеях, аналогичных идеям ситуационного исчисления, как описано в главе 10: процесс изменения может рассматриваться как ряд снимков, каждый из которых описывает состояние мира в данный конкретный момент времени. Каждый снимок, или ^ временной срез, содержит множество случайных переменных, причем одна часть из них является наблюдаемой, а другая — нет. Для упрощения будем предполагать, что в каждом временном срезе является наблюдаемым одно и то же подмножество переменных (хотя такое требование не является строго необходимым во всем последующем изложении). Мы будем использовать xt для обозначения множества ненаблюдаемых переменных состояния во время t и Et для обозначения множества наблюдаемых переменных свидетельства. Результаты наблюдения во время t представляют собой множество Et=et, соответствующее некоторому множеству значений et.
Рассмотрим следующий крайне упрощенный пример. Предположим, что на каком-то секретном подземном объекте служит охранник, который никогда не выходит наружу. Он хочет знать, идет ли сегодня дождь, но единственный доступ к информации из внешнего мира охранник получает только по утрам, когда видит директора, пришедшего с зонтиком или без зонтика. Таким образом, в каждые сутки с
множество Et включает единственную переменную свидетельства ut (которая показывает, несет ли директор зонтик), а множество xt содержит единственную переменную состояния £t (которая показывает, идет ли дождь). Другие задачи могут быть связаны с использованием более крупных множеств переменных. В частности, в примере с больным диабетом могут использоваться такие переменные свидетельства, как результаты измерения уровня сахара в крови MeasuredBloodSugart и частоты пульса PulseRatet, а также переменные состояния, такие как фактический уровень сахара в крови BloodSugart и содержимое желудка StomachContentst.
Интервал между временнь/ми срезами также зависит от задачи. При контроле состояния больного диабетом подходящим интервалом может оказаться час, а не сутки. В этой главе в основном предполагается использование фиксированных конечных интервалов; это означает, что точки во времени, соответствующие временнь/м срезам, могут быть обозначены целыми числами. Кроме того, предполагается, что последовательность состояний начинается в момент времени t=0; к тому же по некоторым причинам, не имеющим особого значения, предполагается, что свидетельства начинают появляться в момент времени t=l, а не t=0. Таким образом, мир задачи с зонтиком может быть представлен переменными состояния ^0,^i,^2,--- и переменными свидетельства U^L^.... Для обозначения последовательности целых чисел от а до b (включительно) будет использоваться запись а: Ь, а для обозначения соответствующего ряда переменных от ха до хь — запись ха:Ь. Например, [71:3 соответствует переменным и2) и3.
Стационарные процессы и марковское предположение
После того как выбраны множества переменных состояния и переменных свидетельства для данной конкретной задачи, на следующем этапе необходимо определить зависимости между этими переменными. Мы будем следовать процедуре, описанной в главе 14, размещая переменные в некотором порядке и отвечая на вопросы об условной независимости переменных-преемников, если дано некоторое множество родительских переменных. Одним из очевидных вариантов является упорядочение переменных в их естественной временной последовательности, поскольку причина обычно предшествует результату, а мы предпочитаем вводить переменные в причинной последовательности.
Однако при таком подходе сразу же возникает одно препятствие: множество переменных является неограниченным, поскольку включает переменные состояния и переменные свидетельства для каждого временного среза. Такая ситуация фактически порождает две проблемы: во-первых, нам может потребоваться задать неограниченное количество таблиц условных вероятностей, по одной для каждой переменной в каждом срезе, во-вторых, каждая переменная может быть связана с неограниченным количеством родительских переменных.
Первая проблема разрешима на основании предположения, что изменения в состоянии мира вызваны М стационарным процессом, т.е. процессом изменения, подчиняющимся таким законам, которые сами не изменяются во времени. (Не следует
путать стационарные процессы со статическими — в статическом процессе не изменяется само состояние.) Поэтому в мире задачи с зонтиком условная вероятность того, что директор придет с зонтиком, Р ( Ut | Parents (Ut) ), является одинаковой для всех значений t. Таким образом, если принято предположение о стационарности, то необходимо задавать условные распределения только для переменных, относящихся к некоторому “репрезентативному” временному срезу.
Вторая проблема, касающаяся того, что приходится иметь дело с таким количеством родительских переменных, которое в принципе может стать бесконечным, решается благодаря принятию так называемого ^ марковского предположения, или предположения о марковости, которое заключается в том, что текущее состояние зависит лишь от конечной истории предыдущих состояний. Процессы, соответствующие этому предположению, были впервые глубоко исследованы российским ученым-статистиком Андреем Марковым и называются ^ марковскими процессами, или марковскими цепями. Существует несколько разновидностей таких процессов; простейшим из них является ^ марковский процесс первого порядка, в котором текущее состояние зависит только от предыдущего состояния и не зависит от каких- либо более ранних состояний. Иными словами, состояние — это информация, которая требуется для того, чтобы сделать прогноз о будущем независимым от прошлого, если дано это состояние. С использованием принятой в этой главе системы обозначений соответствующее утверждение об условной независимости позволяет сформулировать для всех t следующее соотношение:
P(Xt|X0;t-l) = P(Xt|Xt-1) (15.1)
Таким образом, в марковском процессе первого порядка законы, описывающие, как состояние развивается во времени, полностью представлены в условном распределении P(xt IXt-J , которое мы будем называть моделью перехода для процессов первого порядка. Моделью перехода для марковского процесса второго порядка является условное распределение P(xt |xt_2,xt_1). Структуры байесовских сетей, соответствующие марковским процессам первого и второго порядка, приведены на рис. 15.1.
Рис. 15.1. Структуры байесовских сетей: байесовская сеть, соответствующая марковскому процессу первого порядка с состоянием, определяемым переменными xt (а); марковский процесс второго порядка (б)
Кроме ограничения количества родительских переменных, относящихся к переменным состояния xt, необходимо ограничить количество родительских переменных, относящихся к переменным свидетельства Et. Как правило, в данной главе
предполагается, что переменные свидетельства во время t зависят только от текущего состояния:
P(Et|X0:t,E0:t-i) = P(Et|Xj(15.2)
Условное распределение Р (Et | XJ называется М моделью восприятия (или иногда моделью наблюдения), поскольку оно показывает, как фактическое состояние мира влияет на “результаты восприятия”, т.е. на переменные свидетельства. Обратите внимание на то, каково направление зависимости: “стрелки” идут от состояния к значениям результатов восприятия, поскольку именно состояние мира вынуждает результаты восприятия приобретать данные конкретные значения. Например, в мире задачи с зонтиком дождь вынуждает директора прийти с зонтиком. (Разумеется, процесс вероятностного вывода проходит в другом направлении; одним из преимуществ байесовских сетей является то, что они позволяют провести различие между направлением моделируемых зависимостей и направлением вероятностного вывода.)
Кроме модели перехода и модели восприятия, необходимо определить Р(х0) — распределение априорных вероятностей состояний во время 0. Эти три распределения, в сочетании с предположениями об условной независимости, приведенными в уравнениях 15.1 и 15.2, позволяют получить спецификацию полного совместного распределения по всем переменным. Для любого конечного значения t получаем следующее:
t
Р(Х0,Х1Xt,EiEt) = Р(Хо) ^[ P(Xi|Xi-i) P(Ei|Xi)
i=l
Предположения о независимости соответствуют очень простой структуре байесовской сети, описывающей всю систему. На рис. 15.2 показана структура сети для примера с зонтиком, включая условные распределения для модели перехода и модели восприятия.
Рис. 15.2. Структура байесовской сети и распределения условных вероятностей, которые описывают мир задачи с зонтиком. Моделью перехода служит Р fRaint/Raint-iA а моделью восприятия является Р fUmbrellat /RainJ
В структуре, показанной на этом рисунке, предполагается использование марковского процесса первого порядка, поскольку считается, что вероятность дождя зависит только от того, был ли дождь в предыдущие сутки. Является ли такое предположение обоснованным, зависит от самой проблемной области. Марковское предположение первого порядка указывает, что переменные состояния содержат всю
информацию, необходимую для описания распределения вероятностей для следующего временного среза. Иногда такое предположение полностью соответствует истине; например, если некоторая частица совершает ^ случайное блуждание вдоль оси х, изменяя свою позицию на величину ±1 в каждый интервал времени, то применение в качестве состояния координаты х позволяет определить марковский процесс первого порядка. Иногда такое предположение является лишь приблизительным, как и в случае предсказания дождя лишь на основании того, был ли дождь в предыдущие сутки. Как описано ниже, существуют два возможных метода корректировки, если такое приближение оказывается слишком неточным.
Повышение порядка модели марковского процесса. Например, можно перейти к использованию модели второго порядка, введя переменную Raint_2 в качестве родительской по отношению к Rain^, что позволит получить немного более точные предсказания (например, в Пало-Альто дождь очень редко идет больше двух дней подряд).
Расширение множества переменных состояния. Например, можно ввести переменную с обозначением времени года Season^ чтобы иметь возможность включить хронологические данные о дождливых временах года, или ввести переменные для температуры Temperature^, влажности Humidity^ и атмосферного давления Pressure^ чтобы иметь возможность использовать физическую модель условий, способствующих возникновению дождя.
В упр. 15.1 предлагается показать, что первое решение (увеличение порядка модели) можно всегда переформулировать как расширение множества переменных состояния, при сохранении фиксированного порядка. Следует отметить, что введение дополнительных переменных состояния может увеличить прогностическую мощь системы, но вместе с тем повысить требования к прогнозированию, поскольку при этом придется также прогнозировать значения новых переменных. Поэтому обычно исследователи стараются найти “самодостаточное” множество переменных, а это фактически означает, что прежде всего они стремятся понять “физику” моделируемого процесса. Очевидно, что требования к точному моделированию процесса можно ослабить, если есть возможность ввести новые результаты восприятия (например, результаты измерения температуры и атмосферного давления), которые непосредственно предоставляют информацию о новых переменных состояния.
Рассмотрим, например, задачу слежения за роботом, блуждающим случайным образом на плоскости X-Y. Можно было бы предложить, что достаточно воспользоваться таким множеством переменных состояния, как положение и скорость, — ведь для вычисления нового положения можно просто использовать законы Ньютона, а скорость будет изменяться непредсказуемо. Но если робот получает питание электрической энергией от аккумулятора, то разрядка аккумулятора будет оказывать систематическое влияние на изменение скорости. А поскольку само это влияние зависит от того, сколько электроэнергии было израсходовано во всех предыдущих маневрах, то свойство принадлежности марковской цепи к модели определенного порядка (или просто марковость) нарушается. Марковость цепи можно восстановить, включив уровень зарядки аккумулятора Battery^ в состав переменных состояния, которые входят в множество xt. Это позволит лучше предсказывать движения робота, но, в свою очередь, потребует создания модели для предсказания значе-
ния Batteryt на основании значения Battery^ и скорости. В некоторых случаях такое моделирование может быть выполнено достаточно надежно, а повышения точности можно будет добиться, введя для измерения уровня заряда аккумулятора новый датчик.
Вероятностный вывод во временнь/х моделях
После определения структуры универсальной временной модели мы получаем возможность сформулировать основные задачи вероятностного вывода, которые должны быть решены с помощью этой модели, как описано ниже.
^ Фильтрация, или ^ текущий контроль. В этом состоит задача вычисления ^доверительного состояния— распределения апостериорных вероятностей переменных, относящихся к текущему состоянию, при наличии всех полученных к данному моменту свидетельств. Это означает, что требуется вычислить значение P(xt|e1;t), при условии, что фактические свидетельства поступают в виде непрерывного потока, начиная со времени t=l. В примере с зонтиком это может означать вычисление вероятности дождя сегодня, если даны все результаты наблюдений о носителе зонтика, полученные до сих пор. А фильтрацией называется та операция, которую должен выполнять рациональный агент в ходе слежения за текущим состоянием так, чтобы иметь возможность принимать рациональные решения (см. главу 17). Как оказалось, почти идентичные расчеты должны осуществляться в процессе определения правдоподобия последовательности свидетельств, P(ei;t).
М Предсказание. В этом состоит задача вычисления распределения апостериорных вероятностей значений переменных в будущем состоянии, если даны все свидетельства, полученные к данному моменту. Это означает, что может потребоваться вычислить Р (xt+k | e1:t) для некоторого к>0. В примере с зонтиком такое вычисление может сводиться к определению вероятности дождя через три дня от нынешнего, если даны все результаты наблюдений за носителем зонтика, полученные до сих пор. Предсказание является полезным для оценки возможных стратегий.
М Сглаживание, или М ретроспективный анализ. В этом состоит задача вычисления распределения апостериорных вероятностей значений переменных, относящихся к прошлому состоянию, если даны все свидетельства вплоть до нынешнего состояния. Это означает, что может потребоваться вычислить значение Р (хк | e1:t) для некоторого к, такого, что 0<k< t. В примере с зонтиком это может означать вероятность того, что дождь шел в прошлую среду, если даны все результаты наблюдений за носителем зонтика, полученные до сих пор. Ретроспективный анализ обеспечивает лучшую оценку информации о состоянии, которая была доступна к тому времени (поскольку включает больше свидетельств).
Наиболее правдоподобное объяснение. Если дан ряд результатов наблюдений, то может потребоваться найти последовательность состояний, которые с наибольшей вероятностью стали причиной получения результатов
наблюдений. Это означает, что может потребоваться вычислить значение argmaxXi t P(x1:t | e1:t). Например, если директор приходил с зонтиком в каждый из первых трех дней, а на четвертый пришел без зонтика, то наиболее вероятным объяснением становится наличие дождя в первые три дня и отсутствие в четвертый. Алгоритмы решения такой задачи являются полезными во многих приложениях, включая распознавание речи (целью которого является поиск наиболее вероятной последовательности слов, если дан ряд звуков) и реконструкцию цепочек битов, передаваемых по зашумленному каналу.
Кроме этих задач, необходимы методы для создания с помощью обучения моделей перехода и моделей восприятия на основании наблюдений. Так же как и в случае статических байесовских сетей, обучение в динамических байесовских сетях может осуществляться в виде получения побочного результата от вероятностного вывода. Вероятностный вывод предоставляет оценку того, какие переходы между состояниями фактически происходили и какие состояния привели к получению данных результатов восприятия, а эти оценки могут использоваться для обновления моделей. Обновленные модели предоставляют новые оценки, и в этом процессе происходят итерации до тех пор, пока все вычисления не сходятся. Весь этот процесс представляет собой пример применения алгоритма “ожидания—максимизации”, или алгоритма ЕМ (Expectation-Maximization) (см. раздел 20.3). Важно отметить, что для обучения требуется вероятностный вывод с полным сглаживанием, а не с фильтрацией, поскольку он предоставляет лучшие оценки состояний процесса. Обучение с фильтрацией может не позволить добиться правильной сходимости; рассмотрим, например, задачу обучения раскрытию убийств: чтобы узнать из наблюдаемых переменных с помощью вероятностного вывода, что скорее всего произошло на месте убийства, всегда требуется ретроспективный анализ.
Алгоритмы для решения четырех задач вероятностного вывода, перечисленных в начале данного раздела, можно прежде всего описать на общем уровне, независимо от конкретного типа применяемой модели. Усовершенствования этих алгоритмов, относящиеся к каждой модели, будут описаны в соответствующих разделах.
Фильтрация и предсказание
Начнем с фильтрации. Мы покажем, что эту задачу можно решить простым рекурсивным способом: если есть результаты фильтрации вплоть до момента с, можно легко вычислить результат для с+1 из нового свидетельства et+1. Это означает, что для некоторой функции f имеет место следующее:
P(Xt+1|e1:t+1) = f(et+i,P(Xt|ei:t) )
Такой процесс часто называют ^ рекурсивной оценкой. Соответствующее вычисление может рассматриваться как фактически состоящее из двух частей: прежде всего распределение вероятностей для текущего состояния проектируется вперед от t к t+1, затем оно обновляется с использованием нового свидетельства et+1. Такое двухэтапное протекание процесса можно выразить формально весьма просто:
Р (Xt+i | ei:t+i) = Р (Xt+i | ei:t, et+i) (Разделение свидетельства)
= ос Р (et+i | Xt+i, ei:t) Р (Xt+i | ei;t) (Применение правила Байеса)
= ос Р (et+i |Xt+i) Р (Xt+i | ei:t) (Преобразование в соответствии со свойством марковости свидетельства)
Здесь и далее в данной главе а представляет собой нормализующую константу, используемую для того, чтобы вероятности в сумме составляли 1. Второй терм, Р (Xt+11 e1:t), представляет одношаговое предсказание следующего состояния, а первый терм обновляет его новым свидетельством; обратите внимание на то, что значение р (et+11 xt+1) можно получить непосредственно из модели восприятия. Теперь определим одношаговое предсказание для текущего состояния путем обусловливания вероятностей значений переменных для текущего состояния xt:
P(Xt+i|ei:t+i) = ОС P(et+i|Xt+i) ^ P(Xt+i|xt,ei:t)P(xt|ei:t)
xt
= a P(et.i|xt.i) ^ P(Xt.i|xt)P(xt|ei,t)xt
(Преобразование в соответствии co свойством марковости) (15.3)
В операциях суммирования первым множителем является модель перехода, а вторым — распределение вероятностей для текущего состояния. Поэтому получена требуемая рекурсивная формулировка. Отфильтрованная оценка p(xt|e1:t) может рассматриваться как “сообщение” f1:t, которое распространяется в прямом направлении вдоль последовательности состояний, будучи модифицируемым при каждом переходе и обновляемым при получении каждого нового результата наблюдения. Этот процесс можно представить следующим образом:
fi:t+i = ОС Forward (fi;t, et+i)
где функция Forward реализует обновление, описанное в уравнении 15.3.
Если все переменные состояния являются дискретными, то затраты времени на каждое обновление остаются постоянными (т.е. независимыми от t) и потребность в пространстве также остается постоянной. (Соответствующие постоянные показатели временной и пространственной сложности, безусловно, зависят от размера пространства состояний и от конкретного типа используемой временной модели.) ^ Требования ко времени и пространству для обновления должны быть постоянными, если агент с ограниченной памятью обязан следить за распределением вероятностей для текущего состояния на протяжении неограниченной последовательности наблюдений.
Проиллюстрируем процесс фильтрации, состоящий из двух этапов, на простом примере с зонтиком (см. рис. 15.2). Предполагается, что охранник обладает с определенной степенью уверенности сведениями о распределении априорных вероятностей дождя в день 0, непосредственно до того, как началась данная последовательность наблюдений. Предположим, что данным распределением является р kR^ =<0.5,0.5>. Теперь обработаем результаты двух наблюдений, как показано ниже.
В день 1 директор пришел с зонтиком, поэтому UT= true. Результаты предсказания перехода от t=0 к t=l состоят в следующем:
Р(Р1) = ^ P(Pi|r0) Р(г0)
г0
= <0.7,0.3>х0.5+<0.3,0.7>х0.5 = <0.5,0.5>
а их обновление с помощью свидетельства, полученного для t = 1, является таковым:
P(P1|U1) = a P(U1|K1)P(K1) = а <0.9,0.2x0.5,0.5> = ОС <0.45,0.1> = <0.818,0.182>
В день 2 директор также пришел с зонтиком, поэтому U2- true. Результаты предсказания перехода от t=l к с=2 являются следующими:
P(P2|U1) = ^ Р (-^2 I Г1) Р(Г1 I U1)
Г1
= <0.7,0.3> х 0.818 + <0.3,0.7> х 0.182 = <0.627,0.373>
а обновление их с помощью свидетельства для t=2 позволяет получить следующее:
P(P2|ui,u2) = ОС P(u2|P2) P(P2|ui) = ОС <0.9,0.2x0.627,0.373>
= ОС <0.565,0.075> = <0.883,0.117>
Интуитивно ясно, что вероятность дождя от дня 1 ко дню 2 повышается, поскольку дождь продолжается. В упр. 15.2, а предлагается исследовать такую тенденцию дальше.
Задача предсказания может рассматриваться просто как фильтрация без добавления новых свидетельств. В действительности процесс фильтрации уже включает одношаговое предсказание, и поэтому можно легко вывести следующую формулу рекурсивного вычисления для предсказания состояния в момент времени t+k+1 на основании предсказания для t+k:
P(Xt+k+i|ei:t) = 2 , P(Xt+k+i|xt+k)P(xt+k|e1:t) (15.4) xt+k
Естественно, что в этом вычислении участвует только модель перехода, а не модель восприятия.
Интересно рассмотреть, что произойдет при попытке предсказывать все дальше и дальше в будущее. Как показано в упр. 15.2, б, прогнозируемое распределение для дождя сходится к фиксированной точке <0.5,0.5>, после чего продолжает оставаться неизменным. Это — так называемое стационарное распределение для марковского процесса, определяемого с помощью модели перехода (см. также с. 1). О свойствах таких распределений и о ^ продолжительности смешивания (грубо говоря, о затратах времени, необходимых для достижения фиксированной точки) известно очень многое. С точки зрения практики эти знания сводятся к печальному выводу, что любая попытка предсказать фактическое состояние для количества этапов, составляющего не больше чем небольшую часть количества, соответствующего продолжительности смешивания, обречена на неудачу. Чем более неопределенной является модель перехода, тем короче будет продолжительность смешивания и тем более туманным становится будущее.
Рекурсия в прямом направлении может использоваться не только для фильтрации и предсказания, но и для вычисления правдоподобия последовательности свидетельств, P(e1:t). Такое значение может оказаться применимым, если потребуется сравнить различные временнь/е модели, которые способны вырабатывать одну и ту
же последовательность свидетельств; например, в разделе 15.6 сравниваются различные слова, при произношении которых может создаваться одна и та же последовательность звуков. Для такой рекурсии используется сообщение о правдоподобии l1;t = р (xt, e1:t). Несложно показать, что справедливо следующее соотношение:
^i:t+i = Forward (li;t, et+i)
После вычисления l1:t получим фактическое значение правдоподобия, исключая путем суммирования значение xt:
Ll.t = P(ei;t) = ^ ^i:t(xt) (15.5) xt
Сглаживание
Как было указано выше, сглаживание — это процесс вычисления распределения вероятностей значений переменных в прошлых состояниях при наличии свидетельств вплоть до нынешнего состояния, иными словами, P(xk|e1;t) для l<k<t (рис. 15.3.) Такие вычисления наиболее удобно разбить на две части: применительно к свидетельствам вплоть до момента времени к и к свидетельствам от к+1 до t:
P(Xk|ei;t) = Р (Хк | 61 ;к, ©к + 1: t)
= ОС Р(Хк|б1:к) Р(6k*i:t |хк/ei;k) (Применение правила Байеса)
= ос Р(Хк|б1;к) P(ek+i:t|xk)(Применение правила условной
независимости)
= ОС fl:k bk+l:t(15.6)
где используется сообщение bk+1:t=P (ек+1.11 хк), определяемое как “обратное”, по аналогии с прямым сообщением f1:k. Прямое сообщение f1:k может быть вычислено путем фильтрации в прямом направлении от 1 до к в соответствии с уравнением 15.3. Как оказалось, обратное сообщение bk+1:t может быть вычислено с помощью рекурсивного процесса, который осуществляется в обратном направлении от t:
P(ek+i:t|Xk) = ^ P(ek+i:t|xk/xk+i)P(xk+i|xk) (Обусловливание по Xk+i) xk+l
= ^ P(ek+i:t|xk+i)P(xk+i|Xk) xk+l
(Применение правила условной независимости)
= ^ P(ek+i,ek+2:t|xk+i)P(xk+i|Xk) xk+l
= ^ P(ek+i|xk+i)P(ek+2:t|xk+i)P(xk+i|Xk)(15.7)
xk+l
где последний этап преобразования следует из свойства условной независимости ек+1 и ek+2:t, если дано xk+i. Из трех множителей в этой операции суммирования первый и третий можно получить непосредственно с помощью модели, а второй представляет собой “рекурсивный вызов”. С использованием обозначения для сообщений получим следующее:
bk+i:t = Backward (bk+2:t, ek+i:t)
где функция Backward осуществляет обновление, описанное в уравнении 15.7. Как и при рекурсии в прямом направлении, время и пространство, требуемые для каждого обновления, являются постоянными и поэтому независимыми от t.
Рис. 15.3. Процесс сглаживания, в котором вычисляется Р (хк/ e1:t), распределение апостериорных вероятностей значений переменных в состоянии, наблюдавшемся в какой-то прошлый момент времени к, если дана полная последовательность наблюдений от 1 до t
Теперь становится вполне очевидно, что оба терма, приведенные в уравнении 15.6, можно вычислить с помощью рекурсий по времени, одна из которых проходит в прямом направлении от 1 до к и в которой используется уравнение фильтрации 15.3, а другая проходит в обратном направлении от t до к+1 и в ней используется уравнение 15.7. Следует отметить, что этап обратной рекурсии инициализируется с помощью выражения bt+1;t=p (et+1:t | xt) =1, где 1 — вектор из единиц (поскольку et+i:t — пустая последовательность, вероятность наблюдения равна 1).
Итак, применим этот алгоритм к примеру с зонтиком и вычислим сглаженную оценку вероятности дождя в момент времени t=l по данным наблюдений за появлением директора с зонтиком в дни 1 и 2. Согласно уравнению 15.6, это значение определяется следующим образом:
Р(^1|щ,и2) = ос Р(Я1|щ) P(u2|Ki)(15.8)
Как нам уже известно, первый терм равен <. 818, . 182>, согласно результатам применения процесса прямой фильтрации, описанного выше. Второй терм можно вычислить, применив обратную рекурсию по уравнению 15.7:
р (U2 I Ri) = ^ Р ( U2 | Г2) РЦг2) Р (r2 I Ri)
г2
= (0.9 х 1 х <0.7,0.3>) + (0.2 х 1 х <0.3,0.7>) = = <0.69,0.41>
Подставляя эти значения в уравнение 15.8, можно найти, что сглаженная оценка вероятности дождя в день 1 такова:
P(J?i|ui,u2) = ОС <0.818,0.182>х<0.69,0.41> = <0.883,0.117>
Таким образом, в данном случае сглаженная оценка выше, чем отфильтрованная оценка (0.818). Это связано с тем, что появление директора с зонтиком в день 2 повышает вероятность того, что в день 2 шел дождь; в свою очередь, поскольку дожди обычно являются затяжными, это приводит к повышению вероятности дождя и в день 1.
И для прямой, и для обратной рекурсии требуется постоянное количество времени в расчете на каждый этап; поэтому временная сложность сглаживания по отношению к свидетельству e1;t составляет О( t). Этим выражением определяется также сложность сглаживания в конкретном интервале времени к. А если требуется провести сглаживание всей последовательности, то один из очевидных методов состоит в выполнении всего процесса сглаживания по одному разу для каждого интервала времени, в котором должно быть выполнено сглаживание. Такой подход приводит к получению временной сложности О( t). Нов лучшем подходе можно было бы использовать очень простое приложение динамического программирования, чтобы свести сложность к величине О( t). Один из намеков на то, как это сделать, можно найти в приведенном выше анализе примера с зонтиком, где была показана возможность повторного использования результатов прямой фильтрации. Ключом к созданию алгоритма с линейными затратами времени является регистрация результатов прямой фильтрации по всей последовательности. В таком случае можно выполнить обратную рекурсию от t вплоть до 1, вычисляя сглаженную оценку для каждого этапа к из вычисленного обратного сообщения bk+1;t и хранимого прямого сообщения f1:k. Этот алгоритм, обоснованно названный М прямым—обратным алгоритмом (forward—backward algorithm), показан в листинге 15.1.
Листинг 15.1. Прямой—обратный алгоритм для вычисления апостериорных вероятностей последовательности состояний при наличии последовательности наблюдений. Операторы Forward и Backward определены в уравнениях 15.3 и 15.7
function Forward-Backward(ev,prior) returns вектор распределений вероятностей
inputs; ev, вектор значений свидетельств для этапов l,...,t prior, распределение априорных вероятностей в начальном СОСТОЯНИИ, Р(Хо)
local variables: fv, вектор прямых сообщений для этапов 0,...,t Ь, представление обратного сообщения, первоначально состоящее из одних единиц, 1 sv, вектор сглаженных оценок для этапов
fv[0] «- prior for i=l to t do
fv [ i ] «— Forward(fv[1-1],ev[i]) for i=t downto 1 do
sv[i] <— Normalize (fv[ 1 ] xb) b <— Backward(b,ev[i]) return sv
вычисляет сглаженные оценки для всей последовательности. Итак, вполне понятно, что прямой—обратный алгоритм фактически представляет собой частный случай алгоритма распространения в полидереве, используемого в сочетании с методами кластеризации (хотя эти два алгоритма были разработаны независимо).
Прямой-обратный алгоритм лежит в основе вычислительных методов, применяемых во многих таких приложениях, где приходится иметь дело с последовательностями зашумленных результатов наблюдений, начиная от распознавания речи и заканчивая слежением за самолетами с помощью радара. Как было описано выше, сточки зрения практики он имеет два недостатка. Первым из них является пространственная сложность, которая может оказаться слишком высокой применительно к приложениям, где пространство состояний велико, а последовательности имеют большую длину. В нем используется пространство О( | f | с), где | f | — размер представления прямого сообщения. Такую потребность в пространстве можно уменьшить до О(|f| log t) с помощью соответствующего увеличения временной сложности на коэффициент log с, как показано в упр. 15.3. В некоторых случаях (см. раздел 15.3) может использоваться алгоритм с постоянными потребностями в пространстве, но без лишних затрат времени.
Вторым недостатком этого несложного алгоритма является то, что он требует модификации для использования в оперативных приложениях, где сглаженные оценки должны вычисляться для более ранних временных срезов по мере того, как к концу последовательности непрерывно добавляются новые наблюдения. Наиболее часто возникает требование по обеспечению М сглаживания с постоянным запаздыванием, при котором необходимо вычислять сглаженную оценку Р (Xt_d| e1:t) для постоянного значения d. Это означает, что сглаживание выполняется для временного среза, отстоящего на d этапов от текущего времени t; по мере возрастания с сглаживание не должно отставать. Безусловно, что прямой-обратный алгоритм можно вызывать на выполнение применительно к данным d-этапного “окна” по мере добавления результатов каждого нового наблюдения, но такой подход, по-видимому, является неэффективным. В разделе 15.3 будет показано, что сглаживание с постоянным запаздыванием в некоторых случаях может выполняться за постоянное время в расчете на каждое обновление, независимо от запаздывания d.
Поиск наиболее вероятной последовательности
Предположим, что [ true, true, false, true, true] — последовательность истинностных значений с результатами наблюдений за появлением директора с зонтиком, которые проводил охранник в течение первых пяти дней своей работы. Какая последовательность состояний погоды может стать наиболее вероятным объяснением для этих данных? Означает ли отсутствие зонтика в день 3, что не было дождя или директор забыл его взять? А если в день 3 не было дождя, то, возможно, дождь не шел и в день 4 (поскольку погода обычно является устойчивой), однако директор захватил с собой зонтик просто на всякий случай. В целом существуют 25 возможных последовательностей состояний погоды, которые могут быть приняты в качестве объяснения. Но есть ли способ найти наиболее вероятную из этих последовательностей, не перебирая их все?
Один из подходов, который может быть опробован, состоит в использовании следующей процедуры с линейными затратами времени: с помощью алгоритма
сглаживания найти распределения апостериорных вероятностей погоды на каждом временном интервале; после этого составить последовательность, используя на каждом этапе наиболее вероятное состояние погоды, соответствующее этим апостериорным вероятностям. Но такой подход должен вызвать у читателя сомнения, поскольку апостериорные вероятности, вычисленные с помощью сглаживания, представляют собой распределения вероятностей для отдельных временных интервалов, тогда как, чтобы найти наиболее вероятную последовательность, необходимо рассматривать совместные вероятности по всем временным интервалам. Соответствующие результаты фактически могут оказаться довольно различными (см. упр. 15.4).
Тем не менее алгоритм поиска наиболее вероятной последовательности с линейными затратами времени существует, но чтобы его найти, необходимо продумать все обстоятельства немного более тщательно. Алгоритм должен быть основан на том же свойстве марковости (неизменности порядка марковской цепи), которое позволило создать эффективные алгоритмы фильтрации и сглаживания. Проще всего можно подойти к решению этой задачи, рассматривая каждую последовательность как путь в графе, узлами которого являются возможные состояния на каждом временном интервале. Такой граф показан для мира задачи с зонтиком на рис. 15.4, а. Теперь рассмотрим задачу поиска наиболее вероятного пути через этот граф, где значение правдоподобия любого пути представляет собой произведение вероятностей перехода вдоль этого пути и вероятностей конкретных наблюдений в каждом состоянии. В частности, сосредоточимся на тех путях, которые достигают состояния Rain5= true. Ввиду наличия свойства марковости можно прийти к заключению, что наиболее вероятный путь к состоянию Rain5=true состоит из наиболее вероятного пути к некоторому состоянию, достигнутому во время 4, за которым следует переход в состояние Rain5= true, а состоянием во время 4, которое станет частью пути к состоянию Rain5=true, является именно то состояние, которое максимизирует значение правдоподобия этого пути. Иными словами, ^ существует рекурсивная связь между наиболее вероятными путями в каждое состояние xt+1 и наиболее вероятными путями в каждое состояние xt. Эту связь можно записать в виде уравнения, соединяющего вероятности путей, следующим образом:
max P(xi, ...,xt,Xt+i | ei:t+i )
Xi...Xt
= a P(et+1 I Xt+1) max P(Xt+i | xt) max P(xlf... ,xt-i,xt | ei:t) xt 1Xi...Xt-l
(15.9)
Уравнение 15.9 идентично уравнению фильтрации 15.3, за исключением описанных ниже отличий.
Прямое сообщение f1;t = P(Xt|e1;t) заменяется следующим сообщением, т.е. вероятностями наиболее правдоподобного пути в каждое состояние xt: mi:t = max Р (xi,... ,xt-i,Xt | ei:t)
Xi...Xt-i
Суммирование по переменным xt в уравнении 15.3 заменяется максимизацией по переменным xt в уравнении 15.9.
Таким образом, алгоритм вычисления наиболее вероятной последовательности аналогичен алгоритму фильтрации: он проходит в прямом направлении вдоль по-
следовательности, вычисляя сообщение m на каждом временном интервале с помощью уравнения 15.9. Ход этих вычислений показан на рис. 15.4, б. В конечном итоге этот алгоритм позволяет получить вероятность наиболее правдоподобной последовательности, достигающей каждого из заключительных состояний. Поэтому с его помощью можно легко выбрать последовательность, которая является наиболее правдоподобной среди всех прочих (соответствующие ей состояния обозначены на рисунке жирными контурами). Для того чтобы иметь возможность определить фактически наблюдаемую последовательность, а не просто вычислить ее вероятность, в этом алгоритме необходимо также сопровождать указатели от каждого состояния обратно к наилучшему состоянию, приведшему к нему (эти указатели показаны на рисунке жирными стрелками); соответствующую последовательность можно найти, проследовав по указателям в обратном направлении от наилучшего заключительного состояния.
^1:1 ^1:2 ^1:3 ^1:4 ^1:5
Рис. 15.4. Пример применения алгоритма Витерби: возможные последовательности состояний для переменной Raint могут рассматриваться как пути через граф возможных состояний на каждом временном интервале (состояния обозначены прямоугольниками для предотвращения путаницы с узлами в байесовской сети) (а); результаты применения алгоритма Витерби к последовательности наблюдений за появлением директора с зонтиком, /"true, true, false, true, true] (б). Для каждого значения t показано значение сообщения mi;t, которое представляет собой вероятность наилучшей последовательности, достигающей каждого состояния во время t. Кроме того, для каждого состояния ведущая в него жирная стрелка показывает его наилучшего преемника, согласно оценке, представляющей собой произведение вероятности предшествующей последовательности и вероятности перехода. Наиболее вероятную последовательность можно определить, проходя по жирным стрелкам в обратном направлении от наиболее вероятного состояния в интервале времени mi: 5
Только что описанный алгоритм называется ^ алгоритмом Витерби в честь его разработчика. Временная сложность этого алгоритма, как и алгоритма фильтрации, линейно зависит от t, от длины последовательности. Но в отличие от алгоритма фильтрации его потребность в пространстве также линейно зависит от t. Это связано с тем, что в алгоритме Витерби необходимо следить за указателями, которые обозначают наилучшую последовательность, ведущую к каждому состоянию.
Скрытые марковские модели
В предыдущем разделе были разработаны алгоритмы формирования временных вероятностных рассуждений с использованием общей инфраструктуры, которая была независимой от конкретной формы моделей перехода и моделей восприятия. В этом и следующих двух разделах будут описаны более конкретные модели и приложения, которые иллюстрируют мощь этих простых алгоритмов, а в некоторых случаях допускают дополнительные усовершенствования.
Начнем с описания вскрытой марковской модели, или сокращенно НММ (Hidden Markov Model). Любая модель НММ — это временная вероятностная модель, в которой состояние процесса описано с помощью единственной дискретной случайной переменной. Возможными значениями этой переменной являются возможные состояния мира. Поэтому пример с зонтиком, описанный в предыдущем разделе, представляет собой одну из моделей НММ, поскольку в нем применяется лишь единственная переменная состояния, Raint. Во временную модель могут быть введены дополнительные переменные состояния без выхода за пределы инфраструктуры НММ, но только путем комбинирования всех переменных состояния в единственную “мегапеременную”, значениями которой являются все возможные кортежи значений отдельных переменных состояния. В данном разделе будет показано, что благодаря такой жестко регламентированной структуре моделей НММ появляется возможность создавать очень простые и элегантные матричные реализации всех основных алгоритмов3. В разделе 15.6 показано, как модели НММ используются для распознавания речи.
Упрощенные матричные алгоритмы
При использовании единственной, дискретной переменной состояния Xt можно определить более сжатую форму представлений модели перехода, модели восприятия, а также прямых и обратных сообщений. Предположим, что переменная состояния Xt имеет значения, обозначенные целыми числами 1,..., S, где S— количество возможных состояний. В таком случае модель перехода р (Xt | Х^) преобразуется в матрицу Т с размерами S х S, где
Tid = P(Xt=j |Xt-i=i)
Таким образом, TiD представляет собой вероятность перехода из состояния i в состояние j. Например, матрица перехода для мира задачи с зонтиком выглядит следующим образом:
I, °-7 о.зх
Т = P(Xt|Xt-i) =( 0 3 0 7)
Переведем также в матричную форму модель восприятия. В данном случае, поскольку известно, что значение переменной свидетельства Et равно, скажем, et, необходимо использовать только ту часть модели, в которой определена вероятность появления значения et. Для каждого временного интервала с мы составим диагональную матрицу Ot, диагональные элементы которой задаются значениями
3 Читателю, не знакомому с основными операциями над векторами и матрицами, может потребоваться обратиться к приложению А, прежде чем продолжать чтение данного раздела.
P(et|xt=i), а остальные элементы равны 0. Например, в мире задачи с зонтиком вдень 1 было получено значение untrue, поэтому, согласно рис. 15.2, имеет место следующее:
, °.90 х
01 ” ( 0 0.2)
Теперь, если для представления прямых и обратных сообщений будут использоваться векторы столбцов, то все вычисления преобразуются в простые матричновекторные операции. Прямое уравнение 15.3 принимает следующий вид:
fl,fl = a Ofl ТТ fl:t(15.10)
а обратное уравнение 15.7 становится следующим:
bk+i:t = Т Ok+1 bk+2:t(15.11)
Как показывают эти уравнения, временная сложность прямого-обратного алгоритма (см. листинг 15.1), применяемого к последовательности с длиной t, равна O(S2t), поскольку на каждом этапе требуется умножать векторе S элементами на матрицу SxS. Потребность в пространстве измеряется величиной О (St), так как при проходе в прямом направлении необходимо сохранить в памяти t векторов с размером S.
Такая матричная формулировка не только становится изящным описанием алгоритмов фильтрации и сглаживания для моделей НММ, но и открывает возможности для создания улучшенных алгоритмов. Первым из таких алгоритмов является простой вариант прямого-обратного алгоритма, который обеспечивает выполнение сглаживания за счет использования постоянного пространства, независимо от длины последовательности. Идея этого алгоритма состоит в том, что для выполнения сглаживания в любом конкретном временном срезе к требуется одновременное присутствие в памяти и прямого, и обратного сообщений, f1:k и bk+1:t, согласно уравнению 15.6. В прямом—обратном алгоритме это достигается за счет хранения значений f, вычисленных во время прохода в прямом направлении, для того, чтобы они были доступными во время прохода в обратном направлении. Еще один способ достижения этой цели состоит в использовании одного прохода, в котором и значение f, и значение b распространяются в одном и том же направлении. Например, можно добиться распространения “прямого” сообщения f в обратном направлении, преобразовав уравнение 15.10 таким образом, чтобы оно действовало в другом направлении, как показано ниже.
fi:t = а' (тт) 1 Ot.l"1 fl.t.i
Этот модифицированный алгоритм сглаживания действует так, что в нем вначале осуществляется стандартный проход в прямом направлении для вычисления значения f t:t (при этом все промежуточные результаты уничтожаются), после чего выполняется проход в обратном направлении для совместного вычисления и Ь, и f, азатем эти значения используются для вычисления сглаженной оценки для каждого интервала. Поскольку требуется только одна копия каждого сообщения, потребности в памяти являются постоянными (т.е. независимыми от t, длины последовательности). Тем не менее этот алгоритм имеет одно существенное ограничение — в нем требуется, чтобы матрица перехода была обратимой, а модель восприятия не имела нулей, иными словами, чтобы каждое наблюдение было возможным в любом состоянии.
Матричная формулировка открывает возможности усовершенствования еще в одном направлении — в области создания методов оперативного сглаживания с постоянным запаздыванием. Тот факт, что сглаживание может быть выполнено за счет постоянных затрат пространства, наводит на мысль, что может существовать эффективный рекурсивный алгоритм для оперативного сглаживания, т.е. алгоритм, временная сложность которого остается независимой от величины запаздывания. Предположим, что запаздывание равно d; это означает, что сглаживание проводится во временном срезе t-d, притом что текущее время равно t. Согласно уравнению 15.6, для среза t-d необходимо рассчитать значение следующего выражения:
Ct f 1: t-dbt-d+1: t
В таком случае после поступления новых результатов наблюдения необходимо будет вычислить следующее выражение для среза t-d+1;
« f 1: t-d+lbt-d+2 : t + 1
Как можно выполнить эту операцию инкрементно? Прежде всего, можно вычислить fi:t-d+i из fi:t-d с использованием стандартного процесса фильтрации, в соответствии с уравнением 15.3.
Инкрементное вычисление обратного сообщения является более сложным, поскольку не существует простого соотношения между старым обратным сообщением bt_d+1:t и новым обратным сообщением bt_d+2:t+i- Вместо этого рассмотрим соотношение между старым обратным сообщением bt_d+1;t и обратным сообщением в начале последовательности, bt+1:t. Для этого d раз применим уравнение 15.11, чтобы получить следующее уравнение:
/ t \
bt-d.izt = П TOi bt+1:t = Bc-dtl:t 1(15.12)
Vi=t-d+l /
где матрица Bt_d+1:t является произведением последовательности матриц О и т. Матрицу в можно рассматривать как “оператор преобразования”, который преобразует более позднее обратное сообщение в более раннее. Аналогичное уравнение остается справедливым для новых обратных сообщений, сформированных после поступления результатов следующего наблюдения:
bt-d+2:t+lbt-d+2:t+l/ t + 1\П т°-\i=t-d+2 У/ t + 1\П т°-\i=t-d+2 Уbt+2:t+l = Bt-d+2:t+l 1bt+2:t+l = Bt-d+2:t+l 1(15.13)(15.13)
bt-d+2:t+l
bt-d+2:t+l
/ t + 1\
П т°-
\i=t-d+2 У
/ t + 1\
П т°-
\i=t-d+2 У
bt+2:t+l = Bt-d+2:t+l 1
bt+2:t+l = Bt-d+2:t+l 1
(15.13)
(15.13)
Исследуя выражения для произведений в уравнениях 15.12 и 15.13, можно определить, что их связывает между собой простое соотношение, — чтобы получить второе произведение, достаточно “разделить” первое произведение на первый элемент TOt_d+1 и умножить на новый последний элемент TOt+i. Поэтому на языке алгебры матриц можно представить следующее простое соотношение между старой и новой матрицами в:
Bt-d+2:t + l = Ot-d + 1 1 Т 1 Bt-d+l:t TOt + 1 (15.14)
Это уравнение предоставляет способ вычисления инкрементного обновления для матрицы в, которая, в свою очередь (в силу уравнения 15.13), позволяет вычислить новое обратное сообщение bt_d+2;t+i- Полный алгоритм, в котором предусматривается хранение и обновление значений f и в, показан в листинге 15.2.
Листинг 15.2. Алгоритм сглаживания с постоянным временным запаздыванием на d этапов, реализованный как оперативный алгоритм, который выводит новую сглаженную оценку после получения данных наблюдения, относящихся к новому временному интервалу
function Fixed-Lag-Smoothing(et, hmm, d) returns распределение no Xt-d inputs: et, текущее свидетельство для временного интервала t hmm, скрытая марковская модель с матрицей переходов Т
с размерами S х S d, величина запаздывания при сглаживании static: t, текущее время, первоначально равно 1
f, распределение вероятностей (прямое сообщение Р (Xt |ei:t)), первоначально Prior[hmm]
В, матрица d-этапного обратного преобразования, первоначально матрица идентичного преобразования et-d:t/ двухсторонний список свидетельств от t-d до t, первоначально пустой local variables: Ot-d/Ot, диагональные матрицы, содержащие информацию модели восприятия
добавить et к концу списка et-d:t
Ot <— диагональная матрица, содержащая P(et|Xt)
if t>d then
f <— Forward (f, et)
удалить et-d-i с начала списка et-d:t
Ot-d <— диагональная матрица, содержащая P(et-d|Xt-d)
В <- Ot-a^T^BTOt
else В BTOt
t <- t+1
if t>d then return Normalize(fxBl) else return пустое значение
Фильтры Калмана
Представьте себе, что вы внимательно следите за маленькой птицей, летящей через плотную листву джунглей в сумраке: вы замечаете краткие промежуточные этапы движения и пытаетесь угадать, где сейчас находится птица и где она появится в следующий раз, чтобы ее не потерять. Или вообразите себя на месте оператора радара во Второй мировой войне, который напряженно вглядывается в крошечный, блуждающий блик, появляющийся на экране через каждые 10 секунд. А если вернуться в прошлое еще дальше, вообразите, что вы, как Кеплер, пытаетесь реконструировать орбиты движения планет из совокупности крайне неточных угловых измерений, полученных через нерегулярные и неточно измеренные интервалы времени. Во всех этих случаях осуществляется попытка оценить показатели состояния физической системы (например, положение и скорость) на основе зашумленных результатов на-
блюдений во времени. Эту задачу можно сформулировать как вероятностный логический вывод во временной вероятностной модели, где модель перехода описывает физические основы движения, а модель восприятия описывает процесс измерения. В данном разделе рассматриваются специальные формы представления и алгоритмы вероятностного вывода, которые были разработаны для решения задач такого рода; описанный здесь метод называется М калмановской фильтрацией в честь его разработчика Рудольфа Э. Калмана.
Очевидно, что для определения состояния этой системы требуется несколько непрерывных переменных. Например, траектория полета птицы может быть задана с помощью данных о положении (х, Y,z) и скорости (x,Y,z) в каждый момент времени. Необходимо также иметь соответствующие плотности условных вероятностей для представления модели перехода и модели восприятия; как и в главе 14, в данной главе будут использоваться линейные гауссовы распределения. Это означает, что следующее состояние xt+1 должно представлять собой линейную функцию от текущего состояния xt с добавлением какого-то гауссова шума, а такое предположение, как оказалось, является весьма оправданным на практике. Рассмотрим, например, координату X птицы, игнорируя на данный момент все другие координаты. Допустим, что интервал между наблюдениями равен А, и предположим, что птица летит с постоянной скоростью; в таком случае данные об обновлении ее положения определяются с помощью следующего уравнения:
Xt+д = Xt + X А
Если мы введем в него гауссов шум, то получим линейную гауссову модель перехода:
P(Xt+A=xt+A|Xt=Xt,Xt=xt) = ^(Xt+XtA/O) (хь+д)
Структура байесовской сети для системы с переменными, описывающими поло
жение xt и скорость xt, показана на рис. 15.5. Обратите внимание на то, что это — весьма специфичная форма линейной гауссовой модели; общая форма этой модели будет описана ниже в этом разделе; она охватывает колоссальный спектр приложений, выходящий за пределы простых примеров моделирования движений, приведенных в первом абзаце данного раздела. Читателю может потребоваться обратиться к приложению А для ознакомления с некоторыми математическими свойствами гауссовых распределений; для наших непосредственных целей наиболее важным из них является то, что ^ многомерное гауссово распределение для d переменных задается d-элементным средним ц и матрицей ковариации X с размерами dxd.
Обновление гауссовых распределений
В главе 14 было описано ключевое свойство семейства линейных гауссовых распределений: при стандартных операциях в байесовской сети оно остается замкнутым. В этом разделе данное утверждение будет уточнено в контексте фильтрации с помощью временной вероятностной модели. Ниже перечислены требуемые свойства, соответствующие процессу двухэтапного вычисления результатов фильтрации с помощью уравнения 15.3.
Если текущее распределение Р (xt | ei:t) является гауссовым, а модель перехода p(xt+1|xt) — линейной гауссовой, то распределение, прогнозируемое
на один этап вперед, которое задается с помощью следующего уравнения, также представляет собой гауссово распределение:
Рис. 15.5. Структура байесовской сети для линейной динамической системы с переменными, определяющими положение xt, скорость xt и результаты измерения позиции ZtРис. 15.5. Структура байесовской сети для линейной динамической системы с переменными, определяющими положение xt, скорость xt и результаты измерения позиции Zt
Рис. 15.5. Структура байесовской сети для линейной динамической системы с переменными, определяющими положение xt, скорость xt и результаты измерения позиции Zt
Рис. 15.5. Структура байесовской сети для линейной динамической системы с переменными, определяющими положение xt, скорость xt и результаты измерения позиции Zt
Если прогнозируемое распределение Р (xt+11 e1;t) является гауссовым, а модель восприятия Р (et+11 xt+1) — линейной гауссовой, то после обусловливания вероятности на основании нового свидетельства следующее обновленное распределение также является гауссовым:
(15.16)(15.16)Р (Xt+i | Si.. t+i) - ct P(et+i|Xt+i) P(Xt+i|ei;t)
(15.16)
(15.16)
Таким образом, оператор Forward для калмановской фильтрации принимает на входе гауссово прямое сообщение f1:t, заданное с помощью среднего pt и матрицы ковариации Et, и вырабатывает новое многомерное гауссово прямое сообщение f nt+i, заданное с помощью среднего pt+1 и матрицы ковариации St+1. Итак, начиная с гауссова априорного сообщения f1;0=p(x0) =2V(p0,X0) и проводя фильтрацию с помощью линейной гауссовой модели, мы можем получить гауссово распределение вероятностей состояний для любых временных срезов.
Очевидно, что этот научный результат является привлекательным и изящным, но почему он имеет такое важное значение? Причина этого состоит в том, что за исключением нескольких частных случаев, подобных рассматриваемому, с^= в процессе фильтрации с помощью непрерывных или гибридных (как дискретных, так и непрерывных) сетей вырабатываются распределения вероятностей состояний, размеры представления которых растут во времени без ограничения. Это утверждение нелегко доказать, но в упр. 15.5 показано, что в простых примерах так и происходит.
Простой одномерный пример
Как было указано выше, оператор Forward для фильтра Калмана отображает одно гауссово распределение на другое, новое гауссово распределение. Применение
этого оператора сводится к вычислению новых значений среднего и матрицы ковариации из предыдущих значений среднего и матрицы ковариации. Для вывода правила обновления в общем (многомерном) случае требуется большой объем выкладок в линейной алгебре, поэтому пока остановимся на очень простом одномерном случае, а позже будут даны результаты для общего случая. Но даже в одномерном случае вычисления являются довольно трудоемкими; тем не менее авторы считают, что с ними следует ознакомиться, поскольку применимость фильтра Калмана слишком тесно связана с математическими свойствами гауссовых распределений.
Во временной модели, которая будет здесь рассматриваться, представлено случайное блуждание единственной непрерывной переменной состояния xt, зарегистрированное с помощью зашумленных результатов наблюдения zt. Одним из соответствующих примеров может служить показатель “доверия потребителя”, который может быть промоделирован как переменная, подвергающаяся каждый месяц случайному изменению с вероятностью, представленной с помощью гауссова распределения, и измеряемая с помощью опроса случайно выбранных потребителей, в котором также вносится гауссов шум формирования выборки. Предполагается, что распределение априорных вероятностей является гауссовым, с дисперсией о02:
1< (Хо-Цо)Л
Ч По2 )
Ркх^ = ос е
(Для упрощения в этом разделе мы будем использовать один и тот же символ ос для обозначения всех констант нормализации.) В модели перехода просто добавляется гауссово возмущение постоянной дисперсии ох2 к текущему состоянию:
V(xt+i-xt)2^
Ч )
P(xt+i|xt) = а е
Это означает, что в модели восприятия должно быть принято предположение о наличии гауссова шума с дисперсией oz2:
l<(zt-xt)2\
Ч az2 )
P(zt|xt) = ос е
Теперь, после получения распределения априорных вероятностей Р(х0), мы можем вычислить распределение, прогнозируемое на один этап, с помощью уравнения 15.15:
1/(Х1-Хр)2\ 1Л (Хо-Цо)Л
ГооГоо Ч ах2 ) Ч По2 )
Р{х^ = IР(xi | хо) Р(хо) dx0 = ос ееdx0
2
Л»Qo OxJ
= oc edx0
На первый взгляд этот интеграл кажется довольно сложным. Ключом к его упрощению может стать такое замечание, что экспонента представляет собой сумму двух выражений, которые квадратично зависят от х0, и поэтому сама экспонента квадра-
тично зависит от х0. Но известно, что любое квадратное уравнение ах02 + Ьх0 + с может быть перезаписано как сумма терма, возведенного в квадрат, а(х0-^)2, и Ь2
остаточного терма с-^, независимого от х0, с помощью преобразования, называемого ^дополнением квадрата. Поэтому остаточный терм может быть вынесен за пределы интеграла, что приводит к получению следующего уравнения:
Теперь рассматриваемый интеграл представляет собой обычный интеграл гауссова распределения по всей области его определения, который равен 1. Таким образом, от квадратного уравнения сохраняется лишь его остаточный терм.
Вторым важным этапом является преобразование, выполняемое на основе того наблюдения, что остаточный терм должен иметь квадратичную зависимость от хь в действительности после его упрощения получаем следующее:
VtXl^Hol^ Л. а02+<тх2 /
Р(хх) = ос е
Таким образом, распределение, прогнозируемое на один этап, представляет собой гауссово распределение с тем же средним ц0 и дисперсией, равной сумме первоначальной дисперсии а02 и дисперсии перехода ох2. Даже краткие размышления позволяют понять, что такое соотношение интуитивно вполне оправдано.
Для завершения этапа обновления необходимо обусловить вероятность результатами наблюдения на первом временном этапе, а именно zv Согласно уравнению 15.16, такая операция осуществляется с помощью следующего уравнения:
P(xi|zi) = a P(zi|xi)P(xi)
l<(Zi-Xi)l<(Zi-Xi)
l<(Zi-Xi)
l<(Zi-Xi)
а е
Снова объединим экспоненты и дополним квадрат (упр. 15.6), получая следующее:
Р (Xi | zi) = а е
(15.17)(15.17)Таким образом, после одного цикла обновления будет получено новое гауссово распределение для переменной состояния.
(15.17)
(15.17)
На основании гауссовой формулы, приведенной в уравнении 15.17, можно определить, что новые значения среднего и среднеквадратичного отклонения можно вычислить на основе старых значений среднего и среднеквадратичного отклонения следующим образом:
Ht+i =Ht+i =(qt2+ax2) zt.i+azV
Ht+i =
Ht+i =
Ot2+Ox2+Oz2
at+i2at+i2(ас2+ах2)аг2_ 2 i 2 , _ 2 St +Qx +Qz(ас2+ах2)аг2_ 2 i 2 , _ 2 St +Qx +Qz(15.18)(15.18)
at+i2
at+i2
(ас2+ах2)аг2
_ 2 i 2 , _ 2 St +Qx +Qz
(ас2+ах2)аг2
_ 2 i 2 , _ 2 St +Qx +Qz
(15.18)
(15.18)
На рис. 15.6 показан один цикл обновления для конкретных значений модели перехода и модели восприятия.
Рис. 15.6. Этапы цикла обновления фильтра Калмана для случайного блуждания с априорной вероятностью, заданной параметрами Цо = 0.0 и а0 = 1.0, шумом перехода, заданным ах = 2.0, шумом восприятия, заданным аг = 1. О, и первым результатом наблюдения z2 = 2.5 (это значение показано звездочкой на оси х). Теперь следует отметить, что под влиянием шума перехода предсказание Р (xi) сглаживается относительно Р(х0). Заслуживает также внимания то, что среднее апостериорной вероятности Р (xi Izi) находится немного левее от результата наблюдения zi, поскольку это среднее представляет собой взвешенное среднее от предсказания и наблюденияРис. 15.6. Этапы цикла обновления фильтра Калмана для случайного блуждания с априорной вероятностью, заданной параметрами Цо = 0.0 и а0 = 1.0, шумом перехода, заданным ах = 2.0, шумом восприятия, заданным аг = 1. О, и первым результатом наблюдения z2 = 2.5 (это значение показано звездочкой на оси х). Теперь следует отметить, что под влиянием шума перехода предсказание Р (xi) сглаживается относительно Р(х0). Заслуживает также внимания то, что среднее апостериорной вероятности Р (xi Izi) находится немного левее от результата наблюдения zi, поскольку это среднее представляет собой взвешенное среднее от предсказания и наблюдения
Рис. 15.6. Этапы цикла обновления фильтра Калмана для случайного блуждания с априорной вероятностью, заданной параметрами Цо = 0.0 и а0 = 1.0, шумом перехода, заданным ах = 2.0, шумом восприятия, заданным аг = 1. О, и первым результатом наблюдения z2 = 2.5 (это значение показано звездочкой на оси х). Теперь следует отметить, что под влиянием шума перехода предсказание Р (xi) сглаживается относительно Р(х0). Заслуживает также внимания то, что среднее апостериорной вероятности Р (xi Izi) находится немного левее от результата наблюдения zi, поскольку это среднее представляет собой взвешенное среднее от предсказания и наблюдения
Рис. 15.6. Этапы цикла обновления фильтра Калмана для случайного блуждания с априорной вероятностью, заданной параметрами Цо = 0.0 и а0 = 1.0, шумом перехода, заданным ах = 2.0, шумом восприятия, заданным аг = 1. О, и первым результатом наблюдения z2 = 2.5 (это значение показано звездочкой на оси х). Теперь следует отметить, что под влиянием шума перехода предсказание Р (xi) сглаживается относительно Р(х0). Заслуживает также внимания то, что среднее апостериорной вероятности Р (xi Izi) находится немного левее от результата наблюдения zi, поскольку это среднее представляет собой взвешенное среднее от предсказания и наблюдения
Приведенная выше пара уравнений играет точно такую же роль, как и общее уравнение фильтрации, 15.3, или уравнение фильтрации НММ, 15.10. Но в связи с особым характером гауссовых распределений эти уравнения обладают также некоторыми интересными дополнительными свойствами. Во-первых, можно интерпретировать вычисление нового значения среднего pt+i как вычисление взвешенного среднего от новых результатов наблюдения zt+1 и старого значения среднего pt. Если результаты наблюдения являются ненадежными, то значение oz2 увеличивается и мы придаем больший вес старому значению среднего, а если ненадежно старое значение среднего (велико значение ot2) или процесс является в высшей степени непредсказуемым (велико значение ох2), то придаем больший вес результатам наблюдения. Во-вторых, следует отметить, что обновление для дисперсии ot+12 является независимым от результатов наблюдения. Поэтому можно заранее определить путем вычисления, какой должна быть последовательность значений дисперсии. В-третьих, последовательность значений дисперсии быстро сходится к постоянному значению, которое зависит только от ох2 и oz2, что способствует существенному упрощению дальнейших вычислений (см. упр. 15.7).
Общий случай
Приведенные выше результаты анализа иллюстрируют ключевое свойство гауссовых распределений, которое обеспечивает функционирование методов калманов- ской фильтрации: тот факт, что экспонента находится в квадратичной форме. Указанное свойство относится не только к одномерному случаю; полное многомерное гауссово распределение имеет следующую форму:
-■|-( (х-ц)(х-ц) )
N^,^) (х) = ос е
Кроме того, произведение термов в экспоненте ясно показывает, что экспонента также является квадратичной функцией от случайных переменных xi$ которые относятся к х. Как и в одномерном случае, операция обновления фильтрации сохраняет гауссов характер распределения вероятностей состояний.
Вначале определим общую временную модель, применяемую в процедуре калма- новской фильтрации. И модель перехода, и модель восприятия позволяют применять линейное преобразование с дополнительным гауссовым шумом. Таким образом, получаем следующее:
P(xM|xt) = ^(Fxt/Zx) (xt+x)
P(zt|xt) = 2V(Hxt,Sz) (zj(15.19)
где F и Sx — матрицы, описывающие линейную модель перехода и ковариацию шума перехода; н и Sz — соответствующие матрицы для модели восприятия. Теперь уравнения обновления для среднего и ковариации в их полном, ужасающе сложном виде становятся таковыми:
Pt+i = Fpt + Kt+i(zt+i - HF|lt)
Xt.i = (I-Kt.i) (FStFT+Sx)(15.20)
где Kt+1= (FStFT+Sx)HT(H(FStFT+Sx)HT4-Ex) 1 называется ^ калмановской матрицей усиления. Хотите — верьте, хотите — нет, но эти уравнения имеют определенный интуитивный смысл. Например, рассмотрим обновление для оценки значения среднего р, для некоторого состояния. Терм Fp,t представляет собой прогнозируемое состояние в момент времени t+1, поэтому HFgt является прогнозируемым результатом наблюдения. Таким образом, терм zt+1-HFpt соответствует ошибке в прогнозируемых результатах наблюдений. Это значение умножается на Kt+1 для корректировки прогнозируемого состояния, поэтому Kt+1 представляет собой меру того, насколько важными следует считать новые результаты наблюдения применительно к предсказанию. Как и при использовании уравнения 15.18, соблюдается такое свойство, что обновление дисперсии не зависит от результатов наблюдений. Поэтому последовательность значений St и Kt может быть вычислена в автономном режиме, т.е. фактический объем вычислений, требуемых во время оперативного слежения, становится весьма скромным.
Для иллюстрации этих уравнений в действии мы применили их к задаче слежения за объектом, движущимся на плоскости X—Y. Переменными состояния являются Х= (X, Y, X, У)т, поэтому F, 5Х, Н и Ez представляют собой матрицы с размерами 4x4. На рис. 15.7, а показаны истинная траектория, ряд зашумленных результатов
наблюдения и траектория, оцениваемая с помощью калмановской фильтрации, наряду с ковариациями, указанными с помощью контуров единичного среднеквадратичного отклонения. Процесс фильтрации позволяет весьма успешно следить за фактическим перемещением, к тому же, как и предполагалось, дисперсия быстро достигает фиксированной точки.
х ха) б)
Рис. 15.7. Примеры применения уравнений фильтрации и сглаживания: результаты калмановской фильтрации для объекта, движущегося по плоскости Х—Ч, которые показывают истинную траекторию (слева направо), ряд зашумленных наблюдений и траекторию, оцениваемую с помощью калмановской фильтрации; дисперсия в оценке позиции показана с помощью овалов (а); результаты калмановского сглаживания для той же последовательности результатов наблюдения (б)
Мы можем вывести не только уравнения фильтрации с помощью линейных гауссовых моделей, но и уравнения сглаживания. Результаты сглаживания показаны на рис. 15.7,6. Обратите внимание на то, как резко сокращается дисперсия в оценке позиции, за исключением концов траектории (объясните, почему), и насколько более гладкой становится оцениваемая траектория.
Области применения калмановской фильтрации
Методы, основанные на использовании фильтров Калмана и их модификаций, применяются в самых различных приложениях. Одним из “классических” приложений является слежение за самолетами и ракетами с помощью радаров. К такому же типу относятся приложения, в которых осуществляется слежение за подводными лодками и наземными транспортными средствами по звуку, а также визуальное слежение за транспортными средствами и людьми. К немного более узким областям применения относится использование фильтров Калмана для реконструкции траектории частиц по фотографиям, сделанным в пузырьковой камере, и океанских течений по данным измерений, выполненных на поверхности океана со спутников. Но спектр таких приложений далеко выходит за пределы простого отслеживания движений — к ним относится любая система, характеризующаяся непрерывными переменными состояния и зашумленными результатами измерений. К числу подоб-
ных систем относятся целлюлозные фабрики, химические установки, ядерные реакторы, экосистемы растений и национальные экономики.
Тот факт, что калмановская фильтрация может применяться к некоторой системе, не означает, что результаты этого будут действительными или полезными, поскольку используемые при этом допущения (о том, что модели перехода и модели восприятия относятся к типу линейных гауссовых) являются очень строгими. В ^ расширенном фильтре Калмана (Extended Kalman Filter — EKF) предпринимается попытка преодолеть нелинейности моделируемой системы. Система является нелинейной, если ее модель перехода нельзя описать с помощью матричного умножения векторов состояния, как в уравнении 15.19. Фильтр EKF действует посредством моделирования системы как локально линейной в области xt=p.t, т.е. в той области, где переменные xt равны среднему текущего распределения вероятностей состояний. Этот фильтр хорошо действует применительно к гладким системам с устойчивым поведением и позволяет программе слежения сопровождать и обновлять гауссово распределение вероятностей состояния, которое является приемлемой аппроксимацией истинной апостериорной вероятности.
А что подразумевается под системой, которая “не является гладкой” или “поведение которой неустойчиво”? Формально под этим подразумевается, что отклик системы в области, “близкой” (согласно ковариации St) к текущему среднему p,t, показывает существенную нелинейность. Чтобы понять суть этого описания неформально, рассмотрим пример слежения за птицей, которая летит через джунгли. Иногда создается впечатление, что птица направляется на высокой скорости прямо на ствол дерева. Фильтр Калмана (обычный или расширенный) позволяет получить только гауссово предсказание местонахождения птицы, притом что среднее соответствующего гауссова распределения будет находиться напротив центра ствола, как показано на рис. 15.8, а. Но более приемлемая модель полета птицы, с другой стороны, должна предсказывать ее действия по уклонению от удара об ствол путем поворота в одну сторону или в другую, как показано на рис. 15.8, б. Такая модель является в высшей степени нелинейной, поскольку птица принимает решение по уклонению от удара внезапно, в зависимости от того, где именно она находится по отношению к стволу.
Очевидно, что для работы с примерами, подобными этому, требуется более выразительный язык представления поведения моделируемой системы. В сообществе специалистов по теории управления, для которых в таких задачах, как маневры самолета по предотвращению столкновения, возникают аналогичные сложности, разработан стандартный подход — М переключательные фильтры Калмана. В этом подходе предусмотрена одновременная эксплуатация нескольких фильтров Калмана, в каждом из которых используются разные модели систем, например, в одном из них моделируется прямой полет, в другом — резкий поворот налево, а в третьем — резкий поворот направо. При этом используется взвешенная сумма предсказаний, где вес зависит от того, насколько полно данные каждого фильтра совпадают с текущими данными. Как показано в следующем разделе, такой подход представляет собой частный случай общей модели динамической байесовской сети, созданной путем введения дискретной переменной состояния “маневра” в сеть, показанную на рис. 15.5. Переключательные фильтры Калмана рассматриваются дополнительно в упр. 15.5.
Рис. 15.8. Пример с птицей, летящей прямо на дерево (вид сверху): фильтр Колмана предсказывает местонахождение птицы с использованием единственного гауссова распределения, центр которого находится напротив препятствия (а); более реалистичная модель допускает выполнение птицей действия по уклонению от столкновения с препятствием, предсказывая, что птица облетит препятствие с одной стороны или с другой (б)Рис. 15.8. Пример с птицей, летящей прямо на дерево (вид сверху): фильтр Колмана предсказывает местонахождение птицы с использованием единственного гауссова распределения, центр которого находится напротив препятствия (а); более реалистичная модель допускает выполнение птицей действия по уклонению от столкновения с препятствием, предсказывая, что птица облетит препятствие с одной стороны или с другой (б)
Рис. 15.8. Пример с птицей, летящей прямо на дерево (вид сверху): фильтр Колмана предсказывает местонахождение птицы с использованием единственного гауссова распределения, центр которого находится напротив препятствия (а); более реалистичная модель допускает выполнение птицей действия по уклонению от столкновения с препятствием, предсказывая, что птица облетит препятствие с одной стороны или с другой (б)
Рис. 15.8. Пример с птицей, летящей прямо на дерево (вид сверху): фильтр Колмана предсказывает местонахождение птицы с использованием единственного гауссова распределения, центр которого находится напротив препятствия (а); более реалистичная модель допускает выполнение птицей действия по уклонению от столкновения с препятствием, предсказывая, что птица облетит препятствие с одной стороны или с другой (б)
Динамические байесовские сети
^Динамической байесовской сетью, или сокращенно DBN (Dynamic Bayesian Network), называется байесовская сеть, которая представляет временную вероятностную модель такого типа, как описано в разделе 15.1. В данной главе уже рассматривались примеры сетей DBN: сеть для задачи с зонтиком (см. рис. 15.2) и сеть фильтра Калмана (см. рис. 15.5). Вообще говоря, каждый временной срез сети DBN может иметь любое количество переменных состояния xt и переменных свидетельства Et. Для упрощения мы будем предполагать, что переменные и связи между ними точно тиражируются от среза к срезу и что сеть DBN представляет марковский процесс первого порядка, так что каждая переменная может иметь родительские переменные только в своем собственном временном срезе или в непосредственно предшествующем временном срезе.
Должно быть очевидно, что любая скрытая марковская модель может быть представлена в виде сети DBN с единственной переменной состояния и с единственной переменной свидетельства. Справедливо также утверждение, что каждая сеть DBN с дискретными переменными может быть представлена в виде модели НММ; как было описано в разделе 15.3, можно скомбинировать все переменные состояния в сети DBN в одну переменную состояния, значениями которой являются все возможные кортежи значений отдельных переменных состояния. Итак, если каждая модель НММ представляет собой сеть DBN, а каждая сеть DBN может быть преобразована в модель НММ, то в чем состоит различие между ними? Это различие заключается в том, что с^ благодаря декомпозиции состояния сложной системы на составляющие его переменные сеть DBN позволяет воспользоваться преимуществами разреженности временной вероятностной модели. Предположим, например, что в се-
ти DBN имеется 20 булевых переменных состояния, каждая из которых имеет три родительских переменных в предшествующем срезе. В таком случае модель перехода DBN включает 2 0х23=160 вероятностей, а соответствующая модель НММ имеет 220 состояний и поэтому 240 (или примерно триллион) вероятностей в матрице перехода. Такая ситуация неприемлема по меньшей мере по трем причинам: во-первых, требуется гораздо больше пространства для самой модели НММ; во-вторых, из-за огромной матрицы перехода вероятностный вывод с помощью модели НММ становится гораздо более дорогостоящим; и, в-третьих, из-за проблем, связанных с изучением такого огромного количества параметров, чистая модель НММ становится непригодной для решения крупных задач. Связь между сетями DBN и моделями НММ примерно аналогична связи между обычными байесовскими сетями и полностью табулированными совместными распределениями.
Как уже было описано выше, каждая модель с фильтром Калмана может быть представлена в виде сети DBN с непрерывными переменными и линейными гауссовыми распределениями условных вероятностей (см. рис. 15.5). Согласно сведениям, приведенным в конце предыдущего раздела, должно быть очевидно, что не каждая сеть DBN может быть представлена с помощью модели с фильтром Калмана. В фильтре Калмана текущее распределение вероятностей состояния всегда представляет собой единственное многомерное гауссово распределение, т.е. распределение с единственным “максимумом”, расположенным в определенном месте. Сети DBN, с другой стороны, позволяют моделировать произвольные распределения. Такая гибкость является весьма существенным подспорьем для многих реальных приложений. Рассмотрим, например, текущее местонахождение ключей от дома, принадлежащих некоторому лицу. Они могут находиться в его кармане, на ночном столике, в ящике кухни или торчать в замочной скважине входной двери. Единственный гауссов максимум, который охватывает распределения вероятностей нахождения ключей во всех этих местах, назначил бы значительную вероятность тому предположению, что ключи находятся где-то в промежуточной позиции, например висят прямо в воздухе в прихожей. Таким образом, реальный мир, характеризующийся наличием целенаправленных агентов, препятствий и тупиков, приводит к созданию “нелинейности” и поэтому требует применения сочетаний дискретных и непрерывных переменных для того, чтобы можно было создавать приемлемые модели.
Процедура создания сетей DBN
Для того чтобы создать сеть DBN, необходимо определить три вида информации: распределение априорных вероятностей по переменным состояния, Р(х0); модель перехода, Р (xt+11 xt), и модель восприятия, Р (Et | xt). Чтобы задать модель перехода и модель восприятия, необходимо определить топологию связей между последовательными срезами, а также между переменными состояния и свидетельства. Поскольку предполагается, что модели перехода и восприятия являются стационарными (одинаковыми для всех t), удобнее всего задать их для первого среза. Например, полная спецификация DBN для мира задачи с зонтиком дана с помощью сети с тремя узлами, показанной на рис. 15.9,6/. На основании этой спецификации по мере необходимости может быть создана полная (полубесконечная) сеть DBN путем копирования первого среза.
Рис. 15.9. Примеры создания сетей DBN: спецификация распределения априорных вероятностей модели перехода и модели восприятия для сети DBN задачи с зонтиком; предполагается, что все последующие срезы являются копиями среза 1 (а); простая сеть DBN для моделирования движения робота на плоскости X—Y (б)
Теперь рассмотрим более интересный пример: текущий контроль за роботом с аккумуляторным питанием, который движется на плоскости X—Y (о нем впервые шла речь в разделе 15.1). Прежде всего необходимо определить переменные состояния, в состав которых мы включим и переменную xt = (Xt, Yt), обозначающую положение, и переменную xt = (Xt, yt), обозначающую скорость. Предполагается, что для измерения координат положения используется определенный метод (возможно, фиксированная телекамера или бортовая система GPS (Global Positioning System — глобальная система позиционирования)), позволяющий получить результаты измерений zt. Положение робота в следующем временном интервале зависит от текущего положения и скорости, как и при использовании стандартной модели с фильтром Калмана. Скорость в следующем временном интервале зависит от текущей скорости и состояния зарядки аккумулятора. Введем переменную Battery^ для обозначения фактического уровня зарядки аккумулятора, родительскими переменными которой являются предыдущий уровень зарядки аккумулятора и скорость, а также введем переменную BMetert, которая измеряет уровень зарядки аккумулятора. В результате будет получена исходная модель, показанная на рис. 15.9, б.
Характер модели восприятия для переменной BMetert заслуживает более глубокого анализа. Для упрощения предположим, что переменные Battery. и BMetert могут принимать дискретные значения от 0 до 5, во многом аналогично измерительному прибору в типичном портативном компьютере, который применяется для контроля за аккумулятором. Если этот прибор всегда дает точные показания, то таблица условных вероятностей Р (BMetert | Battery^ должна содержать вероятности 1. О в элементах, расположенных “вдоль диагонали”, и вероятности 0 . О во всех других элементах. Но в действительности в результаты измерения всегда проникает шум, поэтому при использовании непрерывных измерений вместо этих результатов
может использоваться гауссово распределение с небольшой дисперсией. Применительно к дискретным переменным, рассматриваемым в данном примере, гауссово распределение можно аппроксимировать с помощью распределения, в котором снижение вероятности ошибки соответствует реальной ситуации, поэтому вероятность крупной ошибки весьма мала. Мы будем использовать термин ^ гауссова модель ошибки применительно и к непрерывной, и к дискретной версиям.
Те, кто имеет практический опыт работы в области робототехники, компьютеризированного управления процессами или в области применения других форм автоматического сбора информации, охотно подтвердят тот факт, что небольшие количества измерительного шума часто являются не самыми серьезными проблемами. Гораздо важнее то, что настоящие датчики отказывают, а когда датчик отказывает, он не всегда посылает сигнал с сообщением: “Между прочим, данные, которые я собираюсь вам отправить, можно считать бессмысленными”. Вместо этого он просто передает бессмыслицу. Отказом простейшего типа является ^ временный отказ, при котором датчик время от времени передает бессмысленные данные. Например, может оказаться, что датчик уровня зарядки аккумулятора имеет свойство передавать нулевое значение каждый раз, когда робот ударяется о препятствие, даже если аккумулятор полностью заряжен.
Рассмотрим, что произойдет при возникновении временного отказа, если используется гауссова модель ошибок, которая не приспособлена к таким отказам. Предположим, например, что робот спокойно ожидает и наблюдает за 20 последовательными показаниями датчика аккумулятора, равными 5. Затем датчик аккумулятора допускает временный сбой и передает следующее показание: BMeter21=0. К какому решению должна привести нас простая гауссова модель ошибки применительно к этому значению Ba t tery21? Согласно правилу Байеса, ответ на этот вопрос зависит и от модели восприятия Р кBMeter21=0\ Battery^ , и от предсказания Р lBattery21\ BMeter1;20L Если вероятность большой ошибки датчика является значительно менее правдоподобной, чем вероятность перехода в состояние Battery21=0, даже если последняя ситуация весьма неправдоподобна, то в распределении апостериорных вероятностей будет присвоена высокая вероятность той ситуации, что аккумулятор разряжен. Если же в момент времени с=22 будет получено еще одно показание, равное нулю, то такой вывод станет почти полностью безоговорочным. А после того, как этот временный отказ исчезнет и показания вернутся к 5, начиная с момента с=23 и продолжаясь в последующие моменты, то оценка уровня зарядки аккумулятора, как по волшебству, быстро вернется к 5. Такой ход событий проиллюстрирован на верхней кривой, приведенной на рис. 15.10, а, где показано ожидаемое изменение значения переменной Batteryt во времени при использовании дискретной гауссовой модели ошибки.
Несмотря на последующее восстановление правильных показаний, есть такой момент времени (t=22), в котором робот получил сообщение о разрядке аккумулятора, а в такой ситуации он должен, в принципе, передать сигнал тревоги и отключиться. Итак, к сожалению, чрезмерно упрощенная модель восприятия завела робота в тупик. Как можно исправить такое положение? Рассмотрим знакомый многим
пример, в котором при вождении автомобиля на резких поворотах или крутых подъемах иногда загорается сигнал “топливный бак пуст”. Но, вместо того чтобы искать телефон аварийной службы, водитель вспоминает, что датчик уровня топлива иногда допускает очень большую ошибку, когда топливо плещется в баке. Мораль этой истории состоит в следующем: с^= для того чтобы система правильно учитывала отказы датчика, модель восприятия должна допускать вероятность его отказа.
В модели отказа простейшего вида для датчика допускается определенная вероятность того, что датчик может выдать полностью неправильное значение, независимо от истинного состояния мира. Например, если прибор на аккумуляторе на время отказывает, возвращая значение 0, то можно ввести значение
Р (ВМе tert= 0 | Batt eryt=5 ) = 0.03
которое, очевидно, значительно больше, чем вероятность, присваиваемая при использовании простой гауссовой модели ошибки. Назовем соответствующую модель
моделью временного отказа. Как она может помочь, если мы столкнемся с показанием датчика, равным 0? При условии, что прогнозируемая вероятность полной разрядки аккумулятора, согласно полученным до сих пор показаниям, гораздо меньше 0.03, то наилучшим объяснением причин наблюдения BMeter2^^ является то, что произошел временный отказ датчика. Интуитивно ясно, что можно рассматривать уверенность в истинности данных об уровне зарядки аккумулятора как имеющую определенную долю “инерции”, которая позволяет преодолеть временные сбои в показаниях датчика. Верхняя кривая на рис. 15.10, б показывает, что модель временного отказа позволяет преодолевать временные отказы без катастрофического изменения в представлениях об истинности данных.
На этом описание временных отказов оканчивается. А что будет, если отказ датчика окажется постоянным? К сожалению, отказы такого типа встречаются слишком часто. Если датчик возвратит 20 показаний со значением 5, за которыми последует 20 показаний со значением 0, то применение модели временного отказа датчика, описанной в предыдущем абзаце, приведет к тому, что робот постепенно придет к выводу, что его аккумулятор разряжен, тогда как в действительности мог произойти отказ датчика. Нижняя кривая, приведенная на рис. 15.10, б, показывает “траекторию” изменения уверенности в истинности показаний датчика для этого случая. Ко времени t=2 5 (после получения пяти показаний датчика, равных 0) робот приходит к выводу, что его аккумулятор разряжен. Безусловно, мы предпочли бы, чтобы робот приобрел уверенность в том, что неисправен прибор на его аккумуляторе (если такая ситуация действительно является гораздо более вероятной).
Нет ничего удивительного в том, что для учета постоянных отказов требуется М модель постоянного отказа, которая описывает, как датчик ведет себя при нормальных условиях и после отказа. Для этого необходимо дополнить скрытое состояние системы дополнительной переменной, скажем, BMBroken, которая описывает состояние прибора аккумулятора. Постоянство отказа может быть промоделировано дугой, связывающей переменные вмвгокеп0 и вмвгокеп^. Такая М дуга постоянства имеет таблицу условных вероятностей, которая задает на каждом временном интервале малую вероятность отказа, допустим 0.001, но определяет, что датчик после выхода из строя остается неисправным. Если датчик исправен, то модель восприятия для переменной BMeter идентична модели временного отказа, а после того
как датчик становится неисправным, эта модель указывает, что значение BMeter всегда равно 0, независимо от фактической зарядки аккумулятора.
Времяt а)Времяt а)1515£№^...5555005555...)£№^...5555005555...)кк£№^yJ---55 55000000...)£№^yJ---55 55000000...)202530202530Время /б)Время /б)
Времяt а)
Времяt а)
15
15
£№^...5555005555...)
£№^...5555005555...)
к
к
£№^yJ---55 55000000...)
£№^yJ---55 55000000...)
202530
202530
Время /б)
Время /б)
Рис. 15.10. Пример применения модели временного отказа: верхняя кривая — траектория ожидаемого значения переменной Batteryt для последовательности наблюдений, состоящей из всех значений 5, кроме показаний, равных 0, в моменты времени 1=21 и t=22, если используется простая гауссова модель ошибки; нижняя кривая — траектория, при которой результаты наблюдения остаются на уровне 0, начиная с момента времени 1=21 (а); такой же эксперимент, проведенный с использованием модели временного отказа (б); обратите внимание на то, что временный отказ преодолевается успешно, а постоянный приводит к излишне пессимистическому поведению
Модель постоянного отказа для датчика аккумулятора показана на рис. 15.11, а. Показатели ее производительности при двух последовательностях данных (временный сбой и постоянный отказ) приведены на рис. 15.11, б. В отношении этих кривых необходимо сделать несколько замечаний. Прежде всего, в случае временного сбоя вероятность того, что датчик вышел из строя, существенно повышается после второго показания со значением 0, но немедленно падает вновь до нуля после получения результатов наблюдения 5. Далее, в случае постоянного отказа вероятность того, что датчик неисправен, быстро повышается почти до 1 и остается на этом уровне. Наконец, как только становится известно, что датчик стал неисправным, робот может лишь руководствоваться предположением, что его аккумулятор разряжается с “обычной” скоростью, как показывает постепенно снижающийся уровень ЕkBatteryt |...).
В приведенном выше описании мы лишь слегка коснулись поверхности проблемы представления сложных процессов. Применяемое на практике разнообразие моделей перехода является буквально огромным и охватывает такие разные направления, как моделирование эндокринной системы человека и моделирование потока, состоящего из большого количества автомобилей, движущихся по скоростному шоссе. Создание моделей восприятия также представляет собой обширную самостоятельную область, но практика показала, что динамические байесовские сети позволяют явно представить даже такие тонкие феномены, как дрейф датчика, внезапная раскалибровка и влияние на показания датчика внешних условий (таких как погода).
54? 3<§ 21О-154? 3<§ 21О-1Е(Battery^.. 5555005555...)Е(Battery^.. 5555005555...)£№^...5555000000...)£№^...5555000000...)Р(ВМВгоке^..5555000000...)^..Q..Q..£]...Q..Q..Q..Q..£3...Q..QР(ВМВгокепу.5555005555...)Р(ВМВгоке^..5555000000...)^..Q..Q..£]...Q..Q..Q..Q..£3...Q..QР(ВМВгокепу.5555005555...)1520253015202530Время/Время/
5
4
? 3
<§ 2
1
О
-1
5
4
? 3
<§ 2
1
О
-1
Е(Battery^.. 5555005555...)
Е(Battery^.. 5555005555...)
£№^...5555000000...)
£№^...5555000000...)
Р(ВМВгоке^..5555000000...)
^..Q..Q..£]...Q..Q..Q..Q..£3...Q..Q
Р(ВМВгокепу.5555005555...)
Р(ВМВгоке^..5555000000...)
^..Q..Q..£]...Q..Q..Q..Q..£3...Q..Q
Р(ВМВгокепу.5555005555...)
15202530
15202530
Время/
Время/
б)
Рис. 15.11. Пример применения модели постоянного отказа: фрагмент сети DBN, в котором показаны переменные состояния датчика, необходимые для моделирования постоянного отказа датчика аккумулятора (а); верхние кривые— траектории ожидаемого значения переменной Batteryt для последовательностей наблюдений, характерных для “временного отказа” и “постоянного отказа”; нижние кривые — траектории вероятностей для переменной ВМВгокеп при наличии двух указанных последовательностей наблюдений (б)
Точный вероятностный вывод в сетях DBN
Кратко рассмотрев некоторые идеи, касающиеся представления сложных процессов в виде сетей DBN, перейдем теперь к вопросу вероятностного вывода. В определенном смысле на этот вопрос уже был получен ответ: динамические байесовские сети прежде всего представляют собой байесовские сети, а мы уже имеем алгоритмы для осуществления вероятностного вывода в байесовских сетях. При наличии последовательности наблюдений может быть создано представление сети DBN в виде полной байесовской сети путем повторения временных срезов до тех пор, пока сеть не станет достаточно большой, чтобы в ней можно было учесть все наблюдения, как показано на рис. 15.12. Такой метод называется М развертыванием. (С формальной точки зрения сеть DBN эквивалентна по- лубесконечной сети, полученной путем развертывания в одну сторону до бесконечности. Но временные срезы, вводимые за пределами последнего наблюдения, не оказывают влияния на вероятностные выводы в пределах периода наблюдения и поэтому могут быть исключены.) После того как сеть DBN развернута, в ней может использоваться любой из алгоритмов вероятностного вывода (алгоритм с устранением переменной, методы соединенного дерева и т.д.), описанные в главе 14.
К сожалению, непродуманное применение развертывания не всегда оказывается достаточно эффективным. В частности, если требуется выполнение фильтрации или сглаживания с использованием длинной последовательности наблюдений e1:t, то для развернутой сети потребуется пространство О( t), а рост ее по мере добавления новых результатов наблюдений будет происходить неограниченно. Более того, если после каждого добавления новых результатов наблюдения будет просто вновь вызываться на выполнение алгоритм вероятностного вывода, то затраты времени на вероятностный вывод в расчете на каждое обновление также будут расти пропорционально о k tv
Рис. 15.12. Развертывание динамической байесовской сети: для размещения результатов последовательности наблюдений дублируются временные срезы (обозначенные овалами с жирными контурами). Следующие срезы не влияют на вероятностные выводы в период наблюденияРис. 15.12. Развертывание динамической байесовской сети: для размещения результатов последовательности наблюдений дублируются временные срезы (обозначенные овалами с жирными контурами). Следующие срезы не влияют на вероятностные выводы в период наблюдения*1P(U\)t f83*1P(U\)t f83r7P(U^t f0,9 0,2r7P(U^t f0,9 0,2R3P(U9t f0,9 0,2R3P(U9t f0,9 0,214tJ0.90.214tJ0.90.2
Рис. 15.12. Развертывание динамической байесовской сети: для размещения результатов последовательности наблюдений дублируются временные срезы (обозначенные овалами с жирными контурами). Следующие срезы не влияют на вероятностные выводы в период наблюдения
Рис. 15.12. Развертывание динамической байесовской сети: для размещения результатов последовательности наблюдений дублируются временные срезы (обозначенные овалами с жирными контурами). Следующие срезы не влияют на вероятностные выводы в период наблюдения
*1
P(U\)
t f
83
*1
P(U\)
t f
83
r7
P(U^
t f
0,9 0,2
r7
P(U^
t f
0,9 0,2
R3
P(U9
t f
0,9 0,2
R3
P(U9
t f
0,9 0,2
14
t
J
0.9
0.2
14
t
J
0.9
0.2
Еще раз обратившись к разделу 15.2, можно отметить, что постоянных затрат времени и пространства в расчете на каждое обновление при фильтрации можно достичь, если существует возможность выполнять вычисление в рекурсивной форме. По сути обновление результатов фильтрации в уравнении 15.3 осуществляется по принципу исключения путем суммирования переменных состояния, относящихся к предыдущему временному этапу, что позволяет получить распределение для нового временного этапа. Исключение переменных путем суммирования представляет собой именно то, что выполняет алгоритм устранения переменной (см. листинг 14.2), и, как оказалось, применение процедуры устранения переменной к переменным во временном порядке точно моделирует функционирование рекурсивного обновления результатов фильтрации в уравнении 15.3. В модифицированном алгоритме предусмотрено одновременное хранение в памяти не больше двух временных срезов: начиная со среза 0, добавляем срез 1, затем исключаем путем суммирования срез 0, после этого добавляем срез 2, на следующем этапе исключаем путем суммирования срез 1 и т.д. Такая организация вычислений позволяет добиться постоянных затрат пространства и времени в расчете на каждое обновление результатов фильтрации. (Такой же производительности можно достичь путем введения соответствующих модификаций в алгоритм соединенного дерева.) В упр. 15.10 предлагается проверить это утверждение на примере сети для задачи с зонтиком.
До сих пор рассматривались только преимущества рекурсивного подхода, но он имеет и недостатки: как оказалось, “постоянные” значения временной и пространственной сложности каждой операции обновления почти во всех случаях экспоненциально зависят от количества переменных состояния. В связи с этим в ходе осуществления процесса устранения переменной количество факторов возрастает так, что в их состав начинают входить все переменные состояния (или, точнее, все те переменные состояния, которые имеют родительские переменные в предыдущем временном срезе). Максимальный размер фактора составляет o^cf1*1), а стоимость обновления измеряется как О (cf+2).
Безусловно, такие значения намного меньше по сравнению со стоимостью обновления НММ, которая составляет O(d2n), но они все еще неприемлемы при наличии большого количества переменных. С этим обескураживающим фактом довольно трудно смириться, поскольку он означает, что ^ даже несмотря на то, что сети DBN могут использоваться для представления очень сложных временных процессов с многочисленными переменными, характеризующимися разрозненными связями между
ними, не существует возможности эффективно и точно формировать вероятностные рассуждения об этих процессах. Сама модель DBN, которая представляет априорное совместное распределение по всем переменным, может быть разложена на составляющие ее таблицы условных вероятностей, но обусловленное последовательностью наблюдений апостериорное совместное распределение (т.е. прямое сообщение), как правило, не поддается разбиению на факторы. До сих пор еще никому не удалось найти способа решения этой проблемы, несмотря на то, что многие важные области науки и техники получили бы огромную выгоду благодаря такому решению. Поэтому нам приходится обращаться к приближенным методам.
Приближенный вероятностный вывод в сетях DBN
В главе 14 были описаны два алгоритма аппроксимации — взвешивание с учетом правдоподобия (см. листинг 14.5) и метод Монте-Карло на основе цепи Маркова (алгоритм МСМС, см. листинг 14.6). Из этих двух алгоритмов наиболее легко к контексту DBN адаптируется первый алгоритм. Тем не менее, как будет показано ниже, в стандартный алгоритм взвешивания с учетом правдоподобия необходимо внести несколько усовершенствований, прежде чем появится практически применимый метод.
Напомним, что метод взвешивания с учетом правдоподобия действует по принципу осуществления в топологическом порядке выборок в узлах сети, не являющихся узлами свидетельства, и взвешивания каждой выборки с учетом правдоподобия того, что она соответствует наблюдаемым переменным свидетельства. Как и при использовании точных алгоритмов, алгоритм взвешивания с учетом правдоподобия можно было бы применить непосредственно к развернутой сети DBN, но по мере увеличения длины последовательностей наблюдений это привело бы к возникновению таких же сложностей, связанных с увеличением требований ко времени и пространству в расчете на каждое обновление. Проблема состоит в том, что в стандартном алгоритме каждая выборка обрабатывается последовательно, по всей сети. Вместо этого можно просто пропустить через сеть DBN все N выборок вместе, проходя каждый раз через один временной срез. Этот модифицированный алгоритм имеет такую же общую форму, как и другие алгоритмы фильтрации, но в нем в качестве прямого сообщения используется множество из N выборок. Поэтому первым ключевым усовершенствованием должно быть то, чтобы в этом алгоритме ^ в качестве приближенного представления текущего распределения вероятностей состояния использовались сами выборки. Такая организация работы соответствует требованию обеспечения “постоянных” затрат времени в расчете на каждое обновление, хотя само это постоянное значение зависит от количества выборок, необходимых для достижения приемлемой аппроксимации истинного апостериорного распределения. Кроме того, нет необходимости развертывать сеть DBN, поскольку в памяти требуется держать только текущий временной срез и следующий временной срез.
В описании метода взвешивания с учетом правдоподобия, приведенного в главе 14, было указано, что точность алгоритма снижается, если переменные свидетельства находятся в “прямом направлении” от переменных, по которым осуществляется выборка, поскольку в таком случае выборки формируются, не испытывая какого- либо влияния со стороны свидетельства. Рассматривая типичную структуру сети DBN (допустим, сети DBN для задачи с зонтиком на рис. 15.12), можно убедиться в том, что в действительности выборку ранее полученных переменных состояния
можно осуществлять, не пользуясь полученным в дальнейшем свидетельством. Проанализировав фактически этот вопрос более внимательно, можно обнаружить, что ни у одной из переменных состояния не имеется среди ее предков ни одной переменной свидетельства! Поэтому, хотя вес каждой выборки зависит от свидетельства, фактически сформированное множество выборок является полностью независимым от свидетельства. Например, даже если директор ходит с зонтиком каждый день, в процессе осуществления выборки все еще может создаваться впечатление, что солнечные дни не кончаются. С точки зрения практики это означает, что доля выборок, остающихся достаточно близкими к фактическому ряду событий, падает экспоненциально со значением t, т.е. с длиной последовательности наблюдений; иными словами, чтобы поддерживать заданный уровень точности, необходимо увеличивать количество выборок экспоненциально в зависимости от t. Учитывая то, что алгоритм фильтрации, работающий в реальном времени, может использовать лишь фиксированное количество выборок, на практике происходит то, что после небольшого количества этапов обновления ошибка становится весьма значительной.
Очевидно, что требуется лучшее решение. Поэтому второе важное нововведение состоит в том, что ^ множество выборок в основном следует формировать в областях пространства состояний, характеризующихся высокой вероятностью. Такую задачу можно выполнить, отбрасывая выборки, которые, согласно наблюдениям, имеют очень малый вес, вместе с тем увеличивая количество выборок, имеющих большой вес. Благодаря этому появляется возможность создавать множества выборок, которые остаются достаточно близкими к действительным данным. Если выборки рассматриваются как информационные ресурсы для моделирования распределения апостериорных вероятностей, то имеет смысл формировать больше выборок в тех областях пространства состояний, где апостериорная вероятность выше.
Для решения именно этой задачи предназначено семейство алгоритмов, называемых алгоритмами ^ фильтрации частиц. Метод фильтрации частиц действует следующим образом: прежде всего создается популяция из N выборок путем формирования выборок из распределения априорных вероятностей в момент времени О, Р(х0), затем, как описано ниже, для каждого временного интервала повторяется цикл обновления.
Каждая выборка распространяется в прямом направлении путем формирования выборки значения переменной следующего состояния xt+1. Для этого в качестве выборки берется текущее значение xt и используется модель перехода P(Xt+1|xt).
Каждая выборка взвешивается с учетом правдоподобия, которое она присваивает новому свидетельству, Р (et+11 xt+1).
В этой популяции выборок снова осуществляется формирование выборки для создания новой популяции из N выборок. Каждая новая выборка берется из текущей популяции; вероятность того, что будет получена конкретная выборка, пропорциональна ее весу. Данные о весах новых выборок уничтожаются.
Этот алгоритм подробно показан в листинге 15.3, а пример его применения к сети DBN для задачи с зонтиком приведен на рис. 15.13.
Листинг 15.3. Алгоритм фильтрации частиц, реализованный как рекурсивная операция обновления данных о состоянии (множества выборок). Каждый из этапов формирования выборок состоит в том, что формируется выборка значений соответствующих переменных временного среза в топологическом порядке, во многом так же, как и в процедуре Prior-Sample. Операция Weighted-Sample-With-Replacement может быть реализована так, чтобы она выполнялась за ожидаемое время O(N')
function Particle-Filtering(е, N, dbn) returns множество выборок для следующего временного интервала
inputs: е, новое полученное свидетельство
N, количество выборок, которые должны сопровождаться алгоритмом
dbn, сеть DBN с распределением априорных вероятностей Р(Хо), моделью перехода P(XilXo) и моделью восприятия P(EilXi) static: S, вектор выборок с размером N, первоначально формируемый из Р(Хо)
local variables: W, вектор весов с размером N
for i = 1 to N do
S[i] <— выборка из P (Xi I Xo=S[i] )
IV[i] <- P(elXi=S[i] )
S <— Weighted-Sample-With-Replacement (N, S, W) return S
а) Распространениеа) РаспространениеРис. 15.13. Пример применения цикла обновления алгоритма фильтрации частиц к сети DBN для задачи с зонтиком при ^=10, в котором показаны популяции выборок в каждом состоянии: во время t обнаруживается, что 8 выборок показывают Rain, а 2 выборки показывают -zRain. Каждая из них распространяется в прямом направлении путем формирования выборок в следующем состоянии через модель перехода. Во время t + 1 обнаруживается, что 6 выборок показывают Rain, а 4 выборки показывают -?Rain (а); в момент времени t + 1 наблюдается -Umbrella. Каждая выборка взвешивается с учетом ее правдоподобия применительно к этому наблюдению, как показывают размеры кружков (б); формируется новое множество из 10 выборок путем случайного выбора со взвешиванием из текущего множества, что приводит к получению 2 выборок, которые показывают Rain, и 8 выборок, которые показывают -zRain (в)Рис. 15.13. Пример применения цикла обновления алгоритма фильтрации частиц к сети DBN для задачи с зонтиком при ^=10, в котором показаны популяции выборок в каждом состоянии: во время t обнаруживается, что 8 выборок показывают Rain, а 2 выборки показывают -zRain. Каждая из них распространяется в прямом направлении путем формирования выборок в следующем состоянии через модель перехода. Во время t + 1 обнаруживается, что 6 выборок показывают Rain, а 4 выборки показывают -?Rain (а); в момент времени t + 1 наблюдается -Umbrella. Каждая выборка взвешивается с учетом ее правдоподобия применительно к этому наблюдению, как показывают размеры кружков (б); формируется новое множество из 10 выборок путем случайного выбора со взвешиванием из текущего множества, что приводит к получению 2 выборок, которые показывают Rain, и 8 выборок, которые показывают -zRain (в)Rain.Rain.б) Взвешиваниеб) Взвешиваниев) Повторная выборкав) Повторная выборка
а) Распространение
а) Распространение
Рис. 15.13. Пример применения цикла обновления алгоритма фильтрации частиц к сети DBN для задачи с зонтиком при ^=10, в котором показаны популяции выборок в каждом состоянии: во время t обнаруживается, что 8 выборок показывают Rain, а 2 выборки показывают -zRain. Каждая из них распространяется в прямом направлении путем формирования выборок в следующем состоянии через модель перехода. Во время t + 1 обнаруживается, что 6 выборок показывают Rain, а 4 выборки показывают -?Rain (а); в момент времени t + 1 наблюдается -Umbrella. Каждая выборка взвешивается с учетом ее правдоподобия применительно к этому наблюдению, как показывают размеры кружков (б); формируется новое множество из 10 выборок путем случайного выбора со взвешиванием из текущего множества, что приводит к получению 2 выборок, которые показывают Rain, и 8 выборок, которые показывают -zRain (в)
Рис. 15.13. Пример применения цикла обновления алгоритма фильтрации частиц к сети DBN для задачи с зонтиком при ^=10, в котором показаны популяции выборок в каждом состоянии: во время t обнаруживается, что 8 выборок показывают Rain, а 2 выборки показывают -zRain. Каждая из них распространяется в прямом направлении путем формирования выборок в следующем состоянии через модель перехода. Во время t + 1 обнаруживается, что 6 выборок показывают Rain, а 4 выборки показывают -?Rain (а); в момент времени t + 1 наблюдается -Umbrella. Каждая выборка взвешивается с учетом ее правдоподобия применительно к этому наблюдению, как показывают размеры кружков (б); формируется новое множество из 10 выборок путем случайного выбора со взвешиванием из текущего множества, что приводит к получению 2 выборок, которые показывают Rain, и 8 выборок, которые показывают -zRain (в)
Rain.
Rain.
б) Взвешивание
б) Взвешивание
в) Повторная выборка
в) Повторная выборка
Рассматривая, что происходит во время одного цикла обновления, можно показать, что этот алгоритм является согласованным (позволяет получить правильные значения вероятностей, если N стремится к бесконечности). Предполагается, что создание популяции выборок начинается с использования правильного представле-
ния прямого сообщения f1:t во время t. Поэтому, записав выражение N(xt | e1:t) для количества выборок, занимающих состояние xt после обработки наблюдений e1:t, получаем следующее соотношение для больших значений №.
^(xt|ei;t)/^ = P(xt|ei;t) (15.21)
Теперь распространим каждую выборку в прямом направлении, осуществляя формирование выборок значений переменных состояния во время t+1 и взяв для каждой выборки значения во время t. Количество выборок, достигающих состояния xt+1 из каждого состояния xt, равно вероятности перехода, умноженной на величину популяции xt, поэтому общее количество выборок, достигающих xt+1, будет равно следующему:
^(xt*i|ei:t) = ^ P(xt+i|xt) ^(xt|el:t) xt
После этого выполним взвешивание каждой выборки по ее правдоподобию применительно к свидетельству во время с+1. Любая отдельная выборка в состоянии xt+1 получает вес P(et+1 |xt+1). Это означает, что суммарный вес выборок в состоянии xt+1 после получения свидетельства et+1 определяется таким образом:
^(xt+i|ei:t+i) = P(et+i|xt+i) ^(xt+i|ei:t)
Далее выполняется этап повторного формирования выборки. Поскольку каждая выборка тиражируется с вероятностью, пропорциональной ее весу, количество выборок в состоянии xt+1 после повторного формирования выборки пропорционально суммарному весу в состоянии xt+1 перед повторным формированием выборки, как показано ниже.
^(xt+i|ei:t+i) /N = ОС ^(xt+i|ei;t+i)
= ос P(et+i|xt+i) ^(xt+l|el:t)
= ос P(et+i|xt+i) ^ ^(xt+i|xj ^(xt|ei:t) xt
= ос N P(et+i|xt+i) ^ P(xt+i|xt) P(xt|ei:t) (согласно 15.21) xt
= a' P(et+i|xt+i) ^ P(xt+i|xt) P(xt|ei:t) xt
= P(xt+i | ei:t+i)(согласно 15.3)
Поэтому популяция выборок после одного цикла обновления правильно представляет прямое сообщение во время с+1.
Итак, алгоритм фильтрации частиц является согласованным, но характеризуется ли он достаточной эффективностью? Создается впечатление, что на практике ответ на этот вопрос является положительным: по-видимому, фильтрация частиц позволяет поддерживать хорошую аппроксимацию истинных апостериорных вероятностей с использованием постоянного количества выборок. Тем не менее теория еще не дает такой гарантии; в настоящее время в области фильтрации частиц продолжаются интенсивные исследования. Предложено много вариантов и усовершенствова-
ний, а спектр приложений этого алгоритма стремительно растет. Поскольку алгоритм фильтрации представляет собой алгоритм формирования выборок, его можно легко применить к гибридным и непрерывным сетям DBN, что дает возможность воспользоваться этим алгоритмом в таких областях, как отслеживание сложных движущихся образов в видеозаписях [719] и предсказание курсов акций на фондовой бирже [343].
Распознавание речи
В данном разделе рассматривается одно из наиболее важных приложений временных вероятностных моделей — ^ распознавание речи. Задача состоит в том, чтобы выявить последовательность слов, произнесенных говорящим, используя акустический сигнал. Речь — это доминирующая форма общения людей, и поэтому надежное распознавание речи с помощью машин было бы чрезвычайно полезным. Еще более важной задачей является понимание речи — идентификация смысла фрагментов речи. Но изучение этой темы мы отложим до главы 22.
Речь — это одно из первых проявлений грубого неоткристализовавшегося мира реальных сенсорных данных, с которыми сталкивается человек после своего рождения. Эти данные являются зашумленными, в буквальном смысле слова: в них может присутствовать не только фоновый шум, но и помехи, возникающие в процессе самого преобразования в осознаваемую человеком форму; слова иногда произносятся по-разному, даже одним и тем же говорящим; различные слова могут звучать одинаково и т.д. По этим причинам со временем возникло понимание того, что распознавание речи должно рассматриваться как одна из задач вероятностного вывода.
На наиболее общем уровне эту задачу вероятностного вывода можно определить следующим образом. Предположим, что Words — случайная переменная, пробегающая по всем возможным последовательностям слов, которые могут быть произнесены, а также допустим, что signal — наблюдаемая последовательность акустических сигналов. В таком случае наиболее вероятной интерпретацией фрагмента речи является то значение переменной Words, которое максимизирует вероятность Р (words | signal). Как и во многих других случаях, нам может помочь применение правила Байеса:
Р( words | signal) = ct Р (signal | words) Р (words)
Выражение Р( signal | words) называется ^ акустической моделью. Эта модель описывает звуки слов, например, говорит о том, что слово “ceiling” (потолок) начинается с мягкого звука “с” и звучит так же, как “sealing” (уплотнение). (Слова, звучащие одинаково, часто называют домофонами.) Выражение Р( words) принято называть языковой моделью. Эта модель задает априорную вероятность каждого фрагмента речи, например указывает, что последовательность слов “high ceiling” (высокий потолок) является гораздо более вероятной, чем “high sealing” (высокое уплотнение).
Языковые модели, используемые в системах распознавания речи, обычно являются очень простыми. Модель двухсловных сочетаний, которая будет описана ниже в данном разделе, задает вероятность каждого слова, которое следует за каждым другим словом. Акустическая модель является гораздо более сложной. В ее основе
лежит важное открытие, сделанное в области М фонологии (науки о звуках устной речи), согласно которому во всех человеческих языках используется ограниченный набор звуков, называемых ^ фонемами, количество которых находится в пределах от 40 до 50. Грубо говоря, фонема — это звук, который соответствует одной гласной или согласной букве, но существуют некоторые сложности; например, некоторые сочетания букв, такие как “th” и “ng”, в английском языке соответствуют единственным фонемам, а некоторые буквы произносятся как разные фонемы в различных контекстах (в качестве примера можно указать букву “а” в словах “rat” и “rate”). В табл. 15.1 перечислены фонемы, используемые в английском языке, с примером для каждой из них. Итак, ^ фонема — это наименьший фрагмент звукового сигнала, который имеет различимый смысл для людей, говорящих на конкретном языке. Например, в английском языке фонема “t” в слове “stick” является той же самой, что и фонема “t” в слове “tick”, но в тайском языке они различаются как две отдельные фонемы.
Таблица 15.1. Фонетический алфавит DARPA, или ARPAbet, в котором перечислены все фонемы, используемые в американском диалекте английского языка. Существует также несколько альтернативных систем обозначения фонем, включая международный фонетический алфавит (International Phonetic Alphabet — I РА), который описывает фонемы всех известных языков
Гласные
Согласные В—N
Согласные P-Z
Фонема
Пример
Фонема
Пример
Фонема
Пример
[iy]
beat
[b]
bet
[p]
pet
[ih]
bit
[ch]
Chet
[r]
rat
[eh]
bet
[d]
debt
[S]
set
[ае]
bat
[f]
fat
[Sh]
shoe
[ah]
but
[g]
get
[t]
ten
[ао]
bought
[hh]
hat
[th]
thick
[ow]
boat
[hv]
high
[dh]
that
[Uh]
book
[jh]
jet
[dx]
butter
[ey]
bait
[k]
kick
[v]
yet
[er]
Вщ1
[1]
let
[w]
wet
[ay]
buy
[el]
bottle
[wh]
which
[oy]
boy
[m]
met
[y]
yet
[axr]
diner
[em]
bottom
[z]
zoo
[aw]
down
[n]
net
[zh]
measure
[ax]
about
[en]
button
[ix]
roses
[ng]
sing
[aa]
cot
[eng]
washing
[-1
отсутствие звука
Благодаря существованию фонем появляется возможность разделить акустическую модель на две части. Первая часть касается ^ произношения и задает для каждого слова распределение вероятностей по возможным последовательностям фонем. Например, слово “ceiling” произносится как [s iy 1 ih ng]; или иногда как [s iy 1 ix ng], а иногда даже как [s iy 1 еп]. Фонемы не являются непо-
средственно наблюдаемыми, поэтому, грубо говоря, речь может быть представлена как скрытая марковская модель, переменная состояния которой, xt, определяет, какая фонема произносится в момент времени t.
Вторая часть акустической модели относится к тому способу, с помощью которого фонемы реализуются в виде акустических сигналов. Другими словами, переменная свидетельства Et для скрытой марковской модели задает наблюдаемые характеристики акустического сигнала в момент времени t, а акустическая модель определяет вероятность P(Et|xt), где xt— текущая фонема. Эта модель позволяет также учитывать ударение, скорость и громкость речи и основана на методах из области ^ обработки сигналов, позволяющих создавать описания сигналов, которые являются достаточно устойчивыми по отношению ко всем указанным влияниям.
В оставшейся части данного раздела приведено описание указанных моделей и алгоритмов, которое построено от нижнего уровня к верхнему, начиная от акустических сигналов и фонем, проходя через отдельные слова и заканчивая целыми предложениями. В заключение будет показано, как происходит обучение всех этих моделей и насколько хорошо работают результирующие системы.
Звуки речи
Звуковые волны представляют собой периодические изменения давления, которые распространяются через воздух. Звук может быть измерен микрофоном, диафрагма которого смещается под воздействием изменений давления и вырабатывает непрерывно изменяющийся ток. Аналогово-цифровой преобразователь измеряет величину тока (которая соответствует текущей амплитуде звуковой волны) через дискретные интервалы, определяемые М частотой дискретизации. Для обработки речи, как правило, применяется частота дискретизации от 8 до 16 кГц (т.е. от 8 до 16 тысяч раз в секунду). (Дискретизация высококачественных музыкальных записей осуществляется с частотой 44 кГц или больше.) Точность каждого измерения определяется ^ коэффициентом квантования; в системах распознавания речи обычно применяется от 8 до 12 битов. Это означает, что в системах низкого класса дискретизация происходит с частотой 8 кГц и с квантованием 8 битами, а это требует для передачи фрагмента речи, занимающего одну минуту, примерно половины мегабайта. Было бы практически невозможно создавать и манипулировать распределениями вероятностей Р к signal | phone) с таким большим объемом воспринимаемой информации, поэтому необходимо разработать более краткие описания акустического сигнала.
Прежде всего необходимо отметить следующее: хотя звуковые частоты в речи могут достигать нескольких килогерц, изменения в содержимом этого сигнала происходят гораздо менее часто, возможно, с частотой не больше 100 Гц. Поэтому в системах распознавания речи суммируются свойства сигнала за более продолжительные интервалы, называемые ^ фреймами. Длина фрейма равна приблизительно 10 миллисекундам (т.е. соответствует 80 выборкам на частоте 8 кГц); это означает, что она достаточно мала, чтобы обеспечить исключение с помощью процесса суммирования некоторых помех, отличающихся меньшей продолжительностью. В пределах каждого фрейма происходящее в нем представляется с помощью вектора М акустических характеристик. Например, во фрейме можно охарактеризовать количество энергии в каждом из нескольких частотных диапазонов. К другим важным характеристикам относится общее количество энергии во фрейме
! 10 15 38 | j 22 63 24 j j 10 12 73 | j 52 47 82 || 89 94 11 |! 10 15 38 | j 22 63 24 j j 10 12 73 | j 52 47 82 || 89 94 11 |и его отличие от предыдущего фрейма. Извлечение характеристик из речевого сигнала можно сравнить с прослушиванием выступления оркестра и определением того, что “теперь валторны звучат громко, а скрипки — тихо”. На рис. 15.14 показано, как происходят преобразования из непосредственно измеряемого звука в последовательность фреймов. Обратите внимание на то, что фреймы перекрываются; это позволяет предотвратить потерю информации, которая могла бы произойти, если бы важное акустическое событие случайно совпало с границей одного из фреймов.
! 10 15 38 | j 22 63 24 j j 10 12 73 | j 52 47 82 || 89 94 11 |
! 10 15 38 | j 22 63 24 j j 10 12 73 | j 52 47 82 || 89 94 11 |
Аналоговый акустический сигнал
Дискретизированный и квантифицированный цифровой сигнал
Фреймы с характеристиками
Рис. 15.14. Преобразование акустического сигнала в последовательность фреймов; для описания каждого фрейма применяются значения трех акустических характеристик
В данном случае показаны фреймы только с тремя характеристиками. В реальных системах используются десятки или даже сотни характеристик. Если применяется п характеристик и каждая из них имеет, скажем, 256 возможных значений, то любой фрейм представляется в виде точки в n-мерном пространстве и существует 2 56п возможных фреймов. При п>2 была бы практически неосуществимой попытка представить распределение вероятностей Pl features \ phone) в виде явно заданной таблицы, поэтому требуется дальнейшее сжатие. Ниже описаны два возможных подхода к решению этой задачи.
В методе М векторного квантования, или сокращенно VQ (Vector Quantization), все n-мерное пространство подразделяется, допустим, на 256 областей, обозначенных метками от С1 до С256. В таком случае появляется возможность представить каждый фрейм с помощью одной метки, а не вектора из п чисел. Поэтому в табулированном распределении Р( VQ\ phone) имеется 256 вероятностей, заданных для каждой фонемы. Но метод векторного квантования больше не находит широкого применения в крупномасштабных системах.
Вместо дискретизации пространства характеристик для описания распределения Р( features \phone) может использоваться параметризованное непрерывное распределение. Например, для каждой фонемы может применяться гауссово распределение с различным средними и матрицами ковариаций. Такой метод становится приемлемым, если акустические реализации каждой фонемы кластеризованы в отдельной области пространства характеристик. Но на практике звуки могут распределяться по некоторым областям, поэтому приходится использовать сочетание гауссовых распределений. Такое сочетание представляет собой взвешенную сумму к отдельных распределений, поэтому в распределении Р( features \ phone) имеется к весов, к векторов средних
с размером п и к матриц ковариации с размером п2, т.е. для представления каждой фонемы применяется Olkrih параметров.
Очевидно, что при переходе от полного речевого сигнала к метке VQ или к множеству параметров сочетания распределений некоторая информация теряется. Весь секрет успешной обработки сигналов заключается в том, что характеристики и области (или гауссовы распределения) должны быть выбраны так, чтобы потери полезной информации свелись к минимуму. Любой конкретный звук речи может быть произнесен с помощью слишком многих способов: громко или тихо, быстро или медленно, с высоким или низким ударением, на фоне тишины или шума, а также любым из миллионов разных говорящих людей, каждый из которых имеет свой акцент и обладает разными характеристиками речевого тракта. Обработка сигналов должна осуществляться таким образом, чтобы были устранены все эти вариации и вместе с тем сохранилось то общее, чем характеризуется воспринимаемый звук.
В простую модель, описанную выше, необходимо внести еще два уточнения. Первое из них относится к временной структуре фонем. При обычной речи большинство фонем имеет продолжительность 50-100 миллисекунд, т.е. фонемы занимают 5-10 фреймов. Для всех этих фреймов вероятностная модель Р( features |phoned является одинаковой, тогда как большинство фонем обладает ярко выраженной внутренней структурой. Например, фонема [t] представляет собой одну из нескольких взрывных согласных, при произнесении которых поток воздуха прерывается на короткое время, после чего резко освобождается. Изучая акустический сигнал, можно обнаружить, что фонема [ t ] имеет тихое начало, небольшой взрыв в середине и (обычно) шипение в конце. Эта внутренняя структура фонем может быть описана с помощью модели М фонемы с тремя состояниями; каждая фонема имеет состояние Onset (Вступление), Mid (Середина) и End (Конец), а каждое состояние имеет свое собственное распределение среди вероятностей характеристик.
Второе уточнение касается контекста, в котором произносится фонема. Звучание каждой конкретной фонемы может изменяться под влиянием окружающих фонем. Напомним, что звуки речи вырабатываются в результате движения губ, языка и нижней челюсти и проталкивания воздуха через голосовой тракт. Для координации этих сложных движений на скорости в пять или больше фонем в секунду мозг инициирует действия, относящиеся ко второй фонеме, еще до того, как оканчивается произнесение первой, что приводит к модификации одной или обеих фонем. Например, при произнесении слова “sweet” (сладкий) губы округляются еще во время произнесения фонемы [s] в предвидении того, что за ней последует фонема [w]. Такие М коартикуляционные эффекты частично охватываются ^ трехфонемной моделью, в которой в рамках акустической модели обеспечивается учет зависимости каждой фонемы от предшествующей и последующей фонем. Поэтому фонема [w] вслове “sweet” записывается как [w(s,iy)], т.е. как [w] с левым контекстом [s] и правым контекстом [iy].
Результатом совместного применения модели трех состояний и трехфонемной модели становится увеличение количества возможных состояний временного процесса с п фонем первоначального фонетического алфавита (п=5 0 в случае ARPAbet) до Зп3. Но опыт показывает, что при этом достигается повышение точности, которое сторицей окупает дополнительные затраты на вероятностный вывод и обучение.
Слова
Каждое слово можно рассматривать как определяющее отдельное распределение вероятностей Р (X1;t | word'), где Х£ задает состояние фонемы в i-м фрейме. Как правило, такое распределение делится на две части. Модель произношения задает распределение вероятностей по последовательностям фонем (игнорируя такие измерения, как время и состав фреймов), а модель фонем описывает то, как фонемы отображаются в последовательность фреймов.
Рассмотрим слово “tomato” (помидор). Согласно Гершвину [546], допустимыми являются варианты произношения этого слова [t ow m еу t ow] и [t ow m aa t ow]. На рис. 15.15, сверху показана модель перехода, в которой учитываются эти варианты. В данной модели имеются два возможных пути, один из которых соответствует последовательности фонем [t ow m еу t ow], а другой — последовательности [t ow m аа t ow]. Вероятность любого из этих путей равна произведению вероятностей дуг, из которых состоит этот путь, как показано ниже.
Рис. 15.15. Две модели произношения слова "tomato ”; каждая модель показана в виде диаграммы перехода с состояниями, обозначенными кружками, и допустимыми переходами, обозначенными стрелками, на которых показаны соответствующие вероятности: модель, допускающая учет различий между диалектами. Числовые оценки 0.5 основаны на том, что один из авторов данной книги предпочитает один из этих вариантов произношения, а другой автор предпочитает другой вариант (а); модель, в которой учитывается коартикуляционный эффект, возникающий при произнесении первой гласной; эта модель допускает наличие фонемы [ow] или [ah] (б)
Р( [ towmey towl | " tomato") = Р ([ towmaatow] | " tomato") = 0.5
Вторым источником фонетических вариаций является коартикуляция. Например, фонема [ t ] формируется, когда язык находится в верхней части ротовой полости, а при произнесении фонемы [ow] язык должен находиться в нижней части. Во время быстрой речи язык часто оказывается в промежуточном положении и поэтому произносятся фонемы [t ah], а не [t ow]. На рис. 15.15, снизу приведена более сложная модель произношения слова “tomato”, в которой принят в расчет этот коар- тикуляционный эффект. В данной модели имеются четыре отдельных пути, поэтому вероятности становятся таковыми:
Р( [ towmey tow] | " tomato") = Р([towmaatow] |"tomato") = 0.1
Р( [ tahmeytow] | " tomato") = P( [ tahmaatow] | " tomato") = 0.4
Аналогичные модели могут быть составлены для каждого слова, которое мы хотим распознать.
Модель для фонемы с тремя состояниями показана в виде диаграммы перехода между состояниями на рис. 15.16. Эта модель относится только к одной конкретной фонеме, [ш], но все фонемы должны иметь модели с аналогичной топологией. Для каждого состояния фонемы показана связанная с ней акустическая модель, в которой принято предположение, что соответствующий акустический сигнал представлен меткой VQ. Например, согласно этой модели, Р(^=Сх | Xt= [m] Onset) = 0.5. Обратите внимание на то, что на данном рисунке показаны петли; например, состояние [m]Mid сохраняется с вероятностью 0.9, а это означает, что состояние [m]Mid имеет ожидаемую продолжительность 10 фреймов. В рассматриваемой модели продолжительность каждой фонемы является независимой от продолжительности других фонем; в более сложной модели могут проводиться различия между быстрой и медленной речью.
Скрытая марковская модель для фонемы [т]
0,30,90,4
Вероятности выходов для скрытой марковской модели этой фонемы
Onset:Mid:End:
С,: 0,5С3:0,2С4:0,1
С2:0,2С4:0,7С6:0,5
С3: 0,3С5:0,1С7:0,4
Рис. 15.16. Скрытая марковская модель для фонемы [т] с тремя состояниями. Каждое состояние имеет несколько возможных выходов, каждый из которых обладает собственной вероятностью. Метки VQomCidoC? выбраны произвольно, в качестве примера
Аналогичные модели можно составить для каждой фонемы, возможно, с учетом трехфонемного контекста. Модель каждого слова, в сочетании с моделями его фо-
нем, задает полную спецификацию некоторой скрытой марковской модели, которая, в свою очередь, определяет вероятности перехода между состояниями фонем от фрейма к фрейму, а также вероятности акустических характеристик для каждого состояния фонем.
Если требуется распознавать М отдельные слова (т.е. слова, произнесенные без какого-либо окружающего контекста и с четкими границами), то необходимо найти слово, которое максимизирует следующее выражение:
Р(word| ei;t) = ос Р( ei-t | word) P(word)
Априорную вероятность Р к word) можно получить по результатам обработки фактических речевых данных, а Р(ei;t | word) представляет собой правдоподобие последовательности акустических характеристик, соответствующих модели рассматриваемого слова word. Вопросу о том, как вычисляются такие значения правдоподобия, посвящен раздел 15.2; в частности, в уравнении 15.5 определен простой метод рекурсивного вычисления, стоимость которого линейно зависит от с и от количества состояний марковской цепи. Чтобы найти наиболее вероятное слово, можно выполнить это вычисление для каждой возможной модели слова, умножить полученное значение на априорную вероятность и в соответствии с этим выбрать наиболее подходящее слово.
Предложения
Для того чтобы поддерживать разговор с людьми, машина должна обладать способностью распознавать ^ непрерывную речь, а не просто отдельные слова. На первый взгляд может показаться, что непрерывная речь представляет собой не что иное, как последовательность слов, к которой вполне можно применить алгоритм, приведенный в предыдущем разделе. Но этот подход оканчивается неудачей по двум причинам. Прежде всего, как уже было показано (с. 1), последовательность наиболее вероятных слов не является наиболее вероятной последовательностью слов. Например, в кинофильме “Take the Money and Run” (Бери деньги и беги) банковский кассир прочитал каракули в записке героя Вуди Аллена как слова “I have a gub” (У меня есть штука). Хорошая языковая модель должна была бы предложить в качестве намного более вероятной последовательности слова “I have a gun” (У меня есть пушка), даже несмотря на то, что последнее слово больше похоже на “gub”, чем на “gun”. Вторая проблема, с которой приходится сталкиваться при обработке непрерывной речи, связана с ^ сегментацией — с проблемой определения того, где оканчивается одно слово и начинается следующее. С этой проблемой знаком любой, кто пытался изучать иностранный язык с помощью прослушивания устной речи, — на первых порах кажется, что все слова сливаются друг с другом. Но постепенно иностранец учится выделять отдельные слова из беспорядочных звуков. В данном случае первые впечатления вполне оправдываются; спектрографический анализ показывает, что в беглой речи слова действительно следуют одно за другим без пауз между ними. Поэтому нам приходится учиться определять границы между словами, несмотря на отсутствие пауз.
Начнем с языковой модели, назначение которой при распознавании речи состоит в определении вероятности каждой возможной последовательности слов. Используя запись wi...^ для обозначения строки из п слов и wi для обозначения 1-го
слова в строке, можно составить выражение для вероятности некоторой строки с использованием цепного правила следующим образом:
P(Wx...Wn) = P(wi) Р( W2 I Wl) P(W3 I ^lw2> ...P(^n| Wl...Wn-l)
П
= J J P(^i | i=l
Большинство термов этого соотношения являются весьма сложными, а задача их оценки или вычисления является трудной. К счастью, возможно аппроксимировать эту формулу немного более простым соотношением и вместе с тем сохранить в целости значительную часть языковой модели. Одним из простых, широко применяемых и эффективных подходов является модель М двухсловных сочетаний. В этой модели вероятность Pt^il^... ^.х) аппроксимируется вероятностью Р(^ | ^.1). Иначе говоря, в этом подходе принимается предположение о том, что для последовательностей слов можно использовать марковскую цепь первого порядка.
Значительным преимуществом такой модели с двухсловными сочетаниями является то, что можно легко провести обучение этой модели, подсчитав, сколько раз каждая пара слов встречается в представительной совокупности строк, и используя эти подсчеты для оценки вероятности. Например, если “а” встречалось в обучающей совокупности 10 000, а за ним 37 раз следовало “gun”, то P(guni|ai_1) = = 37/10,000, где под Р подразумевается оцениваемая вероятность. После такого обучения следует ожидать, что слова “I have” и “a gun” будут иметь высокие оцениваемые вероятности, a “I has” и “an gun” — низкие вероятности. В табл. 15.2 показаны некоторые результаты подсчета количества двухсловных сочетаний на примере слов в оригинале данной книги.
Возможно также перейти к использованию модели М трехсловных сочетаний, в которой предусмотрены значения для Р(^ | ^1_1^_2). Это — более мощная языковая модель, позволяющая судить о том, что слова “ate a banana” (съесть банан) являются более вероятными, чем “ate a bandanna” (съесть бандану — цветной платок). Подходы, в которых предусмотрено применение моделей трехсловных сочетаний и в меньшей степени моделей двухсловных и однословных сочетаний, характеризуются наличием одной проблемы, которая связана с нулевыми результатами подсчета частоты: мы не должны утверждать, что какая-то комбинация слов невозможна, лишь потому, что она по стечению обстоятельств не встретилась в обучающей совокупности. Для того чтобы можно было назначить таким комбинациям небольшую ненулевую вероятность, применяется процесс сглаживания. Эта тема обсуждается на с. 1104.
Модели двух- или трехсловных сочетаний являются менее сложными по сравнению с некоторыми грамматическими моделями, которые будут рассматриваться в главах 22 и 23, но они позволяют лучше учесть локальные эффекты, связанные с контекстными зависимостями, и способны отразить определенные локальные синтаксические связи. Например, тот факт, что пары слов “I has” (я имеет) и “man have”
(мужчина имею) получают низкие оценки, отражает общепринятые синтаксические соглашения по совместному использованию пар существительное—глагол. Проблема состоит в том, что подобные связи с помощью моделей сочетаний могут быть обнаружены только локально: неправильная языковая конструкция “the man have” (мужчина имею) получает низкую оценку, но более пространный оборот “the man with the yellow hat have” (мужчина в желтой шляпе имею) не рассматривается как ошибочный.
Таблица 15.2. Часть таблицы частот однословных и двухсловных сочетаний для слов в оригинале данной книги. В ней наиболее часто применяемым отдельным словом является “the”, и общее количество случаев, в которых встречается это слово, равно 33 508 (из общего количества слов, равного 513 893). Наиболее часто встречающимся двухсловным сочетанием является “of the”, с общим количеством 3833. Некоторые частоты оказались больше ожидаемого (например, 4 раза встречается невероятное сочетание “on is”), поскольку при подсчете количества двухсловных сочетаний игнорируется знаки препинания, одно предложение может оканчиваться словом “on”, а другое — начинаться со слова “is”
Предыдущее слово
Слово
Количество однословных сочетаний
of
in
is
on
to
from
model
agent
the
33508
3833
2479
832
944
1365
597
28
24
on
2573
1
0
33
2
1
0
0
6
of
15474
0
0
29
1
0
0
88
7
to
11527
0
4
450
21
4
16
9
82
is
10566
3
6
1
4
2
1
47
127
model
752
8
1
0
1
14
0
6
4
agent
2100
10
3
3
2
3
0
0
36
idea
241
0
0
0
0
0
0
0
0
Теперь рассмотрим, как скомбинировать языковую модель со словесными моделями, чтобы иметь возможность правильно обрабатывать последовательности слов. Для упрощения предполагается, что будет использоваться двухсловная языковая модель. С помощью такой модели можно скомбинировать все словесные модели (которые, в свою очередь, состоят из моделей произношения и моделей фонем) в одну большую модель НММ. Состоянием в однословной модели НММ является фрейм с меткой, представляющей собой текущую фонему и состояние фонемы (например, [m] onset); любое состояние в модели НММ непрерывной речи снабжается также меткой в виде слова, как, например, [m]^t°* Если каждое слово в своей модели произношения имеет в среднем р фонем с тремя состояниями, а общее количество слов равно W, то модель НММ непрерывной речи имеет Зр1¥ состояний. Переходы могут происходить между состояниями фонем в пределах данной конкретной фонемы, между фонемами данного конкретного слова, а также между конечным состоянием одного слова и начальным состоянием другого. Переходы между словами происходят с вероятностями, заданными с помощью двухсловной модели.
После составления такой комбинированной модели НММ ее можно использовать для анализа непрерывного речевого сигнала. В частности, для обнаружения наиболее вероятной последовательности состояний может применяться алгоритм Витерби, представленный в виде уравнения 15.9. Затем из этой последовательности
состояний можно извлечь последовательность слов, считывая метки слов из состояний. Таким образом, алгоритм Витерби позволяет решить проблему сегментации непрерывной речи на отдельные слова, поскольку в нем (по сути) используется динамическое программирование для одновременного учета не только всех возможных последовательностей слов, но и границ между словами.
Обратите внимание на то, что выше не было сказано, будто с помощью алгоритма Витерби “можно извлечь наиболее вероятную последовательность слов”. Дело в том, что наиболее вероятная последовательность слов не обязательно является такой, которая содержит наиболее вероятную последовательность состояний. Это связано с тем, что вероятность последовательности слов представляет собой сумму вероятностей по всем возможным последовательностям состояний, совместимых с данной последовательностью слов. Например, сравнивая две последовательности слов, скажем “a back” (спина) и “aback” (абак), можно обнаружить, что имеется десять альтернативных последовательностей состояний для “aback”, каждая из которых имеет вероятность 0,03, но только одна последовательность состояний для “aback” с вероятностью 0,20. Алгоритм Витерби выбирает “aback”, но фактически более вероятной является последовательность “a back”.
На практике это затруднение не исключает возможности применения данного подхода, но является достаточно серьезным для того, чтобы были предприняты попытки использовать другие подходы. Наиболее часто применяемым из них является алгоритм ^ декодера А*, в котором предусмотрено остроумное использование поиска А* (см. главу 4) для обнаружения наиболее вероятной последовательности слов. Идея этого алгоритма состоит в том, что каждая последовательность слов рассматривается как путь через граф, узлы которого обозначены метками в виде слов. Преемниками любого узла являются все слова, которые могут следовать за словом, являющимся меткой для этого узла; таким образом, граф для всех предложений с длиной, равной или меньшей п, имеет п уровней, причем каждый из этих уровней имеет максимальную ширину W, где 1¥— количество возможных слов. При использовании двухсловной модели стоимость д(м1гм2) любой дуги между узлами с метками ^ и w2 задается выражением log P(^2|^i); таким образом, общая стоимость пути, соответствующего некоторой последовательности, может быть представлена следующим образом:
п п
Cost ^wi.-.Wn') = '^ -log P(wi|wi-i) = -logJ J P(wi| wi-i) i=l i=l
При использовании такого определения стоимости пути задача поиска кратчайшего пути становится полностью эквивалентной задаче поиска наиболее вероятной последовательности слов. Для того чтобы этот процесс был достаточно эффективным, необходимо также иметь хорошую эвристику h (wO для оценки стоимости дополнения последовательности слов. Очевидно, что при этом подходе необходимо также учитывать, какая часть речевого сигнала еще не заменена словами из текущего пути. Тем не менее для решения этой задачи еще не были предложены эвристики, которые оказались бы особенно удачными.
Разработка устройства распознавания речи
Качество системы распознавания речи зависит от качества всех ее компонентов — языковой модели, моделей произношения слов, моделей фонем и алгоритмов обработки сигналов, используемых для извлечения спектральных характеристик из акустического сигнала. Выше описано, как может быть составлена языковая модель, и указано, что для ознакомления с подробными сведениями об обработке сигналов следует обратиться к другим учебникам. Кроме того, в данной книге не рассматриваются модели произношения и модели фонем. Структура моделей произношения (таких как модели произношения слова “tomato”, показанные на рис. 15.15) обычно разрабатывается вручную. В настоящее время для английского языка и других языков составлены большие словари произношения, но далеко не все они отличаются приемлемой точностью. Структура моделей фонем с тремя состояниями является одинаковой для всех фонем, как показано на рис. 15.16. При использовании таких моделей остается только правильно определить сами вероятности. Как же можно получить такие данные, учитывая то, что для этих моделей могут потребоваться сотни тысяч или миллионы параметров?
Единственный осуществимый метод состоит в том, чтобы проводить обучение этих моделей по фактическим речевым данным, объем которых, безусловно, является буквально неограниченным. Очередная проблема заключается в том, как организовать такое обучение. Полный ответ на этот вопрос будет дан в главе 20, но в этом разделе мы можем изложить основные идеи. Рассмотрим двухсловную языковую модель; в данной главе описывалось, как провести ее обучение, подсчитывая частоты пар слов в реальном тексте. А можно ли применить такой же подход для определения вероятностей перехода между фонемами в модели произношения? Ответ на этот вопрос будет положительным, но только если кто-то возьмет на себя труд обозначить каждое вхождение каждого слова правильной последовательностью фонем. Это — трудная и чреватая ошибками задача, но она была выполнена для некоторых стандартных наборов данных, соответствующих нескольким часам речевых записей. Если известны последовательности фонем, то можно оценить вероятности перехода для моделей произношения на основе данных о частотах пар фонем. Аналогичным образом, если дано состояние фонем для каждого фрейма (а для получения этих данных требуется выполнить еще более трудоемкую работу по расстановке меток вручную), то можно оценить вероятности перехода для моделей фонем. Кроме того, если известны состояния и акустические характеристики фонем в каждом фрейме, то можно также оценить качество акустической модели либо непосредственно по данным о частотах (для моделей VQ), либо с использованием методов статистической подгонки (применительно к моделям, в которых применяется сочетание гауссовых распределений; см. главу 20).
Но указанный подход может не получить широкого распространения по таким причинам: данные с метками, проставленными вручную, обходятся дорого и встречаются редко, причем может оказаться, что даже доступные наборы данных с метками, расставленными вручную, не соответствуют тем типам говорящих людей и тем акустическим условиям, которые обнаруживаются в новом контексте распознавания речи. ^ К счастью, алгоритм ожидания—максимизации, или сокращенно алгоритм ЕМ (Expectation Maximization), позволяет изучать модели перехода и модели восприятия НММ без необходимости использования данных с метками. Оценки, полученные на
основе данных с метками, расставленными вручную, могут использоваться для инициализации моделей; после этого управление берет на себя алгоритм ЕМ и обеспечивает обучение моделей, предназначенных для решения предъявленной задачи. Идея функционирования этого алгоритма является простой: если дана некоторая модель НММ и последовательность наблюдений, то можно использовать алгоритмы сглаживания, описанные в разделах 15.2 и 15.3, для вычисления вероятности каждого состояния на каждом временном интервале, а затем, с помощью несложного дополнения, использовать его для вычисления вероятности каждой пары “состояние—состояние” на последовательных временнь/х интервалах. Эти вероятности могут рассматриваться как неопределенные метки. С помощью этих неопределенных меток можно оценить новые вероятности перехода и восприятия, после чего повторить процедуру применения алгоритма ЕМ. Такой метод гарантирует увеличение согласования между моделью и данными после каждой итерации и обычно сходится к гораздо более лучшему множеству значений параметров по сравнению с теми, которые были получены с помощью первоначальных оценок, сформированных поданным, размеченным вручную.
В современных системах распознавания речи используются колоссальные наборы данных и мощные вычислительные ресурсы для обучения применяемых в них моделей. В процессе распознавания отдельно сказанных слов в хороших акустических условиях (без фонового шума или реверберации) с помощью словаря из нескольких тысяч слов и при одном дикторе точность может превышать 99%. При распознавании неограниченной непрерывной речи с разными дикторами обычной является точность 60-80%, даже при хороших акустических условиях. А при наличии фонового шума и искажений, характерных для передачи речи по телефону, точность снижается еще больше. Хотя практически применяемые системы совершенствовались в течение нескольких десятилетий, все еще остаются возможности для внедрения новых идей.
Резюме
В настоящей главе рассматривалась общая проблема представления и формирования рассуждений о вероятностных временных процессах. Ниже перечислены основные идеи, изложенные в этой главе.
Изменение состояния мира можно учесть, используя множество случайных переменных для представления этого состояния в каждый момент времени.
Такие представления могут быть спроектированы таким образом, чтобы они удовлетворяли свойству марковости, согласно которому будущее не зависит от прошлого, если дано настоящее. В сочетании с предположением о том, что рассматриваемый процесс является стационарным (т.е. таким, что его законы не изменяются во временем), это позволяет намного упростить представление.
Временная вероятностная модель может рассматриваться как содержащая модель перехода, которая описывает процесс развития, и модель восприятия, описывающая процесс наблюдения.
Основными задачами вероятностного вывода во временных моделях являются фильтрация, предсказание, сглаживание и определение с помощью вычислений
наиболее вероятного объяснения. Каждая из этих задач может быть решена с использованием простых, рекурсивных алгоритмов, время выполнения которых линейно зависит от длины рассматриваемой последовательности.
Немного более подробно были описаны три семейства временных моделей: скрытые марковские модели, фильтры Калмана и динамические байесовские сети (последняя модель включает две первых в качестве частных случаев).
Двумя важными приложениями для временных вероятностных моделей являются распознавание речи и слежение.
Если не приняты особые предположения, как при использовании фильтров Калмана, точный вероятностный вывод при наличии многих переменных состояния, по-видимому, становится неосуществимым. Создается впечатление, что на практике эффективным алгоритмом аппроксимации является алгоритм фильтрации частиц.
Библиографические и исторические заметки
Многие важные идеи, касающиеся оценки состояния динамических систем, были высказаны математиком К.Ф. Гауссом [526], который сформулировал детерминированный алгоритм наименьших квадратов для решения задачи прогнозирования орбит небесных тел на основании астрономических наблюдений. Российский математик А.А. Марков [983] изложил в своих трудах, посвященных анализу стохастических процессов, подход, получивший в дальнейшем название марковского предположения; он провел оценку свойств марковской цепи первого порядка, состоящей из букв текста поэмы “Евгений Онегин”. Важная классификационная работа по фильтрации была выполнена во время Второй мировой войны Винером [1588] для непрерывных временнь/х процессов и Колмогоровым [825] для дискретных временных процессов. Хотя эта научная деятельность привела к важным технологическим усовершенствованиям, достигнутым в течение следующих 20 лет, в ней использовалось представление на основе данных об области определения частот, поэтому многие вычисления оказались весьма громоздкими. Как и было указано Сверлингом [1482] и Калманом [764], непосредственное моделирование стохастических процессов с помощью пространства состояний оказалось намного проще. В последней статье предложен метод прямого вероятностного вывода в линейных системах с гауссовым шумом, который теперь известен под названием фильтров Калмана. Важные результаты в области сглаживания были получены Раухом и др. [1269], и метод, получивший выразительное название метода сглаживания Рауха—Тунга—Стрибеля, все еще широко применяется и в наши дни. Многие ранние результаты исследований были собраны в [531]. В [71] приведена более современная трактовка в байесовском стиле, а также многочисленные ссылки на необъятную литературу по этой теме. В [241] рассматривается “классический” подход к анализу временных рядов.
Во многих приложениях калмановской фильтрации приходится сталкиваться не только с неопределенными данными восприятия и неизвестными законами, но также и с неопределенной идентификацией; это означает, что если ведется текущий контроль за многочисленными объектами, система должна определить, какие данные наблюдений собраны от тех или иных объектов, прежде чем появится возмож-
ность обновить оценки состояний каждого из этих объектов. В этом заключается проблема М ассоциирования данных [70], [71]. При наличии п последовательностей наблюдений и п трактов слежения (т.е. в довольно благоприятном случае) существует п! возможных присваиваний последовательностей наблюдений трактам слежения; в правильной вероятностной трактовке должны учитываться все эти варианты присваивания, поэтому можно показать, что такая задача является NP-трудной [301], [302]. По-видимому, на практике хорошо работают методы аппроксимации с полиномиальными затратами времени, основанные на использовании алгоритма МСМС [1180]. Любопытно отметить, что задача ассоциирования данных представляет собой один из экземпляров задачи вероятностного вывода в языке первого порядка; в отличие от большинства задач вероятностного вывода, которые являются чисто пропозициональными, в задаче ассоциирования данных рассматриваются объекты, а также отношение идентификации. Поэтому она тесно связана с вероятностными языками первого порядка, которые упоминались в главе 14. В одной недавно опубликованной работе было показано, что формирование рассуждений об идентичности в общем и ассоциирование данных в частности могут осуществляться в рамках вероятностной инфраструктуры первого порядка [1179].
Скрытая марковская модель и связанные с ней алгоритмы вероятностного вывода и обучения, включая прямой-обратный алгоритм, были разработаны Баумом и Петри [85]. Аналогичные идеи были также высказаны независимо от них в сообществе специалистов по калмановской фильтрации [1269]. Прямой-обратный алгоритм был одним из основных предшественников более общей формулировки алгоритма ЕМ [383]; см. также главу 20. Описание процедуры сглаживания в постоянном пространстве впервые появилось в [127], так же как и алгоритм, действующий по принципу “разделяй и властвуй”, который должен быть разработан при решении упр. 15.3.
Динамические байесовские сети (Dynamic Bayesian network — DBN) могут рассматриваться как способ разреженного кодирования марковского процесса; они были впервые применены в искусственном интеллекте Дином и Канадзава [361], Николсоном [1137] и Кьерульфом [803]. Последняя работа включает описание общего дополнения к системе сетей доверия Hugin, которое предоставляет необходимые средства для формирования и компиляции динамической байесовской сети. Динамические байесовские сети нашли широкое применение для моделирования различных сложных процессов движения в системах машинного зрения [698], [718]. В [1443] явно показана связь между моделями НММ и сетями DBN, а также между прямым—обратным алгоритмом и алгоритмом распространения в байесовской сети. Результаты дальнейшего обобщения фильтров Калмана (и других статистических моделей) опубликованы в [1314].
Особенно интересной является история алгоритма фильтрации частиц, описанного в разделе 15.5. Первые алгоритмы формирования выборок для фильтрации были разработаны Хендшиным и Мейном [611], которые принадлежали к сообществу специалистов по теории управления, а идея повторного формирования выборок, лежащая в основе алгоритма фильтрации частицы, появилась в одной из публикаций в советском журнале по системам управления [1639]. В дальнейшем этот алгоритм был еще раз открыт в статистике и назван последовательным повторным формированием выборок с учетом их важности, или SIR (Sequential Importance-sampling Resampling) [939], [1315], в теории управления, под названием фильтрация частиц [581], [582], в искусственном интеллекте, под названием выживание наиболее при-
способленного [769], и в области машинного зрения, под названием конденсация [719]. Статья Канадзава и др. [769] включает одно усовершенствование, называемое обращением свидетельства, согласно которому выборка в состоянии на момент времени t+1 осуществляется условно, в зависимости от состояния во время t и свидетельства во время t+1. Это позволяет обеспечить непосредственное влияние свидетельства на формирование выборок; в [406] было показано, что такой метод позволяет уменьшить ошибку аппроксимации.
Другие методы для аппроксимированной фильтрации включают алгоритм вырожденной модели МСМС [991] и метод факторизованной аппроксимации [164]. Оба метода обладают тем важным свойством, что ошибка аппроксимации не расходится во времени. Кроме того, для временнь/х моделей были разработаны вариационные методы (см. главу 14). В [547] обсуждается алгоритм аппроксимации для факторной модели НММ — сети DBN, в которой две или несколько независимо развивающихся марковских цепей связаны с помощью разделяемого потока наблюдений. В [747] рассматривается целый ряд других приложений. Свойства продолжительностей смешивания обсуждаются в [959] и [1164].
Предыстория систем распознавания речи началась в 1920-х годах с создания игрушки Radio Rex — игрушечной собачки, активизируемой голосом. Собачка Rex прыгала в ответ на звуковые частоты около 500 Гц, которые соответствуют звучанию гласной [eh] в слове “Rex!”. Немного более серьезная работа в этой области началась после Второй мировой войны. В ATT Bell Labs была создана система для распознавания отдельно произносимых цифр [333] с помощью простого согласования акустических характеристик с шаблонами. Вероятности перехода между фонемами впервые использовались в системе, созданной в лондонском University College Фраем [508] и Денесом [384]. Начиная с 1971 года Агентство перспективных исследовательских программ (Defense Advanced Research Projects Agency — DARPA) Министерства обороны США финансировало четыре конкурирующих пятилетних проекта по разработке систем распознавания речи с высокой эффективностью. Победителем этого соревнования и единственной системой, соответствующей требованиям по распознаванию словаря из 1000 слов с точностью 90%, стала система Harpy, разработанная в университете CMU [952], [953]. Окончательная версия системы Harpy была создана на основе системы Dragon, разработанной аспирантом CMU Джеймсом Бейкером [62]; в системе Dragon впервые использовались скрытые марковские модели для распознавания речи. Почти одновременно с этим в компании IBM была разработана еще одна система на основе модели НММ [730]. Начиная с этого времени вероятностные методы в целом и скрытые марковские модели в частности стали доминировать в исследованиях и разработках по распознаванию речи. Последние годы характеризуются постепенным прогрессом, применением все более крупных наборов данных и моделей, а также ужесточением конкуренции в области решения все более реалистичных речевых задач. Некоторые исследователи изучали возмож-
ность использования сетей DBN вместо моделей НММ для распознавания речи с целью применения большей выразительной мощи сетей DBN для более полного охвата сложного скрытого состояния речевого аппарата [1286], [1652].
По проблематике распознавания речи имеется несколько хороших учебников: [568], [699], [731], [1263]. В [1550] собраны важные статьи в этой области, включая некоторые учебные руководства. Материал, представленный в данной главе, основан на обзоре, приведенном в [781], и на учебнике [756]. Результаты исследований в области распознавания речи публикуются в журналах Computer Speech and Language, Speech Communications и IEEE Transactions on Acoustics, Speech, and Signal Processing, в сборнике материалов семинаров DARPA Workshops on Speech and Natural Language Processing, а также в трудах конференций Eurospeech, ICSLP и ASRU.
Упражнения
Покажите, что любой марковский процесс второго порядка может быть переоформлен в виде марковского процесса первого порядка с дополненным множеством переменных состояния. Может ли такое преобразование всегда быть выполнено экономно, т.е. без увеличения количества параметров, необходимых для определения модели перехода?
В этом упражнении рассматривается, что происходит с вероятностями в мире задачи с зонтиком по мере приближения к пределу в длинных временных последовательностях.
Предположим, что наблюдается нескончаемая последовательность дней, в которых директор появляется на работе с зонтиком или без зонтика. Покажите, что, по мере того, как проходят эти дни, вероятность дождя в текущий день возрастает монотонно в направлении к фиксированной точке. Рассчитайте эту фиксированную точку.
Теперь рассмотрим задачу прогнозирования все дальше и дальше в будущее по данным только первых двух наблюдений с зонтиком. Вначале рассчитайте вероятность Р(Я2+к| Ulf сг2) для k=1...2O и нанесите результаты на график. Вы должны обнаружить, что эта вероятность сходится в фиксированной точке. Рассчитайте точное значение для этой фиксированной точки.
В данном упражнении разрабатывается вариант прямого—обратного алгоритма, приведенного в листинге 15.1, характеризующийся эффективным использованием пространства. Требуется вычислить значение P(xk|e1;t) для к=1,..., t. Такую задачу можно решить с помощью подхода по принципу “разделяй и властвуй”.
Для упрощения примем предположение, что значение t является нечетным, и допустим, что промежуточная точка определяется выражением h= (t+l) /2. Покажите, что значение P(xk|e1;t) можно вычислить для к=1,..., h, если даны лишь первоначальное прямое сообщение f 1:0, обратное сообщение bh+1:t и свидетельство ei:h.
Покажите аналогичный результат для второй половины последовательности.
Если даны результаты выполнения заданий 15.3, а и 15.3, б, рекурсивный алгоритм “разделяй и властвуй” можно сформировать, вначале выполнив прогон в прямом направлении вдоль последовательности, а затем в обратном направлении от ее конца, сохранив лишь необходимые сообщения в середине и в концах. Затем алгоритм вызывается на каждой половине последовательности. Составьте подробный листинг этого алгоритма.
Определите временную и пространственную сложность алгоритма как функцию от с, длины последовательности. Как изменятся эти результаты, если входные данные будут разделены больше чем на две части?
На с. 732 была кратко описана ошибочная процедура определения наиболее вероятной последовательности состояний, в которой используется последовательность наблюдений. В этой процедуре предусматривается поиск в каждом временном интервале наиболее вероятного состояния, применение операции сглаживания и возврат последовательности, в которой собраны эти состояния. Покажите, что при использовании некоторых временных вероятностных моделей и последовательностей наблюдений эта процедура возвращает невозможную последовательность состояний (т.е. такую последовательность, что ее апостериорная вероятность равна нулю).
Часто возникает необходимость осуществлять текущий контроль за системой с непрерывным состоянием, поведение которой переключается непредсказуемым образом с одного режима на другой в множестве из к различных режимов. Например, самолет, пытающийся избежать поражения ракетой, может выполнить ряд различных маневров, которые попытается отследить система управления ракетой. Представление такой модели переключательного фильтра Калмана в виде байесовской сети показано на рис. 15.17.
Рис. 15.17. Представление переключательного фильтра Калмана в виде байесовской сети. Переключательная переменная St представляет собой дискретную переменную состояния, значение которой определяет модель перехода для непрерывных переменных состояния xt. Для любого дискретного состояния i модель перехода Р (xt*i / xt, st=i) представляет собой линейную гауссову модель, так же как и в обычном фильтре Калмана. Модель перехода для дискретного состояния, Р (St+i ISt)»может рассматриваться как матрица, по аналогии со скрытой марковской моделью
Допустим, что дискретное состояние St имеет к возможных значений и что априорная непрерывная оценка состояния р (х0) представляет собой многомерное гауссово распределение. Покажите, что предсказание Р (XJ представляет собой сочетание гауссовых распределений, т.е. такую взвешенную сумму гауссовых распределений, что веса в сумме составляют 1.
Покажите, что если текущая оценка непрерывного состояния Р (xt | e1:t) представляет собой сочетание т гауссовых распределений, то в общем случае обновленная оценка состояния Р (xt+11 e1:t+1) будет представлять собой сочетание кт гауссовых распределений.
Какой аспект временного процесса представляют веса в сочетании гауссовых распределений?
Результаты выполнения заданий 15.5, о и 15.5,6, вместе взятые, показывают, что объем этого представления апостериорных вероятностей беспредельно возрастает даже при использовании переключательных фильтров Калмана, которые являются простейшими гибридными динамическими моделями.
Дополните недостающий этап вывода уравнения 15.17 — первый этап обновления для одномерного фильтра Калмана.
Рассмотрим ход выполнения операции обновления дисперсии в уравнении 15.18.
Нанесите на график значения выражения ot2 как функции от t при наличии различных значений для ох2 и oz2.
Покажите, что эта операция обновления имеет фиксированную точку, такую, что о2^2—>о2, по мере того как с-»«>, и рассчитайте значение а2.
Дайте качественное объяснение того, что происходит по мере того, как ох2—>0 и oz2—>0.
Покажите, как представить модель НММ в виде рекурсивной реляционной вероятностной модели в соответствии с предложением, приведенным в разделе 14.6.
В этом упражнении более подробно анализируется устойчивая к отказам модель для датчика аккумулятора, показанная на рис. 15.11, а.
График на рис. 15.11, б обрывается при с=32. Дайте качественное описание того, что должно произойти по мере стремления t к бесконечности, t-»oo, если датчик продолжает выдавать показания 0.
Предположим, что температура окружающей среды влияет на датчик аккумулятора таким образом, что по мере возрастания температуры временные отказы становятся все более вероятными. Покажите, как дополнить с учетом этого структуру сети DBN, приведенную на рис. 15.11, а, и объясните, какие изменения потребуется внести в таблицы условных вероятностей.
После определения новой структуры этой сети, может ли робот использовать показания датчика аккумулятора для вероятностного вывода данных о текущей температуре?
Рассмотрите задачу применения алгоритма устранения переменной к сети DBN для задачи с зонтиком, развернутую на три временнь/х среза, в которой
используется запрос Р №31 иг, и2, и3). Покажите, что сложность этого алгоритма (размер наибольшего фактора) является одинаковой, независимо от того, устраняются ли переменные, касающиеся дождя, в прямом или обратном порядке.
В модели произношения слова “tomato”, приведенной на рис. 15.15, допускается коартикуляция с первой гласной, поскольку даны две возможные фонемы. Альтернативный подход состоит в использовании трехфонемной модели, в которой фонема [ow(t,m) ] автоматически включает изменение в гласном звуке. Составьте полную трехфонемную модель для слова “tomato”, включая вариант, касающийся диалекта.
Вычислите наиболее вероятный путь через модель НММ, приведенную на рис. 15.16, для выходной последовательности [ Сх, С2, С3, С4, С4, Сб, С7 ]. Кроме того, приведите значение его вероятности.
16 Принятие простых РЕШЕНИЙ
В этой главе показано, как должен принимать решения агент, чтобы получать то, что ему требуется, по крайней мере в среднем количестве случаев.
В данной главе мы вернемся к идее теории полезности, которая была представлена в главе 13, и покажем, как можно объединить эту теорию с теорией вероятностей, чтобы создать агента, действующего на основе теории решений, т.е. агента, способного принимать рациональные решения с учетом того, в чем он убежден и к чему стремится. Такой агент может принимать решения в таких ситуациях, когда из-за неопределенности и конфликтующих целей логический агент остается неспособным что-либо решить. По существу, агент, основанный на цели, может лишь проводить бинарное различие между хорошими (целевыми) и плохими (нецелевыми) состояниями, тогда как агент, основанный на теории решений, пользуется непрерывными показателями качества состояния.
В разделе 16.1 изложен основной принцип теории решений — максимизация ожидаемой полезности. В разделе 16.2 показано, что поведение любого рационального агента можно понять, определив функцию полезности, которую он максимизирует. В разделе 16.3 более подробно обсуждаются характерные особенности функций полезности и, в частности, то, как они связаны с отдельными величинами, такими как деньги. В разделе 16.4 показано, как обращаться с функциями полезности, которые зависят от нескольких величин. В разделе 16.5 описана реализация систем принятия решений. В частности, в этом разделе описан формальный подход, называемый сетями принятия решений (известный также под названием диаграмм влияния); такие сети являются дополнением байесовских сетей, в которое включены действия и показатели полезности. В оставшейся части этой главы рассматриваются проблемы, связанные с применением теории решений в экспертных системах.
Совместный учет убеждений и желаний
В УСЛОВИЯХ НЕОПРЕДЕЛЕННОСТИ
В книге Port-Royal Logic (“Логика Пор-Ройяль”), написанной в 1662 году, французский философ Арно изложил следующую мысль.
“Чтобы судить о том, что следует делать, чтобы получить хорошее или избежать плохого, необходимо рассматривать не только хорошее и плохое само по себе, но и вероятность того, произойдет ли оно или не произойдет, а также рассматривать математически пропорцию, в которой все эти обстоятельства встречаются вместе.”
В современной литературе вместо понятий хорошего или плохого применяется понятие полезности, но общий принцип остается таким же. Для описания предпочтений агента, с помощью которых он различает состояния мира, применяется функция полезности, которая присваивает состоянию единственное числовое значение, чтобы показать, насколько оно желательно. Полезности объединяются с вероятностями действий для определения ожидаемой полезности каждого действия.
В этой главе будет использоваться запись UkS) для обозначения полезности состояния S с точки зрения агента, принимающего решения. На данный момент мы будем рассматривать состояния как полные снимки параметров мира, по аналогии с ситуациями, которые рассматривались в главе 10. На первых порах такой подход позволяет упростить изложение данной темы, но когда придется отдельно определять полезность каждого возможного состояния, он может стать довольно громоздким. В разделе 16.4 будет показано, как можно выполнить в некоторых обстоятельствах декомпозицию состояний в целях присваивания значений полезности.
Любое недетерминированное действие А имеет возможные результирующие состояния Result^ кА), где индекс i пробегает по различным результатам. Прежде чем осуществить действие А, агент присваивает вероятность PkResulti кА) |Do(A) ,Е) каждому результату, где Е представляет собой сумму доступных агенту свидетельств о мире, a Do кА) — высказывание, согласно которому действие А выполняется в текущем состоянии. Таким образом, можно вычислить дожидаемую полезность действия с учетом свидетельства, EUk А | Е), с использованием следующей формулы:
(16.1)(16.1)EUkA\E) = ^ PkResultikA) \DokA) ,E)UkResultikA) ) i
(16.1)
(16.1)
Принцип ^максимальной ожидаемой полезности (Maximum Expected Utility — MEU) гласит, что рациональный агент должен выбирать действие, которое максимизирует ожидаемую полезность для агента. А если бы с помощью этого уравнения потребовалось выбрать наилучшую последовательность действий, то пришлось бы перенумеровать все последовательности действий и выбрать наилучшую; очевидно, что такой подход при наличии длинных последовательностей действий становится неосуществимым. Поэтому данная глава посвящена главным образом описанию простых решений (которые обычно предусматривают единственное действие), а в следующей главе будут представлены новые методы, позволяющие эффективно применять последовательности действий.
В определенном смысле принцип MEU может рассматриваться как определение всего искусственного интеллекта. Все, что должен делать интеллектуальный агент, сводится к вычислению различных количественных величин, определению максимальной полезности по всем своим действиям, а затем осуществлению этих действий. Но сказанное не означает, что тем самым проблема искусственного интеллекта решена по определению!
Хотя принцип MEU позволяет определить правильное действие, которое должно быть выполнено в любой задаче принятия решений, связанный с этим объем вычис-
лений может оказаться неосуществимым, а иногда нелегко даже полностью сформулировать саму задачу. Для того чтобы определить начальное состояние мира, требуется применить восприятие, обучение, представление знаний, логический и вероятностный вывод. Для вычисления вероятностей P(Resulс£ (A) |Do(A) , Е) необходимо иметь полную причинную модель мира, а также, как было показано в главе 14, осуществлять NP-трудный вероятностный вывод в байесовских сетях. Для вычисления полезности каждого состояния, U(Resul с£ (А) ), часто требуется поиск или планирование, поскольку агент не может определить, насколько хорошим является состояние, до тех пор, пока не узнает, чего он может достичь из этого состояния. Поэтому теория принятия решений — это не панацея, которая позволила бы решить всю проблему искусственного интеллекта. С другой стороны, она предоставляет инфраструктуру, с помощью которой можно определить, где должны найти свое место те или иные компоненты любой системы искусственного интеллекта.
Очевидно, что принцип MEU связан с идеей показателей производительности, которая была представлена в главе 2. Эта основная идея очень проста. Рассмотрим варианты среды, действия в которых могут привести к получению агентом данной конкретной истории восприятий, а также предположим, что существует возможность спроектировать несколько разных агентов. ^ Если агент максимизирует функцию полезности, правильно отражающую показатели производительности, по которым можно судить о его поведении, то этот агент достигнет наивысших возможных значений показателей производительности, если будет проведено усреднение полученных значений показателей по всем вариантам среды, в которые может быть помещен этот агент. Это определение представляет собой также основное обоснование для самого принципа MEU. Хотя на первый взгляд такое определение может показаться содержащим тавтологию, фактически оно воплощает в себе очень важный переход от глобального, внешнего критерия рациональности (по результатам оценки производительности на основании историй восприятия в среде) к локальному, внутреннему критерию, основанному на максимизации функции полезности применительно к следующему состоянию.
В данной главе будут рассматриваться только единственные, или ^ единоразовые решения, тогда как в главе 2 были определены показатели производительности, измеряемые по историям восприятия в среде, которые обычно становятся результатом многих решений. В следующей главе, посвященной описанию последовательных решений, будет показано, как можно согласовать эти два подхода к оценке функционирования агента.
Основы ТЕОРИИ ПОЛЕЗНОСТИ
Интуитивно ясно, что принцип максимальной ожидаемой полезности (Maximum Expected Utility — MEU) может стать основой приемлемого способа принятия решений, но нет никаких оснований полагать, что это — единственный рациональный способ. В конечном итоге, на каком основании следует придавать такое значение подходу, в котором предусматривается максимизация средней полезности? Почему бы не попытаться максимизировать сумму кубов возможных полезностей или не рассмотреть подход с минимизацией наихудшей возможной потери? Кроме того,
может ли агент рационально организовать свои действия, лишь выразив отношение предпочтения между состояниями и не присваивая им числовых значений? Наконец, почему вообще должна существовать функция полезности с требуемыми свойствами? Вполне допустимо такое предположение, что рациональный агент может иметь структуру предпочтений, являющуюся слишком сложной для того, чтобы ее можно было представить с помощью такого простого метода, как присваивание единственного действительного числового значения каждому состоянию.
Ограничения, налагаемые на рациональные предпочтения
Ответы на эти вопросы можно получить, записав некоторые ограничения, распространяющиеся на предпочтения, которые должен иметь рациональный агент, азатем показав, что принцип MEU можно вывести из этих ограничений. Для описания предпочтений агента будут использоваться приведенные ниже обозначения.
А >• В. Вариант А предпочтительнее, чем В
А ~ В. Агент безразличен к выбору между вариантами А и В
А £ В. Агент предпочитает вариант А варианту В или безразличен к выбору между ними
Теперь напрашивается очевидный вопрос, к какого рода понятиям относятся А и в? Если действия агента являются детерминированными, то А и в обычно представляют собой конкретные, полностью заданные результирующие состояния этих действий. В более общем, недетерминированном случае Айв представляют собой ^лотереи. Лотерея по сути является распределением вероятностей по множеству фактических результатов (“призов” в лотерее). Лотерея L с возможными результатами Ci,...,Cn, которые могут возникать с вероятностями Pi,...,pn, записывается следующим образом:
Ь = (Pi,Ci;p2,C2;...;Pn,Cn]
(Лотерея только с одним результатом может быть записана либо как А, либо как [1, А].) Вообще говоря, каждым результатом лотереи может быть атомарное состояние или другая лотерея. Основная проблема теории полезности состоит в том, чтобы понять, как предпочтения между сложными лотереями связаны с предпочтениями между основополагающими состояниями в этих лотереях.
Для этого мы должны наложить на это отношение предпочтения приемлемые ограничения, во многом аналогично тому, как были наложены ограничения рациональности на степени уверенности для получения аксиом вероятностей в главе 13. Одно из разумных ограничений состоит в том, что предпочтение должно быть транзитивным, т.е. если А > в и в >• С, то следует ожидать, что А > С. Свойство транзитивности можно обосновать, показав, что агент, предпочтения которого не соответствуют свойству транзитивности, будет вести себя нерационально. Предположим, например, что агент имеет нетранзитивное предпочтение А > В >• С >- А, где А, в и С — товары, которые могут свободно обмениваться друг на друга. Если агент в настоящее время имеет товар А, то можно предложить обменять С на А и немного наличных. Агент предпочитает товар С и поэтому должен быть готов предос-
После этого мы вернемся к такому же положению, с которого начинали, за исключением того, что теперь агент имеет меньше денег (рис. 16.1, а). Такое движение по циклу может продолжаться до тех пор, пока у агента больше не останется денег. Очевидно, что в этом случае агент не действовал рационально.
а)б)
Рис. 16.1. Пример нарушения свойства транзитивности: циклическое повторение обменов товаром, которое показывает, что нетранзитивные предпочтения А >- В >- С >- А приводят к нерациональному поведению (а); графическая иллюстрация аксиомы декомпонуемости (б)
Приведенные ниже шесть ограничений известны как аксиомы теории полезности. Они определяют самые очевидные семантические ограничения, которые распространяются на предпочтения и лотереи.
М Упорядочиваемость. Если даны два состояния, то рациональный агент должен либо предпочесть одно другому, либо рассматривать их оба как в равной степени предпочтительные. Это означает, что агент не может избежать принятия решений. Как было сказано на с. 637, отказ сделать ставку аналогичен тому, что агент отказывается предпринимать активные действия и предоставляет все дальнейшее естественному течению событий.
кА >• В) v кВ >• А) v кА и В)
М Транзитивность. Если даны три состояния, такие, что агент предпочитает состояние А состоянию В и предпочитает состояние В состоянию С, то агент должен предпочесть состояние А состоянию С.
кА >- В) л кВ >- С) => кА >- С)
М Непрерывность. Если некоторое состояние В находится в порядке предпочтений между А и С, то существует некоторая вероятность р того, что рациональный агент будет безразличен к тому, чтобы определенно выбрать в или лотерею, результатом которой является состояние А, с вероятностью р, и состояние С, с вероятностью 1-р.
лотерею, результатом которой является состояние А, с вероятностью р, и состояние С, с вероятностью 1-р.
А >• В >• С => Зр [р, А; 1-р, С] ~ В
М Заменяемость. Если агент безразличен к выбору между двумя лотереями, А и в, то агент безразличен и к выбору между двумя более сложными лотереями, которые являются одинаковыми, за исключением того, что в одной из них подставлена лотерея в вместо А. Такое свойство сохраняется независимо от вероятностей и от других результатов лотерей.
А ~ В => [р,А;1-р,С] ~ [р, В; 1-р, С]
М Монотонность. Предположим, что две лотереи имеют два одинаковых результата, Айв. Если агент предпочитает состояние А состоянию в, то агент должен предпочесть лотерею, которая имеет более высокую вероятность для состояния А (и наоборот).
А >- В => (р > q <=> [р,А;1-р,В] £ [g,A;l-g,B])
М Декомпонуемость. Сложные лотереи можно свести к простым, используя законы вероятностей. Это свойство получило название правила “экономии количества ставок”, поскольку согласно ему две последовательные лотереи могут быть сжаты в одну эквивалентную лотерею (см. рис. 16.1, б).
[р,А;1-р, [g, В;1-д, С] ] ~ [р,А; (1-р)д, В; (1-р) (1-д) , С]
В начале была Полезность
Обратите внимание на то, что в аксиомах теории полезности ничего не сказано о самой полезности; в них речь идет только о предпочтениях. Предполагается, что основным свойством рациональных агентов является умение пользоваться предпочтениями, а существование функции полезности следует из аксиом полезности, как показано ниже.
. Принцип полезности
Если предпочтения агента подчиняются аксиомам полезности, то существует функция и с реальными значениями, областью определения которой являются состояния, такая, что 17(A) > 17( В) тогда и только тогда, когда А является более предпочтительным, чем в, и U(A) = U(B) тогда и только тогда, когда агент безразличен к выбору между Айв.
ЩА) > ЩВ) & А >• В
U(A) = ЩВ) ^ А ~ В
. Принцип максимальной ожидаемой полезности
Полезность лотереи равна сумме произведений вероятности каждого результата на полезность этого результата.
Другими словами, как только будут определены вероятности и полезности всех возможных результирующих состояний, полезность сложной лотереи, охватывающей эти состояния, становится полностью определенной. Поскольку результатом недетерминированного действия является лотерея, существует возможность вывести это правило принятия решений на основании принципа MEU из уравнения 16.1.
Важно помнить, что из существования функции полезности, которая описывает поведение агента по выбору предпочтений, не обязательно следует, что агент явно максимизирует эту функцию полезности в своих собственных размышлениях. Как было показано в главе 2, рациональное поведение может быть выработано с помощью самых различных способов, причем некоторые из них являются более эффективными по сравнению с явной максимизацией полезности. Но наблюдение за предпочтениями рационального агента дает возможность составить функцию полезности, которая служит представлением того, что фактически пытается достичь агент своими действиями.
Функции полезности
Полезность — это функция, которая отображает состояния на действительные числа. Исчерпывается ли на этом все, что можно сказать о функциях полезности? Строго говоря, так оно и есть. С учетом соблюдения ограничений, перечисленных выше, агент может иметь любые предпочтения, какие пожелает. Например, агент может предпочесть держать на своем банковском счете такое количество долларов, которое измеряется простым числом; в этом случае, если ему на счет поступило 16 долларов, он может растратить 3 доллара. Агент вправе предпочесть “зубастый” Ford Pinto выпуска 1973 года сверкающему новому автомобилю Mercedes. Кроме того, предпочтения могут взаимодействовать друг с другом; например, агент вправе предпочитать иметь количество долларов, выражающихся простыми числами, когда он владеет автомобилем Ford Pinto, а когда в его собственности находится Mercedes, он может предпочитать иметь больше долларов, чем меньше.
Но если бы все функции полезности были такими же произвольными, как эта, то теория полезности не могла бы оказать нам значительную помощь, поскольку пришлось бы понаблюдать за предпочтениями агента во всех возможных сочетаниях обстоятельств, прежде чем получить возможность делать какие-либо предсказания в отношении его поведения. К счастью, предпочтения реальных агентов обычно в большей степени укладываются в определенную систему. И наоборот, существуют систематические способы проектирования функций полезности, которые после установки их в искусственном агенте вынуждают этого агента вырабатывать варианты поведения таких типов, какие нам требуются.
Полезность денег
Корни теории полезности скрываются в экономике, а экономика предоставляет одного очевидного кандидата для использования в качестве меры полезности — деньги (или, более конкретно, общий суммарный капитал агента). Почти универсальная способность денег к обмену на всевозможные товары и услуги подсказывает, что деньги играют важную роль в функциях полезности людей. (В действительно-
сти большинство людей рассматривают экономику как науку о деньгах, тогда как фактически по своему происхождению слово экономия относится к управлению хозяйством, а современное направление экономических исследований нацелено на обоснование рационального выбора.)
Если мы ограничим свое внимание только такими действиями, которые влияют на количество денег, имеющихся у агента, то, как правило, обнаружим, что при всех прочих равных условиях агент предпочитает иметь больше денег, а не меньше. Таким образом, можно утверждать, что агент проявляет склонность к ^ монотонному предпочтению применительно к определенным суммам денег. Однако этого недостаточно, чтобы можно было использовать деньги в качестве значения функции полезности, поскольку в этом определении ничего не сказано о предпочтениях между лотереями, связанными с денежными ставками.
Представьте себе, что вы одержали победу над всеми соперниками в телевизионном игровом шоу, и ведущий предлагает вам выбор: забирайте свой приз в 1 000 000 долларов или сделайте на него ставку, бросив монету. Если выпадет орел, вы ничего не получите, а если выпадет решка, то получите 3 000 000 долларов. Если вы — такой же, как большинство людей, то откажетесь от этой ставки и положите в карман миллион. Является ли это решение нерациональным?
При условии, что вы уверены в подлинности этой монеты, М ожидаемое денежное значение (Expected Monetary Value — ЕМУ) этой ставки равно
1 1
2* (О долларов) + ^"(З ООО 000 долларов) = 1 500 000 долларов,
а значение ЕМУ взятия первоначального приза, безусловно, равно 1 000 000 долларов, т.е. меньше. Но такой расчет не обязательно означает, что принятие предложения сделать эту ставку является лучшим решением. Предположим, что мы используем запись Sn для обозначения состояния, соответствующего обладанию всей суммой п долларов, а ваши текущие накопления составляют к долл. В таком случае ожидаемые полезности двух действий, соответствующих принятию предложения сделать ставку (Accept) и отказу от него (Decline), выражаются следующими соотношениями:
EC7(Accept) = 2"CJ(Sk) + ^^(^к+з ооо ооо)
EU(Decline) = C7(Sk+i ооо ооо)
Чтобы определить, что делать, необходимо присвоить значения полезности результирующим состояниям. Полезность не является прямо пропорциональной денежному значению, поскольку полезность вашего первого миллиона (связанная с положительным изменением образа жизни) очень высока (по крайней мере, все так говорят), тогда как полезность еще одного миллиона гораздо меньше. Предположим, что присвоено значение полезности 5 текущему финансовому состоянию (Sk), 10 — состоянию Sk+3 ооо ооо и 8 — состоянию Sk+i ооо ооо- В таком случае рациональное действие должно состоять в том, чтобы отказаться от предложения сделать ставку, поскольку ожидаемая полезность его принятия равна только 7.5 (меньше 8, что соответствует отказу от этого предложения). С другой стороны, предположим, что некто уже имеет 500 000 000 долларов на банковском счете (и, вполне можно предположить, участвует в игровых шоу только ради развлечения). В таком случае указанное предложение, по-видимому, является вполне приемлемым,
так как дополнительная польза от появления 503-го миллиона, скорее всего, почти не отличается от той, которая соответствует получению 501-го миллиона.
В своем оригинальном исследовании фактически применяемых функций полезности Грейсон [589] обнаружил, что полезность денег почти точно пропорциональна логарифму их количества (предположение об этом впервые высказал Бернулли [111]; см. упр. 16.3). Одна конкретная кривая, относящаяся к данным о предпочтениях некоего мистера Берда, показана на рис. 16.2, а. Полученные Грейсоном данные о предпочтениях мистера Берда совместимы со следующей функцией полезности для диапазона от п=-150 ООО долларов до п=800 ООО долларов:
CJ(Sk+n) = -263.31 + 22.09 log(n+150 ООО)
Рис. 16.2. Кривая полезности денег: эмпирические данные о предпочтениях мистера Берда, измеренные в ограниченном диапазоне (а); типичная кривая для полного диапазона (б)Рис. 16.2. Кривая полезности денег: эмпирические данные о предпочтениях мистера Берда, измеренные в ограниченном диапазоне (а); типичная кривая для полного диапазона (б)
Рис. 16.2. Кривая полезности денег: эмпирические данные о предпочтениях мистера Берда, измеренные в ограниченном диапазоне (а); типичная кривая для полного диапазона (б)
Рис. 16.2. Кривая полезности денег: эмпирические данные о предпочтениях мистера Берда, измеренные в ограниченном диапазоне (а); типичная кривая для полного диапазона (б)
Не следует считать, что это — безусловно верная функция полезности для денежных значений, но создается впечатление, что большинство людей руководствуются функцией полезности, которая является вогнутой в области положительных значений денежных накоплений. Брать в долг обычно считается катастрофическим решением, но предпочтения между различными уровнями задолженности могут показывать обратное поведение по отношению к вогнутости, связанной с положительными денежными накоплениями. Например, если некто уже имеет долг 10 000 000 долларов, то вполне может принять предложение сделать ставку на подбрасывание подлинной монеты, с выигрышем в 10 000 000 долларов после выпадения орла и проигрышем в 20 000 000 долларов после выпадения решки. Такое поведение соответствует S-образной кривой, показанной на рис. 16.2, б.
Если мы ограничим наше внимание положительной частью таких кривых, где уклон постепенно уменьшается, то для любой лотереи L полезность решения, при котором придется столкнуться с выбором в этой лотерее, меньше, чем полезность получения ожидаемого денежного значения в этой лотереи без всяких условий:
S(L) < S(SEmv(d)
Это означает, что агенты с кривыми полезности такой формы М избегают риска: они предпочитают надежное приобретение, пусть даже с меньшей отдачей по сравнению с ожидаемым денежным значением возможной ставки. С другой стороны, в “безнадежной” области с большими отрицательными накоплениями на рис. 16.2, б поведение характеризуется ^ стремлением к риску. Сумма, приобретаемая агентом вместо лотереи, называется ^ эквивалентом определенности лотереи. Исследования показали, что большинство людей предпочитают 400 долларов вместо ставки, розыгрыш которой позволяет получить в половине случаев 1000 долларов, а в другой половине случаев получить 0 долларов; это означает, что эквивалентом определенности для этой лотереи является 400 долларов. Разность между ожидаемым денежным значением лотереи и ее эквивалентом определенности называется М страховой премией. Неприятие риска является основой индустрии страхования, поскольку такое поведение означает, что страховые премии становятся положительными. Люди предпочитают заплатить небольшую страховую премию, нежели делать ставку на всю стоимость своего дома против шанса потери его в огне. А с точки зрения страховой компании цена отдельного дома весьма мала по сравнению с общими резервами этой компании. Это означает, что кривая полезности страховщика в таком небольшом регионе остается приблизительно линейной и для этой компании ставка на стоимость дома против страховой премии является беспроигрышной.
Обратите внимание на то, что при небольших изменениях в уровне денежных накоплений по сравнению с текущими накоплениями почти любая кривая полезности должна быть приблизительно линейной. Агент, который руководствуется такой линейной кривой, называется ^ нейтрально относящимся к риску. Поэтому в случае ставок на небольшие суммы предполагается соблюдение свойства нейтрального отношения к риску. В определенном смысле это свойство является обоснованием упрощенной процедуры, в которой применяются небольшие ставки для оценки вероятностей, а также обоснованием аксиом вероятностей, приведенных в главе 13.
Субъективные суждения и присущее человеку свойство
ОШИБАТЬСЯ
Теория принятия решений является ^ нормативной — она описывает, как должен действовать рациональный агент. Область применения экономической теории удалось бы значительно расширить, если бы существовала также какая-то М описательная теория фактического принятия решений людьми. Однако имеются экспериментальные свидетельства, которые показывают, что люди систематически нарушают аксиомы теории полезности. Один из примеров такого поведения приведен психологами Тверским и Канеманом [1523], который основан на примере экономиста Алле [14]. Участникам проводимого им эксперимента был предоставлен выбор между лотереями А и в, а затем между лотереями Сип
80% шансов на получение 4000 долларов
100% шансов на получение 3000 долларов
20% шансов на получение 4000 долларов
В: 25% шансов на получение 3000 долларов
Большинство участников предпочли в перед А и С перед в. Но если присвоить значению полезности нулевой суммы нулевое значение, [7(0 долларов)=0, то
из первого из этих выборов следует, что 0.817(4000 долларов) <17(3000 долларов), а из второго следует прямо противоположное. Другими словами, создается впечатление, что не существует функции полезности, которая была бы совместимой с этими выборами. Одно из возможных заключений состоит в том, что люди действуют нерационально с точки зрения стандартов, определяемых приведенными выше аксиомами полезности. Но в одном из альтернативных подходов к трактовке этого явления предполагается, что в этом анализе не учитывается сожаление — чувство, которое, как известно людям, они будут испытывать, если откажутся от надежного приобретения (в) в обмен на 80%-ные шансы более высокого вознаграждения, а затем проиграют. Иначе говоря, если будет выбрана лотерея А, то перед людьми будет стоять 20%-ный шанс не получить никаких денег и почувствовать себя полным идиотом.
Канеман и Тверский приступили к разработке описательной теории, которая объясняет, почему люди избегают риска в условиях высокой вероятности выигрыша, но готовы делать более рискованные ставки при менее вероятном вознаграждении. Связь между этими исследованиями и искусственным интеллектом состоит в том, что выборы, сделанные нашими агентами, являются лишь настолько качественными, насколько являются таковыми предпочтения, на которых они основаны. Если же люди, информирующие нас о своих взглядах, настаивают на своих противоречивых суждениях о предпочтениях, то искусственный агент не может ничего сделать, чтобы получить возможность поступать в дальнейшем так же, как они.
К счастью, суждения людей, касающиеся предпочтений, часто бывают открыты для пересмотра в свете дополнительных размышлений. В своей ранней работе по оценке полезности денег, выполненной в Гарвардской школе бизнеса, Кини и Райффа [788] изложили описанные ниже результаты.
• “Значительный объем проведенных эмпирических исследований показал серьезный недостаток применяемого нами протокола оценки. Участники экспериментов проявляли слишком большую склонность избегать риска в малом и поэтому... составленные на основании экспериментов функции полезности показывают недопустимо большие премии за риск для лотерей с большим разбросом значений выигрыша. ...Но большинство участников эксперимента смогли понять, что их действия не обоснованы, и испытали такие чувства, будто ими освоен важный урок в отношении того, как им следует себя вести. Сделав соответствующие выводы, некоторые участники эксперимента отказались от страховки против автомобильной аварии и заключили договора страхования своей жизни на более продолжительный срок.” Даже в наши дни продолжаются интенсивные исследования в области рациональности (нерациональности) поведения людей.
Шкалы полезности и оценка полезности
Если даже известно, каково поведение агента в отношении предпочтений, аксиомы полезности не позволяют определить для него уникальную функцию полезности. Например, любую функцию полезности и( S) можно преобразовать в другую функцию:
U' (S) = ^1 + к2 U{S)
где кг — некоторая константа; к2 — любая положительная константа. Очевидно, что в результате этого линейного преобразования поведение агента останется неизменным.
В детерминированных контекстах, где имеются состояния, но не лотереи, поведение не изменяется под действием любого монотонного преобразования. Например, можно вычислить квадратный корень всех значений полезности, не повлияв на упорядочение действий по предпочтениям. Принято считать, что агент в детерминированной среде руководствуется ^ функцией значения, или М порядковой функцией полезности; по существу, эта функция обеспечивает лишь ранжирование состояний и не позволяет получить осмысленные числовые значения. Это различие было показано в главе 6 для игр: функции оценки в таких детерминированных играх, как шахматы, представляют собой функции значения, тогда как функции оценки в недетерминированных играх, подобных нардам, являются истинными функциями полезности.
Одна из процедур оценки полезностей состоит в том, что определяется шкала с “наилучшим возможным выигрышем” при U"(S)=uT и “наихудшим возможным проигрышем” при CJ(S) = u±. Для ^нормализованных значений полезности используется шкала с ui=0 и ит=1. Оценка полезностей промежуточных результатов осуществляется путем опроса агента, который должен обозначить свое предпочтение между заданным результирующим состоянием S и ^ стандартной лотереей [р, цт; (1-р) , nJ. Вероятность р корректируется до тех пор, пока агент не становится безразличным к выбору между S и этой стандартной лотереей. Это означает, что при наличии нормализованных полезностей полезность S определяется вероятностью р.
В задачах принятия решений, касающихся медицинского обслуживания, транспорта и охраны окружающей среды, кроме всего прочего, ставками становятся жизни людей. В таких случаях и± представляет собой значение, присвоенное немедленной смерти (или, возможно, многим смертям). ^ Хотя все испытывают смущение, когда назначается цена человеческой жизни, истина состоит в том, что во всех критических ситуациях приходится применять компромиссы с учетом этой цены. Самолеты проходят полный цикл технического обслуживания через интервалы, определяемые количеством полетов и длиной пробега в километрах, а не после каждого полета. Корпуса автомобилей изготавливаются из относительно тонкого листового металла для уменьшения расходов, несмотря на то, что это приводит к уменьшению относительного количества людей, выживших после аварии. Этилированное топливо продолжает широко использоваться, даже несмотря на то, что всем известно, какой вред оно наносит здоровью. Как ни парадоксально, отказ “назначить цену жизни в деньгах” означает, что жизнь часто недооценивается. Росс Шахтер рассказывал о своем опыте общения с одним правительственным агентством, которое заказало исследование по вопросу целесообразности удаления асбестовых изделий из школ. Шахтер провел исследование, в котором было принято предположение, что цена жизни ребенка школьного возраста имеет конкретное долларовое выражение, и доказал, что при таком предположении рациональным выбором должно стать удаление асбестовых изделий. Правительственное агентство, ссылаясь на соображения морали, даже не стало рассматривать отчет по результатам этого исследования, после чего было принято решение о том, что не следует заниматься удалением асбестовых изделий.
Было сделано несколько попыток определить, какую цену назначают люди за свои собственные жизни. Двумя “валютами”, широко используемыми в медицинских и страховых исследованиях, являются М микрошанс смерти (micromort — один
из миллиона шансов смерти) и ^ QALY (Quality-Adjusted Life Year), или год жизни с поправкой на качество жизни (который эквивалентен году, прожитому в добром здравии, без каких-либо заболеваний). Целый ряд исследований, проведенных с охватом самых разных слоев населения, показал, что микрошанс смерти стоит примерно 20 долларов (в долларах по курсу за 1980 год). Как уже было показано, функции полезности не обязательно должны быть линейными, поэтому из полученных результатов не следует, что некое лицо, принимающее решение, согласилось бы подвергнуться смерти за 20 миллионов долларов. К тому же локальная линейность любой кривой полезности означает, что показатели микрошанса смерти и QALY являются наиболее приемлемыми для анализа небольших инкрементных рисков и вознаграждений.
Многоатрибутные функции полезности
Принятие решений в области общественной политики, с одной стороны, связано с затратами в миллионы долларов, а с другой стороны, часто касается вопросов жизни и смерти. Например, принимая решение о том, какие уровни канцерогенного вещества являются допустимыми в окружающей среде, лица, устанавливающие нормы допустимых загрязнений, вынуждены искать компромисс между требованиями по предотвращению преждевременных смертей и экономическими трудностями, которые могут возникнуть из-за отказа от некоторых промышленных продуктов и процессов. При поиске строительной площадки для нового аэропорта приходится учитывать, какой вред окружающей среде будет нанесен этим строительством, стоимость земельного участка, расстояние от центров сосредоточения большого количества населения, шум, связанный с деятельностью аэропорта, проблемы безопасности, обусловленные местной топографией и погодными условиями и т.д. Задачи, подобные этим, в которых результаты характеризуются двумя или несколькими атрибутами, рассматриваются в М теории многоатрибутной полезности.
Обозначим эти атрибуты как x=xlz..., Хп; полный вектор присваиваний принимает вид х=<х1#..., хп>. Вообще говоря, предполагается, что каждый атрибут имеет дискретные или непрерывные скалярные значения. Для упрощения принимается допущение, будто каждый атрибут определен таким образом, что при всех прочих равных условиях более высокие значения атрибута соответствуют большим полезностям. Например, если в качестве одного из атрибутов в задаче с аэропортом будет выбрано отсутствие шума AbsenceOfNoise, то решение будет тем лучше, чем выше значение этого атрибута. В некоторых случаях может потребоваться подразделить диапазон значений так, чтобы значение полезности изменялось монотонно в каждом поддиапазоне.
Начнем с анализа случаев, в которых решения могут быть приняты без комбинирования значений атрибутов в одно значение полезности. Затем рассмотрим случаи, в которых полезности комбинаций атрибутов могут быть определены очень кратко.
Доминирование
Предположим, что площадка для аэропорта Si стоит меньше, способствует выработке меньшего шумового загрязнения и характеризуется большей безопасностью,
чем площадка S2. В таком случае следует без колебаний отвергнуть вариант с площадкой S2. В этой ситуации применяется такая формулировка, что имеет место ^ строгое доминирование варианта Si над вариантом S2. Вообще говоря, если некоторый вариант характеризуется меньшими значениями всех атрибутов по сравнению с каким-то другим вариантом, то нет необходимости продолжать его дальнейшее рассмотрение. Отношение строгого доминирования часто бывает очень полезным, когда требуется сократить перечень вариантов выбора, оставив лишь реальных претендентов, хотя его применение редко приводит к тому, что остается лишь один уникальный вариант. На рис. 16.3, а показана диаграмма для случая с двумя атрибутами.
а)а)б)
а)
а)
Рис. 16.3. Строгое доминирование: детерминированный случай; над вариантом А строго доминирует вариант В, но не варианты С или D (а); неопределенный случай; над вариантом А строго доминирует вариант В, но не вариант С (б)
Такой подход является вполне применимым для детерминированного случая, в котором точно известны значения атрибутов. А как следует поступать в общем случае, когда результаты действий являются неопределенными? И в этих обстоятельствах может применяться непосредственный аналог отношения строгого доминирования, в котором, несмотря на неопределенность, все возможные конкретные результаты для Si строго доминируют над всеми возможными результатами для S2 (см. рис. 16.3, б). Безусловно, что такая ситуация, вполне вероятно, может возникать даже реже по сравнению с детерминированным случаем.
К счастью, возможно более полезное обобщение, называемое М стохастическим доминированием, которое встречается очень часто в реальных задачах. Принцип стохастического доминирования проще понять в контексте задачи с одним атрибутом. Допустим, исследования показали, что стоимость строительства аэропорта на площадке Si равномерно распределена в пределах от 2,8 миллиарда долларов до 4,8 миллиарда долларов, а стоимость строительства на площадке S2 равномерно распределена в пределах от 3 миллиардов долларов до 5,2 миллиарда долларов. На рис. 16.4,а показаны эти распределения в виде графиков, на которых указанные значения отображены в виде отрицательных значений. В таком случае при наличии лишь той информации, что полезность уменьшается с увеличением стоимости, можно прийти к заключению, что вариант Sy стохастически доминирует над вариантом S2 (и поэтому вариант S2 может быть отброшен). Важно отметить, что такой вывод не следует из сравнения ожидаемых затрат. Например, если бы было известно,
что стоимость варианта Sx точно равна 3,8 миллиарда долларов, то мы не смогли бы принять решение без дополнительной информации о полезности денег.
о,бо,баа000,50,50,40,4550,30,30,20,20,10,1Отрицательная стоимость а)Отрицательная стоимость а)б)б)Рис. 16.4. Стохастическое доминирование: вариант Si стохастически доминирует над вариантом S2 по стоимости (а); кумулятивные распределения для отрицательной стоимости вариантов Si и s2 (б)Рис. 16.4. Стохастическое доминирование: вариант Si стохастически доминирует над вариантом S2 по стоимости (а); кумулятивные распределения для отрицательной стоимости вариантов Si и s2 (б)
о,б
о,б
а
а
0
0
0,5
0,5
0,4
0,4
5
5
0,3
0,3
0,2
0,2
0,1
0,1
Отрицательная стоимость а)
Отрицательная стоимость а)
б)
б)
Рис. 16.4. Стохастическое доминирование: вариант Si стохастически доминирует над вариантом S2 по стоимости (а); кумулятивные распределения для отрицательной стоимости вариантов Si и s2 (б)
Рис. 16.4. Стохастическое доминирование: вариант Si стохастически доминирует над вариантом S2 по стоимости (а); кумулятивные распределения для отрицательной стоимости вариантов Si и s2 (б)
Точные соотношения между распределениями стоимостей атрибутов, необходимые для определения стохастического доминирования, можно проще всего оценить, исследуя кумулятивные распределения, показанные на рис. 16.4, б. В кумулятивном распределении измеряется вероятность того, что стоимость меньше или равна какой-либо заданной сумме, т.е. в этом распределении интегрируется первоначальное распределение. Если кумулятивное распределение для 5г всегда находится справа от кумулятивного распределения для S2, то с точки зрения стохастической оценки вариант Si дешевле, чем S2. С формальной точки зрения, если два действия, Ах и д2, приводят к созданию распределений вероятностей рх (х) и р2 (х) по атрибуту X, то действие Ах стохастически доминирует над действием А2 по атрибуту X, если справедливо следующее соотношение:
Vx pi(x’)dx' < p2(x')dx'
Возможность применения этого определения для выбора оптимальных решений вытекает из следующего свойства: с^= если действие Ах стохастически доминирует над действием А2, то для любой не убывающей монотонно функции полезности U(x) ожидаемая полезность действия Ах является, по меньшей мере, столь же высокой, как и ожидаемая полезность действия А2. Если какое-то действие стохастически доминирует над другим действием по всем атрибутам, то последнее действие должно быть отброшено.
На первый взгляд может показаться, что условие стохастического доминирования является довольно формальным и, возможно, не позволяющим проводить вычисления без трудоемких вероятностных расчетов. Но в действительности оно во многих случаях позволяет легко принимать решения. Предположим, например, что стоимость строительства зависит от расстояний до центров сосредоточения населения. Сама стоимость остается неопределенной, но чем больше указанные расстояния, тем выше стоимость. Если площадка ST менее удалена, чем S2) то вариант Sx будет доминировать над S2 по стоимости. Хотя в данной книге эта тема не рассматривается, существуют точные алгоритмы распространения качественной информации такого рода среди неопределенных переменных в ^ качественных вероятностных сетях, которые позволяют системе вырабатывать рациональные решения на основе отношений стохастического доминирования, без использования каких-либо числовых значений.
Структура предпочтений и многоатрибутная полезность
Предположим, что имеются п атрибутов, каждый из которых имеет d различных возможных значений. Чтобы определить полную функцию полезности U(xlf..., хп), в худшем случае требуется cf значений. Итак, наихудший случай соответствует ситуации, в которой предпочтения агента вообще не отличаются какой-либо регулярностью. Теория многоатрибутной полезности основана на гипотезе о том, что предпочтения типичных агентов более структурированы по сравнению с указанной ситуацией. Основной подход состоит в том, что следует выявлять регулярные структуры в том поведении агента по отношению к предпочтениям, которое, по всей вероятности, будет наблюдаться в действительности, и использовать так называемые М теоремы представления для обоснования того, что агент со структурой предпочтений определенного рода имеет следующую функцию полезности:
[7(Х1, ...,Xn) = f [fl(Xi) , fn(Xn) ]
где f, в соответствии с оптимистическим предположением, представляет собой простую функцию, такую как сложение. Обратите внимание на то, что попытка определить структуру предпочтений аналогична использованию байесовских сетей для декомпозиции совместного распределения вероятностей нескольких случайных переменных.
Предпочтение без неопределенности
Начнем с детерминированного случая. Напомним, что для детерминированных вариантов среды у агента имеется функция значений V(xlt..., хп); цель состоит в том, чтобы представить эту функцию в более краткой форме. Основное свойство регулярности, которое наблюдается в детерминированных структурах предпочтений, называется М независимостью предпочтений. Два атрибута, хг и х2, являются независимыми по предпочтениям от третьего атрибута, Х3, если предпочтение между результатами (хх, х2, х3> и (хх' , х2' , х3) не зависит от конкретного значения х3 для атрибута Х3.
Возвращаясь к примеру с аэропортом, в котором нужно было рассмотреть (кроме других атрибутов) атрибуты Noise (Шум), Cost (Стоимость) и Deaths (Количество смертных случаев), можно предположить, что атрибуты Noise и Cost независимы
по предпочтениям от атрибута Deaths. Например, если мы предпочтем состояние с 20 000 людей, проживающих в районах, над которыми выполняются полеты, и стоимостью строительства 4 миллиарда долларов, состоянию с 70 000 людей, проживающих в районах полетов, и стоимостью 3,7 миллиарда долларов, притом что уровень безопасности в обоих случаях равен 0,06 смертей в расчете на миллионный пассажирооборот, то будем иметь одни и те же предпочтения, когда уровень безопасности равен 0,13 и когда он равен 0,01. Такие же отношения независимости имеют место для предпочтений между любыми другими парами значений атрибутов Noise и Cost. Очевидно также, что атрибуты Cost и Deaths независимы по предпочтениям от Noise, a Noise и Deaths независимы по предпочтениям от Cost. В этих случаях принято считать, что множество атрибутов {Noise, Cost, Deaths} обнаруживает свойство М взаимной независимости по предпочтениям (Mutual Preferential Independence — MPI). Согласно свойству MPI, вне зависимости от того, насколько важен каждый атрибут, он не влияет на отношения, в которых другие атрибуты сопоставляются друг с другом.
Свойство взаимной независимости по предпочтениям в определенной степени представляет собой идеализацию, но благодаря замечательной теореме, предложенной экономистом Дебре [365], на его основе можно вывести очень простую форму для функции стоимости агента: с^= если атрибуты Хх,... ,хп являются взаимно независимыми по предпочтениям, то поведение агента в отношении его предпочтений можно описать как максимизацию следующей функции:
У(Х1,...,ХП) = ^ Vi(Xi) i
где каждое слагаемое Vi представляет собой функцию значения, ссылающуюся только на атрибут xv Например, вполне допустима такая возможность, что решение по размещению аэропорта может быть принято на основе следующей функции значения:
V(noise, cost, deaths') = -noise x 104 - cost - deaths x 1012
Функция значения такого типа называется ^ аддитивной функцией значения. Аддитивные функции представляют собой исключительно естественный способ описания любой функции значения агента и действительно правильно описывают многие реальные ситуации. И даже если свойство MPI, строго говоря, не соблюдается, что может иметь место при крайних значениях атрибутов, аддитивная функция значения все еще может предоставлять хорошую аппроксимацию для предпочтений агента. Такое утверждение особенно полно оправдывается, когда нарушения свойства MPI возникают в тех частях диапазонов атрибутов, которые редко встречаются на практике.
Предпочтения с неопределенностью
Если в рассматриваемой проблемной области присутствует неопределенность, то необходимо также рассмотреть структуру предпочтений между лотереями и понять результирующие свойства функций полезности, а не просто функций значения. Математические основы решения этой проблемы могут оказаться весьма сложными, поэтому здесь мы представим только один из основных результатов, чтобы дать понять, как может быть решена эта проблема. Для ознакомления с исчерпывающим обзором работ в этой области рекомендуем читателю обратиться к [788].
Основное понятие М независимости полезностей позволяет расширить понятие независимости предпочтений так, чтобы оно охватывало лотереи: множество атрибутов х является независимым по полезности от множества атрибутов Y, если предпочтения между лотереями по атрибутам х независимы от конкретных значений атрибутов Y. Множество атрибутов является ^ взаимно независимым по полезностям (Mutually Utility-Independent — MUI), если каждое из его подмножеств является независимым по полезностям от остальных атрибутов. Опять-таки предположение о том, что атрибуты задачи с аэропортом обладают свойством MUI, кажется вполне резонным.
Из свойства MUI следует, что поведение агента может быть описано с помощью ^ мультипликативной функции полезности [787]. С общей формой мультипликативной функции полезности можно проще всего ознакомиться, рассмотрев случай с тремя атрибутами. В целях сокращения мы будем использовать запись ^ для обозначения Ui (Xj.):
U = kiUi + k2U2 + k3U3 + kik2UiU2 + k2k3U2U3 + k3kiU3UY + kik2k3UiU2U3
Хотя это соотношение на первый взгляд не кажется очень простым, оно содержит лишь три одноатрибутных функции полезности и три константы. Вообще говоря, любую п-атрибутную задачу, характеризующуюся наличием свойства MUI, можно промоделировать с использованием п одноатрибутных полезностей и п констант. Каждая из одноатрибутных функций полезности может быть разработана независимо от других атрибутов, а применение комбинации этих функций гарантирует формирование правильных общих предпочтений. Для получения чисто аддитивной функции полезности необходимо ввести некоторые дополнительные предположения.
Сети принятия решений
В этом разделе рассматривается общий механизм принятия рациональных решений. Описанную здесь систему обозначений часто называют М диаграммами влияния [695], но мы будем использовать более описательный термин ^ сети принятия решений. В сетях принятия решений байесовские сети комбинируются с узлами дополнительных типов, которые обозначают действия и полезности. В качестве примера будет рассматриваться задача выбора площадки для строительства аэропорта.
Способы представления задачи принятия решений с помощью сети принятия решений
В своей наиболее общей форме любая сеть принятия решений представляет информацию о текущем состоянии агента, его возможных действиях, о состоянии, которое станет результатом данного действия агента, и о полезности этого состояния. Таким образом, данная сеть может служить основой для реализации агентов, действующих с учетом полезности, такого типа, который был впервые представлен в разделе 2.4. На рис. 16.5 показана сеть принятия решений в задаче выбора площадки для строительства аэропорта. Этот рисунок может служить иллюстрацией того, как используются узлы трех описанных ниже типов.
Рис. 16.5. Простая сеть принятия решений в задаче выбора площадки для строительства аэропорта
^ Узлы жеребьевки (овалы) представляют собой случайные переменные, как и в байесовских сетях. Агент может не иметь определенной информации о стоимости строительства, интенсивности воздушного трафика и о потенциальных возможностях урегулирования формальностей, связанных с получением разрешения на строительство, а также о значениях переменных Deaths, Noise и суммарной стоимости Cost, поскольку каждое из этих значений зависит от особенностей выбранной площадки. Каждый узел жеребьевки имеет связанное с ним распределение условных вероятностей, которое проиндексировано по состояниям его родительских узлов. В сетях принятия решений родительские узлы могут включать узлы принятия решений, а также узлы жеребьевки. Обратите внимание на то, что каждый из узлов жеребьевки в текущем состоянии может войти в состав более крупной байесовской сети, применяемой для оценки затрат на строительство, интенсивностей воздушного трафика или потенциальных возможностей формального урегулирования.
^ Узлы принятия решений (прямоугольники) представляют собой точки, в которых лицу, принимающему решение, предоставляется выбор вариантов действий. В этом случае действие Airportsite может принимать различное значение для каждой площадки, подлежащей рассмотрению. Этот выбор влияет на стоимость, безопасность и шум, т.е. на те параметры, которые станут следствием строительства аэропорта. В данной главе предполагается, что нам придется иметь дело только с единственным узлом принятия решений, а в главе 17 рассматриваются случаи, в которых необходимо принимать больше одного решения.
М Узлы полезности (ромбы) представляют функцию полезности агента. Родительскими переменными узла полезности являются все переменные, описывающие результат, который непосредственно влияет на полезность. С узлом
полезности связано описание полезности агента как функции от родительских атрибутов. Это описание может представлять собой табуляцию функции или может быть выражено в виде параметризованной аддитивной или мультили- нейной функции.
Кроме того, во многих случаях применяется также упрощенная форма. Используемая при этом система обозначений остается неизменной, но исключаются узлы жеребьевки, описывающие результирующее состояние. Вместо этого узел полезности связывается непосредственно с узлами текущего состояния и с узлом принятия решений. В данном случае вместо представления функции полезности от состояний узел полезности представляет ожидаемую полезность, связанную с каждым действием, как было определено в уравнении 16.1. Поэтому такие таблицы авторы настоящей книги называют ^таблицами “действие—полезность”. На рис. 16.6 показано представление задачи с аэропортом в форме “действие-полезность”.
Рис. 16.6. Упрощенное представление задачи выбора площадки для строительства аэропорта. Исключены узлы жеребьевки, соответствующие результирующим состояниям
Обратите внимание на то, что узлы жеребьевки Noise, Deaths и Cost, показанные на рис. 16.5, ссылаются на будущее состояние, поэтому их значения ни в коем случае не должны определяться в виде переменных свидетельства. Таким образом, упрощенную версию, в которой исключены эти узлы, можно использовать во всех тех случаях, когда допустимо использование более общей формы. Однако, несмотря на то, что в упрощенной форме содержится меньше узлов, исключение явного описания результатов решения по выбору площадки означает, что такая сеть является менее гибкой по отношению к возможным изменениям обстоятельств. Например, на рис. 16.5 изменение допустимых уровней шума самолета можно отразить в виде изменения в таблице условных вероятностей, связанной с узлом Noise, тогда как изменение веса, касающегося компонента с описанием шумового загрязнения в функции полезности, может быть отражено с помощью изменения в таблице полезности. С другой стороны, в схеме “действие—полезность”, приведенной на рис. 16.6, все такие изменения должны быть отражены в виде изменений в таблице
“действие—полезность”. По сути формулировка на основе “действия—полезности” представляет собой откомпилированную версию первоначальной формулировки.
Вычисления с помощью сетей принятия решений
Действия выбираются путем проведения с помощью сети принятия решений соответствующих вычислений для каждого возможного ряда значений узла принятия решений. После того как определено значение узла принятия решений, он ведет себя полностью аналогично узлу жеребьевки, которому были присвоены значения по такому же принципу, как переменной свидетельства. Алгоритм проведения вычислений в сетях принятия решений описан ниже.
Определить значения переменных свидетельства для текущего состояния.
Для каждого возможного значения узла принятия решений:
ввести это значение в узел принятия решений;
вычислить апостериорные вероятности для родительских узлов узла полезности, используя стандартный алгоритм вероятностного вывода;
вычислить результирующее значение полезности для данного действия.
Возвратить действие с самым высоким значением полезности.
Этот алгоритм представляет собой непосредственное расширение алгоритма вычислений в байесовской сети и может быть внедрен непосредственно в проект агента, приведенный в листинге 13.1. Как будет показано в главе 17, эта задача становится намного более интересной, когда существует возможность последовательного выполнения нескольких действий.
Стоимость ИНФОРМАЦИИ
В приведенном выше анализе предполагалось, что агенту, прежде чем он приступает к принятию решения, предоставляется вся относящаяся к делу информация или, по меньшей мере, вся доступная информация. Но на практике такая ситуация возникает чрезвычайно редко. ^ Одной из наиболее важных составляющих процесса принятия решений являются знания о том, какие вопросы следует задавать. Например, врач не может рассчитывать на то, что ему будут предоставлены результаты всех возможных диагностических тестов и опросов к тому времени, как пациент впервые войдет в его кабинет. Медицинские тесты часто являются дорогостоящими, а иногда даже опасными (такая опасность может возникать, во-первых, непосредственно, а во-вторых, из-за связанных с ними задержек). Важность проведения медицинских тестов зависит от двух факторов: от того, в какой степени получение результатов этих тестов приведут к разработке значительно лучшего плана решения, а также от того, насколько велика вероятность различных результатов тестов.
В настоящем разделе описана М теория стоимости информации, которая позволяет любому агенту решить, какую информацию он должен приобрести. Получение
информации осуществляется с помощью действий по восприятию (см. главу 12). Поскольку функция полезности агента редко ссылается на содержимое внутреннего состояния агента, притом что общее назначение действий по восприятию сводится к оказанию влияния на это внутреннее состояние, мы должны оценивать качество действий по восприятию на основании того, какое влияние они оказывают на последующие “реальные” действия агента. Таким образом, теория стоимости информации связана с определенной формой последовательного принятия решений.
Простой пример
Предположим, что нефтедобывающая компания надеется приобрести лицензию на один из п равнозначных по своей перспективности участков океанского шельфа для проведения разведочных работ. Кроме того, примем дополнительное предположение, что точно один и только один из этих участков обладает запасами нефти стоимостью С долларов и что цена каждого участка равна С/п долларов. Если эта компания нейтрально относится к риску, то она должна быть безразлична к выбору между покупкой лицензии на один из участков и отказом от такой покупки.
А теперь допустим, что некий сейсмолог доложил руководству этой компании результаты проведенного исследования участка номер 3, которые определенно показывают, что на этом участке имеется нефть. Какую сумму должна быть готова компания заплатить за эту информацию? Один из способов получения ответа на этот вопрос состоит в том, чтобы проверить, какие действия предприняла бы компания, обладая указанной информацией, как описано ниже.
С вероятностью 1/п исследование покажет наличие нефти на участке 3. В этом случае компания купит участок 3 за С/п долларов и получит прибыль в С-С/п= (п-1) С/п долларов.
С вероятностью (п-1)/п исследование покажет, что участок не содержит нефти, и в этом случае компания должна купить другой участок. Теперь вероятность обнаружения нефти на одном из других участков измеряется значением от 1/п до 1/(п-1), поэтому компания получит ожидаемую прибыль С/ (п-1)-С7п=С7п (п-1) долларов.
Теперь мы можем рассчитать ожидаемую прибыль при наличии, информации о результатах исследования:
Поэтому компания должна быть готова заплатить сейсмологу за эту информацию вплоть до С/п долларов, поскольку данная информация стоит столько же, сколько и сам участок.
Стоимость информации определяется тем фактом, что при наличии такой информации можно изменить собственную стратегию таким образом, чтобы она соответствовала действительной ситуации. Наличие информации позволяет выявить отличительные особенности рассматриваемой ситуации, а без этой информации в лучшем случае можно лишь найти среднее значение по всем возможным ситуациям. Вообще говоря, стоимость данного конкретного фрагмента информации опре-
деляется той разницей в ожидаемых значениях между наилучшими действиями, которая возникает до и после получения этой информации.
Общая формула
Общую математическую формулу для стоимости информации получить несложно. Обычно предполагается, что информация — это полученное точное свидетельство, касающееся значения некоторой случайной переменной Е5) поэтому используется выражение М стоимость полной информации (Value of Perfect Information — VPI). Обозначим текущие знания агента как Е. В таком случае стоимость текущего наилучшего действия а определяется с помощью соотношения
ЕЩа\Е) = шах ^ U(Resulti(A) )Р(Results (A) |Ро(А) , Е) А . 1
а стоимость нового наилучшего действия (после получения нового свидетельства Е^) принимает вид
EU^e^ I Е, Ej) = max ^^ U(Resulti (А) ) P(Resulti (A) |Го(А) , Е, Еj) а . 1
VPIe^E^VPIe^E^Но Е3 — это случайная переменная, значение которой в настоящее время неизвестно, поэтому необходимо выполнить усреднение по всем возможным значениям ejk переменной е5, которые только могут быть обнаружены, с использованием текущих степеней уверенности в том, что эта переменная имеет данное значение. Поэтому стоимость обнаружения значения Е5 при наличии текущей информации Е определяется следующим образом:
VPIe^E^
VPIe^E^
j = ejk|E) EC7(ae.k|E,Ej=ejk) - ЕУ(а|Е)
V к у
Для того чтобы сформировать определенное интуитивное представление о том, какой смысл имеет эта формула, рассмотрим простой случай, в котором имеются только два действия, Ах и А2, подлежащих выбору в процессе принятия решений. Текущими ожидаемыми полезностями этих действий являются и^ и и2. Получение информации Е^ приведет к определению каких-то новых значений ожидаемых полезностей иг' и и2' для этих действий, но прежде чем будет получена информация Е^ уже будут существовать определенные распределения вероятностей по всем возможным значениям иг' и и2' (которые, согласно принятому предположению, являются независимыми).
Предположим, что действия Ах и А2 представляют собой прохождение по двум разным маршрутам через горную цепь зимой. В действии Ах предусмотрен проезд по удобному прямому пути через невысокий перевал, а в действии А2 — проезд по извилистой грунтовой дороге через вершину. Даже если дана только эта информация,
очевидно, что предпочтительным является действие Ах, поскольку весьма вероятно, что второй маршрут может быть заблокирован из-за лавин, и вместе с тем весьма маловероятно, что первый маршрут заблокирован из-за интенсивного трафика. Поэтому очевидно, что полезность Ui выше по сравнению с и2. Но возможно, что результаты наблюдений со спутника Е5, касающиеся фактического состояния каждой дороги, приведут к получению новых оценок двух путей через горный хребет, иг' и и2'. Распределения вероятностей для исходных ожиданий показаны на рис. 16.7, а. Очевидно, что в этом случае нет смысла оплачивать получение данных со спутника, поскольку маловероятно, что полученная с их помощью информация приведет к изменению плана. Если получение новой информации не приводит к каким-либо изменением, то она не имеет реальной стоимости.
Рис. 16.7. Три наиболее общих случая, касающихся определения стоимости информации: действие Aj почти со всей определенностью будет оставаться лучшим по сравнению с действием К2, поэтому дополнительная информация не нужна (а); выбор неясен, поэтому информация крайне важна (б); выбор неясен, но поскольку разница между полезностями действий невелика, информация не имеет такой уж большой ценности (в)
А теперь предположим, что необходимо выбрать одну из двух извилистых грунтовых дорог, имеющих немного разную длину, для того чтобы вывезти за перевал пациента с серьезной травмой. В таком случае, даже если полезности иг и и2 достаточно близки, распределения вероятностей иг’ и и2’ являются очень широкими. Существует значительная вероятность того, что второй маршрут окажется свободным, а первый — заблокированным, и в этом случае разность между полезностями будет очень большой. Формула VPI показывает, что в данном случае вполне оправдано получение отчета со спутника. Подобная ситуация показана на рис. 16.7, б.
Далее, предположим, что осуществляется выбор между двумя грунтовыми дорогами летом, когда их блокировка из-за лавин является маловероятной. В этом случае отчеты со спутника могут показать, что одна дорога является более живописной, чем другая, из-за того, что вдоль нее расположены цветущие альпийские луга, или, возможно, немного более влажной из-за блуждающих потоков. Поэтому весьма вероятно, что турист, путешествующий через горы, изменил бы свой план, если бы имел подобную информацию. Поив таком случае разница в значениях между двумя маршрутами все еще, по-видимому, остается очень небольшой, поэтому нет смысла тратить лишние усилия на получение отчетов со спутника. Такая ситуация показана на рис. 16.7, в.
Подводя итог, можно сказать, что ^ стоимость информации определяется той степенью, в которой она может вызвать изменение плана, а также той степенью, в какой новый план окажется значительно лучше по сравнению со старым.
Свойства показателей стоимости информации
Напрашивается очевидный вопрос — возможно ли, чтобы информация была вредной, иными словами, может ли она фактически иметь отрицательную ожидаемую стоимость? Интуитивно ясно, что такая ситуация невозможна. В конечном итоге в наихудшем случае можно просто проигнорировать ненужную информацию и сделать вид, как будто она так и не была получена. Данное интуитивное представление подтверждается приведенной ниже теоремой, которая относится к любому агенту, действующему на основе теории принятия решений.
^ Стоимость информации является неотрицательной:
\/j,E VPZE(Sj)> 0
Эта теорема следует непосредственно из определения свойства VPI, и мы оставляем доказательство этой теоремы читателю в качестве упражнения (упр. 16.12). Важно помнить, что свойство VPI зависит от текущего состояния информации, именно поэтому в формулировке данной теоремы это свойство обозначено подстрочным индексом. Значение VPI по мере получения дополнительной информации может изменяться. В крайнем случае оно может стать равным нулю, если рассматриваемая переменная уже имеет известное значение. Таким образом, свойство VPI не аддитивно. Это означает, что справедливо следующее соотношение:
VPIe(E5 , Ек) * VPIe(Ej) + VPIe^Ek) (в общем случае)
Но свойство VPI не зависит от порядка рассматриваемых в нем переменных, что должно быть интуитивно ясно. Это означает, что справедливо такое соотношение:
VPIE(E3,Ek) = VPIeIE}) + VPIe.e^Ek) = VPIE(Ek) + УРТЕ,Ек(^)
В силу того, что действия по восприятию не зависят от последовательности их выполнения, они отличаются от обычных действий, а задача вычисления значения последовательности действий по восприятию упрощается.
Реализация агента, действующего на основе сбора информации
Успешно действующий агент должен задавать вопросы пользователю в приемлемом порядке, не требовать ответов на вопросы, не относящиеся к делу, учитывать важность каждого фрагмента информации применительно к стоимости его получения и прекращать задавать вопросы, когда сложившаяся обстановка требует перехода к другим действиям. Все эти возможности можно воплотить в проекте агента, используя в качестве критерия стоимость информации.
В листинге 16.1 показан общий проект агента, который способен осуществлять интеллектуальный сбор информации, прежде чем приступать к действиям. На данный момент мы будем предполагать, что с каждой наблюдаемой переменной свидетельства е5 связана соответствующая стоимость Cost (Ej), которая отражает стоимость получения этого свидетельства с помощью проведения тестов, организации консультаций, получения ответов на дополнительные вопросы или других подобных
действий. Агент запрашивает фрагменты информации, которые представляются для него наиболее ценными по сравнению с их стоимостью. Предполагается, что результатом действия по осуществлению запроса Request ^Е^ является то, что следующий результат восприятия предоставляет значение Е5. А если ни одно наблюдение не оправдывает его стоимость, агент выбирает “реальное” действие.
Листинг 16Л. Проект простого агента, действующего на основе сбора информации. Этот агент функционирует, снова и снова выбирая наблюдение с наивысшим информационным значением, до тех пор, пока стоимость следующего наблюдения не станет выше по сравнению с ожидаемой от него пользой
function Information-Gathering-Agent(percept) returns действие action static: D, сеть принятия решений
включить данные о восприятии percept в сеть D
j <— значение, максимизирующее выражение VPI(Ej) -Cost(Ej) if VPZ(Ej) > Cost^E^
then return Request (Ej)
else return наилучшее действие из D
Описанный здесь алгоритм агента реализует один из подходов к сбору информации, называемый М близоруким. Это связано с тем, что в данном подходе формула VPI используется без дальновидных расчетов и значение информации определяется так, как будто было бы достаточно получить значение единственной переменной свидетельства. А если нет ни одной переменной свидетельства, которая оказала бы значительную помощь, близорукий агент может преждевременно приступить к действиям, тогда как было бы лучше вначале запросить значения еще двух или нескольких переменных и только после этого начинать действовать. Близорукие методы управления основаны на той же эвристической идее, что и жадный поиск, и часто хорошо работают на практике (например, было показано, что подобные системы управления превосходят по своей производительности опытных врачей, когда речь идет о подборе необходимых диагностических тестов). Но агент, действующий на основе сбора информации, который является идеально рациональным, должен рассматривать все возможные последовательности информационных запросов, приводящие к внешнему действию, а также все возможные результаты этих запросов. Поскольку содержание второго запроса зависит от результатов первого запроса, агент должен исследовать пространство условных планов, как было описано в главе 12.
Экспертные системы, основанные
НА ИСПОЛЬЗОВАНИИ ТЕОРИИ ПРИНЯТИЯ РЕШЕНИЙ
В научной области М анализа проблемы принятия решений, которая бурно развивалась в 1950—1960-х годах, изучалось применение теории принятия решений к реальным задачам принятия решений. Результаты, полученные в этой сфере, использовались для упрощения задачи принятия рациональных решений во многих важных проблемных областях, где ставки достаточно высоки, таких как бизнес, государственное управление, юриспруденция, военная стратегия, медицинская ди-
агностика и здравоохранение, техническое проектирование и управление ресурсами. Применяемый при этом процесс предусматривал тщательное исследование всех действий и результатов, а также учет предпочтений, назначенных каждому результату. По традиции в области анализа проблем принятия решений специалисты подразделяются на две категории: ^ лицо, принимающее решения, формулирует отношения предпочтений между результатами, а Млицо, анализирующее решения, составляет список возможных действий и результатов, а также получает от лица, принимающего решения, информацию о предпочтениях, чтобы определить наилучшую стратегию. До начала 1980-х годов основное назначение анализа решений состояло в том, чтобы помочь людям принимать решения, которые действительно отражают их собственные предпочтения. А в настоящее время, когда процессы принятия решений во все большей степени становятся автоматизированными, анализ решений используется для обеспечения того, чтобы эти автоматизированные процессы действовали в соответствии с предъявленными к ним требованиями.
Как было описано в главе 14, на первых порах исследования в области экспертных систем сосредоточивались на получении ответов на вопросы, а не на принятии решений. Такие системы, которые рекомендуют действия, а не предоставляют оценки сложившихся обстоятельств, как правило, функционируют на основе правил “условие-действие”, а не с использованием явных представлений результатов и предпочтений. Но после разработки теории байесовских сетей в конце 1980-х годов появилась возможность создавать крупномасштабные системы, способные формировать обоснованные вероятностные выводы на основании полученных свидетельств. А внедрение в практику сетей принятия решений означало появление возможности создания экспертных систем, способных рекомендовать оптимальные решения с учетом предпочтений пользователя, а также доступных свидетельств.
Система, в которой учитываются полезности, способна избежать одной из наиболее распространенных ловушек, связанных с процессом предоставления консультаций, — смешивания правдоподобия и важности. Например, наиболее широко применяемой стратегией в ранних медицинских экспертных системах было ранжирование возможных диагнозов в порядке правдоподобия и выдача сообщения о наиболее вероятном диагнозе. К сожалению, такой подход иногда оказывался катастрофическим! Для большинства пациентов в общей медицинской практике двумя наиболее вероятными диагнозами обычно являются следующие: “У вас нет ничего серьезного” и “Вы сильно простудились”, но если третьим по степени вероятности диагнозом для данного конкретного пациента (который тем не менее не был сообщен системой) является рак легких — это уже серьезная ситуация! Очевидно, что план медицинского обследования или лечения должен зависеть и от учета вероятностей, и от учета полезностей.
Теперь мы опишем процесс инженерии знаний для экспертных систем, основанных на теории принятия решений. В качестве примера рассмотрим задачу выбора медицинского лечения для определенного вида сердечного заболевания у детей обоих полов (см. работу Лукаса [962]).
Около 0,8% детей рождаются с той или иной сердечной аномалией, причем наиболее распространенной из них является коарктация аорты (сужение аорты). Этот дефект можно исправить с помощью хирургического вмешательства, ангиопластики (расширения аорты с помощью надувного баллона, помещенного внутри этой артерии) или терапевтического лечения. Проблема состоит в том, чтобы определить, ка-
кой способ лечения следует использовать и когда его проводить: чем младше ребенок, тем выше риск, связанный с применением определенных способов лечения, но ожидание также не должно продолжаться слишком долго. Экспертная система, основанная на использовании теории принятия решений, которая предназначена для решения данной проблемы, может быть создана группой специалистов, состоящей по меньшей мере из одного специалиста в данной проблемной области (детского кардиолога) и одного инженера по знаниям. Сам этот процесс можно разбить на следующие этапы (который читатель может сравнить с этапами разработки системы на основе логики, описанными в разделе 8.4).
Создание причинной модели. Определить, каковыми являются возможные симптомы, нарушения, способы лечения и результаты. Затем провести между ними дуги, указывающие, какими нарушениями вызваны те или иные симптомы и какие способы лечения позволяют устранить те или иные нарушения. Некоторые из этих сведений должны быть хорошо известны специалисту в данной проблемной области, а другие сведения он может почерпнуть из литературы. Эта модель часто во многом напоминает неформальные графические описания, приведенные в медицинских учебниках.
Упрощение причинной модели до уровня качественной модели принятия решений. Поскольку применяемая модель предназначена для принятия решений, касающихся способа лечения, а не для других целей (таких как определение совместной вероятности некоторых комбинаций симптом/нарушение), часто можно упростить причинную модель, удаляя переменные, которые не требуются в процессе принятия решений, касающихся лечения. Кроме того, иногда возникает необходимость разделить или соединить переменные, чтобы они соответствовали интуитивным представлениям специалиста. Например, предположим, что первоначальная модель коарктации аорты включала переменную Treatment (Лечение) со значениями surgery (хирургическое вмешательство), angioplasty (ангиопластика) и medication (терапевтическое лечение), а также отдельную переменную Timing для определения сроков выполнения процедуры лечения. Но допустим, что специалисту нелегко рассматривать все эти переменные отдельно, поэтому они были объединены так, что переменная Treatment принимает значения типа surgery in 1 month (проведение хирургического вмешательства в течение одного месяца). В результате будет получена модель, приведенная на рис. 16.8.
Присвоить значения вероятностей. Вероятности можно определить по базам данных о пациентах, по результатам исследований, приведенным в литературе, или на основании субъективных оценок самого специалиста. В тех случаях, если в литературе даны сведения о вероятностях не совсем подходящих типов, для вычисления требуемых вероятностей можно применить такие методы, как правило Байеса и маргинализация. Исследования показали, что специалисты в проблемной области в большей степени обладают способностью оценить вероятность результата, если дана причина (например, Р( dyspnoea | heart fail иге)), а не наоборот.
Присвоение значений полезностей. Если количество возможных результатов невелико, то их можно перечислить и оценить отдельно. Допустим, что в дан-
ном случае создается шкала результатов от наилучшего к наихудшему и каждому из них присваивается числовое значение, например случаю смерти присваивается значение -1000, а полному излечению — значение 0. После этого на данную шкалу можно поместить другие результаты. Такая задача может быть выполнена специалистом в данной проблемной области, но лучше, если в ее решении примет участие пациент (или, если речь идет о детях, то родители пациентов), поскольку разные люди имеют различные предпочтения. Если же количество результатов растет экспоненциально, то может потребоваться определенный способ, позволяющий комбинировать их с использованием многоатрибутных функций полезности. Например, можно утверждать, что отрицательная полезность различных осложнений является аддитивной.
Рис. 16.8. Диаграмма влияний для задачи принятия решений, касающихся коарктации аорты (предоставлена Питером Лукасом)
Проверка и уточнение модели. Для проверки работоспособности системы потребуется множество правильных пар “вход-выход”— (input, output) — так называемый ^ золотой стандарт, с которым можно выполнить сравнение. Для медицинских экспертных систем это обычно означает, что можно собрать самых лучших врачей, дать им на рассмотрение несколько случаев и попросить у них сообщить их диагноз и рекомендуемый план лечения. Затем осуществляется проверка того, насколько результаты, полученные данной системой, согласуются с указанными рекомендациями. Если согласование оказывается неприемлемым, то нужно попытаться выделить ее части, которые действуют неправильно, и провести их доработку. Может также оказаться полезным выполнение прогона системы “в обратном направлении”: вместо того чтобы вводить в систему симптомы и запрашивать диагнозы, можно представить ей диагноз, такой как “сердечная недостаточность”, определить предсказанную вероятность симптомов, таких как тахикардия, и сравнить это значение с данными, полученными из медицинской литературы.
Осуществление анализа чувствительности. На этом важном этапе проверяется, чувствительно ли наилучшее решение к небольшим изменениям в присвоенных значениях вероятностей и полезностей; для этого систематически осуществляется варьирование этих параметров и повторное проведение вычислений. Если небольшие изменения приводят к получению намного отличающихся решений, то может потребоваться затратить больше ресурсов на сбор более качественных данных. Если же все небольшие изменения приводят к получению одного и того же решения, то пользователь будет больше доверять этому решению как правильному. Анализ чувствительности особенно важен, поскольку одно из основных критических замечаний в адрес вероятностных подходов к созданию экспертных систем состоит в том, что трудно оценить необходимые числовые значения вероятностей. Анализ чувствительности часто показывает, что достаточно задать многие числовые данные только очень приблизительно. Например, мы можем не знать, каково значение априорной вероятности Р( tachycardia), но после опробования многих разных значений этой вероятности и получения в каждом случае одинакового рекомендованного действия по диаграмме влияния можно меньше беспокоиться о том, что отсутствует соответствующая достоверная информация.
Резюме
В данной главе показано, как объединить теорию полезности с теорией вероятностей, чтобы дать возможность агенту выбрать действия, которые максимизируют его ожидаемую производительность.
Теория вероятностей описывает, в чем должен быть уверен агент согласно полученному свидетельству, теория полезности показывает, к чему должен стремиться агент, а теория принятия решений позволяет объединить подходы этих двух теорий для определения того, что должен делать агент.
Теория принятия решений может использоваться для создания систем, которые принимают решения, рассматривая все возможные действия и выбирая из
них именно то, которое приводит к наилучшему ожидаемому результату. Такая система известна под названием рационального агента.
Теория полезностей показывает, что агент, руководствующийся отношениями предпочтения между лотереями, совместимыми с множеством простых аксиом, может быть описан как обладающий функцией полезности; кроме того, агент выбирает действия так, чтобы можно было максимизировать его ожидаемую полезность.
Теория многоатрибутной полезности посвящена изучению полезности, которая зависит от нескольких разных атрибутов состояний. Стохастическое доминирование представляет собой особенно удобный метод принятия непротиворечивых решений даже при отсутствии точных значений полезности для атрибутов.
Сети принятия решений представляют собой простую формальную систему для описания и решения задач принятия решений. Они являются естественным расширением байесовских сетей и, кроме узлов жеребьевки, содержат узлы решения и узлы полезности.
Иногда для решения задачи приходится заниматься поиском дополнительной информации, прежде чем принимать решение. Стоимость информации определена как ожидаемое повышение полезности по сравнению с принятием решений без этой информации.
Экспертные системы, в которых предусматривается использование информации о полезности, обладают дополнительными возможностями по сравнению с системами, в которых применяется исключительно вероятностный вывод. Они не только обладают способностью вырабатывать решения, но и могут использовать стоимость информации для определения того, следует ли стремиться к ее получению, а также способны рассчитать чувствительность своих решений к небольшим изменениям в оценках вероятности и полезности.
Библиографические и исторические заметки
Одним из первых примеров применения принципа максимальной ожидаемой полезности (хотя и не совсем правильным, поскольку в нем использовались бесконечные значения полезности) был рассказ о пари Паскаля, впервые опубликованный в книге Port-Royal Logic [40]. Даниил Бернулли [111], исследовавший санкт- петербургский парадокс (см. упр. 16.3), был первым, кто понял важность измерения предпочтений в отношении лотерей и написал такие слова: "Стоимость любого предмета должна быть основана не на его цене, а на той пользе, которую он может принести” (курсив Бернулли). Джереми Бентам [100] предложил гедонистическое исчисление для взвешивания “удовольствий” и “неприятностей”, доказывая, что все решения (а не только касающиеся денег) можно свести к сравнению полезностей.
Определение числовых значений полезности на основе предпочтений было впервые выполнено Рамзеем [1265]; аксиомы предпочтений, приведенные в настоящей книге, ближе всего по своей форме тем, которые были вновь открыты в книге Theory of Games and Economic Behavior [1546]. Хорошее описание этих аксиом в рамках дискуссии о предпочтении риска приведено в [693]. Рамзей предложил способ вычисле-
ния субъективных вероятностей (а не только полезностей) на основе предпочтений агента; Сэведж [1354] и Джеффри [727] предложили более современные вычислительные конструкции такого рода. В [1547] изложены современные перспективы анализа проблемы принятия решений и показана ее связь со структурами предпочтений людей. Такая мера полезности, как микрошанс смерти, обсуждается в [694]. В обзоре, опубликованном журналом Economist в 1994 году, указано, что стоимость жизни находится в пределах от 750 000 долларов и до 2,6 миллиона долларов. Однако Ричард Талер [1503] обнаружил нерациональные отклонения в оценках той денежной суммы, которую люди готовы заплатить, чтобы избежать риска смерти, в сравнении с суммой, которую они готовы получить, чтобы принять на себя этот риск. С вероятностью 1/1000 его респонденты не заплатили бы больше 200 долларов, чтобы исключить риск, но не были согласны получить даже 50 000 долларов, чтобы подвергнуться риску.
В принятии решений, касающихся политики в области здравоохранения и социального обеспечения, гораздо более широкое распространение находит такой показатель, как QALY, а не микрошанс смерти; типичный пример обоснования одного из крупных изменений политики в области общественного здравоохранения на основе повышения ожидаемой полезности, измеряемого в единицах QALY, приведен в [1320].
Книга Decisions with Multiple Objectives: Preferences and Value Tradeoffs [788] содержит исчерпывающее введение в теорию многоатрибутной полезности (MultiAttribute Utility Theory — MAUT). В ней описаны первые компьютерные реализации методов выявления необходимых параметров для многоатрибутной функции полезности и приведены исчерпывающие отчеты о результатах практического применения этой теории. В области искусственного интеллекта основным источником сведений о теории многоатрибутной полезности является статья Уэллмана [1572], которая включает описание системы URP (Utility Reasoning Package), позволяющей использовать коллекцию высказываний о независимости предпочтений и условной независимости для анализа структуры задач принятия решений. Результаты обширного исследования в области использования понятия стохастического доминирования в сочетании с качественными вероятностными моделями приведены в [1573], [1574]. В [1578] изложен предварительный набросок подхода к созданию метода, с помощью которого можно использовать сложный набор отношений независимости полезностей для создания структурированной модели функции полезности, во многом аналогично тому, как байесовские сети позволяют создавать структурированные модели совместных распределений вероятностей. В [52], [53] и [876] приведены дальнейшие результаты, полученные в данном научном направлении.
Теория принятия решений является стандартным инструментальным средством в экономике, финансах и науке управления с 1950-х годов. До 1980-х годов основным средством, применяемым для представления простых задач принятия решений, были деревья решений. В [1438] приведен обзор методологии анализа проблемы принятия решений. Сети принятия решений, или диаграммы влияния, были разработаны Говардом и Матесоном [695] на основе одной из ранних работ, выполненной группой специалистов (включая Говарда и Матесона) в институте SRI [1051]. Метод Говарда и Матесона обеспечивает формирование дерева решений на основе сети принятия решений, но в общем случае сформированное дерево имеет экспоненциальные размеры. Шахтер [1383] разработал метод принятия решений, основанный исключительно на использовании сети принятия решений, без создания промежу-
точного дерева решений. Этот алгоритм оказался также одним из первых алгоритмов, который обеспечивает полный вероятностный вывод в многосвязных байесовских сетях. В недавно опубликованной работе Нильссона и Лауритцена [1139] показано, какое отношение имеют алгоритмы для сетей принятия решений к продолжающимся разработкам в области создания алгоритмов кластеризации для байесовских сетей. В сборнике статей [1155] приведен целый ряд полезных статей по сетям принятия решений, как и в специальном выпуске журнала Networks, который вышел в 1990 году. Кроме того, статьи по сетям принятия решений и моделированию полезностей регулярно публикуются в журнале Management Science.
Теория стоимости информации была впервые проанализирована Роном Говардом [692]. Его статья оканчивается замечанием: “Если теория стоимости информации и связанные с ней структуры теории принятия решений не составят в будущем значительную часть образования инженеров, то люди с инженерными профессиями уступят свою традиционную роль в управлении научными и экономическими ресурсами в пользу людей, посвятивших себя другим профессиям”. До настоящего времени предсказанная им революция в области методов управления еще не наступила, но такое может случиться после того, как получат более широкое распространение методы использования теории стоимости информации в байесовских экспертных системах.
Как это ни удивительно, но лишь немногие исследователи в области искусственного интеллекта приняли на вооружение инструментальные средства теории принятия решений после появления самых первых приложений принятия решений в медицине, которые описаны в главе 13. Одним из немногих исключений стал Джерри Фельдман, который применил теорию принятия решений в задачах машинного зрения [461] и планирования [460]. После возрождения интереса к вероятностным методам в искусственном интеллекте в 1980-х годах получили широко распространение экспертные системы на основе теории принятия решений [686]. Фактически начиная с 1991 года и до настоящего времени на обложке журнала Artificial Intelligence изображается сеть принятия решений, хотя и создается впечатление, что автор рисунка этой сети позволил себе некоторые художественные вольности при выборе направления стрелок.
Упражнения
(Адаптировано из книги Дэвида Хекермана.) Это упражнение касается содержания игры Almanac Game (игра на знание фактов из справочника), которая используется аналитиками решений для калибровки числовых оценок. На каждый из приведенных ниже вопросов дайте наилучший предполагаемый вами ответ, т.е. число, которое, по вашему мнению, с такой же вероятностью является слишком большим, с какой оно может быть слишком малым. Кроме того, приведите вашу гипотезу с оценкой на уровне 25-й процентили, т.е. такое число, которое, по вашему мнению, имеет 25% шансов на то, чтобы быть слишком высоким, и 75% шансов на то, чтобы быть слишком низким. Приведите такое же значение и для 75-й процентили. (Таким образом, вы должны дать всего три оценки для каждого вопроса — низкую, среднюю и высокую.)
Количество пассажиров, которые совершали полеты между Нью-Йорком и Лос-Анджелесом в 1989 году.
Население Варшавы в 1992 году.
Год, в который испанский конкистадор Коронадо открыл реку Миссисипи.
Количество голосов, полученных Джимми Картером во время президентских выборов в 1976 году.
Возраст самого старого живого дерева по состоянию на 2002 год.
Высота плотины Гувера (Hoover Dam) в футах.
Количество яиц, произведенных в штате Орегон в 1985 году.
Количество буддистов в мире в 1992 году.
Количество смертных случаев из-за СПИДа в Соединенных Штатах в 1981 году.
Количество американских патентов, выданных в 1901 году.
Правильные ответы приведены после последнего упражнения этой главы. С точки зрения анализа решений интересно не то, насколько ваши средние предположения подошли к реальным ответам, но, скорее, то, насколько часто реальный ответ попал в установленные вами границы 25 и 75%. Если такая ситуация возникла примерно в половине случаев, то указанные вами границы были достаточно точными. Но если вы похожи на большинство людей, то проявите больше самоуверенности, чем следует, и более половины ответов выйдет за пределы этих границ. Постоянно практикуясь, вы сможете откалибровать свои оценки, чтобы устанавливаемые пределы стали более реалистичными и тем самым приносили больше пользы при предоставлении информации для принятия решений. Попробуйте ответить на второй ряд вопросов и определите, достигнуты ли вами какие-либо улучшения.
Год рождения актрисы За За Габор (Zsa Zsa Gabor).
Максимальное расстояние от Марса до Солнца в милях.
Стоимость в долларах пшеницы, экспортированной из Соединенных Штатов в 1992 году.
Количество тонн груза, обработанных в порту Гонолулу в 1991 году.
Ежегодный заработок в долларах губернатора Калифорнии в 1993 году.
Население Сан-Диего в 1990 году.
Год, в который Роджер Уильямс основал г. Провиденс, штат Род-Айленд, з) Высота горы Килиманджаро в футах.
Длина Бруклинского моста в футах.
Количество смертных случаев из-за автомобильных аварий в Соединенных Штатах в 1992 году.
Билеты в лотерее стоят 1 доллар. Существуют два возможных приза: выигрыш в 10 долларов с вероятностью 1/50 и выигрыш в 1 000 000 долларов с вероятностью 1/2 000 000. Какова ожидаемая денежная стоимость лотерейного билета? Когда решение по приобретению такого билета является рациональным (если оно вообще бывает таковым)? Дайте точный ответ — составьте уравнение, касающееся полезностей. Вы можете принять предположение, что ваш текущий капитал равен к долларов и что [7(£к) =0. Вы можете также предпо-
дожить, что LT(Sk+i0) =10xLT(Sk+i), но не должны принимать никаких предположений в отношении полезности Щ5Ы Ооо ооо) • Социологические исследования показывают, что люди с низкими доходами покупают несоответствующее их благосостоянию количество лотерейных билетов. Как вы считаете, связано ли это с тем, что они не умеют принимать рациональные решения, или с тем, что они руководствуются другой функцией полезности?
В 1738 году Даниил Бернулли исследовал санкт-петербургский парадокс, который заключается в следующем. У вас есть возможность сыграть в игру, в которой подлинная монета подбрасывается повторно до тех пор, пока не выпадет орлом вверх. Если орел впервые появится на n-м броске, вы выигрываете 2П долларов.
Покажите, что ожидаемое денежное значение этой игры является бесконечно большим.
Сколько бы вы лично заплатили за участие в этой игре?
Бернулли разрешил кажущийся парадокс, связанный с нежеланием людей участвовать в этой игре, несмотря на ее привлекательность, выдвинув предположение, что полезность денег измеряется логарифмической шкалой (т.е. IHSJ =alog2n+b, где Sn — денежное состояние, связанное с наличием п долларов). Какова ожидаемая полезность этой игры согласно указанному предположению?
Каковая максимальная сумма, решение по уплате которой за участие в этой игре было бы рациональным, при условии, что первоначальное состояние рассматриваемого лица измеряется суммой к долларов?
Определите вашу собственную оценку полезности различных постепенно увеличивающихся сумм денег, выполнив ряд проверок предпочтения между некоторой определенной суммой мг и лотереей 1р,м2; (1-р) , 0]. Выбирайте различные значения мг и м2 и варьируйте вероятность р до тех пор, пока для вас эти два варианта не станут безразличными. Нанесите полученную в результате функцию полезности на график.
(ё) Напишите компьютерную программу для автоматизации процесса, описанного в упр. 16.4. Проверьте работу вашей программы на нескольких людях с разным собственным капиталом и различными политическими взглядами. Прокомментируйте результаты сравнения согласованности полученных данных как для отдельного лица, так и для разных лиц.
Какова стоимость микрошанса смерти для вас? Разработайте определенный протокол, позволяющий узнать это значение. Задавайте вопросы, основанные и на том, сколько вы готовы заплатить, чтобы избежать риска смерти, и на том, сколько вы готовы принять в качестве платы за то, чтобы вы взяли на себя этот риск.
Покажите, что если переменные Хг и х2 независимы по предпочтениям от переменной х3, а Х2 и Х3 независимы по предпочтениям от х15 то Х3 и хг независимы по предпочтениям отх2.
(й) В этом и двух следующих упражнениях завершается анализ задачи выбора площадки для размещения аэропорта, приведенной на рис. 16.5.
Приведите приемлемые данные об областях определения переменных, вероятностях и полезностях для этой сети, при условии, что имеются три возможных площадки.
Решите эту задачу принятия решений.
Что произойдет, если будут внедрены такие технологические усовершенствования, что каждый самолет станет вырабатывать вдвое меньше шума?
А что произойдет, если требования по предотвращению шума станут в три раза более значимыми?
Рассчитайте значение VPI для переменных вашей модели AirTraffic (Интенсивность воздушного движения), Litigation (Возможности урегулирования формальностей) и Construction (Условия строительства аэропорта).
Повторите упр. 16.8, используя представление “действие—полезность”, показанное на рис. 16.6.
К какому элементу таблицы условных вероятностей является наиболее чувствительным значение полезности на любой из схем выбора площадки для аэропорта из упр. 16.8 и 16.9, если даны все доступные свидетельства?
(Адаптировано из [1191])) Покупатель подержанного автомобиля может принять решение выполнить различные проверки с разной стоимостью (например, постучать по шинам, показать автомобиль квалифицированному механику), а затем, в зависимости от результата этих проверок, принять решение о том, какой автомобиль следует купить. Предполагается, что покупатель принимает решение о покупке автомобиля сь что он собирается провести самое большее одну проверку и что этой проверкой автомобиля сг является с15 которая стоит 50 долларов.
Автомобиль может находиться в хорошем состоянии (качество q+) или в плохом состоянии (качество q ), а проверка может показать, в каком состоянии находится автомобиль. Автомобиль сг стоит 1500 долларов, а его рыночная стоимость равна 2000 долларов, если он находится в хорошем состоянии; если же нет, то потребуется ремонт стоимостью 700 долларов, чтобы привести его в хорошее состояние. Оценка покупателя состоит в том, что автомобиль сг имеет 70% шансов на то, чтобы оказаться в хорошем состоянии.
Нарисуйте сеть принятия решений, которая представляет данную задачу.
Вычислите ожидаемую чистую прибыль от покупки автомобиля сх, если не проводится проверка.
Проверки можно описать с помощью оценки вероятности того, пройдет ли автомобиль или не пройдет данную конкретную проверку, позволяющую определить, находится ли автомобиль в хорошем или плохом состоянии. Имеется следующая информация: Plpass kci, ti) |g+(ci) ) =0.8 Р (pass (ci, ti) | g" (ci) ) = 0.3 5
Примените теорему Байеса для вычисления вероятности успешного прохождения (или не прохождения) автомобилем проверки и следовательно, вероятности того, что он находится в хорошем (или плохом) состоянии, с учетом каждого возможного результата проверки.
Рассчитайте оптимальные решения при условии прохождения или не прохождения проверки, а также их ожидаемые полезности.
Рассчитайте стоимость информации о проверке и разработайте оптимальный условный план для покупателя.
Докажите, что стоимость информации является неотрицательной и независимой от последовательности восприятий, как утверждалось в разделе 16.6. Объясните, как может случиться, что после получения информации будет принято худшее решение, чем было бы до ее получения.
(й) Модифицируйте и дополните программы байесовской сети, приведенные в репозитарии кода, чтобы обеспечить создание и оценку сетей принятия решений, а также вычисление стоимости информации.
Ответы к упр. 16.1:
первый ряд вопросов: 3 000 000, 1 600 000, 1541, 41 000 000, 4768, 221, 649 000 000, 295 000 000, 132, 25 546;
второй ряд вопросов: 1917, 155 000 000,4 500 000, 11 000 000, 120 000, 1 100 000, 1 636, 19 340, 1 595,41 710.
17 Принятие сложных РЕШЕНИЙ
В данной главе рассматриваются методы принятия решений о том, что следует делать в настоящее время, при условии, что в дальнейшем может быть принято другое решение.
В этой главе описано, какие расчеты связаны с принятием решений. В главе 16 речь шла о задачах принятия единоразовых или эпизодических решений, в которых полезность результата каждого действия была вполне известна, а в настоящей главе рассматриваются ^ задачи последовательного принятия решений, в которых полезность действий агента зависит от последовательности решений. Задачи последовательного принятия решений, в которых рассматриваются полезности, степени неопределенности и результаты восприятия, являются обобщением задач поиска и планирования, описанных в частях II и IV. В разделе 17.1 описано, как должны быть определены задачи последовательного принятия решений, а в разделах 17.2 и 17.3 показано, как их следует решать, чтобы выработать оптимальные правила поведения, в которых уравновешиваются риски и вознаграждения, связанные с осуществлением действий в неопределенной среде. В разделе 17.4 эти идеи распространяются на случай частично наблюдаемых вариантов среды, а в разделе 17.5 разрабатывается полный проект для агентов, действующих на основе теории принятия решений в частично наблюдаемых вариантах среды; в этом проекте объединяются динамические байесовские сети, описанные в главе 15, и сети принятия решений, описанные в главе 16.
Во второй части данной главы рассматриваются варианты среды с многочисленными агентами. В таких вариантах среды понятие оптимального поведения становится гораздо более сложным из-за взаимодействия агентов. В разделе 17.6 представлены основные идеи теории игр, включая ту идею, что рациональным агентам может потребоваться вести себя случайным образом. В разделе 17.7 показано, как следует проектировать мультиагентные системы для того, чтобы несколько агентов могли достичь общей цели.
Задачи последовательного принятия решений
Пример
Предположим, что агент находится в среде с размерами 4x3, показанной на рис. 17.1, а. Начиная с начального состояния, он должен выбирать какое-то действие в каждом временном интервале. Взаимодействие со средой оканчивается после того, как агент достигает одного из целевых состояний, обозначенных +1 и -1. В каждом местонахождении в распоряжении агента имеются действия Up (Вверх), Down (Вниз), Left (Влево) и Right (Вправо). На данный момент предполагается, что эта среда является полностью наблюдаемой, поэтому агент всегда знает, где он находится.
а) б)
Рис. 17.1. Определение задачи: простая среда с размерами 4x3, в которой перед агентом поставлена задача последовательного принятия решений (а); модель перехода для этой среды: “намеченный” результат достигается с вероятностью 0.8, ас вероятностью 0.2 агент движется под прямыми углами влево или вправо от намеченного направления (б). Столкновение со стеной приводит к тому, что дальнейшее движение не происходит. С двумя конечными состояниями связаны вознаграждения + 1 и -1 соответственно, а со всеми другими состояниями связано вознаграждение -0.04
Если бы эта среда была полностью детерминированной, то достижение требуемого решения было бы несложным: [Up, Up, Right, Right, Right]. К сожалению, среда не всегда реагирует правильно на осуществление этого решения, поскольку действия выполняются ненадежно. Конкретная принятая нами модель стохастического движения показана на рис. 17.1, б. Каждое действие достигает намеченной цели с вероятностью 0.8, но в течение всего остального времени в результате выполнения действия агент движется под прямыми углами к выбранному направлению. Более того, если агент ударяется в стену, то остается в том же квадрате. Например, выполняемое из начального квадрата (1,1) действие Up перемещает агента в квадрат (1,2) с вероятностью 0.8, но с вероятностью 0.1 агент движется вправо, в квадрат (2,1), а с вероятностью 0.1 он движется влево, ударяется в стену и остается в квадрате (1,1). В такой среде последовательность действий [Up, Up, Right, Right, Right] позволяет обойти барьер и достичь целевого состояния, квадрата (4,3), с вероятностью
0.85=0.32768. Существует также небольшой шанс случайно достичь цели, обойдя барьер с другой стороны с вероятностью 0.14х0.8, поэтому суммарная вероятность достижения цели равна 0.32776 (см. также упр. 17.1).
Спецификацию вероятностей результатов каждого действия в каждом возможном состоянии принято называть ^ моделью перехода (или просто “моделью”, если не может возникнуть путаница). Для обозначения вероятности достижения состояния s', если в состоянии s было выполнено действие а, будет применяться запись т( s, а, s' ). Предполагается, что эти переходы являются марковскими в том смысле, какой указан в главе 15, т.е. что вероятность достижения состояния s' из s зависит только от s, а не от истории пребывания в предыдущих состояниях. На данный момент запись T^s, a, s' ) может рассматриваться как большая трехмерная таблица, содержащая вероятности. В дальнейшем, в разделе 17.5, будет показано, что модель перехода может быть представлена как динамическая байесовская сеть, точно так же, как и в главе 15.
В завершение этого определения среды задачи необходимо сформулировать функцию полезности для агента. Поскольку эта задача принятия решений является последовательной, функция полезности должна зависеть от последовательности состояний (от истории пребывания в среде), а не от отдельного состояния. Ниже в этом разделе будет приведено описание того, как такие функции полезности могут быть определены в целом, а на данный момент просто примем предположение, что в каждом состоянии s агент получает ^ вознаграждение R (s), которое может быть положительным или отрицательным, но должно быть ограниченным. В данном конкретном примере вознаграждение равно -0.04 во всех состояниях, кроме конечных (с которыми связаны вознаграждения +1 и -1). Полезность, связанная с историей пребывания в среде (на данный момент), рассматривается как сумма полученных вознаграждений. Например, если агент достиг состояния +1 после 10 шагов, суммарная полезность его действий будет равна 0.6. Отрицательное вознаграждение -0.04 побуждает агента быстрее достичь квадрата (4,3), поэтому данная среда представляет собой стохастическое обобщение вариантов среды, которые рассматривались в задачах поиска в главе 3. Еще один способ описать эту игровую ситуацию состоит в том, что агенту “не нравится” находиться в этой среде, поэтому он стремится выйти из игры как можно быстрее.
Такая спецификация задачи последовательного принятия решений для полностью наблюдаемой среды с марковской моделью перехода и дополнительными вознаграждениями называется спецификацией ^ марковского процесса принятия решений, или сокращенно MDP (Markov Decision Process). Любая задача MDP определяется тремя перечисленными ниже компонентами.
Начальное состояние — So.
Модель перехода— T(s, a, s' ).
Функция вознаграждения — R (s).
Следующий вопрос состоит в том, как должно выглядеть решение этой задачи. Выше в данной главе было показано, что какая-либо фиксированная последовательность действий не может служить решением этой задачи, поскольку в конечном итоге после ее выполнения агент может оказаться в состоянии, отличном от целевого. Поэтому в решении должно быть указано, что следует делать агенту в любом состоянии, которого он может достичь. Решение такого рода — это так называемая М стратегия. Для обозначения стратегии обычно принято использовать л; а л (s) — это действие, рекомендованное в соответствии со стратегией л для состояния s. Если агент имеет полное описание стратегии, то всегда знает, что делать дальше, независимо от результата любого действия.
Каждый раз, когда осуществляется данная конкретная стратегия, начиная с начального состояния, стохастический характер среды приводит к формированию другой истории пребывания в среде. Поэтому качество определения стратегии измеряется по ожидаемой полезности возможных историй пребывания в среде, создаваемых с помощью этой стратегии. М Оптимальной стратегией называется такая стратегия, которая позволяет достичь максимальной ожидаемой полезности. Для обозначения оптимальной стратегии принято использовать запись л*. Если агенту указана стратегия л*, он принимает решение, что делать, проверяя свои текущие результаты восприятия, которые сообщают ему, что он находится в текущем состоянии s, а затем выполняя действие л* (s). В любой стратегии функция агента представлена явно, поэтому стратегия является описанием простого рефлексного агента, сформированным с учетом информации, которая используется агентом, действующим на основе полезности.
Оптимальная стратегия для мира, приведенного на рис. 17.1, показана на рис. 17.2, а. Обратите внимание на то, что стоимость выполнения одного шага довольно мала по сравнению со штрафом, который связан со случайным попаданием в квадрат (4,2), поэтому оптимальная стратегия для состояния (3,1) является предельно осторожной. Этот стратегия рекомендует, что нужно совершить дальний обход препятствия, а не пытаться пройти по короткому пути и тем самым подвергнуться риску попасть в квадрат (4,2).
Равновесие между риском и вознаграждением изменяется в зависимости от значения функции Ris') для нетерминальных состояний. На рис. 17.2, б показаны оптимальные стратегии для четырех различных диапазонов изменения значения R(s). Если R (s) <-1.6284, жизнь настолько мучительна, что агент направляется прямо к ближайшему выходу, даже если стоимость этого выхода равна -1. Если -0.4278<R(s)<-0.0850, жизнь довольно дискомфортна; агент выбирает кратчайший маршрут к состоянию +1 и стремится избежать риска случайного попадания в состояние -1. В частности, агент выбирает короткий путь из квадрата (3,1). А если жизнь не так уж неприятна (-0.0221<J?(s) <0), оптимальная стратегия состоит в том, чтобы избегать вообще какого-либо риска. В квадратах (4,1) и (3,2) агент направляется буквально прочь от состояния -1, чтобы случайно не попасть туда ни при каких обстоятельствах, даже несмотря на то, что из-за этого ему приходится несколько раз удариться головой о стену. Наконец, если R (s) >0, то жизнь агента становится весьма приятной и он избегает обоих выходов. При условии, что используются действия, показанные в квадратах (4,1), (3,2) и (3,3), любая стратегия является оптимальной и агент получает бесконечно боль-
шое суммарное вознаграждение, поскольку он никогда не попадает в терминальное состояние. Как это ни удивительно, но оказывается, что существуют шесть других оптимальных стратегий для различных диапазонов значений R (s); в упр. 17.7 предлагается найти эти стратегии.
Рис. 17.2. Примеры оптимальных стратегий: оптимальная стратегия для стохастической среды со значениями R (з) = -0.04 в нетерминальных состояниях (а); оптимальные стратегии для четырех различных диапазонов значений R (s) (б)
Тщательное уравновешивание риска и вознаграждения является характерной особенностью задач MDP, которая не возникает в детерминированных задачах поиска; более того, такое уравновешивание характерно для многих реальных задач принятия решений. По этой причине задачи MDP изучаются в нескольких научных областях, включая искусственный интеллект, исследование операций, экономику и теорию управления. Для вычисления оптимальных стратегий были предложены десятки алгоритмов. В разделах 17.2 и 17.3 описываются два наиболее важных семейства алгоритмов. Но вначале мы должны завершить начатое исследование полезностей и стратегий для задач последовательного принятия решений.
Оптимальность в задачах последовательного принятия решений
В примере задачи MDP (см. рис. 17.1) производительность агента определялась по сумме вознаграждений, связанных с посещенными состояниями. Такой выбор показателя производительности нельзя назвать произвольным, но он не является также единственно допустимым. В данном разделе рассматриваются возможные варианты показателей производительности, т.е. варианты способов определения функции полезности по историям пребывания в среде, которые могут записываться как Uh ( [s0, si,..., sn] ). Этот раздел основан на идеях, изложенных в главе 16, и является довольно формальным; основные его пункты подытожены в конце.
Первый вопрос, на который нужно найти ответ, состоит в том, существует ли ^ конечный горизонт или ^ бесконечный горизонт для принятия решений. Наличие конечного горизонта означает, что есть такое фиксированное время N, после кото-
рого все теряет смысл, — так сказать, игра все равно окончена. Таким образом, UhUs0, slf, sN+k]) = 1^ ( [ s0, si,..., sN]) для всех k>0. Например, предположим, что агент начинает свое движение с квадрата (3,1) в мире с размерами 4x3, показанном на рис. 17.1, а также допустим, что №3. В таком случае, чтобы получить хоть малейший шанс достичь состояния +1, агент должен направиться непосредственно к нему, и оптимальное действие состоит в том, чтобы двигаться в направлении Up. С другой стороны, если №100, то запас времени настолько велик, что можно выбрать безопасный маршрут в направлении Left, t^3 Поэтому при наличии конечного горизонта оптимальное действие в каждом конкретном состоянии со временем может измениться. Принято считать, что оптимальная стратегия при наличии конечного горизонта является ^ нестационарной. С другой стороны, если нет заданного предела времени, то нет смысла вести себя по- разному в одном и том же состоянии в разное время. Поэтому оптимальное действие зависит только от текущего состояния и оптимальная стратегия является ^ стационарной. Таким образом, стратегии для случая с бесконечным горизонтом проще по сравнению с теми, которые применяются в случае с конечным горизонтом, и в данной главе будет в основном рассматриваться случай с бесконечным горизонтом. Обратите внимание на то, что понятие “бесконечного горизонта” не обязательно означает, что все последовательности состояний являются бесконечными; оно просто говорит о том, что для их выполнения не устанавливаются фиксированные сроки. В частности, в любой задаче MDP с бесконечным горизонтом могут существовать конечные последовательности состояний, содержащие терминальное состояние.
Следующий вопрос, на который необходимо найти ответ, состоит в том, как рассчитать полезность последовательностей состояний. Мы будем рассматривать задачу поиска ответа на этот вопрос как задачу многоатрибутной теории полезности (см. раздел 16.4), где каждое состояние Si рассматривается как атрибут последовательности состояний [ s0, slf s2,... ]. Чтобы получить простое выражение в терминах атрибутов, необходимо принять своего рода предположение о независимости предпочтений. Наиболее естественное предположение состоит в том, что отношение предпочтения агента между последовательностями состояний является ^ стационарным. Стационарность предпочтений означает следующее: если две последовательности состояний, [ s0, Si, s2,... ] и [ s0 * , sx' , s2 ’ ,... ], начинаются с одного и того же состояния (т.е. s0=s0'), то эти две последовательности должны быть упорядочены по предпочтениям таким же образом, как и последовательности [si,s2,...] и [ Sis2',...]. На естественном языке эту мысль можно выразить так, что если вы предпочитаете одно будущее развитие событий, начинающееся завтра, другому развитию событий, то вы должны также предпочесть это будущее развитие событий, если оно начнется сегодня. На первый взгляд, предположение о стационарности выглядит довольно безобидно, но влечет за собой весьма важные последствия: как оказалось, в условиях стационарности существуют только два способа присваивания значений полезности последовательностям, которые описаны ниже.
^Аддитивные вознаграждения. Полезность последовательности состояний определяется следующим образом:
Uh( [s0/Si, s2/ ...] ) = ^(SO)+^(S1)+^(S2)+...
В мире 4x3, показанном на рис. 17.1, используются аддитивные вознаграждения. Обратите внимание на то, что свойство аддитивности уже было определено неявно в используемых нами функциях стоимости пути для алгоритмов эвристического поиска (см. главу 4).
М Обесцениваемые вознаграждения, Полезность последовательности состояний определяется с помощью следующего соотношения:
Uh( [So, Si, s2,...] ) = R{s0) +Y^(S1) +y2.R(s2)
где y — это ^ коэффициент обесценивания, который представляет собой число от 0 до 1. Коэффициент обесценивания описывает предпочтение агентом текущих вознаграждений перед будущими вознаграждениями. Если коэффициент у близок к 0, вознаграждения, которые должны быть получены в отдаленном будущем, рассматриваются как малозначащие, а если коэффициент у равен 1, то обесцениваемые вознаграждения полностью эквивалентны аддитивным вознаграждениям, поэтому аддитивные вознаграждения представляют собой частный случай обесцениваемых вознаграждений. По- видимому, обесценивание представляет собой хорошую модель изменения во времени предпочтений и животных, и человека. Коэффициент обесценивания у эквивалентен процентной ставке (1/у) -1.
По причинам, которые вскоре станут очевидными, до конца этой главы предполагается, что используются обесцениваемые вознаграждения, хотя иногда допускается применение значения у=1.
Сделанный нами выбор бесконечных горизонтов становится причиной возникновения определенной проблемы: если среда не содержит терминальное состояние или если агент никогда его не достигает, то все истории пребывания в среде будут иметь бесконечную длину, а полезности, связанные с аддитивными вознаграждениями, в общем случае будут бесконечными. Дело в том, что, безусловно, +оо лучше, чем -оо$ но гораздо сложнее сравнивать две последовательности состояний, притом что обе имеют полезность +®о Для решения этой проблемы можно применить три описанных ниже подхода, два из которых уже упоминались в этой главе.
При наличии обесцениваемых вознаграждений полезность любой бесконечной последовательности является конечной. В действительности, если вознаграждения ограничены значением я^ и у<1, то можно получить следующее соотношение с использованием стандартной формулы суммы бесконечных геометрических рядов:
[SO,S1,S2,...] ) = ^ f R(st) £ ^Е YL Rmax=Rmax/ (1-Y)(17.1)
t=0t=0
Если среда содержит терминальные состояния и гарантируется достижение агентом в конечном итоге одного из этих состояний, то нам никогда не придется сравнивать бесконечные последовательности действий. Стратегия, который гарантирует достижение терминального состояния, называется ^ правильной стратегией. При наличии правильных стратегий можно использовать у=1 (т.е. аддитивные вознаграждения). Первые три стратегии, пока-
занные на рис. 17.2, б, являются правильными, а четвертая — неправильной. В ней достигается бесконечное суммарное вознаграждение за счет предотвращения попадания в терминальные состояния, притом что вознаграждение за пребывание в нетерминальных состояниях является положительным. Само существование неправильных стратегий в сочетании с использованием аддитивных вознаграждений может стать причиной неудачного завершения стандартных алгоритмов решения задач MDP, поэтому является весомым доводом в пользу применения обесцениваемых вознаграждений.
Еще один подход состоит в том, чтобы сравнивать бесконечные последовательности по М среднему вознаграждению, получаемому в расчете на каждый временной интервал. Предположим, что с квадратом (1,1) в мире 4x3 связано вознаграждение 0.1, тогда как для других нетерминальных состояний предусмотрено вознаграждение 0.01. В таком случае стратегия, в которой агент предпочтет оставаться в квадрате (1,1), позволит получать более высокое среднее вознаграждение по сравнению с той стратегией, в которой агент находится в каком-то другом квадрате. Среднее вознаграждение представляет собой полезный критерий для некоторых задач, но анализ алгоритмов со средним вознаграждением выходит за рамки данной книги.
Подводя итог, можно сказать, что использование обесцениваемых вознаграждений связано с наименьшими трудностями при оценке последовательностей состояний. Заключительный этап состоит в том, чтобы показать, как осуществляется выбор между стратегиями с учетом того, что каждая конкретная стратегия л вырабатывает не только одну последовательность состояний, но целый ряд возможных последовательностей состояний, притом что каждая из этих последовательностей имеет конкретную вероятность, определяемую моделью перехода для данной среды. Таким образом, стоимость любой стратегии представляет собой ожидаемую сумму полученных обесцениваемых вознаграждений, где это ожидаемое значение вычисляется по всем возможным последовательностям состояний, которые могут возникнуть при осуществлении данной стратегии. Любая оптимальная стратегия л* удовлетворяет следующему соотношению:
(17.2)(17.2)л* = argmax Е '^ yfc R(st) | л 71_t=0.
(17.2)
(17.2)
В следующих двух разделах описаны алгоритмы поиска оптимальных стратегий.
Итерация по значениям
В этом разделе представлен алгоритм вычисления оптимальной стратегии, называемый М итерацией по значениям. Основная его идея состоит в том, что нужно рассчитать полезность каждого состояния, а затем использовать полезности состояний для выбора оптимального действия в каждом состоянии.
Полезности состояний
Полезность состояний определяется в терминах полезности последовательностей состояний. Грубо говоря, полезность любого состояния представляет собой ожидаемую полезность последовательностей состояний, которые могут привести к этому состоянию. Очевидно, что перечень таких последовательностей состояний зависит от осуществляемой стратегии, поэтому начнем с определения полезности ^(s) по отношению к конкретной стратегии л. Если мы предположим, что sL — это состояние, в котором находится агент после осуществления стратегии л в течение t шагов (обратите внимание на то, что st — случайная переменная), то получим следующее:
^(s)^(s)Y^(st)Y^(st)Л, So = sЛ, So = s(17.3)(17.3)
^(s)
^(s)
Y^(st)
Y^(st)
Л, So = s
Л, So = s
(17.3)
(17.3)
На основании этого определения можно утверждать, что истинная полезность любого состояния, которую обозначим как Щз^ представляет собой if* (s), т.е. ожидаемую сумму обесцениваемых вознаграждений, при условии, что агент осуществляет оптимальную стратегию. Обратите внимание на то, что C7(s) и R(s) — совершенно разные величины; R(s) — это “кратковременное” вознаграждение за пребывание в состоянии s; U(s) — “долговременное” суммарное вознаграждение, которое начинается с состояния з и продолжается дальше. На рис. 17.3 показаны рассматриваемые значения полезности для мира 4x3. Заслуживает внимание то, что значения полезности по мере приближения состояний к выходу +1 становятся выше, поскольку уменьшается количество шагов, требуемых для достижения этого выхода.
3
0,812
0.868
0,918
ЕЛ
2
0,762
0,660
Ш
1
0,705
0,655
0,611
0,388
12 3 4
Рис. 17.3. Полезности состояний в мире 4x3, рассчитанные при у=1 и R (s) =-0.04 для нетерминальных состояний
Эта функция полезности C7(s) позволяет агенту выбирать действия с использованием принципа максимальной ожидаемой полезности, приведенного в главе 16, т.е. выбирать действие, которое максимизирует ожидаемую полезность в следующем состоянии:
Л* (s)Л* (s)argmaxаargmaxаZс: 1Zс: 1T(s, a, s ' )T(s, a, s ' )Щз' )Щз' )(17.4)(17.4)
Л* (s)
Л* (s)
argmax
а
argmax
а
Z
с: 1
Z
с: 1
T(s, a, s ' )
T(s, a, s ' )
Щз' )
Щз' )
(17.4)
(17.4)
Итак, если полезность некоторого состояния представляет собой ожидаемую сумму обесцениваемых вознаграждений, начиная с данного момента и дальше, то существует прямая связь между полезностью состояния и полезностью его соседних состояний: с^= полезность некоторого состояния равна сумме непосредственного вознаграждения за пребывание в этом состоянии и ожидаемой обесцениваемой полезности следующего состояния, при условии, что агент выбирает оптимальное действие. Это означает, что полезность любого состояния можно определить с помощью следующего соотношения:
(17.5)(17.5)Uks) = Rks) + у max ^\ Tks, a, s' ) Uks')a s'
(17.5)
(17.5)
Уравнение 17.5 называется ^уравнением Беллмана в честь Ричарда Беллмана [97]. Полезности состояний (определяемые с помощью уравнения 17.3 как ожидаемые полезности дальнейших последовательностей состояний) являются решениями множества уравнений Беллмана. В действительности, как будет показано в следующих двух разделах, они являются уникальными решениями.
kUp)к Left)к Down)к Right)kUp)к Left)к Down)к Right)Рассмотрим одно из уравнений Беллмана для мира 4x3. Уравнение для состояния (1,1) приведено ниже.
kUp)
к Left)
к Down)
к Right)
kUp)
к Left)
к Down)
к Right)
Uki, 1) = -0.04 + у шах {0.8 Uki,2) + 0.1 Uk2,l) + 0.1 [/(1,1) , 0.9 Ukl,l) +0.1 Z7(l,2) , 0.9 [7(1,1) +0.1 [7(2,1) , 0.8 [7(2,1) + 0.1 17(1,2) + 0.1 [7(1,1)}
После подстановки в это уравнение чисел, приведенных на рис. 17.3, можно обнаружить, что наилучшим действием является Up.
Алгоритм итерации по значениям
Уравнение Беллмана является основой алгоритма итерации по значениям, применяемого для решения задач MDP. Если существует п возможных состояний, то количество уравнений Беллмана также равно п, по одному для каждого состояния. Эти п уравнений содержат п неизвестных — полезностей состояний. Поэтому можно было бы заняться поиском решений системы этих уравнений, чтобы определить полезности. Тем не менее возникает одна проблема, связанная с тем, что эти уравнения являются нелинейными, поскольку оператор “max” — это нелинейный оператор. Системы линейных уравнений могут быть решены очень быстро с использованием методов линейной алгебры, а для решения систем нелинейных уравнений необходимо преодолеть некоторые проблемы. Один из возможных подходов состоит в использовании итерационных методов. Для этого нужно начать с произвольных исходных значений полезностей, вычислить правую часть уравнения и подставить ее в левую, тем самым обновляя значение полезности каждого состояния с учетом полезностей его соседних состояний. Такая операция повторяется до тех пор, пока не достигается равновесие. Допустим, что U^ks) — это значение полезности для со-
стояния s в 1-й итерации. Шаг итерации, называемый М обновлением Беллмана, выглядит следующим образом:
C7i+i(s) <- fi(s) + у max ^ T(s,a,s') Ui(s')(17.6)
a s ।
Если обновление Беллмана используется неопределенно большое количество раз, то гарантируется достижение равновесия (см. следующий подраздел), и в этом случае конечные значения полезности должны представлять собой решения уравнений Беллмана. В действительности они также представляют собой уникальные решения, и соответствующая стратегия (полученная с помощью уравнения 17.4) является оптимальной. Применяемый при этом алгоритм, называемый ValueIteration, показан в листинге 17.1.
Листинг 17.1. Алгоритм итерации по значениям для вычисления полезностей состояний. Условие завершения работы взято из уравнения 17.8
function Value-Iteration(mdp, 8) returns функция полезности inputs: mdp, задача MDP с состояниями S, моделью перехода Т, функцией вознаграждения R, коэффициентом обесценивания у 8, максимально допустимая ошибка определения полезности любого состояния
local variables: U, U' , векторы полезностей для состояний из S, первоначально равные нулю
8, максимальное изменение полезности любого состояния во время итерации
repeat
U <- U' ; 8 <— О
for each состояние s in S do
U' [s] <— 7?[s] + у max ^^ T(s, a, s' ) UVs' ]a s.
if | U' [s] -D[s] | >8 then 8 <— | U* [s] -CJ[s] |
until 8 < 8 (1-y) /У
return U
Мы можем применить алгоритм итерации по значениям к миру 4x3 (см. рис. 17.1, а\ Начиная с исходных значений, равных нулю, полезности изменяются, как показано на рис. 17.4,а. Обратите внимание на то, как состояния, находящиеся на различных расстояниях от квадрата (4,3), накапливают отрицательное вознаграждение до тех пор, пока в какой-то момент не обнаруживается путь к состоянию (4,3), после чего значения полезности начинают возрастать. Алгоритм итерации по значениям может рассматриваться как способ распространения информации через пространство состояний с помощью локальных обновлений.
110,80,60,40,20-0,20,80,60,40,20-0,2051015202530051015202530Коэффициент обесценивания уКоэффициент обесценивания уб)б)Количество выполненных итерацийКоличество выполненных итераций
1
1
0,8
0,6
0,4
0,2
0
-0,2
0,8
0,6
0,4
0,2
0
-0,2
051015202530
051015202530
Коэффициент обесценивания у
Коэффициент обесценивания у
б)
б)
Количество выполненных итераций
Количество выполненных итераций
Рис. 17.4. Пример применения алгоритма итерации по значениям: график, показывающий изменение полезностей выбранных состояний в процессе итерации по значениям (а); количество итераций по значениям к, необходимое для того, чтобы можно было гарантировать, что ошибка не превышает е=с -Кщах для различных значений с, как функция от коэффициента обесценивания у (б)
Сходимость итерации по значениям
Выше было указано, что процедура итерации по значениям в конечном итоге сходится к уникальному множеству решений уравнений Беллмана. В этом разделе показано, почему это происходит. В ходе этого будут представлены некоторые полезные математические идеи и получены определенные методы оценки ошибки в значении функции полезности, возвращаемом при преждевременном завершении работы алгоритма; это важно, поскольку означает, что количество применяемых итераций алгоритма не обязательно должно стремиться к бесконечности. Изложение в этом разделе является весьма формальным.
Основным понятием, используемым при доказательстве того, что процедура итерации по значениям сходится, является ^ сжатие. Грубо говоря, функция сжатия — это функция от одного параметра, которая после ее последовательного применения к двум различным входным значениям вырабатывает два выходных значения, которые “ближе друг к другу” по меньшей мере на некоторую постоянную величину, чем первоначальные фактические параметры. Например, функция “деления на два” представляет собой функцию сжатия, поскольку после деления двух чисел на два разница между ними уменьшается наполовину. Обратите внимание на то, что функция “деления на два” имеет фиксированную точку, а именно нуль, которая остается неизменной в результате применения этой функции. На основании данного примера можно установить два важных свойства функций сжатия, описанных ниже.
Функция сжатия имеет только одну фиксированную точку; если бы были две фиксированные точки, они бы не приближались друг к другу после применения функции, поэтому такая функция не соответствовала бы определению функции сжатия.
После применения функции к любому параметру полученное значение должно стать ближе к фиксированной точке (поскольку фиксированная точка не
движется), поэтому в пределе повторное применение функции сжатия всегда приводит к достижению фиксированной точки.
Теперь предположим, что обновление Беллмана (уравнение 17.6) рассматривается как оператор в, который используется для одновременного обновления значений полезности каждого состояния. Обозначим через Щ вектор полезностей для всех состояний в i-й итерации. В таком случае уравнение обновления Беллмана может быть записано следующим образом:
C7i+i <- BUi
Затем нужно найти способ измерения расстояний между векторами полезностей. Мы будем использовать М нормализованный максимум, который измеряет длину вектора подлине его максимального компонента, следующим образом:
| | и\ | = max | U(s) | s
При использовании этого определения “расстояние” между двумя векторами, | | U-U' | |, представляет собой максимальную разность между двумя соответствующими элементами. Основным математическим результатом данного раздела является такое утверждение: ^ допустим, что Щ и Щ’ — два вектора полезностей. В таком случае получим следующее:
I \ BUi-BUi' I I < Y I I Ui-Ui' ||(17.7)
Это означает, что обновление Беллмана представляет собой функцию сжатия на коэффициент у, применяемую к пространству векторов полезностей. Таким образом, процедура итерации по значениям всегда сходится к уникальному решению уравнений Беллмана.
В частности, можно заменить значение Ui' в уравнении 17.7 истинными полезностями и, для которых ви=и. В таком случае будет получено следующее неравенство:
I \BUi-U\ | < у I | С71-С7| |
Поэтому, если | | сг±-сг| | рассматривается как ошибка в оценке щ, то можно видеть, что эта ошибка уменьшается при каждой итерации на коэффициент, по меньшей мере равный у. Это означает, что процедура итерации по значениям сходится экспоненциально быстро. Можно легко рассчитать количество итераций, требуемых для достижения заданной предельной ошибки е, как описано ниже. Вначале напомним, что, как показывает уравнение 17.1, полезности всех состояний ограничены значением ±-Rmax/ (1-у). Из этого следует, что максимальная начальная ошибка определяется соотношением | | LTO-17| |<22?тах/ (1-у). Предположим, что для достижения ошибки, не превышающей е, выполнено Nитераций. В таком случае потребуется у^Я^/(1-у)<Е итераций, поскольку ошибка уменьшается каждый раз по меньшей мере на величину у. Взяв логарифмы от этого выражения, можно определить, что достаточно применить следующее количество итераций:
N = Г1од(2Ятах/Е(1-у) )/1од(1/у)1
На рис. 17.4, б показано, как количество итераций N изменяется в зависимости от у при различных значениях отношения г/Нт^. Положительной особенностью этого соотношения является то, что из-за экспоненциально быстрой сходимости значение
N не очень зависит от отношения Е/Ятах, а отрицательной особенностью — то, что N быстро возрастает по мере приближения значения у к 1. Уменьшение значения у позволяет добиться ускорения сходимости, но это фактически приводит к сужению горизонта агента и может не позволить агенту обнаруживать долговременные последствия своих действий.
Анализ предельной ошибки, приведенный выше, позволяет получить определенное представление о том, какие факторы влияют на продолжительность прогона данного алгоритма, но сам подход, основанный на определении предельной ошибки, иногда становится слишком консервативным способом принятия решения о прекращении итераций. Для последней цели можно использовать предел, связывающий ошибку с размерами обновления Беллмана в каждой конкретной итерации. На основании свойства сжатия (уравнение 17.7) можно показать, что если обновление невелико (т.е. не происходит значительного изменения полезности ни одного состояния), то ошибка также является небольшой по сравнению с истинным значением функции полезности. Точнее, выполняется следующее условие:
if | | I7i+1-I7i| |<8(1-у)/у then I I LTi+i-cr| | <е (17.8)
В этом и состоит условие завершения, используемое в алгоритме ValueIteration, который приведен в листинге 17.1.
До сих пор мы анализировали ошибку в значении функции полезности, возвращаемом алгоритмом итерации по значениям. ^ Но для агента фактически гораздо важнее то, насколько успешно он будет действовать, принимая свои решения на основе данной функции полезности. Предположим, что после 1 итераций в процедуре итерации по значениям агент получает оценку щ истинной полезности и и определяет максимальную ожидаемую полезность стратегии л£ на основе прогнозирования на один шаг вперед с использованием значения Щ (как в уравнении 17.4). Будет ли выбранное в итоге поведение почти столь же хорошим, как и оптимальное поведение? Это — крайне важный вопрос для любого реального агента, и было показано, что ответ на него является положительным. Значение ifi (s) — это полезность, достигаемая, если, начиная с состояния s, осуществляется стратегия ni? а ^убыточность стратегии | | L^i-vl | — это самая большая часть полезности, которую агент может потерять, осуществляя стратегию л£ вместо оптимальной стратегии л*. Убыточность стратегии л^ связана с ошибкой в значении полезности щ следующим неравенством:
if I I Г7±-С7| | <8 then | | [Л-[/| |<28у/(1-у) (17.9)
На практике часто происходит так, что стратегия л£ становится оптимальной задолго до того, как сходится значение щ. На рис. 17.5 показано, как максимальная ошибка в значении Щ и убыточность стратегии приближаются к нулю по мере осуществления процедуры итерации по значениям для среды 4x3 со значением у = 0.9. Стратегия л£ становится оптимальной при i=4, даже несмотря на то, что максимальная ошибка в значении Ui все еще остается равной 0.46.
Теперь подготовлено все необходимое для использования процедуры итерации по значениям на практике. Известно, что процедура итерации по значениям в пределе сходится к правильным значениям полезности; ошибка в оценках полезностей может быть ограничена, даже если процедура итерации по значениям останавливается после конечного количества итераций; кроме того, может быть ограничена убы-
точность стратегии, которая связана с осуществлением соответствующей стратегии с максимальной ожидаемой полезностью. В качестве заключительного замечания отметим, что все результаты, приведенные в данном разделе, соответствуют такому случаю, когда применяется обесценивание полезностей, а у<1. Если у=1 и среда содержит терминальные состояния, то можно вывести аналогичное множество результатов оценки сходимости и определения предельных значений ошибок, если выполняются некоторые формальные условия.
Рис. 17.5. Зависимости максимальной ошибки IIX31-X311 в оценках полезности и убыточности стратегии / /и^-и / / по сравнению с оптимальной стратегией от количества итераций в процедуре итерации по значениям
Итерация по стратегиям
В предыдущем разделе было показано, что возможно выработать оптимальную стратегию, даже если оценка функции полезности является неточной. Если очевидно, что одно действие лучше по сравнению со всеми остальными, то нет необходимости точно определять истинные значения величины полезности всех рассматриваемых состояний. Эта идея подсказывает альтернативный метод поиска оптимальных стратегий. В алгоритме ^ итерации по стратегиям чередуются описанные ниже два этапа, начиная с некоторой исходной стратегии л0.
^Оценка стратегии. На основе стратегии л£ вычислить СТ^сЛ, полезность каждого состояния, если будет осуществлена стратегия л£.
^ Усовершенствование стратегии. Вычислить новую стратегию л1+1 с максимальной ожидаемой полезностью, используя прогноз на один шаг и исходя из значения щ (как в уравнении 17.4).
Алгоритм завершает свою работу после того, как этап усовершенствования стратегии не приводит к изменению значений полезности. Как известно, в этот момент функция полезности щ представляет собой фиксированную точку обновления Беллмана, поэтому является решением уравнений Беллмана, а л£ должна быть оп-
тимальной стратегией. Поскольку для каждого конечного пространства состояний количество возможных стратегий является конечным и можно показать, что каждая итерация приводит к определению лучшей стратегии, то алгоритм итерации по стратегиям должен всегда завершать свою работу. Этот алгоритм показан в листинге 17.2.
Листинг 17.2. Алгоритм итерации по стратегиям для вычисления оптимальной стратегии
function Policy-Iteration(mdp) returns стратегия
inputs: mdp, задача MDP с состояниями S, моделью перехода Т local variables: U, U' , векторы полезностей для состояний из S, первоначально равные нулю
к, вектор стратегий, индексированный по состояниям, первоначально сформированный случайным образом
repeat
doU[s'] > ^^ T(s,n[s] , s') U[s'] thens1T^s.a, s' ) U[s1 ]doU[s'] > ^^ T(s,n[s] , s') U[s'] thens1T^s.a, s' ) U[s1 ]U Policy-Evaluation(л, U, mdp) unchanged? <— истинное значение for each состояние s in S
do
U[s'] > ^^ T(s,n[s] , s') U[s'] then
s1
T^s.a, s' ) U[s1 ]
do
U[s'] > ^^ T(s,n[s] , s') U[s'] then
s1
T^s.a, s' ) U[s1 ]
a s ।
к [s] <- argmax a
unchanged? <— ложное значение until unchanged?
return л
Очевидно, что этап усовершенствования стратегии является несложным, а как реализовать процедуру Policy-Evaluation? Оказалось, что осуществление такого подхода намного проще по сравнению с решением стандартных уравнений Беллмана (а именно это происходит в алгоритме итерации по значениям), поскольку действие, применяемое в каждом состоянии, зафиксировано в соответствии с выбранной стратегией. Стратегия л£ определяет действие л^ (s), выполняемое в состоянии s на i-й итерации. Это означает, что можно воспользоваться упрощенной версией уравнения Беллмана (17.5), которая связывает полезность состояния s (соответствующую стратегии л£) с полезностями его соседних состояний, следующим образом:
Ui(s) = fits) + у ^ Tts.nits) ,s* ) Ui(s') (17.10)
s'
Например, предположим, что л£ — это стратегия, показанная на рис. 17.2, а. В таком случае имеет место Л1 (1,1) = Up, л£ (1,2) = Up и т.д., а упрощенные уравнения Беллмана принимают следующий вид:
Ui (1,1) = -0.04 + 0.8 Ui (1,2) + 0.1 Ui (1,1) + 0.1 Ui (2,1)
Ui (1,2) = -0.04 + 0.8 Ui (1,3) + 0.2 Ui (1,2)
Важно отметить, что эти уравнения — линейные, поскольку оператор “max” был удален. Для п состояний имеется п линейных уравнений с п неизвестными, которые
могут быть решены точно за время О(п3) с помощью стандартных методов линейной алгебры.
Для небольших пространств состояний оценка стратегии с использованием точных методов решения часто является наиболее эффективным подходом, а для больших пространств состояний затраты времени О(п3) могут оказаться чрезмерно большими. К счастью, точная оценка стратегии не требуется. Вместо этого можно выполнить некоторое количество упрощенных этапов итерации по значениям (они являются упрощенными, поскольку стратегия зафиксирована) для получения достаточно хорошей аппроксимации полезности. Упрощенное обновление Беллмана для этого процесса определяется таким соотношением:
L7i+i(s) <- Я(з) + у ^ ^(S/^i (s) * s'> ^i(s') s'
и определяемая в нем операция подстановки повторяется к раз для получения следующей оценки полезности. Результирующий алгоритм называется ^ модифицированной итерацией по стратегиям. Он часто оказывается намного более эффективным, чем стандартная итерация по стратегиям или итерация по значениям.
Алгоритмы, описанные до сих пор в данной главе, требуют одновременного обновления полезности или стратегии для всех состояний. Как оказалось, применение такой организации работы не является строго необходимым. В действительности в каждой итерации можно выбирать любое подмножество состояний и применять к этому подмножеству либо тот, либо другой вид обновления (усовершенствование стратегии или упрощенную итерацию по значениям). Такой наиболее общий алгоритм называется ^ асинхронной итерацией по стратегиям. При соблюдении определенных условий выбора исходной стратегии и функции полезности гарантируется сходимость асинхронной итерации по стратегиям к определенной оптимальной стратегии. А то, что мы вправе выбирать для работы с ними любые состояния, означает, что могут быть разработаны гораздо более эффективные эвристические алгоритмы, например, алгоритмы, которые сосредоточиваются на обновлении значений состояний, которые с наибольшей вероятностью будут достигнуты при осуществлении качественной стратегии. Такой подход имеет гораздо больше смысла в реальной жизни — если человек не намеревается попасть на прибрежную полосу, спрыгнув с высокой скалы, то для него нет смысла заниматься точной оценкой стоимости связанных с этим результирующих состояний.
Марковские процессы принятия решений
В ЧАСТИЧНО НАБЛЮДАЕМЫХ ВАРИАНТАХ СРЕДЫ
В описании марковских процессов принятия решений, приведенном в разделе 17.1, предполагалось, что среда является полностью наблюдаемой. При использовании этого предположения агент всегда знает, в каком состоянии он находится. Это предположение, в сочетании с предположением о марковости модели перехода, означает, что оптимальная стратегия зависит только от текущего состояния. А если среда является только частично наблюдаемой, то вполне очевидно, что ситуация становится гораздо менее ясной. Агент не всегда точно знает, в каком состоянии находится, поэтому не
может выполнить действие к(s), рекомендуемое для этого состояния. Кроме того, полезность состояния s и оптимальное действие в состоянии s зависят не только от s, но и от того, насколько много агент знает, находясь в состоянии s. По этим причинам задачи MDP в частично наблюдаемой среде (Partially Observable MDP — POMDP, читается как “пом-ди-пи”) обычно рассматриваются как намного более сложные по сравнению с обычными задачами MDP. Однако невозможно игнорировать необходимость решения задач POMDP, поскольку реальный мир изобилует такими задачами.
В качестве примера еще раз рассмотрим мир с размерами 4x3 (см. рис. 17.1), но на этот раз предположим, что агент вообще не имеет датчиков, а также не представляет себе, где находится. Точнее, допустим, что начальным состоянием агента с равной вероятностью может быть любое из девяти нетерминальных состояний (рис. 17.6, а). Очевидно, что если бы агент знал, что он находится в квадрате (3,3), то отправился бы направо, выполнив движение Right, а если бы знал, что он — в квадрате (1,1), то направился бы вверх с помощью движения Up, но поскольку агент может находиться в любом квадрате, то что ему делать? Один из возможных ответов состоит в том, что агенту необходимо вначале действовать так, чтобы уменьшить неопределенность своего положения и только после этого отправиться к выходу +1. Например, если агент выполнит движение Left пять раз, то с наибольшей вероятностью окажется у левой стены (см. рис. 17.6, б), а если он после этого пять раз выполнит движение Up, то, вполне вероятно, будет находиться вверху, возможно даже, в левом верхнем углу (см. рис. 17.6, в). Наконец, если он пять раз выполнит движение Right, то получит хорошие шансы (около 77,5%) достижения выхода + 1 (см. рис. 17.6, г). Продолжение после этого движения вправо повышает его шансы до 81,8%. Поэтому такая стратегия является удивительно безопасной, но при ее использовании агенту потребуется довольно много времени для достижения желаемого выхода, а ожидаемая полезность будет составлять лишь около 0.08. Оптимальная стратегия, который вскоре будет описана, позволяет достичь намного лучших результатов.
0,6220,2210,07110,024,0,0050,003|0,022|0,0030,0240,0030,0000,6220,2210,07110,024,0,0050,003|0,022|0,0030,0240,0030,0000,0050,0070,019,0.775,0,0340,007|0,105|0,0050,0060,0080,0300,0050,0070,019,0.775,0,0340,007|0,105|0,0050,0060,0080,030в)в)Г)Г)
0,622
0,221
0,071
10,024,
0,005
0,003
|0,022|
0,003
0,024
0,003
0,000
0,622
0,221
0,071
10,024,
0,005
0,003
|0,022|
0,003
0,024
0,003
0,000
0,005
0,007
0,019
,0.775,
0,034
0,007
|0,105|
0,005
0,006
0,008
0,030
0,005
0,007
0,019
,0.775,
0,034
0,007
|0,105|
0,005
0,006
0,008
0,030
в)
в)
Г)
Г)
Рис. 17.6. Пример реализации стратегии агента, не основанной на оптимальном подходе: первоначальное распределение вероятностей для местонахождения агента (а); распределение вероятностей после выполнения движения Left пять раз (б); то же, после выполнения движения Up пять раз (в); то же, после выполнения движения Right пять раз (г)
Чтобы найти подход к решению задач POMDP, необходимо вначале определить их должным образом. Любая задача POMDP состоит из таких же компонентов, как и задача MDP (модель перехода T(s,a,s' ) и функция вознаграждения 7?(s)), но имеет также ^ модель наблюдения O(s, о), которая задает вероятность получения
результатов наблюдения о в состоянии s. Например, рассматриваемый в данном случае агент без датчиков имеет только одно возможное наблюдение (пустое наблюдение), и такое наблюдение возникаете вероятностью 1 в любом состоянии.
В главах 3 и 12 рассматривались задачи планирования в недетерминированных и частично наблюдаемых вариантах среды и было определено доверительное состояние (множество фактических состояний, в которых может находиться агент) как ключевая концепция для описания и вычисления решений. В задачах POMDP это понятие требует определенного уточнения. Теперь доверительным состоянием b становится распределение вероятностей по всем возможным состояниям. Например, начальное доверительное состояние в ситуации, показанной на рис. 17.6, а, может быть записано как 111111111
<9z9,9,9,9,9,9,9,9,0,0>.
Мы будем обозначать через b(s) вероятность, присвоенную фактическому состоянию s доверительным состоянием Ь. Агент может вычислить свое текущее доверительное состояние как распределение условных вероятностей по фактическим состояниям, если дана последовательность происшедших до сих пор наблюдений и действий. Такая задача по сути сводится к задаче фильтрации (см. главу 15). Основное рекурсивное уравнение фильтрации (см. уравнение 15.3) показывает, как вычислить новое доверительное состояние из предыдущего доверительного состояния и нового наблюдения. Для решения задач POMDP необходимо также учитывать определенное действие и использовать немного другую систему обозначений, но результат остается по сути тем же самым. Если предыдущим доверительным состоянием было b(s), а агент выполнил действие а и получил результаты наблюдения о, то новое доверительное состояние определяется следующим соотношением:
b'(s') = a O(s',o)^^ T(s,a,s') b(s)(17.11)
s
где а — нормализующая константа, при использовании которой сумма вероятностей доверительных состояний становится равной 1. Это уравнение можно сокращенно записать какЬ' =Forward(b, а, о).
Основная идея, необходимая для понимания сути задач POMDP, состоит в следующем: ^ оптимальное действие зависит только от текущего доверительного состояния агента. Это означает, что оптимальную стратегию можно описать, отобразив стратегию л* (Ь) с доверительных состояний на действия. Она не зависит от фактического состояния, в котором находится агент. Это — очень благоприятная особенность, поскольку агент не знает своего фактического состояния; все, что он знает, — это лишь его доверительное состояние. Поэтому цикл принятия решений агентом POMDP состоит в следующем.
С учетом текущего доверительного состояния b выполнить действие a-и* (Ь).
Получить результаты наблюдения о.
Установить текущее доверительное состояние равным Forward(Ь, а, о) и повторить ту же процедуру.
Теперь мы можем рассматривать задачи POMDP как требующие поиска в пространстве доверительных состояний, во многом аналогично тем методам, которые применялись для решения задач в отсутствие датчиков и задач в условиях непредвиденных ситуаций, описанных в главе 3. Основное различие состоит в том, что пространство доверительных состояний POMDP является непрерывным, поскольку доверительное состояние POMDP — это распределение вероятностей. Например, доверительное состояние для мира 4x3 представляет собой точку в 11-мерном непрерывном пространстве. Любое действие изменяет не только физическое состояние, но и доверительное состояние, поэтому оценивается согласно информации, полученной агентом в качестве результата. Таким образом, задачи POMDP должны включать стоимость информации в качестве одного из компонентов задачи принятия решений (см. раздел 16.6).
Рассмотрим более внимательно результаты действий. В частности, рассчитаем вероятность того, что агент, находящийся в доверительном состоянии Ь, достигнет доверительного состояния Ь' после выполнения действия а. Итак, если известно действие и последующее наблюдение, то уравнение 17.11 должно обеспечить получение детерминированного обновления доверительного состояния, иными словами, b' ^Forward kb, а, о). Безусловно, результаты последующего наблюдения еще не известны, поэтому агент может перейти в одно из нескольких возможных доверительных состояний Ь', в зависимости от того наблюдения, которое последует за данным действием. Вероятность получения результатов наблюдения о, при условии, что действие а было выполнено в доверительном состоянии Ь, определяется путем суммирования по всем фактическим состояниям s', которых может достичь агент:
Обозначим вероятность достижения состояния Ь* из Ь, если дано действие а, как ткЬ, а, Ь' ). В таком случае справедливо следующее соотношение:
ткЬ,а,ЬЧ = Р{Ь'\а,Ь) = ^^ Рк b' | о, а, Ь) Рко\а,Ь)
’^ Tks, a, s 1 ) bks)s’^ Tks, a, s 1 ) bks)s(17.12)(17.12)о
’^ Tks, a, s 1 ) bks)
s
’^ Tks, a, s 1 ) bks)
s
(17.12)
(17.12)
= ^^ РкЬ' | о, a, b) ^^ O(s',o)ОS '
где РкЬ' | о, а.Ь^ равно 1, если b' =Forward kb, а, о), и 0 — в противном случае.
Уравнение 17.12 можно рассматривать как определение модели перехода для пространства доверительных состояний. Мы можем также определить функцию вознаграждения для доверительных состояний (т.е. ожидаемое вознаграждение, относящееся к фактическим состояниям, в которых может находиться агент) следующим образом:
р(Ь) = ^ b(sms^
S
Итак, создается впечатление, что т(Ь, а, Ь' ) и р(Ь) совместно определяют наблюдаемую задачу MDP в пространстве доверительных состояний. Кроме того, можно показать, что оптимальная стратегия для этой задачи MDP, л* (Ь), является также оптимальной стратегией для оригинальной задачи POMDP. Другими словами, ^ решение любой задачи POMDP в пространстве физических состояний можно свести к решению задачи MDP в соответствующем пространстве доверительных состояний. Этот факт, возможно, станет менее удивительным, если мы вспомним, что доверительное состояние по определению всегда является наблюдаемым для агента.
Но необходимо отметить следующее: хотя мы свели задачу POMDP к задаче MDP, полученная задача MDP имеет непрерывное (а иногда многомерное, с большим количеством размерностей) пространство состояний. Для решения подобных задач MDP нельзя непосредственно применить ни один из алгоритмов MDP, описанных в разделах 17.2 и 17.3. Но, как оказалось, существует возможность разработать версии алгоритмов итерации по значениям и итерации по стратегиям, которые могут применяться для решения задач MDP с непрерывными состояниями. Основная идея состоит в том, что стратегия л (Ь) может быть представлена как множество областей пространства доверительных состояний, каждая из которых связана с конкретным оптимальным действием. Функция стоимости связывает с каждой из областей отдельную линейную функцию от Ь. На каждом этапе итерации по значениям или по стратегиям уточняются границы областей и могут вводиться новые области.
Подробное описание соответствующих алгоритмов выходит за рамки данной книги, но мы сообщаем решение для мира 4x3 без датчиков. Оптимальная стратегия состоит в следующем:
VLeft, Up, Up, Right, Up, Up, Right, Up, Up, Right, Up, Right, Up, Right, Up, ... ]
Этот стратегия представляет собой последовательность, поскольку рассматриваемая задача в пространстве доверительных состояний является детерминированной— в ней нет наблюдений. Воплощенный в этой стратегии “секрет” состоит в том, что нужно предусмотреть для агента однократное движение Left для проверки того, что он не находится в квадрате (4,1), с тем чтобы в дальнейшем было достаточно безопасно продолжать движения Up и Right для достижения выхода +1. Агент достигает выхода +1 в 86,6% попыток и добивается этого гораздо быстрее по сравнению со стратегией, приведенной выше в данном разделе, поэтому его ожидаемая полезность повышается до 0.38, что гораздо больше по сравнению с 0.08.
Для более сложных задач POMDP с непустыми результатами наблюдений приближенный поиск оптимальных стратегий является очень сложным (фактически такие задачи являются PSPACE-трудными, т.е. действительно чрезвычайно трудными). Задачи с несколькими десятками состояний часто оказываются неразрешимыми. В следующем разделе описан другой, приближенный метод решения задач POMDP, основанный на опережающем поиске.
Агенты, действующие на основе теории решений
В этом разделе будет описан исчерпывающий подход к проектированию агентов для частично наблюдаемых, стохастических вариантов среды. Как показано ниже, основные элементы этого проекта должны быть уже знакомы читателю.
Модели перехода и наблюдения представлены в виде динамических байесовских сетей (см. главу 15).
Динамическая байесовская сеть дополняется узлами принятия решений и узлами полезности, по аналогии с теми, которые использовались в сетях принятия решений в главе 16. Результирующая модель называется ^динамической сетью принятия решений (Dynamic Decision Network — DDN).
Для учета данных о каждом новом восприятии и действии и для обновления представления доверительного состояния используется алгоритм фильтрации.
Решения принимаются путем проектирования в прямом направлении возможных последовательностей действий и выбора наилучших из этих последовательностей.
Основное преимущество использования динамической байесовской сети для представления модели перехода и модели восприятия состоит в том, что такая сеть позволяет применять декомпозицию описания состояния на множество случайных переменных во многом аналогично тому, как в алгоритмах планирования используются логические представления для декомпозиции пространства состояний, применяемого в алгоритмах поиска. Поэтому проект агента представляет собой практическую реализацию агента, действующего с учетом полезности, который был кратко описан в главе 2.
Поскольку в этом разделе будут использоваться динамические байесовские сети, вернемся к системе обозначений главы 15, где символом xt обозначается множество переменных состояния во время t, a Et — переменные свидетельства. Таким образом, там, где до сих пор в этой главе использовалось обозначение st (состояние во время с), теперь будет применяться обозначение xt. Для обозначения действия во время с будет использоваться запись At, поэтому модель перехода T^s, a, s' представляет собой не что иное, как P(xt+1|xt, AJ , а модель наблюдения O(s, о) — то же, что и р (Et | xt). Для обозначения вознаграждения, полученного во время с, будет применяться запись н^ а для обозначения полезности состояния во время t — запись Ut. При использовании такой системы обозначений динамическая сеть принятия решений принимает вид, подобный показанному на рис. 17.7.
Рис. 17.7. Универсальная структура динамической сети принятия решений. Переменные с известными значениями выделены затенением. Текущим временем является t, а агент должен решить, что делать дальше, т.е. выбрать значение для At. Сеть развернута в будущее на три этапа и представляет будущее вознаграждение, а также полезность состояния на горизонте прогноза
Динамические сети принятия решений позволяют получить краткое представление крупных задач POMDP, поэтому могут использоваться в качестве входных данных для любого алгоритма POMDP, включая те из них, которые относятся к методам итерации по значениям и итерации по стратегиям. В этом разделе мы сосредоточимся на прогностических методах, которые проектируют последовательности действий в прямом направлении от текущего доверительного состояния во многом таким же образом, как и алгоритмы ведения игр, описанные в главе 6. Сеть, приведенная на рис. 17.7, спроектирована в будущее на три этапа; неизвестными являются все текущие и будущие решения, а также будущие наблюдения и вознаграждения. Обратите внимание на то, что сеть включает узлы вознаграждений для xt+1 и xt+2, но для xL+3 — только узел полезности. Это связано с тем, что агент должен максимизировать (обесцениваемую) сумму всех будущих вознаграждений, а полезность CJ(xt+3) представляет и вознаграждение, относящееся к xt+3, и все будущие вознаграждения. Как и в главе 6, предполагается, что значение полезности и доступно только в некоторой приближенной форме, поскольку, если бы были известны точные значения полезности, то не было бы необходимости заглядывать вперед на глубину больше 1.
На рис. 17.8 показана часть дерева поиска, соответствующего приведенной на рис. 17.7 сети DDN, развернутой в будущее на три этапа. Каждый из узлов, обозначенных треугольником, представляет собой доверительное состояние, в котором агент принимает решение At+1 для 1 = 0,1,2,.... Узлы, обозначенные кружками, соответствуют выборам, сделанным средой, а именно тому, какие получены результаты наблюдений el+1. Обратите внимание на то, что в этой сети нет узлов жеребьевки, соответствующих результатам действий; это связано с тем, что обновление доверительного состояния для любого действия является детерминированным, независимо от фактического результата.
Доверительное состояние каждого обозначенного треугольником узла можно вычислить, применив алгоритм фильтрации к ведущей к нему последовательности наблюдений и действий. Таким образом, в алгоритме учитывается тот факт, что для принятия решения о выполнении действия At+i агент должен иметь доступные результаты восприятия Et+1,..., Et+i, даже несмотря на то, что во время t он не знает, какими будут эти результаты восприятия. Благодаря этому агент, действующий на основе теории принятия решений, автоматически учитывает стоимость информации и выполняет действия по сбору информации, когда это потребуется.
^/В P(XZ | Е1:/)Ег+1^/+1 вр№+1 |е1:/+])Е/+2д,+2вр(х,+2|Ек,+2)Е/+3U0W^/В P(XZ | Е1:/)Ег+1^/+1 вр№+1 |е1:/+])Е/+2д,+2вр(х,+2|Ек,+2)Е/+3U0W10463Рис. 17.8. Часть прогностического решения для сети DDN, приведенной на рис. 17.710463Рис. 17.8. Часть прогностического решения для сети DDN, приведенной на рис. 17.7
^/В P(XZ | Е1:/)
Ег+1
^/+1 вр№+1 |е1:/+])
Е/+2
д,+2вр(х,+2|Ек,+2)
Е/+3
U0W
^/В P(XZ | Е1:/)
Ег+1
^/+1 вр№+1 |е1:/+])
Е/+2
д,+2вр(х,+2|Ек,+2)
Е/+3
U0W
10463
Рис. 17.8. Часть прогностического решения для сети DDN, приведенной на рис. 17.7
10463
Рис. 17.8. Часть прогностического решения для сети DDN, приведенной на рис. 17.7
Из данного дерева поиска можно извлечь информацию о решении, резервируя значения полезности, взятые из листовых узлов, вычисляя среднее в узлах жеребьевки и определяя максимальные значения в узлах принятия решений. Такая организация работы аналогична применяемой в алгоритме Expectiminimax для деревьев игр с узлами жеребьевки, за исключением того, что, во-первых, вознаграждения могут быть предусмотрены и в состояниях, отличных от листовых, и, во-вторых, узлы принятия решений соответствуют доверительным состояниям, а не фактическим состояниям. Временная сложность исчерпывающего поиска до глубины d выражается как О ( I DId I Е Id), где I DI — количество доступных действий; Е — количество возможных наблюдений. Для получения решений, близких к оптимальным, при решении таких задач, в которых коэффициент обесценивания у не слишком близок к 1, часто бывает вполне приемлемым поверхностный поиск. Существует также возможность аппроксимировать этап усреднения в узлах жеребьевки, осуществляя выборку из множества возможных наблюдений вместо суммирования по всем возможным наблюдениям. Могут также применяться некоторые другие способы быстрого поиска качественных приближенных решений, но мы отложим их описание до главы 21.
Действующие по принципам теории решений агенты, основанные на динамических сетях принятия решений, имеют целый ряд преимуществ по сравнению с другими, более простыми агентами, проекты которых представлены в предыдущих главах. В частности, они способны функционировать в частично наблюдаемых неопределенных вариантах среды и могут легко пересматривать свои “планы” с учетом непредвиденных результатов наблюдений. При использовании подходящих моделей восприятия эти агенты могут справиться с ситуациями наподобие отказа датчиков и способны составлять планы по сбору информации. Под давлением жестких требований ко времени и в сложных вариантах среды эти агенты проявляют способность осуществлять “корректный переход к более примитивному поведению” (graceful degradation) с использованием различных методов вычисления приближенных решений. Так чего же в них недостает? Наиболее важным недостатком агентов, осно-
ванных на использовании алгоритмов динамической сети принятия решений, является то, что в них используется прямой поиск, полностью аналогичный тому, который предусмотрен в алгоритмах поиска в пространстве состояний, описанных в части II. В части IV было показано, что способность рассматривать частично упорядоченные, абстрактные планы с использованием целенаправленного поиска обеспечивает существенное расширение возможностей решения задач, особенно если при этом применяются библиотеки планов. Кроме того, были предприняты попытки распространить эти методы на вероятностную проблемную область, но до сих пор они оказывались неэффективными. Еще одной связанной с этим проблемой является слишком простой язык динамических сетей принятия решений, который по сути является пропозициональным. Было бы желательно распространить на задачи принятия решений некоторые идеи вероятностных языков первого порядка, описанные в разделе 14.6. Современные исследования показали, что такое расширение возможно и что оно позволяет получить существенные преимущества, как описано в заметках в конце данной главы.
Принятие решений при наличии нескольких агентов: теория игр
Данная глава в основном посвящена теме принятия решений в неопределенных вариантах среды. А как обстоят дела в том случае, если неопределенность связана с наличием других агентов и осуществлением ими решений, которые они принимают? И что будет, если на решения этих агентов, в свою очередь, влияют решения нашего агента? Эти вопросы уже рассматривались в настоящей книге при описании игр в главе 6. Но в этой главе речь в основном шла об играх с полной информацией, в которых игроки делают ходы по очереди: в подобных играх для определения оптимальных ходов может использоваться минимаксный поиск. А в данном разделе рассматриваются некоторые идеи ^ теории игр, которые могут применяться при анализе игр с одновременно выполняемыми ходами. Для упрощения изложения вначале рассмотрим игры, которые продолжаются только в течение одного хода. На первый взгляд может показаться, что слово “игра” не совсем подходит для обозначения такого упрощения, которое сводится к одному ходу, но в действительности теория игр используется в очень серьезных ситуациях принятия решений, включая ведение дел о банкротстве, организацию аукционов по распределению спектра радиочастот, принятие решений по разработке промышленной продукции и назначению на нее цен, а также национальную оборону. В таких ситуациях речь часто идет о миллиардах долларов и сотнях тысяч человеческих жизней. Теория игр может использоваться по меньшей мере в двух описанных ниже направлениях.
. Проектирование агента. Теория игр позволяет анализировать решения агента и вычислять ожидаемую полезность для каждого решения (с учетом предположения, что другие агенты действуют оптимальным образом согласно теории игр). Например, в игре в чет и нечет на двух пальцах (эту игру на пальцах называют также тогга, от итальянского слова сатогга — группа) два игрока, О (Odd — нечетный) и Е (Even — четный), одновременно показывают один или два пальца. Допустим, что общее количество показанных пальцев равно f. Если число f является нечетным, игрок О получает fдолларов от игрока Е,
а если число f — четное, игрок Е получает fдолларов от игрока О. Теория игр позволяет определить наилучшую стратегию в игре против рационально действующего игрока и ожидаемый выигрыш для каждого игрока.
. Проектирование механизма. Если в среде присутствует много агентов, то может существовать возможность так определить правила действий в этой среде (т.е. правила игры, в которую должны играть агенты), чтобы общее благосостояние всех агентов максимизировалось, если каждый агент принимает обоснованное теорией игр решение, максимизирующее его собственную полезность. Например, теория игр позволяет проектировать такие протоколы для коллекции маршрутизаторов трафика Internet, чтобы каждый маршрутизатор стремился действовать в направлении максимизации глобальной пропускной способности. Проектирование механизма может также использоваться для создания интеллектуальных мультиагентных систем, которые решают сложные задачи в распределенной форме без необходимости для каждого агента знать о том, какая задача решается в целом.
Любая игра в теории игр определяется с помощью описанных ниже компонентов.
^ Игроки, или агенты, которые должны принимать решения. Наибольшее внимание в исследованиях уделялось играм с двумя игроками, хотя достаточно часто рассматриваются также игры с п игроками, где п>2. В этой главе имена игроков записываются с прописной буквы, например Alice и Bob или О и Е.
^ Действия, которые могут быть выбраны игроками. В этой главе имена действий записываются строчными буквами, например one или testify. В распоряжении игроков могут находиться одинаковые или неодинаковые множества действий.
^ Матрица вознаграждений, которая определяет полезность для каждого игрока каждой комбинации действий всех игроков. Матрица вознаграждений для игры чет или нечет на двух пальцах приведена в табл. 17.1 (one — выбор действия, в котором игрок показывает один палец, two — два пальца).
Таблица 17.1. Матрица вознаграждений для игры чет или нечет на двух пальцах
О: one
О: two
Е: one
Е-2,О=-2
Е=-3,0=3
Е: two
Е=-3,0=3
Е=4,О=-4
Например, в нижнем правом углу показано, что если игрок О выбирает действие two, а игрок Етакже выбирает two, то вознаграждение для Е равно 4, а для О равно -4.
Каждый игрок, участвующий в игре, должен выработать, а затем осуществить стратегию (напомним, что такой же термин используется для обозначения способа выбора действий не только в теории игр, но и в теории принятия решений). М Чистая стратегия — это детерминированная стратегия, определяющая конкретное
действие, которое должно быть выполнено в каждой ситуации; в игре, состоящей из одного хода, чистая стратегия состоит из одного действия. Анализ игр приводит к формулировке идеи ^ смешанной стратегии, которая представляет собой рандомизированную стратегию, предусматривающую выбор конкретных действий среди доступных действий в соответствии с определенным распределением вероятностей. Смешанная стратегия, в которой обычно выбирается действие а с вероятностью р, а в противном случае выбирается действие Ь, условно обозначается как [р:а; (1-р) :Ь]. Например, смешанной стратегией для игры в чет и нечет на двух пальцах может быть [0.5: one; 0.5: two!. ^ Профилем стратегии называется вариант присваивания стратегии каждому игроку; после того как задан профиль стратегии, ^ результат игры для каждого игрока принимает определенное числовое значение.
^ Решением игры называется профиль стратегии, в котором каждый игрок принимает рациональную стратегию. Как будет показано ниже, наиболее важной проблемой в теории игр является определение того, что подразумевается под словом “рациональный”, когда каждый агент выбирает только часть профиля стратегии, определяющую этот результат. Важно понять, что результаты представляют собой фактические итоги ведения игры, а решения являются теоретическими конструкциями, которые используются для анализа игры. Ниже будет показано, что некоторые игры имеют решение только в смешанных стратегиях. Но это не означает, что игрок должен в буквальном смысле слова принимать смешанную стратегию, чтобы действовать рационально.
Рассмотрим описанную ниже историю. Два отпетых грабителя, Алиса и Боб, были пойманы с поличным недалеко от места совершенного ими ограбления, и теперь их отдельно допрашивают следователи. Оба они знают, что, признавшись в совместном совершении этого преступления, получат по 5 лет тюремного заключения за грабеж, а если оба откажутся признаваться, то получат только по 1 году каждый за менее грубое правонарушение — владение краденым имуществом. Но следователи предлагают отдельно каждому из них такую сделку: если вы дадите свидетельство против вашего партнера как главаря шайки грабителей, то вас освободят, а партнера осудят на 10 лет. Теперь Алиса и Боб сталкиваются с так называемой ^ дилеммой заключенного: должны ли они свидетельствовать (testify) или отказаться (refuse)? Будучи рациональными агентами, и Алиса, и Боб желают максимизировать свою собственную ожидаемую полезность. Предположим, что Алиса полностью безразлична к судьбе своего партнера, а ее оценка полезности уменьшается пропорционально количеству лет, которые она проведет в тюрьме, независимо от того, что случится с Бобом. Боб думает точно так же. Чтобы упростить для себя выработку рационального решения, оба грабителя составляют матрицу вознаграждений, приведенную в табл. 17.2.
Таблица 17.2. Матрица вознаграждений для дилеммы заключенного
Alice:testifyAlice:refuse
Bob: testifyA = -5, В = -5A=-10,B=0
Bob:refuseA = 0,B = -10A = -1,B = -1
если буду свидетельствовать против него, и 10 лет — если откажусь, поэтому в данном случае лучше свидетельствовать против него. С другой стороны, если Боб откажется, то я получу 0 лет, если буду свидетельствовать, и 1 год, если откажусь, поэтому и в данном случае лучше свидетельствовать. Итак, и в том и в другом случае для меня лучше свидетельствовать против Боба, поэтому так я и должна поступить.
Алиса обнаружила, что testify — это ^доминантная стратегия для рассматриваемой игры. Принято считать, что стратегия s для игрока р ^ строго доминирует над стратегией s', если результат стратегии s лучше для игрока р, чем результат стратегии s', при любом выборе стратегий другими игроками. Стратегия s ^ слабо доминирует над s', если s лучше чем s' по меньшей мере в одном профиле стратегий и не хуже в любом другом. Доминантной стратегией является стратегия, которая доминирует над всеми остальными. Нерационально вести игру на основе стратегии, над которой строго доминируют другие стратегии, и нерационально не вести игру на основе доминантной стратегии, если она существует. Будучи рациональным агентом, Алиса выбирает доминантную стратегию. Прежде чем перейти к дальнейшему изложению, необходимо рассмотреть еще несколько терминов: принято считать, что некоторый результат является ^ оптимальным согласно принципу Парето, если нет другого результата, который предпочли бы все игроки. Над результатом М доминирует по принципу Парето другой результат, если все игроки предпочитают этот другой результат.
А если Алиса — не только рациональный, но и умный агент, она должна продолжить рассуждение следующим образом: доминантной стратегией Боба также является свидетельствование против меня. Поэтому он будет свидетельствовать, и мы оба получим по пять лет. Если оба игрока имеют доминантную стратегию, то комбинация этих стратегий называется М равновесием доминантных стратегий. Вообще говоря, профиль стратегий образует ^ равновесие, если ни один игрок не может извлечь выгоду от переключения с одной стратегии на другую, при условии, что все остальные игроки продолжают придерживаться одной и той же стратегии. Равновесие по сути представляет собой локальный оптимум в пространстве стратегий; оно является вершиной пика, вокруг которого находятся спады вдоль всех измерений, где измерения соответствуют вариантам выбора стратегии игроком.
Парадоксальность дилеммы заключенного состоит в том, что результат в точке равновесия для обоих игроков хуже по сравнению с результатом, которого они достигли бы, если бы оба отказались свидетельствовать друг против друга. Иными словами, результат для равновесного решения доминируется по принципу Парето результатом (-1,-1), который соответствует обоюдному отказу от свидетельства, (refuse, refuse).
Существует ли какой-либо способ, с помощью которого Алиса и Боб могли бы формально прийти к результату (-1, -1) ? Безусловно, что для них обоих вариант, в котором они отказываются свидетельствовать, является допустимым, но этот вариант маловероятен. Любой игрок, анализирующий вариант хода refuse, поймет, что для него было бы лучше выбрать ход testify. В этом состоит притягательная мощь точки равновесия.
Математик Джон Нэш (род. в 1928 году) доказал теорему, согласно которой ^ каждая игра имеет равновесие такого типа, которое определено в данном примере.
Теперь указанное условие называют в его честь равновесием Нэша. Очевидно, что равновесием доминантных стратегий является равновесие Нэша (упр. 17.9), но не все игры имеют доминантные стратегии. Теорема Нэша означает, что равновесные стратегии могут существовать даже при отсутствии доминантных стратегий.
В дилемме заключенного равновесием Нэша является только профиль стратегий ktestify, testify). Трудно понять, как рациональные игроки могут избежать такого результата, поскольку в любом предложенном неравновесном решении по меньшей мере один из игроков будет подвергаться соблазну изменить свою стратегию. Специалисты в области теории игр соглашаются с тем, что обязательным условием того, чтобы некоторый ход представлял собой решение, является принадлежность его к равновесию Нэша, но еще не достигнуто полное согласие в отношении того, является ли это условие достаточным.
Решения ^testify, testify) можно довольно легко избежать, немного изменив правила игры (или взгляды игроков). Например, можно перейти к итерационной игре, в которой игроки знают, что когда-то обязательно снова встретятся и вспомнят, как действовали при прошлой встрече (но крайне важно то, что они не должны иметь определенной информации о том, через какое время встретятся). Кроме того, если агенты имеют моральные убеждения, которые способствуют сотрудничеству и справедливому отношению друг к другу, то можно изменить матрицу вознаграждения так, чтобы она отражала для каждого агента полезность взаимодействия с другим агентом. Как будет показано ниже, на результатах может также отразиться такая модификация агентов, чтобы они обладали ограниченной вычислительной мощью, а не способностью рассуждать абсолютно рационально, а также предоставление одному агенту информации о том, что способности другого рассуждать рационально ограничены.
Теперь рассмотрим игру, в которой отсутствует доминантная стратегия. Предположим, что компания Acme, изготовитель аппаратных средств для видеоигр, должна решить, будут ли в ее следующей игровой машине использоваться DVD или CD. Между тем компания Best, производитель программного обеспечения для видеоигр, должна принять решение о том, следует ли выпускать свою очередную игру на DVD или CD. Для обеих компаний прибыль будет положительной, если они примут согласованные решения, и отрицательной, если решения не будут согласованными, как показывает матрица вознаграждений, приведенная в табл. 17.3.
Таблица 17.3. Матрица вознаграждений для компаний Acme и Best
Acme:dvd Acme:cd
Best:dvd A-9,B-9 A=-4,B=-1
Best:cd A=-3,B= -1 A=5, B=5
том, что оба игрока должны выбрать решение, оптимальное по принципу Парето, — kdvd, dvd^; это означает, что можно ограничить определение понятия “решения” уникальным, оптимальным по принципу Парето равновесием Нэша, при условии, что оно существует. Каждая игра имеет по меньшей мере одно оптимальное по принципу Парето решение, но в любой игре может быть несколько таких решений, или эти решения могут не оказаться точками равновесия. Например, можно было бы установить вознаграждения за решение kdvd, dvd), равные 5, а не 9. В этом случае имеются две одинаковые точки равновесия, оптимальные по принципу Парето. Чтобы выбрать между ними, агенты должны либо пользоваться догадками, либо прибегать к общению, что можно сделать, приняв соглашение об упорядочении решений до начала игры, или проводить переговоры, чтобы достичь обоюдно выгодного решения во время игры (это может означать, что в состав многоходовой игры должны быть включены коммуникативные действия). Таким образом, необходимость в общении возникает в рамках теории игр точно по тем же причинам, что и в мультиагентном планировании, описанном в главе 12. Игры, подобные этой, в которых игроки должны вступать во взаимодействие, называются ^ координационными играми.
Выше было показано, что игра может иметь больше одного равновесия Нэша; но на основании чего мы можем утверждать, что каждая игра должна иметь по меньшей мере одно такое равновесие? Может оказаться, что в игре отсутствует равновесие Нэша для чистой (не смешанной) стратегии. Рассмотрим, например, любой профиль чистых стратегий для игры в чет и нечет на двух пальцах (с. 839). Если общее количество показанных пальцев является четным, то игрок О может захотеть переключиться на другую стратегию, а если это количество нечетно, то будет стремиться переключиться игрок Е. Поэтому ни один профиль чистых стратегий не может представлять собой равновесие и приходится рассматривать смешанные стратегии.
Но какой должна быть смешанная стратегия? В 1928 году фон Нейман разработал метод поиска оптимальной смешанной стратегии для игр с двумя игроками, называемых М играми с нулевой суммой. Игрой с нулевой суммой называется игра, в которой вознаграждения в каждой ячейке матрицы вознаграждения в сумме равны нулю. Очевидно, что игра в чет и нечет является именно таковой. Известно, что для игр с двумя игроками и нулевой суммой вознаграждения являются равными и противоположными, поэтому достаточно рассмотреть вознаграждения только для одного игрока, который будет считаться максимизирующим игроком (точно так же, как и в главе 6). Применительно к игре в чет и нечет выберем в качестве максимизирующего игрока Е, который выбрал для себя в качестве выигрышного результата четное количество пальцев, поэтому можно определить матрицу вознаграждений на основе значений и^ке, о) — вознаграждение, получаемое игроком Е, если игрок Е выбирает действие е, а О —действие о.
Метод фон Неймана называется методом ^ максимина и действует, как описано ниже.
Предположим, что правила игры изменились таким образом, что игрок Е вынужден раскрывать свою стратегию первым, а за ним следует игрок О. В таком случае мы имеем дело с игрой, где ходы выполняются поочередно, к которой можно применить стандартный минимаксный алгоритм из главы 6. Допустим, что такая игра приводит к получению результата иЕ,о. Очевидно, что эта игра окончится в пользу игрока О, поэтому истинная полезность и данной игры (сточки зрения игрока Е) равна по меньшей мере иЕ#0. Например, если рассматриваются только чистые стратегии, то минимаксное дерево игры имеет корневое значение, равное -3 (рис. 17.9, а), поэтому известно, что U>-3.
Теперь предположим, что правила изменились таким образом, что свою стратегию вынужден раскрывать игрок О, а за ним следует игрок Е. В таком случае минимаксное значение этой игры становится равным и0<Е, а поскольку игра складывается в пользу игрока Е, то известно, что полезность [/самое большее равна [/0/Е. При использовании чистых стратегий это значение равно + 2 (см. рис. 17.9, 6), поэтому известно, что [/<+2.
Рассматривая эти два предположения совместно, можно прийти к заключению, что истинная полезность и рассматриваемого решения должна удовлетворять следующему неравенству:
UEio ^ U < U0,E или в данном случае -3 < U < 2
Чтобы точно определить значение и, необходимо перейти к анализу смешанных стратегий. Вначале отметим следующее: ^ как только первый игрок раскрыл свою стратегию, второй игрок не может проиграть, ведя игру согласно чистой стратегии. Причина этого проста — если второй игрок ведет игру на основе смешанной стратегии, Yp-one; (1-р) : two"!, то ожидаемая полезность этой игры представляет собой линейную комбинацию (р цОПе+ (1-р) utwo) полезностей чистых стратегий uone и utwo. Эта линейная комбинация ни при каких условиях не будет лучше по сравнению с лучшим из значений uone и utwo, поэтому второй игрок вполне может просто выбрать для ведения игры чистую стратегию.
С учетом этого замечания минимаксные деревья можно рассматривать как имеющие бесконечное количество ветвей, исходящих от корня, которые соответствуют бесконечному количеству смешанных стратегий, доступных для выбора первым игроком. Каждая из этих ветвей ведет к узлу с двумя ветвями, соответствующими чистым стратегиям для второго игрока. Эти бесконечные деревья можно изобразить как конечные, предусмотрев один “параметризованный” выбор у корня, как описано ниже.
Ситуация, возникающая, если игрок Еходит первым, показана на рис. 17.9, в. Игрок Еделает из корневой позиции ход [р: one; (1-р) : two"!, а затем игрок О выбирает ход с учетом значения р. Если игрок О выбирает ход one, то ожидаемое вознаграждение (для Ё) становится равным 2р-3 (1-р) =5р-3; если игрок О выбирает ход two, то ожидаемое вознаграждение равно -Зр+4 (1-р) =4-7р. Зависимости, выражающие величину этих двух вознаграждений, можно изобразить в виде прямых линий на графике, где р изменяется от 0 до 1 вдоль оси х, как показано на рис. 17.9, д. Игрок О, минимизирующий стоимость игры, должен всегда выбирать наименьшее значение на двух прямых линиях, как показано на этом рисунке жирными отрезками прямых. Поэтому наилучшее решение, которое может
принять игрок Е, выбирая ход, подлежащий выполнению из корневой позиции, состоит в том, чтобы выбрать значение р, соответствующее точке пересечения и определяемое следующим образом:
Рис. 17.9. Анализ игры с двумя игроками: минимаксные деревья игры в чет и нечет на двух пальцах, если игроки ходят по очереди, ведя игру на основе чистых стратегий (а), (б); параметризованные деревья игры, в которой первый игрок использует смешанную стратегию, причем вознаграждения зависят от параметра вероятности (р или q) в смешанной стратегии (в), (г); для любого конкретного значения параметра вероятности второй игрок выбирает “наилучшее” этих двух действий, поэтому значение для смешанной стратегии первого игрока задается жирными линиями; первый игрок выбирает параметр вероятности для смешанной стратегии в точке пересечения (д), (е)
5р-3 = 4-7р => р=7/12
Полезность для игрока Е в этот момент времени равна сгЕ, 0= -1 /12.
А если первым ходит игрок О, то складывается ситуация, показанная на рис. 17.9, г. Игрок О из корневой позиции делает ход [g: one; (1-g) : twol, после чего игрок Е выбирает ход с учетом значения q. При этом вознаграждения определяются соотношениями 2g-3 (1-g) = 5g-3 и -3g+4 (1-g) =4-7g Опять-таки на рис. 17.9, е показано, что наилучший ход, который может быть сделан игроком О из корневой позиции, состоит в выборе точки пересечения, следующим образом:
5g-3 = 4-7g => g=7/12
Полезность для игрока Е в этот момент равна сг0, Е= -1 /12.
Теперь известно, что истинная полезность этой игры находится в пределах от -1/12 до -1/12, т.е. она точно равна -1/12! (Общий вывод состоит в том, что в эту игру лучше играть от имени игрока О, а не Е.) Кроме того, истинная полезность достигается при использовании смешанной стратегии [7/12 : one;5/12 : twol, которой должны придерживаться оба игрока. Такая стратегия называется ^ максиминным равновесием игры и соответствует равновесию Нэша. Обратите внимание на то, что каждая составляющая стратегия в равновесной смешанной стратегии имеет одну и ту же ожидаемую полезность. В данном случае и ход one, и ход two имеют ту же ожидаемую полезность, -1/12, что и сама смешанная стратегия.
Приведенный выше результат для игры в чет и нечет на двух пальцах представляет собой пример общего результата, полученного фон Нейманом: ^ каждая игра с нулевой суммой с двумя игроками имеет максиминное равновесие, если разрешены смешанные стратегии. Кроме того, каждое равновесие Нэша в игре с нулевой суммой представляет собой максиминное равновесие для обоих игроков. Но общий алгоритм поиска максиминных равновесий в играх с нулевой суммой немного сложнее по сравнению с тем, что показано в виде схем на рис. 17.9, д и е. Если количество возможных действий равно п, то смешанная стратегия представляет собой точку в n-мерном пространстве и прямые линии становятся гиперплоскостями. Возможно также, что над некоторыми чистыми стратегиями для второго игрока будут доминировать другие стратегии, так что они перестанут быть оптимальными по отношению к любой стратегии для первого игрока. После удаления всех подобных стратегий (а эту операцию может потребоваться выполнить неоднократно) оптимальным вариантом хода из корневой позиции становится самая высокая (или самая низкая) точка пересечения оставшихся гиперплоскостей. Поиск этого варианта представляет собой пример задачи линейного программирования — максимизации целевой функции с учетом линейных ограничений. Такие задачи могут быть решены с помощью стандартных методов за время, полиномиально зависящее от количества действий (а также формально и от количества битов, используемых для определения функции вознаграждения).
Остается нерешенным следующий вопрос: как фактически должен действовать рациональный агент при ведении такой одноходовой игры, как игра в чет и нечет? Рациональный агент пришел логическим путем к выводу, что [7/12: one; 5/12 : twol представляет собой максиминную равновесную стратегию, и исходит из предположения, что знаниями об этом обладает и его рациональный противник. Агент может использовать игральную кость с 12 сторонами или генератор случайных чисел для выбора случайным образом хода, соответствующего этой смешанной стратегии, и в этом случае ожидаемое вознаграждение для игрока Е будет равно -1/12. В ином случае агент может просто решить сделать ход one или two. В любом случае для игрока Е ожидаемое вознаграждение остается равным -1/12. Удивительно то, что односторонний выбор конкретного действия не уменьшает ожидаемое вознаграждение для данного игрока, но если другой агент будет иметь возможность узнать, что данный игрок принял такое одностороннее решение, то ожидаемое вознаграждение изменится, поскольку противник сможет откорректировать свою стратегию соответствующим образом.
Поиск решений для конечных игр с ненулевой суммой (т.е. равновесий Нэша) немного сложнее. Общий подход заключается в использовании двух этапов. Во-первых, необходимо составить список из всех возможных последовательностей действий, которые могут образовывать смешанные стратегии. Например, вначале следует проверить все профили стратегий, в которых каждый игрок выполняет одно действие, затем те, в которых каждый игрок выполняет либо одно, либо два действия, и т.д. Количество таких проверок экспоненциально зависит от количества действий, поэтому может применяться только в относительно простых играх. Во-вторых, для каждого профиля стратегий, включенного в список на первом этапе, необходимо провести проверку для определения того, представляет ли он некоторое равновесие. Такая задача выполняется путем решения ряда уравнений и неравенств, аналогичных используемым в случае с нулевой суммой. В игре с двумя игроками эти уравнения являются линейными и могут быть решены с помощью основных методов линейного программирования, но в случае трех или большего количества игроков они являются нелинейными и задача поиска их решения может оказаться очень сложной.
До сих пор мы рассматривали только такие игры, которые состоят из одного хода. Простейшей разновидностью игры, состоящей из нескольких ходов, является повторяющаяся игра, в которой игроки снова и снова сталкиваются с одним и тем же выбором, но каждый раз пользуются знаниями истории всех предыдущих выборов всех игроков. Профиль стратегий для повторяющейся игры определяет выбор действия для каждого игрока на каждом временном интервале для всех возможных историй предыдущих выборов. Как и в случае задач MDP, вознаграждения определяются аддитивной функцией от времени.
Рассмотрим повторяющуюся версию поиска решения дилеммы заключенного. Будут ли Алиса и Боб действовать совместно и откажутся свидетельствовать друг против друга, зная о том, что им придется снова встретиться? Ответ зависит от деталей их соглашения. Например, предположим, Алиса и Боб знают, что им придется провести ровно 100 раундов игры в дилемму заключенного. В таком случае оба они знают, что 100-й раунд не будет повторяющейся игрой, т.е. что ее результат не сможет оказать влияния на будущие раунды, и поэтому оба они выберут в этом раунде доминантную стратегию testify. Но как только будет определен результат 100-го
раунда, 99-й раунд перестанет оказывать влияние на последующие раунды, поэтому в нем также будет достигаться равновесие доминантной стратегии в случае выбора действий (testify, testify). По индукции оба игрока должны выбирать действие testifyb каждом раунде, заработав общий срок по 500 лет тюремного заключения на каждого.
Изменяя правила взаимодействия, можно получить другие решения. Например, предположим, что после каждого раунда существует 99% шансов, что игроки снова встретятся. В таком случае ожидаемое число раундов все еще остается равным 100, но ни один из игроков не знает точно, какой раунд будет последним. При таких условиях возможно поведение, характеризующееся большей степенью сотрудничества. Например, одной из стратегий равновесия для каждого игрока является выбор действия refuse, если другой игрок никогда не выбирал действие testify. Такую стратегию можно назвать Увечным наказанием. Предположим, что оба игрока приняли данную стратегию и это известно им обоим. В таком случае, при условии, что ни один из игрок не выберет действие testify, в любой момент времени ожидаемое суммарное вознаграждение в будущем для каждого игрока составляет следующее:
^ 0.99t-(-1) = -юо
t=0
Игрок, который выберет testify, получит 0 очков вместо -1 в каждом следующем ходе, но его суммарное ожидаемое будущее вознаграждение становится равным:
t=o
Поэтому на каждом этапе игроки не имеют стимула, который заставил бы их отказаться от стратегии (refuse, refuse). Вечное наказание— это стратегия “взаимно гарантированного уничтожения” в рамках дилеммы заключенного: как только один из игроков решит выполнить действие testify, он обеспечит получение обоими игроками больших неприятностей. Но такая перспектива развития событий может стать предостережением, только если другой игрок знает, что вы приняли эту стратегию или по меньшей мере что вы могли ее принять.
Существуют и другие стратегии в этой игре, которые являются не такими бескомпромиссными. Наиболее известная из них, называемая ^ отплатой “зуб за зуб”, предусматривает, что игрок начинает с действия refuse, а затем повторяет предыдущий ход другого игрока во всех последующих ходах. Поэтому Алиса должна отказываться свидетельствовать против Боба до тех пор, пока Боб отказывается свидетельствовать против нее, затем должна выбирать в своем ходе дачу показаний против Боба, как только Боб даст показания против нее, но должна возвращаться к отказу отдачи показаний, после того как это сделает Боб. Хотя эта стратегия очень проста, оказалось, что она является в высшей степени надежной и эффективной в противодействии самым разнообразным стратегиям.
Кроме того, другие решения могут быть получены в результате модификации самих агентов, а не изменения правил их взаимодействия. Предположим, что агенты представляют собой конечные автоматы с п состояниями и играют в игру с общим
количество ходов т>п. Поэтому агенты в какой-то момент становятся неспособными представить целый ряд оставшихся ходов и должны рассматривать их как неизвестные. Это означает, что они не могут выполнять логический вывод по индукции и вправе переходить к наиболее благоприятному равновесию (refuse, refuse). В таком случае глупость идет на пользу или, скорее, идет на пользу мнение противника о том, что вы глупы. Ваш успех в таких повторяющихся играх зависит от мнения о вас другого игрока как о тупице или простаке, а не от ваших фактических характеристик.
Полное описание повторяющихся игр, которые представляют собой большую и важную научную область, выходит за рамки данной книги, но они возникают во многих ситуациях. Например, последовательную игру можно организовать, поместив двух агентов в мир 4x3, показанный на рис. 17.1. Если будет определено, что не должно происходить никакого движения, если два агента пытаются одновременно перейти в один и тот же квадрат (эта проблема часто возникает на многих пересечениях разных направлений дорожного движения), то некоторые чистые стратегии могут привести к бесконечному тупику. Одно из решений состоит в том, чтобы для каждого агента был рандомизирован выбор между движением вперед и остановкой на месте; патовая ситуация будет быстро разрешена и оба агента смогут продолжить свое движение. Именно такой подход применяется при разрешении коллизий между пакетами в сетях Ethernet.
Известные в настоящее время методы выработки решений для повторяющихся игр напоминают методы, применяемые в играх с поочередными ходами, описанных в главе 6, в том, что дерево игры может быть сформировано от корня вниз и решено от листьев вверх. Основное различие между ними состоит в том, что вместо простого определения максимума или минимума дочерних значений алгоритм должен найти решение игры в терминах смешанных стратегий на каждом уровне, при условии, что для дочерних узлов найдены решения и имеются точно определенные значения, с которыми можно дальше работать.
Повторяющиеся игры в частично наблюдаемых вариантах среды называются играми с М частичной информацией. К примерам таких игр относятся карточные игры наподобие покера и бриджа, в которых каждый игрок видит только некоторое подмножество карт, а также более серьезные “игры”, такие как моделирование атомной войны, когда ни одна из сторон не знает местонахождение всех пусковых установок противника. Решения игр с частичной информацией можно найти, рассматривая дерево доверительных состояний, как и в случае задач POMDP (см. раздел 17.4). Одно важное различие между ними состоит в том, что собственное доверительное состояние является наблюдаемым, а доверительное состояние противника — нет. Для таких игр практически применимые алгоритмы были разработаны только недавно. Например, найдено решение для некоторой упрощенной версии покера и доказано, что вариант, в котором игроки блефуют, действительно является рациональным, по крайней мере в составе тщательно сбалансированной смешанной стратегии. В результате этих исследований было сделано одно важное открытие, которое заключается в том, что смешанные стратегии полезны не только для того, чтобы сделать действия игрока непредсказуемыми, но и для минимизации объема информации, которую противник может извлечь из наблюдений за действиями этого игрока. Интересно отметить, что разработчики программ для игры в бридж хорошо понимают важность сбора и сокрытия информации, но ни один из них не предложил использовать рандомизированные стратегии.
До сих пор обнаруживались определенные барьеры, которые препятствовали широкому использованию теории игр в проектах агентов. Во-первых, следует отметить, что при поиске решения на основе равновесия Нэша игрок предполагает, что его противник со всей определенностью будет вести игру на основе равновесной стратегии. Это означает, что игрок не способен учесть какие-либо убеждения, которые у него могут быть в отношении того, как скорее всего будут действовать другие игроки, и поэтому не сможет воспользоваться своими важными преимуществами, защищаясь от угроз, которые так никогда и не материализуются. Эта проблема частично решается благодаря использованию понятия М равновесия Байеса—Нэша, т.е. равновесия применительно к распределению априорных вероятностей игрока по отношению к стратегиям других игроков; иными словами, равновесие Байеса—Нэша выражает уверенность игрока в том, какие вероятные стратегии будут применять другие игроки. Во-вторых, в настоящее время отсутствует удобный способ совместного применения стратегий управления, основанных на теории игры и модели POMDP. Из-за наличия этих и других проблем теория игр в основном использовалась для анализа вариантов среды, находящихся в равновесном состоянии, а не для управления агентами, действующими в некоторой среде. Но ниже будет показано, что теория игр может помочь и при проектировании вариантов среды.
Проектирование механизма
В предыдущем разделе рассматривался вопрос: “Дана некоторая игра; каковой является рациональная стратегия?” В этом разделе приведен ответ на другой вопрос: “Предположим, что агенты являются рациональными; какую игру следует для них спроектировать?” А именно, требуется спроектировать некоторую игру, решения которой, состоящие из действий каждого агента, осуществляющего свою собственную рациональную стратегию, приводят к максимизации некоторой глобальной функции полезности. Эта проблемная область называется М проектированием механизма, а иногда обратной теорией игр. Проектирование механизма представляет собой фундамент экономики и политологии. Применительно к коллекциям агентов этот подход обеспечивает возможность использования механизмов теории игр для создания успешно действующих систем из совокупности более ограниченных системных компонентов (даже противоборствующих системных компонентов), во многом аналогично тому, как создаются команды людей, способные достигать целей, далеко превосходящих возможности отдельно взятого человека.
К примерам применения принципов проектирования механизма относится организация аукционов по распродаже дешевых авиабилетов, маршрутизация пакетов TCP между компьютерами, принятие решения о том, как следует распределять выпускников медицинских учебных заведений по лечебным учреждениям, а также определение способа взаимодействия роботизированных игроков-футболистов со своими капитанами команд. Проектирование механизма вышло за рамки академической тематики в конце 1990-х годов, когда несколько государств, столкнувшись с проблемой аукционной распродажи лицензий на вещание в различных частотных диапазонах, потеряли сотни миллионов долларов потенциальных доходов в результате плохого проектирования механизма. Формально М механизм состоит, во-первых, из языка для описания (потенциально бесконечного) множества допустимых стратегий, которыми могут ру-
ководствоваться агенты, и, во-вторых, из правила определения результата G, которое регламентирует вознаграждения, получаемые агентами при наличии некоторого профиля стратегий, состоящего из допустимых стратегий.
На первый взгляд задача проектирования механизма может показаться тривиальной. Предположим, что глобальная функция полезности [/декомпонуется на любое множество функций полезности отдельных агентов и^ такое, что [7 = Ei ui- В та~ ком случае можно утверждать, что если каждый агент максимизирует свою собственную полезность, то нет сомнения в том, что это автоматически приведет к максимизации глобальной полезности. (Например, в лекциях по начальному курсу капитализма утверждается, что если каждый старается стать богаче, то общее благосостояние общества повышается.) К сожалению, такой принцип не оправдывается. Действия каждого агента могут повлиять на благосостояние других агентов так, что глобальная полезность уменьшится. Одним из примеров этого является трагическая деградация общих пастбищ (tragedy of the commons) — ситуация, в которой отдельные фермеры сгоняют все свои стада для того, чтобы они бесплатно паслись на общих сельских пастбищах, в результате чего наступает деградация этих общих пастбищ, что приводит к достижению отрицательной полезности для всех фермеров. Каждый фермер, отдельно взятый, действовал рационально, рассуждая, что он может использовать общие пастбища бесплатно, и хотя интенсивное использование общих пастбищ может привести к их деградации, его отказ выгонять на них свой скот делу не поможет (поскольку другие от этого все равно не откажутся). Аналогичные доводы выдвигаются теми, кто не желает ограничивать выбросы промышленных загрязнений в атмосферу и в океаны.
Стандартный подход при проектировании механизма для решения подобных проблем состоит в том, что с каждого агента должна взиматься плата за использование общих пастбищ. Вообще говоря, следует обеспечить, чтобы все ^ побочные последствия (отрицательные влияния на глобальную полезность, которые не сказываются на результатах, полученных отдельными агентами) были выражены явно. При решении задачи труднее всего правильно определить цены. В пределе этот подход сводится к созданию механизма, который действительно требует от каждого агента, чтобы он максимизировал глобальную полезность. Применительно к отдельному агенту, который не обладает возможностью оценивать текущее состояние мира и не может наблюдать за результатами действий всех других агентов, такая задача становится невероятно трудной. Поэтому проектирование механизма должно сосредоточиваться на поиске таких механизмов, при использовании которых задача принятия решений для отдельных агентов становится несложной.
Вначале рассмотрим аукционы. В своей наиболее общей форме аукцион представляет собой механизм продажи некоторых товаров членам определенного сообщества покупателей. Стратегиями являются стратегии ведения торгов, а результаты определяют, кто получит товары и сколько заплатит. Одним из примеров, в которых аукционы могут войти в состав тематики искусственного интеллекта, является принятие решения совокупностью агентов о том, будут ли они участвовать в совместном плане. Хансбергер и Грош [706] показали, что эта задача может быть эффективно решена с помощью аукциона, в котором агенты распределяют между собой роли в совместном плане.
В данном разделе рассмотрим аукционы, в которых, во-первых, имеется только один вид товара, во-вторых, каждый покупатель руководствуется собственным значением полезности v£ по отношению к данному товару, и, в-третьих, эти значения известны только покупателю. Покупатели вносят свои предложения bi, а товары передаются тому, кто сделал предложение с самой высокой ценой, но механизм определяет, как нужно делать эти предложения и какую цену платит победитель (она не обязательно должна быть равна bi). Наиболее широко известным типом аукциона является ^английский аукцион, в котором лицо, проводящее аукцион, повышает цену товара, проверяя, остались ли еще заинтересованные покупатели, до тех пор, пока не останется только один потенциальный покупатель. Этот механизм обладает тем свойством, что покупатель, руководствующийся наивысшим значением vb получает товары по цене b^+d, где Ьт— наивысшая предложенная цена среди цен, предложенных всеми другими игроками, a d — величина, на которую лицо, проводящее аукцион, наращивает цену от одного предложения к другому. Поэтому английский аукцион обладает тем свойством, что участники аукциона руководствуются простой доминантной стратегией — продолжать выдвигать предложения до тех пор, пока текущая цена остается ниже назначенного лично вами значения. Напомним, что “доминантной” стратегией называется стратегия, позволяющая противодействовать всем другим стратегиям, а это, в свою очередь, имеет тот смысл, что игрок может ею руководствоваться, невзирая на то, что существуют любые другие стратегии. Поэтому игроки не обязаны терять время и энергию, пытаясь предугадать возможные стратегии других игроков. Механизм, в котором игроки имеют доминантную стратегию, позволяющую скрывать свои истинные побуждения, называется механизмом защиты стратегии.
Одним из отрицательных свойств английского аукциона являются большие затраты на связь, поэтому либо следует проводить аукцион в одном помещении, либо предоставить всем участникам аукциона быстродействующие, надежные линии связи. Альтернативным механизмом, для которого требуется гораздо меньший объем связи, является ^ аукцион с запечатанными предложениями. В этом случае каждый участник аукциона подготавливает единственное предложение и сообщает его лицу, проводящему аукцион; после сбора всех предложений побеждает предложение с наибольшей ценой. При использовании этого механизма стратегия, в которой участник аукциона выдвигает в качестве предложения то истинное значение, которым он руководствуется, больше не является доминантной. Если значение полезности для игрока равно v£ и он считает, что максимальным из предложений всех других игроков будет bm, то он должен выдвинуть предложение с ценой, меньшей Vi и равной bm+E. Двумя недостатками аукциона с запечатанными предложениями является то, что игрок с наивысшим значением полезности v£ может не получить товары, а также то, что игроки должны затрачивать свои усилия на прогнозирование стратегий других игроков.
В результате небольшого изменения правил аукционов с запечатанными предложениями был разработан М аукцион с запечатанными предложениями на вторую по
величине цену, называемый также ^ аукционом Викри. При проведении таких аукционов победитель платит цену, указанную во втором по величие предложении, а не цену, показанную в своем собственном предложении. Эта простая модификация позволяет полностью устранить необходимость в проведении сложных рассуждений, которые требовались в стандартных аукционах с запечатанными предложениями (т.е. в аукционах с первой по величине ценой), поскольку теперь доминантная стратегия состоит в том, чтобы выдвинуть в качестве предложения цену, соответствующую фактической собственной величине полезности. Чтобы убедиться в этом, достаточно отметить, что каждый игрок может рассматривать данный аукцион как игру с двумя игроками, игнорируя всех игроков, кроме себя и лица, выдвинувшего предложение с наибольшей ценой среди всех других игроков. Значение полезности для игрока 1, выраженное в виде цены, указанной в его предложении, bi, само значение полезности vi$ которым он руководствуется, и наилучшее предложение среди других игроков, Дп, связаны между собой таким соотношением:
. = (Vi - Ш если bi > Ьт
Ui ( 1, Au) - q в ПрОТИВНОМ случае
Чтобы убедиться в том, что выбор значения Ь±=Vi представляет собой доминантную стратегию, отметим, что при положительном значении (Vi-b^) любое предложение, которое побеждает в аукционе, является оптимальным, и, в частности, аукцион можно выиграть, выдвинув предложение vi. С другой стороны, когда значение (Vi-jbm) является отрицательным, оптимальным становится любое предложение, которое проигрывает в этом аукционе, и, в частности, в аукционе проигрывает предложение, в котором применяется значение v^. Поэтому выдвижение предложения на основе значения vi представляет собой оптимальную стратегию при всех возможных значениях Ь^, и действительно предложение на основе v^ — это единственное предложение, которое обладает таким свойством. Благодаря его простоте и минимальным вычислительным требованиям как к тем, кто предоставляет услуги, так и к тем, кто на них претендует, аукцион Викри широко используется при проектировании распределенных систем на основе искусственного интеллекта.
Теперь рассмотрим проблему маршрутизации в Internet. Игроки соответствуют ребрам в графе сетевых соединений. Каждый игрок знает стоимость Ci передачи сообщения по его собственному ребру, а стоимость того, что сообщение не будет передано для отправки, равна 0. Задача состоит в том, чтобы найти самый дешевый путь передачи сообщения от отправителя к получателю, где стоимость всего маршрута представляет собой сумму стоимостей отдельных ребер. В главе 4 приведено несколько алгоритмов вычисления кратчайшего пути с учетом стоимости ребер, поэтому остается только предусмотреть, чтобы каждый агент сообщал свою истинную стоимость Ci. К сожалению, если будет просто передан запрос каждому агенту, он сообщит стоимости, которые слишком велики, чтобы вынудить нас отправлять свои сообщения по каким-то другим каналам. Поэтому необходимо разработать механизм защиты стратегии. Один из таких механизмов состоит в том, чтобы выплачивать каждому игроку вознаграждение pi? равное длине кратчайшего пути, который
не включает i-e ребро, за вычетом длины кратчайшего пути (вычисленной с помощью алгоритма поиска), где предполагается, что стоимость i-ro ребра равна 0:
Pi = Length(путь, где Ci = <») - Length(путь, где d = 0)
Можно показать, что при использовании такого механизма доминантной стратегией для каждого игрока становится выдача правильных сведений о значении с^ и что применение такого подхода приводит к получению самого дешевого пути. Но, несмотря на это желательное свойство, описанный механизм не используется на практике из-за высокой стоимости связи и централизованных вычислений. Проектировщик механизма должен связаться со всеми п игроками, а затем решить задачу оптимизации. Применение такого подхода имело бы смысл, если бы затраты можно было амортизировать по многим сообщениям, но в реальной сети стоимости с^. непрерывно колеблются из-за заторов в каналах, а также из-за того, что некоторые компьютеры завершают свою работу аварийно, а другие, наоборот, переходят в оперативный режим. Полностью удовлетворительное решение этой проблемы еще не было предложено.
Резюме
В этой главе показано, как использовать знания о мире для принятия решений, даже если результаты действий являются неопределенными, а вознаграждения за действия могут оставаться недоступными до тех пор, пока не будет осуществлен целый ряд действий. Основные идеи этой главы кратко изложены ниже.
Задачи последовательного принятия решений в неопределенных вариантах среды, называемые также марковскими процессами принятия решений (Markov Decision Process — MDP), определяются с помощью моделей перехода, задающих вероятностные результаты действий, и функции вознаграждения, которая показывает, какое вознаграждение соответствует каждому состоянию.
Полезность последовательности состояний представляет собой сумму всех вознаграждений вдоль этой последовательности, которая, возможно, со временем подвергается обесцениванию. Решением задачи MDP является стратегия, в которой с каждым состоянием, достижимым для агента, связано некоторое решение. Оптимальная стратегия максимизирует полезность встречающейся последовательности состояний при ее осуществлении.
Полезностью состояния является ожидаемая полезность последовательностей состояний, встречающихся при осуществлении оптимальной стратегии, начиная с этого состояния. Алгоритм итерации по значениям для решения задач MDP действует по принципу итеративного решения уравнений, связывающих полезности каждого состояния с полезностями его соседних состояний.
В алгоритме итерации по стратегиям чередуются этап вычисления полезностей состояний согласно текущей стратегии и этап усовершенствования текущей стратегии по отношению к текущим полезностям.
Задачи MDP в частично наблюдаемой среде, или задачи POMDP, являются гораздо более трудными для решения, чем задачи MDP. Они могут быть ре-
шены путем преобразования в задачу MDP в непрерывном пространстве доверительных состояний. Оптимальное поведение при решении задач POMDP должно предусматривать сбор информации для уменьшения неопределенности и поэтому принятия лучших решений в будущем.
Для вариантов среды POMDP может быть создан агент, действующий на основе теории решений. В таком агенте для представления модели перехода и модели наблюдения для обновления его доверительного состояния и проектирования возможных последовательностей действий в прямом направлении используется динамическая сеть принятия решений.
Теория игр описывает рациональное поведение для агентов в тех ситуациях, в которых одновременно взаимодействуют множество агентов. Решениями для игр являются равновесия Нэша — профили стратегий, в которых ни один из агентов не имеет стимулов, под влиянием которых он мог бы уклониться от определенной для него стратегии.
Проектирование механизма может использоваться для определения правил, по которым должно быть организовано взаимодействие агентов в целях максимизации некоторой глобальной полезности благодаря функционированию отдельных рациональных агентов. Иногда удается найти механизмы, позволяющие достичь этой цели, не требуя от каждого агента, чтобы он учитывал то, какие варианты выбраны другими агентами.
Мы вернемся к тематике задач MDP и POMDP в главе 21, где описаны методы обучения с подкреплением, позволяющие агенту совершенствовать свое поведение на основании опыта, полученного в последовательных, неопределенных вариантах среды.
Библиографические и исторические заметки
Основателем современного подхода к анализу задач последовательного принятия решений был Ричард Беллман [97], который в целом предложил использовать подход на основе динамического программирования и в частности алгоритм итерации по значениям. В тезисах докторской диссертации Рона Говарда [691] введено понятие итерации по стратегиям и изложена идея среднего вознаграждения, предназначенная для применения при решении задач с бесконечным горизонтом. Несколько дополнительных результатов было предложено в [96]. Модифицированный алгоритм итерации по стратегиям описан в [1245] и [1534]. Алгоритм асинхронной итерации по стратегиям был проанализирован Уильямсом и Бердом [1598], которые также доказали свойство граничной убыточности стратегии, рассматриваемое в уравнении 17.9. Результаты анализа обесценивания с точки зрения стационарных предпочтений приведены в [8 34]. В [120], [121] и [1244] дано строгое введение в проблематику задач последовательного принятия решений. В [1170] описаны результаты исследования вычислительной сложности задач MDP.
Важную роль в ознакомлении сообщества разработчиков в области искусственного интеллекта с задачами MDP сыграли оригинальные работы Саттона [1477] и Уоткинса [1558] по применению методов обучения с подкреплением для решения задач MDP, а также вышедший немного позже обзор [74]. (В более ранней работе
[1580] содержались во многом аналогичные идеи, но они не были развиты до такой же степени.) Связь между задачами MDP и задачами планирования в искусственном интеллекте была впервые показана Свеном Кёнигом [817], который также продемонстрировал, что вероятностные операторы Strips позволяют создавать компактные представления для моделей перехода (см. также [1575]). В [359] и [1492] сделана попытка преодолеть комбинаторную сложность больших пространств состояний с использованием ограниченного горизонта поиска и абстрактных состояний. Эвристики, основанные на стоимости информации, могут использоваться для определения в пространстве состояний таких областей, где локальное расширение горизонта приводит к значительному повышению качества решения. Агенты, применяющие такой подход, могут соразмерять свои усилия под давлением дефицита времени и вырабатывать некоторые варианты поведения (такие как использование знакомых “проторенных тропинок”) для быстрого поиска путей через пространство состояний без необходимости повторно вычислять в каждой точке оптимальные решения. В опубликованных недавно работах Бутильера и др. [158], [159] основные усилия сосредоточены на динамическом программировании с использованием символических представлений моделей перехода и функций стоимости на основе формул пропозициональной логики и логики первого порядка.
В [47] впервые было показано, что задачи MDP в частично наблюдаемой среде могут быть преобразованы в обычные задачи MDP с использованием доверительных состояний. Первый полный алгоритм точного решения для марковских процессов принятия решений в частично наблюдаемой среде (Partially-Observable Markov Decision Process — POMDP) был предложен Эдвардом Сондиком [1446] в его докторской диссертации (опубликованная позднее журнальная статья Смоллвуда и Сондика [1433] содержит некоторые ошибки, но является более доступной). В [946] приведен обзор состояния разработок в области решения задач POMDP. Первым значительным вкладом в рамках искусственного интеллекта был алгоритм Witness [227], [758] — усовершенствованная версия алгоритма итерации по значениям, применяемого для решения задач POMDP. Вслед за ним вскоре были разработаны другие алгоритмы, в том числе основанные на подходе, предложенном Хансеном [612], который предусматривает инкрементное определение стратегии с помощью конечного автомата. В представлении стратегии с помощью конечного автомата доверительные состояния непосредственно соответствуют конкретным состояниям автомата. Приближенно оптимальные стратегии для задач POMDP могут формироваться с помощью прямого поиска, применяемого в сочетании с формированием выборок из возможных результатов наблюдений и действий [784], [1134]. Другие результаты исследований в области алгоритмов POMDP описаны в главе 21.
Основные идеи по созданию архитектуры агента с использованием динамических сетей принятия решений были предложены в [360]. В книге Planning and Control Дина и Уэллмана [363] этот подход развит намного глубже и установлена связь между моделями DBN/DDN и классической литературой теории управления, посвященной вопросам фильтрации. Татмен и Шахтер [1497] показали, как применять алгоритмы динамического программирования к моделям DDN. В [1325] описаны различные способы обеспечения применения таких агентов в более широких масштабах и указан ряд нерешенных исследовательских проблем.
Корни теории игр можно проследить до предложений по изучению конкурентных и кооперативных взаимодействий людей с помощью научного и математиче-
ского подхода, которые были выдвинуты еще в XVII столетии Христианом Гюйгенсом и Готфридом Лейбницем. На протяжении XIX столетия некоторые ведущие экономисты создавали простые математические модели для анализа конкретных примеров конкурентных ситуаций. Первые формальные результаты в области теории игр принадлежат Цермело [1641], который за год до этого предложил некоторую форму минимаксного поиска для игр, хотя и неправильную. Эмиль Борель [152] ввел понятие смешанной стратегии. Джон фон Нейман [1545] доказал, что любая игра с двумя участниками и нулевой суммой имеет максиминное равновесие в смешанных стратегиях и полностью определенное значение. Сотрудничество Джона фон Неймана с экономистом Оскаром Моргенштерном привело к публикации в 1944 году книги Theory of Games and Economic Behavior (Теория игр и экономического поведения) [1546], которая сыграла решающую роль в создании теории игр. Публикация этой книги задерживалась из-за нехватки бумаги во время войны до тех пор, пока один из членов семейства Рокфеллеров не субсидировал публикацию.
В 1950 году в возрасте 21 года Джон Нэш опубликовал свои идеи, касающиеся достижения равновесия в играх общего типа [1112]. Его определение равновесного решения получило известность под названием равновесия Нэша (хотя впервые появилось в работе Курно [297]). После длительной задержки из-за шизофрении, которой он страдал с 1959 года, Нэш получил Нобелевскую премию по экономике (наряду с Рейнхартом Селтеном и Джоном Харсаньи) в 1994 году.
Равновесие Байеса-Нэша описано в [622] и обсуждается в [757]. Некоторые проблемы использования теории игр для управления агентами рассматриваются в [129].
Дилемма заключенного была разработана для использования в качестве учебного упражнения Альбертом В. Такером в 1950 году и тщательно исследована в [50]. Понятие повторяющихся игр было представлено в [963], а игры с частичной информацией — в [862]. Первый практически применимый алгоритм для игр с частичной информацией был разработан в рамках искусственного интеллекта Коллером идр.[821]; в статье [822] дано удобное для чтения введение в эту общую область и описана действующая система представления и решения последовательных игр. Теория игр и задач MDP объединена в теорию марковских игр [937]. Шепли [1398] фактически описал алгоритм итерации по значениям до Беллмана, но его результаты не получили широкого признания, вероятно, потому, что были представлены в контексте марковских игр. Кчислу основных учебников потеории игр относятся [510], [1109] и [1161].
Задача, послужившая стимулом к созданию области проектирования механизма, трагическая деградация общих пастбищ, была представлена в [619]. Гурвич [709] создал математические основы для проектирования механизма. Милгром [1048] описал разработанный им механизм аукциона, который охватывает диапазон сделок в несколько миллиардов долларов. Понятие аукционов может также использоваться в планировании [706] и составлении расписаний [1267]. В [153 9] приведен краткий обзор тематики аукционов в связи с публикациями по компьютерным наукам, а в [1307] представлено описание способов применения этого подхода для решения распределенных задач искусственного интеллекта, занявшее целую книгу. Родственные работы по проблематике распределенных задач искусственного интеллекта публикуются также под другими названиями, включая коллективный интеллект [1516] и управление на основе рынка [269]. Статьи по вычислительным проблемам, связанным с аукционами, часто публикуются в трудах конференции ACM Conferences on Electronic Commerce.
Упражнения
Для мира 4x3 (см. рис. 17.1) рассчитайте, какие квадраты могут быть достигнуты из квадрата (1,1) с помощью последовательности действий V Up, Up, Right, Right, Right] и с какими вероятностями. Объясните, как эти вычисления связаны с задачей проектирования скрытой марковской модели.
Предположим, что в качестве полезности последовательности состояний определено максимальное вознаграждение, полученное в любом из состояний этой последовательности. Покажите, что данная функция полезности не приводит к формированию стационарных предпочтений между последовательностями состояний. Остается ли возможным определение на состояниях такой функции полезности, что принятие решений на основе полезности MEU позволит сформировать оптимальное поведение?
Может ли любая задача конечного поиска быть точно преобразована в марковскую задачу принятия решений, такую, что оптимальное решение последней является также оптимальным решением первой? Если да, то объясните, как преобразовать эту задачу и как выполнить обратное преобразование решения, а если нет, объясните, почему ваш ответ отрицателен (в частности, приведите контрпример).
Рассмотрите задачу MDP без обесценивания, имеющую три состояния, (1,2,3 ), с вознаграждениями -1, -2, 0 соответственно. Состояние 3 является терминальным. В состояниях 1 и 2 имеются два возможных действия, а и Ь. Модель перехода описана ниже.
В состоянии 1 действие а переводит агента в состояние 2 с вероятностью 0,8 и оставляет агента в том же состоянии с вероятностью 0,2.
В состоянии 2 действие а переводит агента в состояние 1 с вероятностью 0,8 и оставляет агента в том же состоянии с вероятностью 0,2.
Либо в состоянии 1, либо в состоянии 2 действие Ь переводит агента в состояние 3 с вероятностью 0,1 и оставляет агента в том же состоянии с вероятностью 0,9.
Дайте ответы на приведенные ниже вопросы.
Какие характеристики оптимальной стратегии в состояниях 1 и 2 могут быть определены качественно?
Примените алгоритм итерации по стратегиям для определения оптимальной стратегии и значений состояний 1 и 2, полностью демонстрируя каждый этап. Примите предположение, что исходная стратегия включает действие b в обоих состояниях.
Как повлияет на работу алгоритма итерации по стратегиям включение в исходная стратегия действия а в обоих состояниях? Поможет ли применение обесценивания? Зависит ли оптимальная стратегия от коэффициента обесценивания?
Иногда задачи MDP формулируются на основе функции вознаграждения B(s,а), которая зависит от выполненного действия, или функции вознаграждения R (s, а, s' ), которая зависит также от результирующего состояния.
Запишите уравнения Беллмана для этих формулировок.
Покажите, как можно преобразовать задачу MDP с функцией вознаграждения Ris,a, s') в другую задачу MDP с функцией вознаграждения R(s, а), такую, что оптимальные стратегии в новой задаче MDP будут точно соответствовать оптимальным стратегиям в первоначальной задаче MDP.
Выполните аналогичные действия для преобразования задачи MDP с функцией R (s, а) в задачу MDP с функцией R (s).
й Рассмотрим мир 4x3, показанный на рис. 17.1.
Реализуйте имитатор для этой среды, такой, чтобы можно было легко изменять географию данной среды. Некоторый код для решения указанной задачи уже находится в оперативном репозитарии кода.
Создайте агента, в котором используется итерация по стратегиям, и измерьте его производительность в имитаторе среды, начиная с различных начальных состояний. Выполните несколько экспериментов из каждого начального состояния и сравните среднее суммарное вознаграждение, полученное за каждый прогон, с полезностью состояния, которая определяется применяемым вами алгоритмом.
Проведите эксперименты в среде с увеличенными размерами. Как изменяется время прогона алгоритма итерации по стратегиям в зависимости от размеров этой среды?
йДля среды, показанной на рис. 17.1, найдите все пороговые значения функции полезности R(s), такие, что после пересечения этого порога изменяется оптимальная стратегия. Вам потребуется способ вычисления оптимальной стратегии и его значения для фиксированной функции R(s). (Подсказка. Докажите, что значение любой фиксированной стратегии линейно зависит от функции R (s).)
В этом упражнении рассматриваются задачи MDP с двумя игроками, которые соответствуют играм с нулевой суммой и поочередными ходами, подобным описанным в главе 6. Допустим, что игроки обозначены как А и в, и предположим, что R(s) — вознаграждение для игрока А в состоянии s. (Вознаграждение для игрока В всегда равно ему и противоположно.)
Допустим, что uk (s) — полезность состояния s, когда очередь хода в состоянии s принадлежит игроку А; ив (s) — полезность состояния s, когда очередь хода в состоянии s принадлежит игроку в. Все вознаграждения и полезности вычисляются с точки зрения игрока А (как и в минимаксном дереве игры). Запишите уравнения Беллмана, определяющие Uk (s) nUB(s).
Объясните, как осуществить итерацию по значениям для двух игроков с помощью этих уравнений, и определите подходящий критерий останова.
Рассмотрите игру, приведенную на рис. 6.12. Изобразите пространство состояний (а не дерево игры), показывая ходы игрока А сплошными ли-
ниями, а ходы игрока в — штриховыми линиями. Обозначьте каждое состояние значением R^s). Вы обнаружите, что удобно расположить состояния (sA/sB) в виде двухмерной решетки, используя в качестве “координат” значения sA и sB.
Теперь примените итерацию по значениям для двух игроков, чтобы найти решение этой игры, и определите оптимальную стратегию.
Покажите, что любое равновесие доминантной стратегии представляет собой равновесие Нэша, но обратное утверждение не верно.
В детской игре в камень, бумагу и ножницы каждый игрок в какое-то время пытается выяснить, кто выбрал камень, бумагу или ножницы. Бумага обертывает камень, камень тупит ножницы, а ножницы режут бумагу. В расширенной версии игры в камень, бумагу, ножницы, огонь и воду приняты следующие условия: огонь побеждает камень, бумагу и ножницы; камень, бумага и ножницы побеждают воду; вода побеждает огонь. Запишите матрицу вознаграждений и найдите решение со смешанной стратегией для этой игры.
Найдите решение для игры в чет и нечет на трех пальцах.
До 1999 года команды Национальной хоккейной лиги получали 2 очка за победу, 1 за ничью и 0 за поражение. Можно ли рассматривать хоккей с такими правилами как игру с постоянной суммой? В 1999 году правила были изменены таким образом, что команда получает 1 очко за проигрыш в дополнительное время. Победившая команда все еще получает 2 очка. Изменится ли с учетом этого дополнения ответ на вопрос, приведенный выше? Если бы за это не было наказания, то было бы рациональным для двух команд втайне договариваться, чтобы оканчивать отборочную игру ничьей, а затем доводить ее до результативного завершения в дополнительное время? Предполагается, что полезность для каждой команды измеряется количеством полученных ею очков и что обоюдно известна априорная вероятность р того, что первая команда победит в дополнительное время. При каких значениях р обеим командам следовало бы заключать такое соглашение?
Приведенная в табл. 17.4 матрица вознаграждений, впервые опубликованная Блиндером [137] и проанализированная Бернштейном [114], показывает, какую игру ведут между собой конгрессмены-политики (сокращенно Pol) и руководство Федеральной резервной системы (сокращенно Fed).
Таблица 17.4. Матрица вознаграждений в административной игре
Fed:сузить
Fed: ничего не делать
Fed: расширить
Pol: сузить
F=7, Р=1
F=9,P=4
F=6,P=6
Pol: ничего не делать
F=8, Р=2
F=5,P=5
F=4,P=9
Pol: расширить
F=3, Р=3
F=2,P=7
F=1,P=8
Конгрессмены могут расширять или сужать налоговую политику, а руководители Федеральной резервной системы могут расширять или сужать бюджетную политику (и, безусловно, та и иная сторона может выбрать вариант, в котором не предусматривается внесение каких-либо изменений.) Кроме того, каждая из этих сторон имеет определенные предпочтения в отношении того,
кто и что должен делать, поскольку ни те ни другие не хотят вызвать недовольство населения. Показанные выше вознаграждения представляют собой ранги упорядочения от 9 до 1, т.е. от первого варианта до последнего. Найдите равновесие Нэша для этой игры в рамках чистых стратегий. Является ли это решение оптимальным согласно критерию Парето? Рекомендуем читателю проанализировать в свете этих исследований политику администраций США последних созывов.
Часть VI
Обучение
Обучение на основе наблюдений864
Применение знаний в обучении902
Статистические методы обучения945
Обучение с подкреплением1010
18 Обучение
НА ОСНОВЕ
НАБЛЮДЕНИЙ
В данной главе рассматриваются агенты, способные усовершенствовать свое поведение благодаря тщательному изучению собственного опыта.
В основе обучения лежит представление о том, что результаты восприятия должны использоваться не только для осуществления действий, но и для повышения способности агента действовать в будущем. Обучение происходит по мере того, как агент наблюдает за своим взаимодействием с миром и собственными процессами принятия решений. Обучение может охватывать широкий спектр действий, начиная от тривиального накопления в памяти результатов полученного опыта, как было показано на примере агента для мира вампуса в главе 10, и заканчивая созданием целых научных теорий, что было успешно продемонстрировано Альбертом Эйнштейном. В этой главе рассматривается индуктивное обучение на основе наблюдений. В частности, в ней описано, как в процессе обучения формируются простые теории в терминах пропозициональной логики. В ней также приведены результаты теоретического анализа, позволяющие понять принципы индуктивного обучения.
Формы обучения
В главе 2 было показано, что проект обучающегося агента может рассматриваться как состоящий из производительного элемента, определяющего, какие действия должны быть выполнены, и обучающего элемента, который модифицирует производительный элемент для того, чтобы он вырабатывал лучшие решения (см. рис. 2.7). Исследователи, работающие в области машинного обучения, предложили целый ряд типов обучающих элементов. Для того чтобы разобраться в их работе, целесообразно рассмотреть, как влияет на их проект тот контекст, в котором они должны функционировать. На проект обучающего элемента влияют три описанных ниже аспекта.
Компоненты производительного элемента, подлежащие обучению.
Обратные связи, которые могут применяться для обучения этих компонентов.
Способы представления, используемые для компонентов.
Проведем анализ каждого из этих аспектов по очереди. В данной книге уже было показано, что существует много способов построения производительного элемента для агента. В главе 2 было описано несколько проектов агентов (см. рис. 2.3—2.6). Ниже перечислены компоненты этих агентов.
Средства прямого отображения условий (распространяющихся на текущее состояние) в действия.
Средства логического вывода релевантных свойств мира из последовательности результатов восприятия.
Информация о том, как развивается мир и какие результаты возможных действий могут быть получены агентом.
Информация о полезности, которая показывает, насколько желательными являются те или иные состояния мира.
Информация о ценности действий, показывающая желательность действий.
Цели, описывающие классы состояний, достижение которых максимизирует полезность для агента.
Обучение каждого из этих компонентов может осуществляться с помощью соответствующей обратной связи. Рассмотрим, например, агента, который учится вождению, чтобы стать таксистом. Каждый раз, когда инструктор кричит “Тормози!”, агент должен усвоить очередное правило “условие—действие”, позволяющее определить, когда следует тормозить (компонент 1). Рассматривая множество видеоизображений, на которых, как ему сказано, имеются автобусы, он может научиться распознавать автобусы (компонент 2). Осуществляя попытки выполнения действий и наблюдая за их результатами (например, проводя жесткое торможение на мокрой дороге), он может определить путем обучения, каковы результаты его действий (компонент 3). В дальнейшем, перестав получать чаевые от пассажиров, которые почувствовали себя полностью разбитыми во время утомительной поездки, агент может обучить полезный компонент своей общей функции полезности (компонент 4), который будет подсказывать, что пассажиров надо беречь.
Тип обратной связи, доступной для обучения, обычно является наиболее важным фактором, определяющим характер задачи обучения, с которой сталкивается агент. В области машинного обучения, как правило, различаются три случая: контролируемое обучение, неконтролируемое обучение и обучение с подкреплением.
В задаче ^ контролируемого обучения предусматривается изучение некоторой функции на примерах ее входных и выходных данных. Все приведенные выше случаи, касающиеся компонентов 1, 2 и 3, представляют собой примеры задач контролируемого обучения. В случае, который относится к компоненту 1, агент изучает правило “условие—действие”, касающееся торможения, т.е. функцию, которая связывает входные состояния с булевым выходом (тормозить или не тормозить). В случае компонента 2 агент изучает функцию, преобразующую входные изображения в булев выход (который показывает, содержит ли изображение автобус). В случае компонента 3 сведения о торможении выражаются в виде функции, которая связывает
состояния и действия по торможению, скажем, с длиной тормозного пути в футах. Обратите внимание на то, что в случаях 1 и 2 учитель указывает в примерах правильное выходное значение, а в случае 3 выходное значение должно быть получено непосредственно из результатов восприятия агента. В полностью наблюдаемых вариантах среды всегда соблюдается такое условие, что агент может наблюдать за результатами своих действий и поэтому использовать методы контролируемого обучения, чтобы научиться предсказывать эти результаты. В частично наблюдаемых вариантах среды задача обучения становится более сложной, поскольку непосредственные результаты могут оказаться недоступными для восприятия.
Задача ^ неконтролируемого обучения касается выявления определенных закономерностей во входных данных в тех условиях, когда не задаются конкретные выходные значения. Например, агент-водитель такси может постепенно развить представление о “днях с хорошими условиями дорожного движения” и “днях с плохими условиями дорожного движения”, даже не получая обозначенных соответствующими заголовками примеров тех или других дней. Обучающийся агент, полностью остающийся без контроля, не может узнать в процессе обучения, что делать, поскольку он не имеет информации о том, каковым является определение понятия правильного действия или желательного состояния. Мы будем изучать проблему неконтролируемого обучения в основном в контексте систем формирования вероятностных рассуждений (глава 20).
Задача ^обучения с подкреплением, которая будет рассматриваться в главе 21, является наиболее общей из этих трех категорий. Агент, проходящий обучение с подкреплением, не получает от учителя указаний о том, что делать, а должен обучаться на основе М подкрепления. Например, отсутствие чаевых в конце поездки (или большой штраф за столкновение с идущим впереди автомобилем) будет служить для агента определенным показателем того, что его поведение нежелательно. Задача обучения с подкреплением обычно включает подзадачу обучения тому, как функционирует среда, в которой существует агент.
В определении того, как должен действовать алгоритм обучения, важную роль играет также применяемое представление той информации, которая должна быть освоена в процессе обучения. Любой из компонентов агента можно представить с использованием любой из схем представления, описанных в этой книге. Выше уже было приведено несколько примеров: в программах ведения игр для представления функций полезности применяются полиномы с линейными весами; высказывания в пропозициональной логике и логике первого порядка применимы для представления всех компонентов логического агента; а вероятностные описания, такие как байесовские сети, применяются в компонентах агента, действующего на основе теории решений, которые предназначены для обеспечения вероятностного вывода. Для всех этих средств представления разработаны эффективные алгоритмы обучения. В данной главе рассматриваются методы, относящиеся к пропозициональной логике, в главе 19 описаны методы для логики первого порядка, а в главе 20 — методы для байесовских и нейронных сетей (которые включают линейные полиномы в качестве частного случая).
Последним важным аспектом проектирования обучающихся систем является наличие априорных знаний. Большинство исследований проблем обучения, проводимых в области искусственного интеллекта, компьютерных наук и психологии, касались того случая, в котором агент приступает к обучению, вообще не имея никаких знаний о том, что он пытается изучить. Он имеет доступ только к примерам, полученным на основе собственного опыта. Хотя этот случай представляет собой важный частный случай, его не следует рассматривать как общий случай. Основная часть человеческого обучения проходит в контексте, связанном с наличием большого объема фоновых знаний. Некоторые психологи и лингвисты утверждают, что даже новорожденные младенцы демонстрируют наличие у них знаний о мире. Но, независимо оттого, являются ли эти утверждения истинными, нет никакого сомнения в том, что априорные знания могут оказать огромную помощь в обучении. Физик, рассматривающий стопку фотографий, полученных с помощью пузырьковой камеры, может оказаться способным создать теорию, доказывающую существование новой частицы с определенной массой и зарядом, а если та же стопка фотографий будет показана без дополнительных пояснений искусствоведу, то он сможет лишь утверждать, будто этот “художник” относится к какой-то школе абстракционистов или экспрессионистов. В главе 19 будет показано несколько способов, позволяющих упростить обучение с использованием существующих знаний; кроме того, в ней показано, как можно компилировать знания для ускорения процесса принятия решений. В главе 20 описаны способы применения априорных знаний для упрощения изучения вероятностных теорий.
Индуктивное обучение
пары (х, f (х) ), где и х и f (х) — действительные числа. Выберем в качестве ^ пространства гипотез Н (множества гипотез, которые мы будем рассматривать в качестве потенциально приемлемых) множество полиномов, имеющих степень не больше к, таких как 3x2 + 2, х17-4х3 и т.д. На рис. 18.1, а показаны данные, которые соответствуют некоторой прямой (полиному первой степени). Эта прямая называется ^ совместимой с гипотезой, поскольку она согласуется со всеми данными. На рис. 18.1,5 показан полином более высокой степени, который также согласуется с этими данными. Данный случай может служить иллюстрацией к наиболее важной проблеме в индуктивном обучении: ^ как осуществлять выбор среди многочисленных согласованных гипотез? Ответ состоит в использовании принципа бритвы Оккама, согласно которому предпочтение следует отдавать наиболее простой гипотезе, согласующейся с данными. Интуитивно ясно, что такой подход имеет смысл, поскольку гипотезы не позволяют извлекать из данных какую-либо информацию, если они не проще самих данных. Определить, какая гипотеза проще, а какая сложнее, обычно нелегко, но, по- видимому, вполне резонным является утверждение, что полином первой степени проще по сравнению с полиномом двенадцатой степени.
Рис. 18.1. Типичные задачи обучения: пример пар (х, f (х)) и совместимой линейной гипотезы (а); совместимая гипотеза для того же набора данных в виде полинома седьмой степени (б); другой набор данных, который точно соответствует полиному шестой степени или приблизительно соответствует прямой линии (в); простая синусоидальная функция, которая точно соответствует тому же набору данных (г)Рис. 18.1. Типичные задачи обучения: пример пар (х, f (х)) и совместимой линейной гипотезы (а); совместимая гипотеза для того же набора данных в виде полинома седьмой степени (б); другой набор данных, который точно соответствует полиному шестой степени или приблизительно соответствует прямой линии (в); простая синусоидальная функция, которая точно соответствует тому же набору данных (г)f(x)f(x)
Рис. 18.1. Типичные задачи обучения: пример пар (х, f (х)) и совместимой линейной гипотезы (а); совместимая гипотеза для того же набора данных в виде полинома седьмой степени (б); другой набор данных, который точно соответствует полиному шестой степени или приблизительно соответствует прямой линии (в); простая синусоидальная функция, которая точно соответствует тому же набору данных (г)
Рис. 18.1. Типичные задачи обучения: пример пар (х, f (х)) и совместимой линейной гипотезы (а); совместимая гипотеза для того же набора данных в виде полинома седьмой степени (б); другой набор данных, который точно соответствует полиному шестой степени или приблизительно соответствует прямой линии (в); простая синусоидальная функция, которая точно соответствует тому же набору данных (г)
f(x)
f(x)
На рис. 18.1, в показан второй набор данных. С этим набором данных нельзя совместить прямую линию; в действительности для обеспечения точного согласования с ним требуется полином шестой степени (с семью параметрами). Количество точек равно только семи, поэтому полином должен иметь столько же параметров, сколько имеется точек данных; таким образом, создается впечатление, что этот полином не позволяет найти в данных какие-либо повторяющиеся шаблоны, и поэтому не следует ожидать, что с его помощью будет получено хорошее обобщение. Может оказаться, что лучше согласовать этот набор данных с прямой линией, которая не будет точно совместимой, но позволит получать вполне обоснованные предсказания. Принятие данного решения равносильно признанию такой возможности, что истинная функция не является детерминированной (или, что примерно эквивалентно
этому утверждению, истинные входные данные не являются полностью наблюдаемыми). ^ При наличии недетерминированных функций неизбежно приходится искать компромисс между сложностью гипотезы и степенью ее согласования с данными. В главе 20 показано, как достичь этого компромисса с помощью теории вероятностей.
Следует всегда учитывать, что возможность или невозможность найти простую, согласованную гипотезу зависит главным образом от выбранного пространства гипотез. На рис. 18.1, г показано, что данные, приведенные на рис. 18.1, в, могут быть точно согласованы с простой функцией в форме ax+b+csinx. Этот пример подчеркивает важность выбора пространства гипотез. Пространство гипотез, состоящее из полиномов конечной степени, не позволяет точно представить синусоидальные функции, поэтому ученик, использующий такое пространство гипотез, не сможет осуществить обучение с использованием синусоидальных данных. Принято считать, что задача обучения является М реализуемой, если пространство гипотез содержит подходящую функцию; в противном случае она является М нереализуемой. К сожалению, в любой ситуации невозможно сразу же определить, относится ли данная конкретная задача обучения к категории реализуемых, поскольку не известна истинная функция. Один из способов, позволяющих преодолеть этот барьер, состоит в использовании априорных знаний для логического вывода пространства гипотез, в котором, как известно, должна находиться истинная функция. Эта тема рассматривается более подробно в главе 19.
Еще один подход состоит в применении наибольшего возможного пространства гипотез. Например, почему бы не использовать в качестве н класс всех машин Тьюринга? В конечном итоге любая вычислимая функция может быть представлена с помощью некоторой машины Тьюринга, и это — наилучший способ представления, который только может применяться. Но при реализации этой идеи возникает проблема, связанная с тем, что в ней не учитывается вычислительная сложность обучения. Необходимо найти компромисс между выразительностью пространства гипотез и сложностью поиска простой, совместимой гипотезы в этом пространстве. Например, подгонка к данным прямых линий осуществляется очень просто; подбор полиномов высокой степени становится сложнее, а создание соответствующих машин Тьюринга действительно представляет собой очень сложную задачу, поскольку неразрешима в общем виде даже проблема определения того, является ли конкретная машина Тьюринга совместимой с данными. Второй причиной, по которой следует предпочесть простые пространства гипотез, является то, что результирующие гипотезы могут оказаться более простыми в использовании, т.е. вычисление Ь(х), если h — линейная функция, будет осуществляться быстрее, чем при использовании программы, моделирующей произвольную машину Тьюринга.
По этим причинам основной объем исследований в области обучения был сосредоточен на относительно простых способах представления. В данной главе в основном рассматриваются пропозициональная логика и связанные с ней языки. В главе 19 рассматриваются теории обучения в логике первого порядка. Ниже будет показано, что компромисс между выразительностью и сложностью найти не так просто, как кажется на первый взгляд, поскольку, как было описано в главе 8, выразительный язык позволяет создать простую теорию, согласующуюся с данными, а ограничение выразительности языка приводит к тому, что любая согласованная теория должна стать очень сложной. Например, правила шахмат могут быть записаны в
логике первого порядка на одной или двух страницах, но потребуют тысячи страниц при их формулировке в пропозициональной логике. Кроме того, в подобных случаях при использовании более выразительного языка намного ускоряется обучение.
Формирование деревьев решений
НА ОСНОВЕ ОБУЧЕНИЯ
Индуктивный логический вывод деревьев решений представляет собой одну из простейших и вместе с тем наиболее успешных форм алгоритмов обучения. Эта тема может служить хорошим введением в проблематику индуктивного обучения, а алгоритмы, разработанные в ее рамках, легко поддаются реализации. В настоящем разделе вначале описан производительный элемент проекта агента, а затем показано, как обеспечить его обучение. В ходе этого изложения представлены основные понятия, которые применяются во всех областях индуктивного обучения.
Деревья решений, рассматриваемые как производительные элементы
М Дерево решений принимает в качестве входных данных объект или ситуацию, описанную с помощью множества ^ атрибутов, и возвращает “решение” — предсказанное выходное значение, соответствующее входным данным. Входные атрибуты могут быть дискретными или непрерывными. На данный момент подразумевается, что входные данные являются дискретными. Выходные значения также могут быть дискретными или непрерывными; процесс формирования в ходе обучения функции с дискретными значениями называется обучением классификации; формирование в ходе обучения непрерывной функции называется обучением М регрессии. Вначале мы сосредоточимся на булевой классификации, согласно которой каждый пример обозначается как истинный (^ положительный) или ложный (^ отрицательный).
Дерево решений позволяет перейти к содержащемуся в нем решению путем выполнения последовательности проверок. Каждый внутренний узел в дереве соответствует проверке значения одного из свойств, а ветви, исходящие из этого узла, обозначены возможными значениями результатов проверки. Каждый листовой узел в дереве задает значение, возвращаемое после достижения этого листа. По- видимому, представление в виде дерева решений кажется людям вполне естественным; в действительности многие инструктивные руководства (например, по ремонту автомобилей) полностью оформлены в виде одного дерева решений, разбросанного по нескольким сотням страниц.
Несколько более простой пример может быть основан на применении методов обучения к задаче, в которой клиент ждет, пока освободится место за столиком в ресторане. Цель состоит в том, чтобы изучить определение для ^ целевого предиката WillWait (Следует ли ждать). Подготавливая данный пример для использования в качестве задачи обучения, необходимо вначале определить, какие атрибуты доступны для описания примеров ситуаций в данной проблемной области. В главе 19 будет показано, как автоматизировать выполнение этого этапа, а на данный момент предположим, что решено использовать приведенный ниже список атрибутов.
Al terna te (Альтернативный вариант). Есть ли поблизости подходящий ресторан такого же класса.
Ваг (Бар). Имеется ли в ресторане уютный бар, в котором можно подождать.
Fri/Sat (Уик-энд). Принимает истинное значение по пятницам и субботам.
Hungry (Чувство голода). Испытывает ли посетитель чувство голода.
Patrons (Посетители). Сколько людей находится в ресторане; значениями этого атрибута являются None (Ресторан пуст), Some (В ресторане есть посетители) и Full (Ресторан заполнен).
Price (Цены). Ценовая категория ресторана (*, **, ***).
Raining (Дождь). Идет ли дождь на улице.
Reserva tion (Бронирование). Забронировано ли место за посетителем.
Туре (Тип). Тип ресторана (ресторан с французской (French), итальянской (Italian), тайской (Thai) кухней или ресторан-закусочная (Burger)).
Wai tEstima te (Оценка продолжительности ожидания). Продолжительность ожидания, оценка которой сделана метрдотелем (0-10, 10-30, 30-60, >60 минут).
Дерево решений, обычно используемое одним из авторов (Стюартом Расселом), для данной проблемной области, показано на рис. 18.2. Обратите внимание на то, что в этом дереве не используются атрибуты Pri се и Туре; по сути это означает, что лицо, принимающее решение, рассматривает их как малозначимые. Обработка примеров ситуаций с помощью этого дерева начинается от корня и проходит по соответствующей ветви до тех пор, пока не будет достигнут какой-то лист. В частности, пример ситуации, в которой Ра trons=Full и Wai tEs t imate= 0-10 будет рассматриваться как положительный (да, следует дождаться освобождения столика).
Рис. 18.2. Дерево решений для определения того, следует ли подождать, пока освободится столик
Выразительность деревьев решений
С точки зрения логики любая конкретная гипотеза из дерева решений для целевого предиката WillWait может рассматриваться как утверждение в следующей форме:
Vs WillWai t (s) <=» (Pi(s) v P2(s) v ... v Pn(s))
где каждое условие Pi(s) представляет собой конъюнкцию проверок, соответствующих пути от корня дерева к листу с положительным результатом. Хотя это выражение с виду напоминает высказывание в логике первого порядка, оно в определенном смысле является пропозициональным, поскольку содержит только одну переменную, а все предикаты являются унарными. Это дерево решений фактически описывает связь между предикатом WillWait и некоторой логической комбинацией значений атрибутов. Деревья решений не могут использоваться для представления проверок, относящихся к двум или нескольким разным объектам, например, таких проверок, как показано ниже (“Есть ли поблизости более дешевый ресторан?”).
3r2 Nearby (r2, г) л Price (г, р) л Price (г2/р2) л Cheaper (р2 ,р)
Очевидно, что можно было бы ввести еще один булев атрибут с именем CheaperRestaurantNearby (Наличие поблизости более дешевого ресторана), но задача введения всех подобных атрибутов является трудно осуществимой. В главе 19 приведены дополнительные сведения о задаче правильного обучения в логике первого порядка.
Деревья решений в рамках класса пропозициональных языков являются полностью выразительными; это означает, что в виде дерева решений может быть оформлена любая булева функция. Такую задачу можно выполнить тривиально, предположив, что каждая строка в истинностной таблице для данной функции соответствует определенному пути в дереве. Но подобный подход приводит к получению представления в виде дерева решений с экспоненциальными размерами, поскольку количество строк в истинностной таблице увеличивается экспоненциально, тогда как очевидно, что деревья решений позволяют представить многие функции с помощью гораздо меньших деревьев.
Но для некоторых видов функций такая проблема становится вполне реальной. Например, если рассматриваемая функция является ^ функцией определения четности, которая возвращает 1 тогда и только тогда, когда на входах задано четное количество единиц, то потребуется дерево решений, имеющее экспоненциальную величину. Кроме того, сложной является задача использования дерева решений для представления М мажоритарной функции, которая возвращает 1, если больше чем на половине ее входов имеется 1.
Иными словами, деревья решений вполне подходят для функций одних типов и не подходят для других. Существует ли представление какого-либо типа, являющееся эффективным для функций всех типов? К сожалению, ответ на этот вопрос отрицателен. Это утверждение можно доказать с помощью такого общего способа. Рассмотрим множество всех булевых функций от п атрибутов. Каково общее количество различных функций в этом множестве? Оно определяется количеством различных истинностных таблиц, которые могут быть составлены на этих атрибутах, поскольку функция определятся своей истинностной таблицей. Истинностная таблица имеет 2П строк, так как для описания вариантов входных данных применяется п атрибутов. Столбец “ответов” такой таблицы может рассматриваться как число, состоящее из
2П битов, которое определяет функцию. Независимо от того, какое представление используется для функций, некоторые из функций (а фактически почти все) должны потребовать для своего представления именно такое количество битов.
Если для определения функции требуется 2П битов, то существует 22 различных функций от п атрибутов. Это число является весьма обескураживающим. Например, при наличии лишь шести булевых атрибутов существует 22 = 18 446 744 073 709 551 616 различных функций, из числа которых может быть сделан выбор. Для поиска совместимых гипотез в таком большом пространстве потребуется некоторые остроумные алгоритмы.
Индуктивный вывод деревьев решений на основе примеров
Пример для булева дерева решений состоит из вектора входных атрибутов X и одного булева выходного значения у. Множество примеров кХх,у^ ,..., (Х12,у12) показано в табл. 18.1. Положительными примерами являются те, в которых цель WillWait имеет истинное значение (Х1#Х3,...), а отрицательными — те, в которых эта цель имеет ложное значение (х2, Х5,...). Полное множество примеров называется ^ обучающим множеством.
Таблица 18.1. Примеры для проблемной области задачи с рестораном
Атрибуты
Цель
Пример
Alt
Bar
Fri
Hun
Pat
Price
Rain
Res
Type
Est
WillWait
Xi
Yes
No
No
Yes
Some
* * *
NO
Yes
French
0-10
Yes
х2
Yes
No
No
Yes
Full
*
No
No
Thai
30-60
No
Х3
No
Yes
No
No
Some
*
No
No
Burger
0-10
Yes
х4
Yes
No
Yes
Yes
Full
*
Yes
No
Thai
10-30
Yes
х5
Yes
No
Yes
No
Full
***
No
Yes
French
760
No
х6
No
Yes
No
Yes
Some
**
Yes
Yes
Italian
0-10
Yes
х7
No
Yes
No
No
None
*
Yes
No
Burger
0-10
No
Х8
No
No
No
Yes
Some
**
Yes
Yes
Thai
0-10
Yes
х9
No
Yes
Yes
No
Full
*
Yes
No
Burger
760
No
Хю
Yes
Yes
Yes
Yes
Full
* * *
No
Yes
Italian
10-30
No
Хц
No
No
No
No
None
*
No
No
Thai
0-10
No
Х12
Yes
Yes
Yes
Yes
Full
*
No
No
Burger
30-60
Yes
Проблема поиска дерева решений, которое согласуется с обучающим множеством, на первый взгляд может показаться сложной, но фактически имеет простейшее решение. Можно просто сформировать дерево решений, в котором имеется по одному пути к листовому узлу для каждого примера, где в пути проверяется каждый атрибут по очереди и происходит переход к значению для данного примера, а листовой узел содержит классификацию для данного примера. После повторного поступления того же примера дерево решений обеспечивает правильную классификацию. Но, к сожалению, оно не позволяет учесть какие-либо иные случаи!
Недостатком такого простейшего дерева решений является то, что в нем просто запоминаются результаты наблюдений. Оно не позволяет извлечь какие-либо закономерности из примеров, поэтому нельзя надеяться на то, что оно даст возможность экстраполировать примеры, которые еще не встречались. Применяя принцип бритвы Оккама, необходимо вместо этого найти наименьшее дерево решений, совместимое с рассматриваемым примером. К сожалению, применительно к любому обоснованному определению понятия “наименьший” задача поиска наименьшего дерева является трудноразрешимой. Однако с помощью некоторой простой эвристики можно многого достичь в направлении поиска “меньшего” дерева. Основная идея, лежащая в основе алгоритма Decision-Tree-Learning, состоит в том, что в первую очередь следует проверять наиболее важный атрибут. Под “наиболее важным” атрибутом подразумевается такой атрибут, который вносит наибольшее различие в классификацию примера. Таким образом, можно рассчитывать на обеспечение правильной классификации с помощью небольшого количества проверок, а это означает, что все пути в дереве будут короткими, а само дерево в целом окажется небольшим.
На рис. 18.3 показано, как начинается работа алгоритма. Ему предъявляются 12 обучающих примеров, которые классифицированы на множества положительных и отрицательных примеров. После этого принимается решение о том, какой атрибут должен использоваться для первой проверки дерева. На рис. 18.3, а показано, что Туре — неподходящий атрибут, поскольку после его проверки остаются четыре возможных результата, каждый из которых содержит одинаковое количество положительных и отрицательных примеров. С другой стороны, на рис. 18.3, б можно видеть, что Patrons — довольно важный атрибут, поскольку если его значение равно None или Some, то остаются такие множества примеров, для которых можно сразу же получить определенный ответ (No и Yes соответственно). А если значением является Full, то остается смешанное множество примеров. Вообще говоря, после того, как проверка первого атрибута разбивает множество примеров на подмножества, каждый результат сам становится определением новой задачи обучения дерева решений с меньшим количеством примеров и количеством атрибутов, сократившимся на единицу. Ниже описаны четыре случая, которые следует рассматривать при анализе подобных рекурсивных задач.
Если имеются некоторые положительные и отрицательные примеры, то следует выбрать наилучший атрибут для выполнения по нему разбиения. Как показано на рис. 18.3,6, для разбиения оставшихся примеров используется атрибут Hungry.
Если все оставшиеся примеры являются положительными (или отрицательными), то работа закончена и можно дать ответ Yes или No. На рис. 18.3, б показаны примеры достижения этой цели в случаях None и Some.
Если не осталось ни одного примера, это означает, что соответствующие примеры не наблюдались, поэтому следует возвратить применяемое по умолчанию значение, вычисленное на основании мажоритарной классификации в родительском узле данного узла.
Если не осталось ни одного атрибута, но имеются и положительные и отрицательные примеры, то налицо проблема. Такая ситуация означает, что данные примеры имеют полностью одинаковое описание, но классифицированы по-
разному. Такое происходит, если некоторые данные определены неправильно; принято говорить, что в данных присутствует ^ шум. Кроме того, такое происходит, либо если атрибуты не предоставляют достаточной информации для полного описания ситуации, либо если данная проблемная область действительно является недетерминированной. Одним из простых способов преодоления такой проблемы является использование мажоритарного голосования.
Рис. 18.3. Разбиение множества примеров на подмножества путем проверки атрибутов: в результате разбиения по атрибуту Туре не удается приблизиться к решению задачи проведения различий между положительными и отрицательными примерами (а); разбиение по атрибуту Patrons позволяет многого добиться в части разделения положительных и отрицательных примеров (б). После разбиения по атрибуту Patrons довольно неплохой второй проверкой становится проверка по атрибуту Hungry
Алгоритм Decision-Tree-Learning показан в листинге 18.1. Подробные сведения о методе Choose-Attribute приведены в следующем подразделе.
Листинг 18.1. Алгоритм обучения дерева решений
function Decision-Tree-Learning(examples,attribs,default) returns дерево решений
inputs: examples, множество примеров
attribs, множество атрибутов
default, заданное по умолчанию значение для целевого предиката
if множеств examples пусто then return default
else if все примеры имеют одну и ту же классификацию
then return классификация
else if множество attribs пусто then return Majority-Value(examples) else
best <— Choose-Attribute(attribs, examples)
tree <— новое дерево решений с результатом best проверки корневого узла
т <— Maj ority-Value(examples)
for each значение vT результата best do
examples! <— {элементы множества examples созначениями best=v^
subtree <— Decision-Tree-Learning (examples!, at tribs -best, m)
добавить к дереву решений tree ветвь с меткой Vi и поддеревом subtree
return tree
Окончательное дерево решений, полученное с помощью этого алгоритма после применения к набору данных с 12 примерами, показано на рис. 18.4. Очевидно, что указанное дерево отличается от исходного дерева, показанного на рис. 18.2, несмотря на тот факт, что обучающие данные в действительности были сформированы агентом, использовавшим исходное дерево. Можно было бы прийти к заключению, что этот обучающий алгоритм не очень хорошо справляется с задачей изучения правильной функции. Однако такое заключение далеко от истины. В обучающем алгоритме рассматриваются примеры, а не правильная функция, и на самом деле сформированная в нем гипотеза (см. рис. 18.4) не только согласуется со всеми примерами, но и значительно проще по сравнению с первоначальным деревом. В процессе работы обучающего алгоритма не было обнаружено причин для включения проверок значений атрибутов Raining и Reservation, поскольку алгоритм мог классифицировать все примеры без них. Кроме того, алгоритм обнаружил интересный и ранее не наблюдавшийся шаблон поведения: первый автор, указанный на обложке данной книги, готов ждать, чтобы поесть тайской пищи по уик-эндам.
Рис. 18.4. Дерево решений, сформированное на основании обучающего множества с 12 примерами
Безусловно, если бы было собрано больше примеров, то вполне возможно, что сформированное дерево в большей степени напоминало бы исходное. К тому же дерево, приведенное на рис. 18.4, способно выработать ошибочное решение, например, при его формировании никогда не встречался случай, в котором требовалось ждать от 0 до 10 минут, а ресторан был полон. На ту ситуацию, в которой атрибут Hungry имеет ложное значение, дерево сообщает, что ждать не следует, тогда как сам автор (Стюарт Рассел), безусловно, стал бы ждать. Исходя из этого, возникает очевидный вопрос: если алгоритм выводит на основании примеров согласованное, но неправильное дерево, то насколько неправильным может вообще оказаться это
дерево? Ниже, после рассмотрения подробных сведений об этапе выбора атрибутов, будет показано, как проводить экспериментальный анализ этого вопроса.
Выбор проверок атрибутов
Подход к выбору атрибутов, используемый в обучении дерева решений, предназначен для минимизации глубины окончательно сформированного дерева. Идея этого подхода состоит в том, что следует выбирать в первую очередь такой атрибут, который позволяет сразу же выполнить максимально возможный объем работы по обеспечению правильной классификации примеров. Идеальный атрибут позволяет разделить множество примеров на подмножества, целиком состоящие из положительных или отрицательных примеров. Атрибут Patrons не идеален, но является достаточно приемлемым. С другой стороны, действительно бесполезный атрибут, такой как Туре, создает подмножества примеров приблизительно с такими же соотношениями положительных и отрицательных примеров, как и в первоначальном множестве.
Таким образом, нам достаточно лишь определить формальный критерий оценки понятий “достаточно приемлемый” и “действительно бесполезный”, после чего появится возможность реализовать функцию Choose-Attribute, применяемую в алгоритме, который приведен в листинге 18.1. Этот критерий должен принимать максимальное значение, когда атрибут является идеальным, и минимальное значение, когда атрибут полностью бесполезен. Одним из подходящих критериев является ожидаемый объем М информации, предоставляемый атрибутом; в данном определении термин “информация” используется в математическом смысле, впервые определенном Шенноном и Уивером [1394]. Чтобы понять суть концепции информации, достаточно представить себе, что она является ответом на вопрос, например, о том, упадет ли подброшенная монета орлом вверх. Объем информации, содержащийся в ответе на этот вопрос, зависит от наших априорных знаний. Чем меньше мы знаем, тем больше получим информации. В теории информации информационное содержание ответа измеряется в битах. Один бит информации является достаточным для ответа “да” или “нет” на вопрос о том, что полностью неизвестно, например, каков результат подбрасывания подлинной монеты. Вообще говоря, если возможные ответы v£ имеют вероятности P(Vi), то информационное содержание I фактического ответа определяется с помощью следующего уравнения:
п
T(P(vi)P(vn)) = ^ -P(vi) log2 P(vi) i=l
Для проверки этого уравнения рассмотрим случай с подбрасыванием подлинной монеты. При этом будет получено следующее:
/111
А если центр тяжести монеты смещен таким образом, что в 99% выпадает орел, то будет получено 2(1/100,99/100) = 0.08 битов, а поскольку вероятность выпадения орла приближается к 1, информационное содержание фактического ответа приближается к 0.
Что касается обучения деревьев решений, то необходимо найти ответ на вопрос — какова правильная классификация для данного примера? Правильное дерево решений должно позволить найти ответ на этот вопрос. Оценка вероятностей возможных ответов, полученная перед тем, как будет выполнена проверка какого-либо из этих атрибутов, определяется соотношениями положительных и отрицательных примеров в обучающем множестве. Предположим, что обучающее множество включает р положительных примеров и п отрицательных. В таком случае оценка информации, содержащейся в правильном ответе, равна:
( Р Лррпп
2 fI =1одг1одг р + п р + п) р + п р + п р + п р + п
Обучающее множество для задачи с рестораном, приведенное в табл. 18.1, включает количество примеров р=п=б, поэтому требуется 1 бит информации.
Теперь отметим, что обычно проверка по одному атрибуту А не позволит нам получать такой объем информации, но по меньшей мере предоставит часть этой информации. Мы можем точно измерить, какова эта часть, определяя, сколько еще информации нам потребуется после проверки этого атрибута. Любой атрибут А делит обучающее множество Е на подмножества Ет,..., Ev в соответствии со значениями атрибута А, если А может иметь v различных значений. Каждое подмножество Е^ включает Pi положительных примеров и п£ отрицательных примеров, поэтому после перехода по ветви этого атрибута нам потребуется дополнительно l(Pi/ (Pi+^i) . nJ (Pi+ni) ) битов информации, чтобы ответить на вопрос. Случайно выбранный пример из обучающего множества содержит i-e значение рассматриваемого атрибута с вероятностью (Pi^-nJ / (р+п), поэтому в среднем после проверки атрибута А для классификации данного примера потребуется показанное ниже количество бит информации.
,_, ,Р + П | р,П.
Remainder (А) = > —LI -,
i=i р + п рх + п. р. + п.
^ Приращение информации, полученное в результате проверки атрибута, представляет собой разность между первоначальной потребностью в информации и новой потребностью:
рП I
Gain(А) = I, - Remainder (А)
р + п р + п)
Эвристика, используемая в функции Choose-Attribute, состоит в том, что следует выбирать атрибут с наибольшим приращением. Возвращаясь к атрибутам, показанным на рис. 18.3, получаем следующее:
Gain(Patrons) ■Gain(Type) = 1Gain(Patrons) ■Gain(Type) = 111- — КО, 1) 112— К- , -) +12 2 2- — КО, 1) 112— К- , -) +12 2 24+ — 1(1, 0) +124+ — 1(1, 0) +12— К- , -)12 2 2— К- , -)12 2 2++624— К- г -)12 6 6624— К- г -)12 6 60.541 бит0.541 бит42 2— К- , ~) +12 4 442 2— К- , ~) +12 4 4422— К- , -)12 4 4422— К- , -)12 4 400
Gain(Patrons) ■
Gain(Type) = 1
Gain(Patrons) ■
Gain(Type) = 1
1
1
- — КО, 1) 112
— К- , -) +
12 2 2
- — КО, 1) 112
— К- , -) +
12 2 2
4
+ — 1(1, 0) +
12
4
+ — 1(1, 0) +
12
— К- , -)
12 2 2
— К- , -)
12 2 2
+
+
624
— К- г -)
12 6 6
624
— К- г -)
12 6 6
0.541 бит
0.541 бит
42 2
— К- , ~) +
12 4 4
42 2
— К- , ~) +
12 4 4
422
— К- , -)12 4 4
422
— К- , -)12 4 4
0
0
Эти соотношения подтверждают интуитивное предположение о том, что Patrons — наилучший атрибут, по которому следует выполнять разбиение. В действительности атрибут Patrons позволяет получить наибольшее приращение информации по сравнению с любыми другими атрибутами и должен быть выбран алгоритмом обучения дерева решений в качестве корневого.
Оценка производительности обучающего алгоритма
Обучающий алгоритм является приемлемым, если он вырабатывает гипотезы, обеспечивающие качественные предсказания в отношении того, к какому классу будут относиться еще не встречавшиеся примеры. В разделе 18.5 будет показано, как можно заранее оценить качество предсказания. А в данном разделе рассматривается методология оценки качества предсказания после его фактического получения.
Очевидно, что предсказание является качественным, если оказалось, что оно — истинное, поэтому можно оценить качество гипотезы, сверяя ее предсказания с правильной классификацией после того, как она становится известной. Такая задача осуществляется с помощью множества примеров, которые принято называть ^ проверочным множеством. Дело в том, что если обучение проведено по всем доступным примерам, то приходится возвращаться к действительности и заниматься подбором дополнительных примеров для проведения по ним проверки, поэтому чаще более удобно использовать описанную ниже методологию.
Собрать множество примеров большого объема.
Разделить его на два непересекающихся подмножества: обучающее множество и проверочное множество.
Применить обучающий алгоритм к обучающему множеству для формирования гипотезы h.
Определить, какой процент примеров в проверочном множестве правильно классифицируется с помощью гипотезы h.
Повторять этапы 2-4 для различных размеров обучающих множеств и различных случайно выбранных обучающих множеств каждого размера.
Результатом применения этой процедуры становится набор данных, которые можно обрабатывать для получения среднего качества предсказаний, которое выражается в виде некоторой функциональной зависимости от размера обучающего множества. Эта функция может быть изображена в виде графика, представляющего собой так называемую М кривую обучения для данного алгоритма в данной конкретной проблемной области. Кривая обучения для алгоритма Decision-TreeLearning, полученная с использованием примеров из задачи с рестораном, показана на рис. 18.5. Обратите внимание на то, что качество предсказания повышается по мере увеличения размера обучающего множества (по этой причине подобные кривые часто называют счастливыми графиками). Это — хороший признак, который показывает, что в данных действительно есть какие-то повторяющиеся шаблоны (закономерности) и обучающий алгоритм их выделяет.
Безусловно, что обучающему алгоритму не должно быть разрешено “касаться” проверочных данных перед тем, как по ним будет проверена изученная гипотеза. К сожалению, часто очень легко можно попасть в ловушку, связанную с тем, что
алгоритм М компрометирует проверочные данные. Компрометация обычно происходит следующим образом: в обучающем алгоритме могут быть предусмотрены всевозможные “регуляторы”, предназначенные для настройки его поведения, например различные и разнотипные критерии выбора следующего атрибута в процессе обучения дерева решений. Итак, формируются гипотезы для всевозможных различных установок этих регуляторов, измеряется их производительность на проверочном множестве и формируется отчет о производительности предсказания наилучшей гипотезы. К сожалению, при этом происходит компрометация! Причина этого состоит в том, что гипотеза была выбрана по результатам измерения ее производительности на проверочном множестве, поэтому информация о проверочном множестве проникла в обучающий алгоритм. Мораль этой истории состоит в том, что в любом процессе, предусматривающем сравнение производительностей гипотез на проверочном множестве, необходимо использовать новое проверочное множество для измерения производительности окончательно выбранной гипотезы. Но на практике такой подход осуществить слишком сложно, поэтому исследователи по-прежнему продолжают выполнять эксперименты на бывших в употреблении множествах примеров.
О 20406080100
Размер обучающего множества
Рис. 18.5. Кривая обучения для алгоритма обучения дерева решений на 100 случайно сформированных примерах в проблемной области задачи с рестораном. В этом графике подытожены результаты 20 попыток
Шум и чрезмерно тщательная подгонка
Как было показано выше, если имеются два или несколько примеров с одинаковым описанием (с точки зрения атрибутов), но с разными классификациями, то работа алгоритма Decision-Tree-Learning обязательно окончится неудачей, поскольку невозможно будет найти дерево решений, совместимое со всеми примерами. Кроме того, уже упоминалось, что приемлемый способ решения этой проблемы может предусматривать либо применение в каждом листовом узле мажоритарной классификации для относящегося к нему множества примеров (если требуется детерминированная гипотеза), либо формирование оценок вероятностей каждой классификации с использованием относительных частот. К сожалению, описанные выше ситуации не исчерпывают перечень всех возможных нарушений в процессе фор-
мирования дерева решений. Вполне возможна такая ситуация (которая действительно часто встречается на практике), что алгоритм обучения деревьев решений формирует дерево решений, совместимое со всеми примерами, даже несмотря на то, что эти примеры не содержат крайне важной информации для данной задачи классификации. Это связано с тем, что в рассматриваемом алгоритме могут использоваться не относящиеся к делу атрибуты (если они имеются), в результате чего проводятся несуществующие различия между примерами.
Рассмотрим задачу, в которой осуществляются попытки предсказать результаты броска игральной кости. Предположим, что эксперименты проводятся в течение продолжительного периода времени с различными игральными костями и что атрибуты, описывающие каждый обучающий пример, являются следующими:
Day (День недели). День, в который был выполнен бросок игральной кости (Моп (Понедельник), Тие (Вторник), Wed (Среда), Thu (Четверг)).
Month (Месяц). Месяц, в который был выполнен бросок игральной кости (Jan (Январь) или Feb (Февраль)).
Color (Цвет). Цвет игральной кости (Red (Красный) или Blue (Синий)).
При условии, что не существует двух примеров с одинаковыми описаниями и разными классификациями, алгоритм Decision-Tree-Learning позволяет найти точную гипотезу. Чем больше количество используемых атрибутов, тем выше вероятность, что будет найдена точная гипотеза. Но все такие гипотезы будут полностью не связанными с действительностью, поскольку рассматриваемые атрибуты не влияют на выпадение игральной кости. Требуется лишь то, чтобы алгоритм Decision-Tree-Learning возвратил единственный листовой узел с вероятностями, близкими к 1/6, для каждого результата выпадения очков на игральной кости, как только будет получено достаточное количество примеров.
Каждый раз, когда приходится сталкиваться с множеством возможных гипотез, имеющим большой объем, необходимо тщательно следить за тем, чтобы возникающая при этом свобода выбора не использовалась для поиска бессмысленных “закономерностей” в данных. Эта проблема называется ^ чрезмерно тщательной подгонкой. На практике очень часто встречается такой феномен, что чрезмерно тщательная подгонка происходит, даже если целевая функция вообще не является случайной. Указанный недостаток возникает в обучающих алгоритмах любого типа, а не только в алгоритмах обучения деревьев решений.
Полная математическая трактовка проблемы чрезмерно тщательной подгонки выходит за рамки данной книги. Но в этом разделе представлен простой метод, называемый М отсечением ветвей дерева решений, позволяющий в определенной степени справиться с указанной проблемой. Метод отсечения ветвей действует по принципу предотвращения рекурсивного разбиения по атрибутам, релевантность которых не является очевидной, даже если в соответствующем узле дерева имеются данные, не классифицированные на подмножества с равным количеством положительных и отрицательных примеров. Вопрос состоит в том, как обнаружить нерелевантный атрибут.
Предположим, что осуществляется разбиение множества примеров с использованием какого-то нерелевантного атрибута. Вообще говоря, следует полагать, что результирующие подмножества в этом случае будут иметь приблизительно такие же
соотношения количества примеров из каждого класса, как и первоначальное множество. Это означает, что приращение информации будет близким к нулю. Таким образом, хорошим показателем релевантности атрибута является приращение информации. В таком случае возникает вопрос, насколько большим должно быть это приращение для того, чтобы имело смысл осуществлять разбиение по какому-то конкретному атрибуту?
На этот вопрос можно ответить с использованием статистической М проверки значимости. Такая проверка начинается с принятия предположения о том, что в данных нет никаких скрытых закономерностей (это предположение называется М нуль- гипотезой). После этого проводится анализ фактических данных для определения того, в какой степени они отличаются от данных, характеризующихся абсолютным отсутствием закономерностей. Если полученная степень отклонения является статистически маловероятной (обычно принято считать, что вероятность отклонения составляет 5% или меньше), то такие данные рассматриваются как надежное свидетельство наличия значимых закономерностей в данных. Вероятности вычисляются на основании стандартных распределений величины отклонения, которые можно надеяться обнаружить в случайно сформированных выборках.
В данном случае нуль-гипотеза состоит в том, что атрибут является нерелевантным, а следовательно, приращение информации для бесконечно большого образца будет равно нулю. Необходимо вычислить вероятность того, что после принятия нуль-гипотезы образец с размером v будет показывать наблюдаемое отклонение от ожидаемого распределения положительных и отрицательных примеров. Такое отклонение можно измерить, сравнивая фактические количества положительных и отрицательных примеров в каждом подмножестве, Pi и п1$ с ожидаемыми количествами, е^ и nis при том условии, что принято предположение об истинной нерелевантности атрибута:
-Pi+niPi = р Х-Pi+niPi = р ХPi+ni п р+пPi+ni п р+п
-Pi+ni
Pi = р Х
-Pi+ni
Pi = р Х
Pi+ni п р+п
Pi+ni п р+п
Удобный критерий суммарного отклонения определяется следующей формулой:
v
Е
(Pi-Pi)2(ni-m)2
. , Pt«i
1 = 1
Согласно нуль-гипотезе, значение D распределяется в соответствии с распределением %2 (хи-квадрат) с v-1 степенями свободы. Вероятность того, что атрибут действительно является нерелевантным, можно рассчитать с помощью стандартных таблиц %2 или с применением статистического программного обеспечения. В упр. 18.11 предлагается внести соответствующие изменения в алгоритм DecisionTree-Learning для реализации этой формы отсечения, которая известна под названием ^ отсечение %2.
Отсечение позволяет также справиться с шумом: ошибки классификации приводят к линейному увеличению ошибки предсказания, а ошибки в описаниях примеров оказывают асимптотическое влияние, которое становится все более ярко выра-
женным по мере того, как дерево все больше сокращается до меньших множеств. Деревья, сформированные с помощью отсечения, показывают гораздо лучшую производительность, чем деревья, сформированные без отсечения, в том случае, если данные содержат большой объем шума. Деревья с отсеченными ветвями часто бывают намного меньше, поэтому их структуру проще понять.
Еще одним методом, позволяющим уменьшить влияние чрезмерно тщательной подгонки, является М перекрестная проверка. Этот метод применим к любому алгоритму обучения, а не только к алгоритму обучения деревьев решений. Основная идея этого метода состоит в том, что можно оценить, насколько хорошо каждая гипотеза строит предсказание по данным, не встречавшимся ранее. Этот метод осуществляется на практике путем резервирования определенной части известных данных и дальнейшего использования их для проверки производительности предсказания той гипотезы, которая выведена из оставшихся данных. В методе k-кратной перекрестной проверки предусматривается проведение к экспериментов с резервированием каждый раз другой части данных для проведения проверки, объем которой равен 1/к от первоначальных данных, с последующим усреднением результатов. В качестве значения к часто используются 5 и 10. В пределе в данном методе может применяться к=п; такой вариант метода называют также перекрестной проверкой с исключением одного примера (leave-one-out cross-validation). Перекрестная проверка может использоваться в сочетании с любым методом формирования дерева (включая метод отсечения ветвей) в целях создания дерева, характеризующегося высокой производительностью предсказания. В дальнейшем, чтобы исключить возможность компрометации проверочных данных, необходимо провести измерение производительности полученного дерева с помощью нового проверочного множества.
Расширение области применения деревьев решений
Для того чтобы распространить методы индуктивного вывода деревьев решений на более широкий круг задач, необходимо решить целый ряд проблем. В данном разделе кратко описана каждая из этих проблем, но более полного их понимания можно добиться, выполнив указанные здесь упражнения.
Недостающие данные. Во многих проблемных областях не все значения атрибутов могут быть определены для каждого примера, в связи с тем, что такие значения могут оказаться незарегистрированными или задача их получения является слишком дорогостоящей. Такая ситуация приводит к возникновению двух проблем. Во-первых, если дано полное дерево решений, то как следует классифицировать некоторый объект, для которого не задан один из проверяемых атрибутов? Во-вторых, как следует модифицировать формулу приращения информации, если в некоторых примерах неизвестны значения данного атрибута? Эти вопросы рассматриваются в упр. 18.12.
Многозначные атрибуты. Если атрибут имеет много возможных значений, то критерий приращения информации придает оценке полезности атрибута не соответствующую ей значимость. В крайнем случае может встретиться такой атрибут, который имеет в каждом примере другое значение, скажем RestaurantName (Название ресторана). В таком случае каждое подмножество примеров становится одноэлементным подмножеством с уникальной клас-
сификацией, поэтому критерий приращения информации для соответствующего атрибута принимает наивысшее значение. Тем не менее этот атрибут может оказаться нерелевантным или бесполезным. Одним из решений данной проблемы является использование М коэффициента приращения (упр. 18.13).
Непрерывные и целочисленные входные атрибуты. Непрерывные или целочисленные атрибуты, такие как Height (Рост) и Weight (Вес), имеют бесконечное множество возможных значений. Но вместо формирования бесконечно большого количества ветвей алгоритмы обучения деревьев решений, как правило, находят М точку разбиения, позволяющую получить наивысшее приращение информации. Например, в каком-то конкретном узле дерева может оказаться, что наибольший объем информации позволяет получить проверка по условию Weight>160. Разработаны эффективные методы динамического программирования для поиска приемлемых точек разбиения, но они все еще представляют собой тот компонент реальных приложений в области обучения деревьев решений, который требует намного больше затрат по сравнению с другими компонентами.
Выходные атрибуты с непрерывными значениями. Если предпринимается попытка предсказать некоторое числовое значение, такое как оценка произведения искусства, а не провести дискретную классификацию, то необходимо получить М дерево регрессии. В каждом листовом узле такого дерева задана линейная функция от некоторого подмножества числовых атрибутов, а не единственное значение. Например, ветвь, которая относится к гравюрам, раскрашенным вручную, может оканчиваться линейной функцией от площади, возраста работы и количества цветов. Обучающий алгоритм должен выработать решение о том, когда следует прекратить разбиение и приступить к применению метода линейной регрессии с использованием оставшихся атрибутов (или некоторого их подмножества).
Система обучения деревьев решений для реальных приложений должна быть способной решать все эти проблемы. Особенно важной является обработка переменных с непрерывными числовыми значениями, поскольку числовые данные применяются, например, в физических и финансовых процессах. Было разработано несколько коммерческих пакетов, соответствующих этим критериям, которые использовались для создания нескольких сотен проблемно-ориентированных систем. Во многих областях промышленности и торговли деревья решений обычно становятся первым методом, к которому пытаются прибегнуть, когда из некоторого набора данных необходимо извлечь соответствующий ему метод классификации. Одним из важных свойств деревьев решений является то, что вывод обучающего алгоритма доступен для понимания людей (а в действительности в этом также состоит законодательное требование к финансовым решениям, на которые распространяются законы против дискриминации). Таким свойством не обладают нейронные сети (см. главу 20).
18,4. Обучение ансамбля
До сих пор в этой главе рассматривались методы обучения, в которых для полу- icmm предсказаний использовалась отдельная гипотеза, выбранная из пространства
юте х. В отличие от этого, идея методов ^ обучения ансамбля состоит в том, что из
пространства гипотез следует выбрать целую коллекцию, или так называемый ансамбль гипотез, и в дальнейшем комбинировать предсказания, полученные с помощью гипотез этого ансамбля. Например, может быть сформировано сто разных деревьев решений из одного и того же обучающего множества, после чего проведено голосование для определения наилучшей классификации нового примера.
В основе стремления использовать обучение ансамбля лежит простая причина. Рассмотрим ансамбль из м=5 гипотез и предположим, что их предсказания комбинируются с использованием несложного мажоритарного голосования. Для того чтобы этот ансамбль неправильно классифицировал новый пример, его должны неправильно классифицировать по меньшей мере три из пяти гипотез. Однако вполне можно рассчитывать на то, что данная ситуация является гораздо менее вероятной по сравнению с ошибочной классификацией при использовании единственной гипотезы. Допустим, что предполагается, будто каждая гипотеза h^ в ансамбле допускает ошибку с вероятностью р. Иными словами, вероятность того, что случайно выбранный пример будет неправильно классифицирован гипотезой h^ равна р. Кроме того, допустим, что предполагается, будто ошибки, допущенные с применением каждой гипотезы, являются независимыми. В таком случае, если вероятность р мала, то вероятность одновременного появления большого количества ошибок классификации становится микроскопической. Например, простой расчет (упр. 18.14) показывает, что использование ансамбля из пяти гипотез позволяет сократить частоту ошибок от величины 1/10 до величины меньше чем 1/100. Тем не менее очевидно, что предположение о независимости гипотез неоправданно, поскольку во всех гипотезах, скорее всего, будут возникать одинаковые искажения, вызванные одними и теми же искажающими их аспектами одинаковых обучающих данных. Но если гипотезы хоть немного отличаются друг от друга, что приводит к уменьшению корреляции между их ошибками, то обучение ансамбля может оказаться очень полезным.
Еще один способ трактовки идеи ансамбля состоит в том, что ансамбль — это универсальный метод расширения пространства гипотез. Это означает, что сам ансамбль может рассматриваться как гипотеза, а новое пространство гипотез — как множество всех возможных ансамблей, которые могут быть сформированы из гипотез первоначального пространства. Как показано на рис. 18.6, такой подход может привести к созданию более выразительного пространства гипотез. Если первоначальное пространство гипотез допускает возможность использовать простой и эффективный алгоритм обучения, то метод формирования ансамбля предоставляет возможность формировать в процессе обучения гораздо более выразительный класс гипотез без значительного дополнительного увеличения вычислительной или алгоритмической сложности.
Наиболее широко используемый метод формирования ансамбля называется ^ усилением. Для того чтобы понять, как он работает, необходимо вначале ознакомиться с идеей М взвешенного обучающего множества. В таком обучающем множестве с каждым примером связан вес ^->0. Чем больше вес примера, тем выше важность, присвоенная ему в процессе изучения какой-то гипотезы. Рассматриваемые до сих пор в этой главе алгоритмы обучения несложно модифицировать для работы со взвешенными обучающими множествами.
Рис. 18.6. Схема, показывающая, что обучение ансамбля позволяет добиться повышения выразительной мощи гипотез. Здесь представлены три линейные пороговые гипотезы, каждая из которых формирует положительную классификацию на незаштрихованной стороне, а в целом как положительные классифицируются все примеры, которые являются положительными согласно всем трем гипотезам. Полученная в итоге треугольная область представляет собой гипотезу, которая не может быть выражена в первоначальном пространстве гипотез
Процедура усиления начинается с задания ^=1 для всех примеров (т.е. с обычного обучающего множества). На основании этого множества вырабатывается первая гипотеза Ьъ которая классифицирует одни обучающие примеры правильно, а другие — неправильно. Желательно, чтобы следующая гипотеза лучше справлялась с неправильно классифицированными примерами, поэтому веса последних увеличиваются, а веса правильно классифицированных примеров уменьшаются. По этому обучающему множеству со вновь назначенными весами вырабатывается гипотеза Ь2. Описанный процесс продолжается таким же образом до тех пор, пока не будет выработано М гипотез, где М становится входом для алгоритма усиления. Окончательная гипотеза-ансамбль представляет собой взвешенную мажоритарную комбинацию из всех м гипотез, каждой из которых назначен вес, соответствующий тому, насколько высокую производительность она показала при обработке обучающего множества. На рис. 18.7 показана концептуальная иллюстрация работы алгоритма. Эта основная идея усиления имеет много вариантов, в которых применяются различные способы корректировки весов и комбинирования гипотез. В листинге 18.2 показан один из конкретных алгоритмов, называемый AdaBoost. Хотя подробные сведения о том, как происходит корректировка весов, не имеет столь важного значения, алгоритм AdaBoost обладает очень важным свойством: если входной обучающий алгоритм L является ^ слабым обучающим алгоритмом (а это означает, что L всегда возвращает гипотезу со взвешенной ошибкой на обучающем множестве, которая лишь ненамного лучше по сравнению со случайным угадыванием, например, равным 50% при булевой классификации), то алгоритм AdaBoost при достаточно большом значении м возвращает гипотезу, идеально классифицирующую обучающие данные. Таким
образом, этот алгоритм значительно повышает точность первоначального обучающего алгоритма применительно к обучающим данным. Такой результат остается в силе независимо от того, насколько невыразительным является первоначальное пространство гипотез, а также от того, насколько сложна изучаемая функция.
Рис. 18.7. Иллюстрация работы алгоритма усиления. Каждый затененный прямоугольник соответствует некоторому примеру; высота прямоугольника соответствует весу. Галочки и крестики показывают, был ли данный пример классифицирован правильно с помощью текущей гипотезы. Размер дерева решений показывает вес этой гипотезы в окончательном ансамбле
Листинг 18.2. Один из вариантов метода усиления для обучения ансамбля, представленный в виде алгоритма AdaBoost. Этот алгоритм вырабатывает гипотезу, последовательно корректируя веса обучающих примеров. Функция Weighted-Majority вырабатывает гипотезу, которая возвращает выходное значение с наивысшими результатами голосования из числа гипотез, относящихся к вектору h, где результаты голосования взвешиваются с помощью вектора z
function AdaBoost(examples, L, M) returns взвешенная мажоритарная комбинация гипотез
inputs: examples, множество из N размеченных
примеров (xi, yi) , ..., (xN, yN)
обучающий алгоритм
количество гипотез в ансамбле local variables: w, вектор из N весов примеров, первоначально равных 1/N
h, вектор из М гипотез z, вектор из М весов гипотез
for т = 1 to М do
h [m] <— L (examples, w) error <— 0
for j = 1 to N do
if h[m] (xj) ^ Уз then error <— error + w[j]
for j = 1 to N do
if h[m] (xj)=yj then w[j] <— w[j]-error/ (1-error) w <— Normalize (w) z [m] <- log(1-error)/error
return Weighted-Majority(h, z)
Рассмотрим, насколько хорошо метод усиления действует применительно к данным о ресторане. Выберем в качестве первоначального пространства гипотез класс одноузловых деревьев решений, представляющих собой деревья решений только с одной проверкой, в корневом узле. Нижняя кривая, приведенная на рис. 18.8,6/, показывает, что неусиленные одноузловые деревья решений не очень эффективно действуют применительно к этому набору данных, достигая производительности предсказания, составляющей только 81% в расчете на 100 обучающих примеров. А после применения метода усиления (при м=5) производительность становится выше и достигает 93% после обработки 100 примеров.
11Объем обучающего множества а)Объем обучающего множества а)Рис. 18.8. Анализ производительности алгоритмов: график, показывающий, как изменяется производительность усиленных одноузловых деревьев решений при М=5 по сравнению с неусиленными одноузловыми деревьями решений на примере данных о ресторане (а); доля правильных ответов, полученных на обучающем множестве и проверочном множестве, как функция от М (от количества гипотез в ансамбле) (б). Обратите внимание на то, что точность распознавания примеров из проверочного множества немного повышается даже после того, как точность распознавания примеров из обучающего множества достигает 1, т.е. после того, как ансамбль гипотез полностью согласуется с даннымиРис. 18.8. Анализ производительности алгоритмов: график, показывающий, как изменяется производительность усиленных одноузловых деревьев решений при М=5 по сравнению с неусиленными одноузловыми деревьями решений на примере данных о ресторане (а); доля правильных ответов, полученных на обучающем множестве и проверочном множестве, как функция от М (от количества гипотез в ансамбле) (б). Обратите внимание на то, что точность распознавания примеров из проверочного множества немного повышается даже после того, как точность распознавания примеров из обучающего множества достигает 1, т.е. после того, как ансамбль гипотез полностью согласуется с даннымиКоличество гипотез М б)Количество гипотез М б)
1
1
Объем обучающего множества а)
Объем обучающего множества а)
Рис. 18.8. Анализ производительности алгоритмов: график, показывающий, как изменяется производительность усиленных одноузловых деревьев решений при М=5 по сравнению с неусиленными одноузловыми деревьями решений на примере данных о ресторане (а); доля правильных ответов, полученных на обучающем множестве и проверочном множестве, как функция от М (от количества гипотез в ансамбле) (б). Обратите внимание на то, что точность распознавания примеров из проверочного множества немного повышается даже после того, как точность распознавания примеров из обучающего множества достигает 1, т.е. после того, как ансамбль гипотез полностью согласуется с данными
Рис. 18.8. Анализ производительности алгоритмов: график, показывающий, как изменяется производительность усиленных одноузловых деревьев решений при М=5 по сравнению с неусиленными одноузловыми деревьями решений на примере данных о ресторане (а); доля правильных ответов, полученных на обучающем множестве и проверочном множестве, как функция от М (от количества гипотез в ансамбле) (б). Обратите внимание на то, что точность распознавания примеров из проверочного множества немного повышается даже после того, как точность распознавания примеров из обучающего множества достигает 1, т.е. после того, как ансамбль гипотез полностью согласуется с данными
Количество гипотез М б)
Количество гипотез М б)
По мере увеличения размера ансамбля м обнаруживается интересное явление. На рис. 18.8, б показана производительность обучающего множества (на 100 примерах) как функция от м. Обратите внимание на то, что ошибка достигает нуля (как и следует из определения метода усиления), когда М становится равным 20; это означает, что взвешенная мажоритарная комбинация из 20 одноузловых деревьев решений вполне позволяет определить точное соответствие для 100 примеров. По мере введения в ансамбль дополнительных одноузловых деревьев решений ошибка остается равной нулю. Этот график также показывает, что ^ производительность обработки проверочного множества продолжает возрастать в течение долгого времени после того, как ошибка на обучающем множестве достигает нуля. При М-2 0 производи-
тельность на проверочном множестве равна 0,95 (что соответствует 0,05 ошибки) и после чего увеличивается до 0,98 при таком большом значении, как М=137, прежде чем постепенно уменьшиться до 0,95.
Эта особенность, которая неизменно проявляется в самых разных наборах данных и пространствах гипотез, после ее обнаружения впервые показалась исследователям весьма неожиданной. Согласно принципу бритвы Оккама, не следует создавать гипотезы, более сложные, чем необходимо, а этот график говорит нам о том, что по мере усложнения гипотезы-ансамбля предсказания улучшаются! Для объяснения этого феномена было предложено несколько трактовок. Один из подходов к анализу такого явления состоит в том, что в процессе усиления аппроксимируется байесовское обучение (см. главу 20), притом что можно доказать, что байесовский алгоритм является оптимальным обучающим алгоритмом, а аппроксимация улучшается по мере введения дополнительных гипотез. Еще одно возможное объяснение состоит в том, что введение дополнительных гипотез позволяет добиться того, что ансамбль проводит все более определенное различие между положительными и отрицательными примерами, а это свойство способствует лучшей классификации новых примеров.
Принципы функционирования алгоритмов обучения: теория вычислительного обучения
Один из важных вопросов, поставленных в разделе 18.2, на который не был получен ответ, состоял в следующем: как можно убедиться в том, что в результате применения разработанного кем-то обучающего алгоритма была создана теория, позволяющая правильно предсказывать будущее? Формально этот вопрос можно переформулировать следующим образом: как определить, насколько гипотеза h близка к целевой функции f, если неизвестно, каковой является сама функция f? Подобные вопросы были предметом размышлений ученых в течение нескольких столетий. До тех пор, пока на них не будут получены ответы, машинное обучение в лучшем случае может рассматриваться лишь как научная область, причины успешных достижений которой остаются необъяснимыми.
Подход, принятый в данном разделе, основан на М теории вычислительного обучения — научной области, которая находится на стыке искусственного интеллекта, статистики и теоретических компьютерных наук. Принцип, лежащий в ее основе, состоит в следующем: ^ любая гипотеза, которая содержит серьезные ошибки, почти наверняка будет “открыта” с большой вероятностью после обработки небольшого количества примеров, поскольку она дает неправильные предсказания. Поэтому любая гипотеза, согласованная с достаточно большим множеством обучающих примеров, с меньшей вероятностью будет содержать серьезные ошибки; это означает, что она обязательно будет ^ приблизительно правильной с определенной вероятностью. Любой обучающий алгоритм, вырабатывающий гипотезы, которые с определенной вероятностью являются приблизительно правильными (Probably Approximately Correct — РАС), называется алгоритмом ^ РАС-обучения.
При анализе приведенных выше доводов необходимо учитывать некоторые нюансы. Основной вопрос состоит в том, какова связь между обучающими и проверочными примерами; в конечном итоге желательно, чтобы гипотеза была приблизительно правильной
применительно к проверочному множеству, а не только к обучающему множеству. Основное предположение состоит в том, что и обучающее, и проверочное множества примеров извлекаются случайно и независимо друг от друга из одной и той же популяции примеров с одним и тем же распределением вероятностей. Это предположение называется предположением о М стационарности. Если не принято предположение о стационарности, то теория вычислительного обучения не позволяет формулировать вообще какие- либо утверждения о будущем, поскольку не определена необходимая связь между будущим и прошлым. Предположение о стационарности равносильно тому предположению, что процесс, в котором осуществляется отбор примеров, не подвержен неблагоприятному влиянию. Очевидно, что если обучающее множество состоит только из надуманных примеров (например, фотографий двухголовых собак), то обучающий алгоритм не сможет сделать ничего иного, кроме как предложить безуспешные обобщения, касающиеся того, как распознавать обычных собак.
Оценка количества необходимых примеров
Для того чтобы перевести эти предположения на практическую почву, необходимо ввести некоторые описанные ниже обозначения.
Обозначим символом х множество всех возможных примеров.
Обозначим символом D распределение, из которого извлекаются примеры.
Обозначим символом н множество возможных гипотез.
Обозначим символом N количество примеров в обучающем множестве.
Первоначально будем предполагать, что истинная функция f является элементом множества н. Теперь можно определить М ошибку гипотезы h применительно к истинной функции f, если дано распределение вероятностей D по примерам, описывающее вероятность того, что гипотеза h отлична от функции f на некотором примере:
errorkh^ = Pkh(х)^f(x)|х извлечен из D)
Это — такое же количество, которое измерялось экспериментально с помощью кривых обучения, описанных выше в данной главе.
Гипотеза h называется приблизительно правильной, если error kh) <£, где £ — небольшая константа. Примем к действию план решения этой проблемы, который состоит в том, чтобы доказать, что после просмотра Nпримеров все совместимые гипотезы с высокой вероятностью станут приблизительно правильными. Приблизительно правильная гипотеза может рассматриваться как "близкая" к истинной функции в пространстве гипотез: она находится внутри так называемого М Е-шара, который окружает истинную функцию f. На рис. 18.9 показано множество всех гипотез н, которое подразделяется на Е-шар, окружающий функцию f, и все остальные гипотезы, принадлежащие к множеству, которое мы будем называть Hbad.
Вероятность того, что гипотеза hbeHbad, содержащая "серьезную ошибку", будет согласована с первыми N примерами, можно вычислить следующим образом. Известно, что error к h^ >е. В таком случае вероятность того, что эта гипотеза согласуется с заданным примером, равна по меньшей мере 1-е. Граничное значение этой вероятности для N примеров равно:
РкНъ согласует- с N примерами) < (1—e)N
Рис. 18.9. Схематическое изображение пространства гипотез, на котором показан е-шар, окружающий истинную функцию f
Вероятность того, что множество Hbad содержит по меньшей мере одну совместимую гипотезу, ограничивается суммой отдельных вероятностей:
Р(Ньаа содержит совместимую гипотезу) < | Hbad | (l-s)N < |н| (1—е)N
где учитывался тот факт, что | Hbad | < | н |. Желательно уменьшить вероятность этого события так, чтобы она не превышала некоторого небольшого числа 5:
|н| (1-e)n < 8
С учетом того, что 1-Е<е"£, такой цели можно добиться, предоставив алгоритму возможность обработать следующее количество примеров:
N > — (In - + In |Н|)(18.1)
г 8
Таким образом, если обучающий алгоритм возвратит гипотезу, совместимую с этим или большим количеством примеров, то с вероятностью, по меньшей мере равной 1-8, он будет иметь, самое большее, ошибку е. Иными словами, полученная гипотеза будет по всей вероятности приблизительно правильной. Количество требуемых примеров, зависящее от £ и 8, называется М выборочной сложностью (sample complexity) пространства гипотез.
Поэтому создается впечатление, что основной вопрос сводится к определению размера пространства гипотез. Как было показано выше, если н — множество всех булевых функций от п атрибутов, то |н|=22 . Таким образом, выборочная сложность пространства растет в зависимости от 2П. Поскольку количество возможных примеров также равно 2П, на этом основании можно утверждать, что любой обучающий алгоритм для пространства всех булевых функций не может функционировать лучше, чем поисковая таблица, если он просто возвращает гипотезу, совместимую со всеми известными примерами. Еще один способ убедиться в справедливости этого утверждения может быть основан на том наблюдении, что для любого не встречавшегося ранее примера пространство гипотез будет содержать столько же со-
вместимых гипотез, которые предсказывают положительный результат, сколько имеется гипотез, предсказывающих отрицательный результат.
Поэтому дилемма, с которой мы сталкиваемся, состоит в следующем: если пространство функций, которые могут рассматриваться алгоритмом, останется неограниченным, то алгоритм не будет способен к обучению, но, с другой стороны, ограничение пространства может привести к полному удалению истинной функции. Существуют два способа “разрешения” этой дилеммы. Первый способ состоит в соблюдении требования, чтобы алгоритм возвращал не просто любую совместимую гипотезу, а преимущественно наиболее простую гипотезу (что и предусмотрено в обучении деревьев решений). Теоретический анализ подобных алгоритмов выходит за рамки данной книги, но в тех случаях, когда задача поиска простых совместимых гипотез является легко разрешимой, результаты определения выборочной сложности обычно бывают лучше по сравнению с результатами анализа, основанными только на определении совместимости. Второй способ разрешения дилеммы, который рассматривается ниже, состоит в том, что нужно сосредоточиться на тех подмножествах всего множества булевых функций, которые доступны для обучения. Идея этого способа состоит в том, что в большинстве случаев не требуется полная выразительная мощь булевых функций и можно ограничиться использованием более простых языков. В следующем разделе один из таких ограниченных языков рассматривается более подробно.
Обучение списков решений
М Список решений — это логическое выражение с ограниченной формой. Он состоит из ряда проверок, каждая из которых представляет собой конъюнкцию литералов. Если проверка, применяемая к описанию примера, завершается успешно, то список решений задает возвращаемое значение. Если же проверка оканчивается неудачей, то обработка продолжается со следующей проверки в списке. Списки решений напоминают деревья решений, но их общая структура проще. С другой стороны, отдельные проверки в них намного сложнее. На рис. 18.10 показан список решений, который представляет следующую гипотезу:
Vx WillWai t (х) <=> Patrons (х, Some) v (Patrons {x, Ful 1) a Eri/Sat (x) )
Если допускается применение проверок с произвольными размерами, то списки решений становятся способными представить любую булеву функцию (упр. 18.15). С другой стороны, если размер каждой проверки ограничен, самое большее, к литералами, то для обучающего алгоритма появляется возможность успешно создавать обобщения на основе небольшого количества примеров. Мы будем называть такой язык списков решений с к литералами языком ^ k-DL (DL— Decision List). Пример, приведенный на рис. 18.10, относится к языку 2-DL. Можно легко показать (упр. 18.15), что язык k-DL включает в качестве подмножества язык ^ k-DT (DT — Decision Tree), который представляет собой множество всех деревьев решений с глубиной, не превышающей к. Важно помнить, что конкретный язык, к которому применяется обозначение k-DL, зависит от атрибутов, используемых для описания примеров. Мы будем использовать запись k-DL(n) для обозначения языка k-DL, в котором применяется п булевых атрибутов.
Рис. 18.10. Список решений для задачи с рестораном
Первая задача состоит в том, чтобы показать, что язык k-DL доступен для изучения, т.е. что любая функция, заданная в языке k-DL, может быть точно аппроксимирована после обучения на приемлемом количестве примеров. Для этого необходимо рассчитать количество гипотез, которые могут быть представлены на этом языке. Допустим, что язык проверок (конъюнкций из самое большее к литералов, в которых используется п атрибутов) обозначается как Conj (п, к). Поскольку любой список решений состоит из проверок, а каждая проверка может быть связана с результатом Yes или No или может отсутствовать в списке решений, то количество различных множеств проверок, из которых могут состоять гипотезы, измеряется величиной 3|Conj (n,k) L Каждое из этих множеств проверок может быть задано в любом порядке, поэтому справедливо следующее соотношение:
|k-DL(n)| < з1Сопэ(п,к)| |conj(n,k)|!
Количество конъюнкций из к литералов с п атрибутами может быть определено таким образом:
\Conj (n,£) | = £ L = O(nk)
i = 0 V1 J
Поэтому после проведения некоторых преобразований можно получить следующее: |k-DL(n) | = 20(Л°92^к^
Это соотношение можно подставить в уравнение 18.1, чтобы показать, что количество примеров, необходимое для РАС-обучения некоторой функции k-DL, определяется полиномиальной зависимостью от п:
11
N > — In — + Окпк log2(nk)
Поэтому любой алгоритм, возвращающий согласованный список решений, будет обеспечивать РАС-обучение некоторой функции k-DL с помощью приемлемого количества примеров, если значение к невелико.
Следующая задача состоит в том, чтобы найти эффективный алгоритм, который возвращает совместимый список решений. Мы будем использовать жадный алгоритм, называемый Decision-List-Learning, который повторно отыскивает проверку, точно согласующуюся с некоторым подмножеством обучающего множества. Найдя такую проверку, алгоритм добавляет ее к создаваемому списку решений и удаляет соответствующие примеры. Затем алгоритм формирует только оставшуюся часть списка решений, используя лишь оставшиеся примеры. Такая операция повторяется до тех пор, пока не останется ни одного примера. Этот алгоритм показан в листинге 18.3.
Листинг 18.3. Алгоритм обучения списков решений
function Decision-List-Learning (examples') returns список решений или индикатор неудачи failure
if множество examples пусто
then return тривиальный список решений No t <— проверка, которая согласуется с непустым подмножеством examples^ множества examples, таким что все элементы examples^ являются либо положительными, либо отрицательными примерами if такая проверка t отсутствует then return failure if примеры в подмножестве examples^ являются положительными
then о <— Yes
else о <г- No
return список решений с начальной проверкой t, результатом о и оставшимися проверками, определяемыми выражением Decision-List-Learning(examples-examples^
В этом алгоритме не определен метод выбора следующей проверки для добавления к списку решений. Хотя формально приведенные выше результаты не зависят от такого метода выбора, представляется резонным подход, позволяющий отдавать предпочтение небольшим проверкам, которые согласуются с большими множествами однородно классифицируемых примеров, для того чтобы общий список решений был как можно более компактным. Простейшая стратегия достижения этой цели состоит в том, что нужно отыскивать наименьшую проверку с, которая согласуется с любым однородно классифицируемым подмножеством, независимо от размера этого подмножества. Как показано на рис. 18.11, даже такой примитивный подход действует вполне успешно.
110,90,80,70,60,50,90,80,70,60,50,4 ...020406080100Объем обучающего множества0,4 ...020406080100Объем обучающего множества
1
1
0,9
0,8
0,7
0,6
0,5
0,9
0,8
0,7
0,6
0,5
0,4 ...
020406080100
Объем обучающего множества
0,4 ...
020406080100
Объем обучающего множества
Рис. 18.11. Кривая обучения по данным о ресторане при использовании алгоритма Dec is ion-List-Learning. Для сравнения показана кривая, соответствующая алгоритму Decision-Tree-Learning
Обсуждение полученных результатов
В рамках теории вычислительного обучения был создан новый способ трактовки проблемы обучения. В начале 1960-х годов разработки в области теории обучения
сосредоточивались в основном на проблеме успешной ^ идентификации в пределе. В соответствии с этим понятием любой алгоритм идентификации должен возвращать гипотезу, которая точно совпадает с истинной функцией. Один из способов решения этой задачи состоит в следующем: вначале упорядочить все гипотезы в множестве н в соответствии с некоторым критерием простоты, затем выбрать простейшую гипотезу, совместимую со всеми полученными до сих пор примерами. По мере получения новых примеров в этом методе предусмотрен отказ от более простой гипотезы, которая стала недействительной, и принятие вместо нее более сложной гипотезы. Но после того как достигается истинная функция, от нее никогда не происходит отказ. К сожалению, в больших пространствах гипотез количество примеров и продолжительность вычислений, необходимая для достижения истинной функции, становятся колоссальными. Поэтому теория вычислительного обучения не определяет безусловного требования, чтобы обучающийся агент определил “единственный истинный закон”, руководящий его средой, а вместо этого допускает, чтобы он нашел гипотезу с определенной степенью прогностической точности. Кроме того, в теории вычислительного обучения большое внимание уделяется выявлению компромисса между выразительностью языка гипотез и сложностью обучения, поэтому развитие этой теории непосредственно привело к созданию важного класса обучающих алгоритмов, получившего название машин поддерживающих векторов (support vector machine).
Приведенные в данном разделе результаты РАС-обучения представляют собой результаты определения сложности для наихудшего случая и не обязательно отражают выборочную сложность для среднего случая, которая измеряется с помощью приведенных здесь кривых обучения. При анализе среднего случая необходимо также принять предположения о распределении вероятностей примеров и распределении вероятностей истинных функций, которые должны быть изучены с помощью данного алгоритма. По мере того как достигается все лучшее понимание этих проблем, теория вычислительного обучения предоставляет все более ценную помощь исследователям в области машинного обучения, для которых важно предсказать или модифицировать обучающую способность создаваемых ими алгоритмов. Кроме списков решений, важные результаты были получены почти для всех известных подклассов булевых функций, для множеств высказываний первого порядка (глава 19) и для нейронных сетей (глава 20). Эти результаты показывают, что чистые задачи индуктивного обучения, в которых агент приступает к работе без априорных знаний о целевой функции, обычно являются очень трудными. Как будет показано в главе 19, использование априорных знаний для управления индуктивным обучением дает возможность изучать весьма крупные множества высказываний на основе приемлемого количества примеров, даже если используется столь выразительный язык, как логика первого порядка.
Резюме
Настоящая глава главным образом посвящена изложению темы индуктивного обучения детерминированных функций на основе примеров. Основные вопросы, рассматриваемые в этой главе, перечислены ниже.
Обучение принимает много разных форм в зависимости от характера производительного элемента, компонента, подлежащего усовершенствованию, и доступной обратной связи.
Если доступна обратная связь либо от учителя, либо от среды, позволяющая получать правильные значения, относящиеся к примерам, то задача обучения относится к типу контролируемого обучения. Такая задача, называемая также индуктивным обучением, сводится к изучению некоторой функции на примерах ее входных и выходных данных. Изучение функции с дискретными значениями называется классификацией; изучение непрерывной функции называется регрессией.
Индуктивное обучение сводится к поиску совместимой гипотезы, которая согласуется с примерами. При этом должен соблюдаться принцип бритвы Оккама, согласно которому следует всегда выбирать наиболее простую совместимую гипотезу. Сложность решения этой задачи зависит от выбранного способа представления.
Деревья решений позволяют представить любые булевы функции. Эвристика, определяющая приращение информации, может стать основой эффективного метода поиска простого, совместимого дерева решений.
Производительность обучающего алгоритма измеряется кривой обучения, которая показывает прогностическую точность применения алгоритма к проверочному множеству как функцию от размера обучающего множества.
Методы обучения ансамбля деревьев решений, такие как усиление, часто показывают более высокую производительность по сравнению с методами обучения отдельных деревьев решений.
Для анализа выборочной и вычислительной сложности индуктивного обучения применяется теория вычислительного обучения. Эта теория позволяет найти компромисс между выразительностью языка гипотез и легкостью обучения.
Библиографические и исторические заметки
История философских исследований в области индуктивного обучения описана в главе 1. Уильям из Окхема (1280—1349), наиболее влиятельный философ своей эпохи, внесший в средние века наибольший вклад в развитие эпистемологии, логики и метафизики, заслужил признание потомков за то, что выдвинул важный принцип, называемый “бритвой Оккама”, который на латыни выражается словами “Entia non sunt multiplicanda praeter necessitatem”, а в переводе звучит так: “Не следует множить сущности без необходимости”. К сожалению, это замечательное изречение не удалось найти в его трудах точно в такой формулировке.
Одной из первых систем, в которой использовались деревья решений (или, как они в ней именовались, различительные сети (discrimination nets)), была система ЕРАМ (Elementary Perceiver And Memorizer) Фейгенбаума [457]. Система ЕРАМ предназначалась для применения в качестве модели имитации познания в процессе обучения человека новым понятиям. В системе CLS [707] для формирования деревьев решений использовался эвристический прогностический метод. В системе ID3
[1256] была дополнительно реализована крайне важная идея о том, что для обеспечения функционирования эвристической функции может применяться информационное содержание. Сама теория информации была разработана Клодом Шенноном для использования в качестве средства исследования процессов связи [1394]. Важный вклад, сделанный Шенноном, состоит также в том, что он разработал первые образцы систем, действующих по принципу машинного обучения, в частности механическую мышь, получившую имя Theseus (Тезей), которая обучалась прохождению через лабиринт по методу проб и ошибок. Метод %2 отсечения ветвей деревьев был описан Куинланом [1257]. Описание пакета С4.5 производственного назначения, который основан на использовании деревьев решений, можно найти в [1259]. В литературе по статистике существует отдельное направление, посвященное исследованиям в области деревьев решений. Одним из основных источников информации по этой теме является книга Classification and Regression Trees [180], известная под названием книги “CART”.
Предпринимались также попытки применить многие другие алгоритмические подходы к обучению. Подход, основанный на использовании текущей наилучшей гипотезы, предусматривает сопровождение единственной гипотезы, а также ее уточнение, если обнаруживается, что она слишком широка, и обобщение, если она оказывается слишком узкой. Такой принцип проведения исследований уже давно применяется в философии [1049]. Кроме того, даже ранние работы в области когнитивной психологии показали, что в этом состоит естественная форма изучения концепций людьми [199]. В искусственном интеллекте такой подход наиболее тесно связан с работой Патрика Уинстона, в докторской диссертации которого [1602] рассматривается проблема изучения описаний сложных объектов. В методе пространства версий [1061], [1062] принят другой подход, в котором сопровождается множество всех совместимых гипотез и удаляются оказавшиеся несовместимыми с новыми примерами. Такой подход был реализован в экспертной системе Meta-Dendral, применяемой в химии [202], а затем — системе Митчелла Lex [1066], которая обучалась решению задач исчисления. Третье влиятельное направление возникло под влиянием работы Михальского и его коллег над рядом алгоритмов AQ, применявшихся для изучения множеств логических правил [1038], [1041].
Метод обучения ансамбля деревьев решений все чаще применяется для повышения производительности обучающих алгоритмов. Первый эффективный метод такого типа, называемый ^ созданием мультимножеств [179], предусматривает формирование комбинаций гипотез, изученных на основе многочисленных наборов данных начальной загрузки, каждый из которых формируется путем выборки подмножества из первоначального множества данных. Метод усиления, описанный в данной главе, впервые был изложен в теоретической работе Шейпира [1361]. Алгоритм AdaBoost был разработан Фрейндом и Шейпиром [501], а результаты его теоретического анализа приведены в [1360]. В [505] принципы работы метода усиления описаны с точки зрения специалиста по статистике.
Теоретический анализ обучающих алгоритмов начался с работы Голда [569] по проблеме идентификации в пределе. Стимулом к развитию этого подхода отчасти явились модели научного открытия, разработанные в рамках философии науки [1229], но этот подход в основном применялся к задаче изучения грамматик на примерах предложений [1162].
Подход, основанный на изучении “идентификации в пределе”, в основном посвящен достигаемой в конечном итоге сходимости, а исследования М колмогоровской сложности, или алгоритмической сложности, проведенные независимо Соломоновым [1445] и Колмогоровым [828], представляют собой попытку дать формальное определение понятия простоты, используемого в принципе бритвы Оккама. Чтобы исключить проблему, связанную с тем, что простота зависит от способа представления информации, было предложено измерять простоту как длину кратчайшей программы для универсальной машины Тьюринга, которая правильно воспроизводит наблюдаемые данные. Хотя существует много возможных универсальных машин Тьюринга и поэтому много возможных “кратчайших” программ, было обнаружено, что эти программы отличаются по длине не больше чем на некоторую константу, независимую от объема данных. Это — великолепное открытие, которое по сути показывает, что любое искажение в первоначальном представлении данных в конечном итоге должно быть преодолено с помощью самих же данных. Его широкому применению препятствует лишь то, что задача вычисления длины кратчайшей программы является неразрешимой. Однако вместо точного значения длины могут применяться такие приближенные критерии, как М минимальная длина описания, или MDL (Minimum Description Length) [1291], которые позволяют добиться на практике превосходных результатов. Наилучшим источником сведений по проблеме колмогоровской сложности является книга Ли и Витаньи [927].
Теория вычислительного обучения (т.е. теория РАС-обучения) была выдвинута Лесли Валиантом [1528]. В работе Валианта подчеркивается важность вычислительной и выборочной сложности. Совместно с Майклом Кернсом [783] Валиант показал, что задача РАС-обучения некоторых классов концепций является трудноразрешимой, даже если в примерах присутствует достаточный объем информации. Некоторые положительные результаты были получены для таких классов, как списки решений [1293].
В статистике сложилось независимое направление анализа выборочной сложности, начиная с одной важной работы Вапника и Червоненкиса по ^теории равномерной сходимости [1538]. Понятие так называемой М VC-размерности (VC— сокращение от Vapnik-Chervonenkis) позволяет получить критерий, приблизительно аналогичный, но более общий, чем критерий In | н |, полученный на основе анализа РАС-обучения. В частности, критерий VC-размерности может применяться к непрерывным классам функций, на которые не распространяется стандартный анализ РАС-обучения. Теория РАС-обучения и теория VC-размерности были впервые связаны в единое целое группой ученых, называемых “четырьмя немцами” (хотя ни один из них фактически не является немцем), — Блумером, Эренфойхтом, Хауссле- ром и Вармутом [141]. Дальнейшие исследования в области теории VC-размерности привели к открытию понятия машины поддерживающих векторов, или SVM (Support Vector Machine) [156], [1537], которая будет описана в главе 20.
Большое количество важных статей по машинному обучению было собрано в книге Readings in Machine Learning [ 1399]. Кроме того, много важных статей, а также огромные библиографические справочники содержатся в двух томах, Machine Learning 7 [1039] и Machine Learning 2 [1040]. В [1565] дано широкое введение в область методов изучения функций, применяемых в машинном обучении, статистике и нейронных сетях. Исследования, намного превосходящие по своей широте все прочие работы в области сравнения производительности обучающих алгоритмов,
были проведены в рамках проекта Statlog [1047]. Результаты продуктивных современных исследований по машинному обучению публикуются в ежегодном сборнике трудов конференций International Conference on Machine Learning и Conference on Neural Information Processing Systems, в журналах Machine Learning и Journal of Machine Learning Research, а также в основных журналах по искусственному интеллекту. Кроме того, труды в области теории вычислительного обучения публикуются в материалах ежегодного семинара ACM Workshop on Computational Learning Theory (COLT), а само это направление представлено в книгах [34] и [786].
Упражнения
Рассмотрим проблему, стоящую перед младенцем, который учится говорить и понимать язык. Объясните, как этот процесс вписывается в общую модель обучения, указывая по мере необходимости каждый из компонентов этой модели.
Повторите упр. 18.1 для случая обучения игре в теннис (или обучения какому- то другому виду спорта, с которым вы знакомы). Относится ли оно по своему типу к контролируемому обучению или обучению с подкреплением?
Составьте дерево решений для задачи принятия решения о том, следует ли двигаться вперед на уличном перекрестке в той ситуации, когда на светофоре только что загорелся зеленый свет.
Мы никогда не проверяем дважды один и тот же атрибут вдоль одного пути в дереве решений. Почему этого не делается?
Предположим, что на основе дерева решений сформировано обучающее множество, а затем к этому обучающему множеству применен алгоритм обучения дерева решений. Можно ли рассчитывать на то, что этот обучающий алгоритм в конечном итоге возвратит правильное дерево, по мере того как размер обучающего множества будет стремиться к бесконечности? Почему да или почему нет?
Хороший обучающий алгоритм со “спарринг-партнером” состоит в следующем. Вначале создать таблицу из всех обучающих примеров и выяснить, какие выходные результаты встречаются наиболее часто среди всех обучающих примеров; назовем их d. Затем, после получения входных данных, которые отсутствуют в таблице, возвращать просто данные из множества d, а для входных данных, которые имеются в таблице, возвращать связанные с ними выходные данные (если же количество выходных данных больше единицы, возвращать наиболее часто встречающиеся выходные данные). Реализуйте этот алгоритм и определите, насколько хорошо он действует в проблемной области задачи с рестораном. Это позволит вам получить представление о точке отсчета для этой проблемной области — о минимальной производительности, которую должен быть способным достичь любой алгоритм.
Предположим, что вы проводите эксперименты по обучению с помощью нового алгоритма. У вас имеется набор данных, состоящий из 25 примеров каждого из двух классов. Вы планируете использовать перекрестную проверку с исключением одного примера и для определения точки отсчета выполняете прогон вашей экспериментальной системы на простом мажоритарном клас-
сификаторе. (Мажоритарный классификатор получает на входе множество обучающих данных, а затем всегда выводит тот класс, который имеет преимущественное распространение в обучающем множестве, независимо от входных данных.) Вы предполагаете, что мажоритарный классификатор в среднем должен позволить получить оценку около 50% при перекрестной проверке с исключением одного примера, но, к вашему удивлению, он выдает оценку нуль. Можете ли вы объяснить причины, по которым получен такой результат?
При рекурсивном формировании деревьев решений иногда происходит так, что в листовом узле остается смешанное множество положительных и отрицательных примеров, даже несмотря на то, что были использованы все атрибуты. Предположим, что количество положительных примеров равно р, а количество отрицательных примеров — п.
Покажите, что решение, используемое в алгоритме Decision-TreeLearning, в котором выбирается мажоритарная классификация, минимизирует абсолютную ошибку на множестве примеров в листовом узле.
Покажите, что ^вероятность класса р/(р+п) минимизирует сумму квадратичных ошибок.
Предположим, что в обучающем алгоритме предпринимается попытка найти совместимую гипотезу, притом что фактически классификации примеров являются случайными. Имеется п булевых атрибутов, а примеры извлекаются с помощью равномерного распределения из множества 2П возможных примеров. Рассчитайте количество примеров, которые требуется получить, прежде чем вероятность обнаружения противоречия в данных достигнет 0,5.
Предположим, что некоторый атрибут разбивает множество примеров Е на подмножества ^ и что каждое подмножество включает р£ положительных примеров и п1 отрицательных примеров. Покажите, что этот атрибут строго обеспечивает положительное приращение информации, если отношение Pi/ (Pi+^J не является одинаковым для всех i.
Модифицируйте алгоритм Decision-Tree-Learning, для того чтобы в нем применялось %2-отсечение. Для ознакомления с подробными сведениями по этой теме вам может потребоваться обратиться к [1257].
^ В стандартном алгоритме Decision-Tree-Learning, описанном в данной главе, не учитываются такие случаи, в которых отдельные примеры имеют отсутствующие значения атрибутов.
Прежде всего необходимо найти способ классификации таких примеров, если дано дерево решений, включающее проверки по атрибутам, для которых могут отсутствовать значения. Предположим, что в некотором примере X отсутствует значение для атрибута А и что в дереве решений выполняется проверка атрибута А в узле, достигнутом примером X. Один из способов справиться с такой ситуацией состоит в том, чтобы предположить, что в этом примере заданы все возможные значения для данного атрибута, но взвесить каждое значение с учетом его частоты среди всех примеров, достигших этого узла в дереве решений. Алгоритм классификации должен проследовать по всем ветвям в каждом узле, для которого
отсутствует некоторое значение, и умножить полученные значения на веса вдоль каждого пути. Напишите модифицированный алгоритм классификации для деревьев решений, который действует по такому принципу.
Теперь необходимо внести изменения в расчеты приращения информации таким образом, чтобы в любой конкретной коллекции примеров С в любом конкретном узле дерева в процессе его формирования в качестве значений любого из оставшихся атрибутов присваивались “предполагаемые” величины, соответствующие частотам этих значений в множестве С.
В данной главе было отмечено, что при использовании атрибутов со многими различными возможными значениями могут возникать проблемы, связанные с применением критерия приращения информации. Такие атрибуты, как правило, разбивают примеры на многочисленные небольшие классы или даже одноэлементные классы, из-за чего они начинают казаться в высшей степени релевантными в соответствии с критерием приращения информации. Критерий коэффициента приращения позволяет выбирать атрибуты с учетом отношения между соответствующим им приростом и свойственным им информационным содержанием, т.е. количеством информации, содержащемся в ответе на вопрос: “Каково значение этого атрибута?” Поэтому при использовании критерия коэффициента приращения предпринимается попытка измерить, насколько полно этот атрибут предоставляет информацию о правильной классификации некоторого примера. Запишите математическое выражение для информационного содержания атрибута и реализуйте критерий коэффициента приращения в алгоритме Decision-Tree-Learning.
Рассмотрите алгоритм обучения ансамбля деревьев решений, в котором используется простое мажоритарное голосование среди м изучаемых гипотез. Предположим, что каждая гипотеза имеет ошибку е и что ошибки, допущенные в каждой гипотезе, не зависят от ошибок в других гипотезах. Составьте формулу для ошибки в алгоритме обучения ансамбля в терминах Ми е и проведите по ней вычисления для тех случаев, когда №5, 10 и 2 0, а е=0.1, 0.2 и 0.4. Возможно ли, что ошибка алгоритма обучения ансамбля будет хуже, чем е, если предположение о независимости будет исключено?
Это упражнение касается вопроса о выразительности списков решений (раздел 18.5).
Покажите, что списки решений позволяют представить любую булеву функцию, если размер проверок не ограничен.
Покажите, что если проверки могут включать самое большее к литералов каждая, то списки решений позволяют представить любую функцию, которая может быть представлена с помощью дерева решений с глубиной к.
19 Применение
ЗНАНИЙ В ОБУЧЕНИИ
В этой главе рассматривается задача обучения в тех условиях, когда уже кое-что известно.
Во всех подходах к обучению, описанных в предыдущих трех главах, основная идея состоит в том, что должна быть сформирована функция, входные и выходные данные которой соответствуют закономерностям, наблюдаемым в данных. В каждом подобном случае методы обучения можно рассматривать как поиск в пространстве гипотез для обнаружения подходящей функции, начиная только с очень простых предположений о форме этой функции, таких как “полином второго порядка” или “дерево решений”, и руководствуясь такими критериями, как “чем проще, тем лучше”. Применение такого подхода равносильно требованию, что перед началом изучения чего-либо нового необходимо в первую очередь забыть (почти) все, что вы знаете. А в данной главе рассматриваются методы обучения, позволяющие воспользоваться ^ априорными знаниями о мире. В большинстве случаев априорные знания представлены в виде общих логических теорий первого порядка, поэтому вначале в этой главе необходимо систематизировать сведения о представлении знаний и обучении.
Логическая формулировка задачи обучения
В глава 18 было дано определение чисто индуктивного обучения как процесса поиска гипотезы, которая согласуется с наблюдаемыми примерами. В данной главе это определение уточняется и распространяется на тот случай, когда гипотеза представлена в виде множества логических высказываний. Описания примеров и определения классов также заданы в виде логических высказываний, а классификация нового примера может быть выполнена путем логического вывода классификационного высказывания из гипотезы и описания примера. Такой подход обеспечивает инкрементное формирование гипотез путем последовательного добавления каждый раз по одному предложению. Он также дает возможность использовать априорные знания, поскольку уже известные высказывания могут помочь при классификации новых примеров. На первый взгляд может показаться, что логическая формулировка
задачи обучения требует выполнения вначале большого объема дополнительной работы, но, как оказалось, она позволяет прояснить многие нерешенные проблемы обучения. Указанный подход дает возможность намного превзойти простые методы обучения, описанные в главе 18, поставив на службу обучению всю мощь логического вывода.
Примеры и гипотезы
Вернемся к описанной в главе 18 задаче обучения с рестораном, в которой нужно было изучить правило принятия решения о том, при каких условиях следует ждать освобождения столика. В этой главе для описания примеров применялись атрибуты, такие как Alternate, Bar, Fri/ Sat и т.д. В логической формулировке задачи любой пример представляет собой объект, для описания которого используется логическое высказывание, а атрибуты становятся унарными предикатами. Примем общее обозначение Xi для i-ro примера. В частности, первый пример, приведенный в табл. 18.1, может быть описан с помощью таких высказываний:
AlternatekXi) л -iBar(Xi) л -Fri / Sa t (Xi) л Hungry (Xi) л ...
Обозначение D^XO будет использоваться для ссылки на описание xi$ где D^ может представлять собой любое логическое выражение, принимающее один параметр. Классификация объекта определяется примерно таким высказыванием:
WillWai t (Xi)
Общее обозначение 0(Х£) будет применяться, если пример является положительным, a -iQ(Xi) — если отрицательным. В таком случае полное обучающее множество представляет собой конъюнкцию всех описательных и классификационных высказываний.
Целью индуктивного обучения в логической постановке задачи является поиск эквивалентного логического выражения для целевого предиката Q, который может использоваться для правильной классификации примеров. Подобное выражение, которое мы будем называть ^ потенциальным определением целевого предиката, предлагается в каждой гипотезе. Используя Ci для обозначения потенциального определения, можно утверждать, что каждая гипотеза Hi представляет собой высказывание в форме Vx Q(x) ^С^ (х). В частности, дерево решений представляет собой утверждение, что целевой предикат принимает истинное значение по отношению к какому-то объекту тогда и только тогда, когда выполняются условия в одной из ветвей, ведущих к листовому узлу со значением true. Таким образом, на рис. 18.4 в графической форме выражено следующее логическое определение (которому мы присвоим обозначение нг для использования его в будущем):
Vr WillWait (г) <=> Patrons кг, Some)
v Patrons кг, Ful 1) a Hungry к г) л Туре к г,French)
v Patrons кг,Ful1) л Hungry к г) л Туре к г, Thai) л Fri/Sat кг)
v Patrons кг,Ful1) л Hungrykr) л Туре к г, Burger) (19.1)
Каждая гипотеза предсказывает, что некоторое множество примеров (а именно множество тех примеров, которые соответствуют ее потенциальному определению) будет представлять собой примеры целевого предиката. Такое множество называется
М расширением предиката. Это означает, что две гипотезы с разными расширениями являются логически несовместимыми друг с другом, поскольку они не согласуются в своих предсказаниях по меньшей мере в одном примере. А если две гипотезы имеют одно и то же расширение, они логически эквивалентны.
Пространство гипотез н алгоритма обучения представляет собой множество всех гипотез ^нг,..., нп}, для поддержки которых предназначен данный конкретный обучающий алгоритм. Например, алгоритм Decision-Tree-Learning способен поддерживать любую гипотезу в дереве решений, определенную в терминах заранее предусмотренных атрибутов, поэтому пространство гипотез этого алгоритма состоит из всех таких деревьев решений. Предполагается, что алгоритм обучения позволяет с полной уверенностью утверждать, что одна из гипотез является правильной; это означает, что данный алгоритм выражает определенную степень уверенности в истинности следующего высказывания:
Hi v Н2 v Н3 v ... v Нп(19.2)
По мере поступления новых примеров появляется возможность исключать гипотезы, не совместимые с этими примерами. Рассмотрим более внимательно затронутое здесь понятие совместимости. Очевидно, что если гипотеза Hi совместима со всем обучающим множеством, то она должна быть совместимой с каждым примером. А что повлекла бы за собой его несовместимость с одним из примером? Такая ситуация может проявиться в одном из двух описанных ниже вариантов.
Некоторый пример может оказаться ^ ложно отрицательным для данной гипотезы, если гипотеза утверждает, что он должен быть отрицательным, но фактически этот пример положителен. В частности, новый пример х13, описанный выражением
Patrons (Х1з, Ful 1) л Wai t (Х13,0-10 ) л —^Hungry(Х13) л ... л WillWai t(Xi3)
был бы ложно отрицателен для гипотезы НГ) приведенной выше. Из гипотезы Нг и описания этого можем вывести и выражение WillWai t (х13), которое как раз является утверждением данного примера, и выражение -л WillWait (Х13), которое представляет собой предсказание самой гипотезы. Поэтому в данном случае гипотеза и пример логически несовместимы.
Пример может быть М ложно положительным для данной гипотезы, если в гипотезе утверждается, что он должен быть положительным, но фактически он является отрицательным.
Если некоторый пример является ложно положительным или ложно отрицательным применительно к некоторой гипотезе, то данный пример и данная гипотеза являются логически несовместимыми друг с другом. При условии, что рассматриваемый пример представляет собой правильное наблюдение факта, такая ситуация позволяет исключить данную гипотезу. С точки зрения логики соответствующая операция исключения гипотезы полностью аналогична операции применения пра-
вила резолюции в логическом выводе (см. главу 9); в этой аналогии дизъюнкция гипотез соответствует выражению, а пример соответствует литералу, который взаимно уничтожается с одним из литералов выражения. Поэтому в принципе может быть обеспечено обучение на примерах обычной системы логического вывода путем удаления одной или нескольких гипотез. В частности, предположим, что пример оформлен в виде высказывания 1Т) а пространство гипотез представляет собой высказывание В таком случае, если высказывание Ji несовместимо с выражениями н2 и н3, то система логического вывода может сформировать новое высказывание HTvH4) соответствующее уточненному пространству гипотез.
Таким образом индуктивное обучение в логической постановке задачи можно охарактеризовать как процесс постепенного устранения гипотез, несовместимых с примерами, и сужения пространства возможных гипотез. Но поскольку пространство гипотез обычно является колоссальным (или даже бесконечным, в случае логики первого порядка), не рекомендуется даже пытаться создать систему обучения с использованием доказательства теорем на основе резолюции и полного перебора пространства гипотез. Вместо этого в этой главе будут описаны два подхода, которые позволяют находить логически совместимые гипотезы с гораздо меньшими усилиями.
Поиск текущей наилучшей гипотезы
В основе метода поиска ^ текущей наилучшей гипотезы лежит подход, предусматривающий сопровождение единственной гипотезы и ее корректировку по мере поступления новых примеров в целях поддержки совместимости. Основной алгоритм этого метода был впервые описан Джоном Стюартом Миллом [1049], но вполне мог быть изобретен еще раньше.
Предположим, что в нашем распоряжении имеется определенная гипотеза, скажем нг, которая нас полностью устраивает. До тех пор пока каждый новый пример остается с ней совместимым, не нужно ничего делать. Наконец, вслед за ними поступает ложно отрицательный пример, х13. Что теперь следует делать? На рис. 19.1, а гипотеза нг показана схематически в виде области; все, что находится внутри прямоугольника, входит в состав расширения нг. Примеры, которые фактически встретились до сих пор, показаны как “+” или “-”, и рисунок наглядно демонстрирует, что гипотеза нг правильно классифицирует все примеры как положительные или отрицательные примеры предиката WillWait. Показанный на рис. 19.1, б новый пример (обозначенный кружком) является ложно отрицательным — в гипотезе утверждается, что он должен быть отрицательным, но фактически этот пример положителен. Расширение гипотезы должно быть увеличено с целью его включения. Такая операция называется М обобщением; одно из возможных обобщений показано на рис. 19.1, в. После этого на рис. 19.1, г показан ложно положительный пример — в гипотезе утверждается, что новый пример (обозначенный кружком) должен быть положительным, но фактически этот пример отрицателен. Расширение гипотезы должно быть уменьшено в целях исключения данного примера. Такая операция называется ^ уточнением; на рис. 19.1, д показано одно из возможных уточнений данной гипотезы. Отношения “более общий чем” и “более конкретный чем” между гипотезами позволяют создать пространство гипотез с такой логической структурой, которая дает возможность осуществлять эффективный поиск.
Рис. 19.1. Операции уточнения и обобщения: совместимая гипотеза (а); ложно отрицательный пример (б); гипотеза обобщена (в); ложно положительный пример (г); гипотеза уточнена (д)
Теперь можно определить алгоритм Current-Best-Learning, приведенный в листинге 19.1. Обратите внимание на то, что каждый раз при рассмотрении возможности обобщения или уточнения гипотезы необходимо проверять согласованность этих операций с другими примерами, поскольку произвольное увеличение/уменьшение расширения может привести к включению/исключению рассматривавшихся ранее от- рицательных/положительных примеров.
Листинг 19Л. Алгоритм обучения по методу поиска текущей наилучшей гипотезы. Он осуществляет поиск совместимой гипотезы и выполняет возврат, если не удается найти какое-либо совместимое уточнение/обобщение
function Current-Best-Learning(examples) returns гипотеза
H <— любая гипотеза, совместимая с первым примером в множестве примеров examples
for each из оставшихся примеров в множестве examples do if пример е является ложно положительным
применительно к Н then
Н <— выбрать уточнение Н, совместимоес примерами exampleselse if пример е является ложно положительнымприменительно к Н then
Н <— выбрать обобщение И, совместимое с примерами examples if не удается найти какое-либо совместимое уточнение/обобщение then неудачное завершение поиска return Н
Выше в данном разделе обобщение и уточнение были определены как операции, модифицирующие расширение гипотезы. Теперь необходимо точно определить, как эти операции могут быть реализованы в виде синтаксических операций, которые вносят изменения в потенциальное определение, связанное с гипотезой, чтобы эти операции можно было выполнять с помощью какой-то программы. Прежде чем приступить к решению этой задачи, необходимо отметить, что обобщение и уточнение также представляют собой логические связи между гипотезами. Если гипотеза щ с определением Ci является обобщением гипотезы н2 с определением с2, то должно иметь место следующее выражение:
Vx С2 (х) => Ci (х)
Поэтому, чтобы сформировать обобщение гипотезы н2, необходимо просто найти определение Q, которое логически следует из С2. Такая задача решается довольно легко. Например, если С2 (х) представляет собой высказывание Al ternate (х) лРаtrons (х, Some), то одно из возможных обобщений задается в виде Ст (х) =Раtrons [х, Some). Такая форма операции обобщения называется ^удалением условий. Интуитивно ясно, что в результате такой операции формируется более слабое определение и поэтому гипотеза допускает использование более крупного множества положительных примеров. Может быть также предусмотрен целый ряд других операций обобщения, в зависимости от языка, в котором выражаются эти операции. Аналогичным образом, уточнение гипотезы может осуществляться путем введения дополнительных условий в ее потенциальное определение или путем удаления дизъюнктов из какого-то дизъюнктивного определения. Рассмотрим, как могут быть выполнены подобные операции в задаче с рестораном, используя данные, приведенные в табл. 18.1.
Первый пример, Х15 является положительным. Выражение Al ternate (XJ имеет истинное значение, поэтому допустим, что начальная гипотеза имеет такой вид:
Hi: Vx WillWai t (x) <=> Al ternate (x)
Второй пример, x2, отрицателен. Гипотеза нг предсказывает, что он должен быть положительным, поэтому данный пример — ложно положителен. Это означает, что необходимо уточнить гипотезу нг. Это можно сделать, введя дополнительное условие, позволяющее исключить пример х2. Один из возможных вариантов состоит в следующем:
Н2: Vx WillWai t (х) <=> Al terna te (x) a Patrons {x, Some)
Третий пример, x3, является положительным. Гипотеза н2 предсказывает, что он должен быть отрицательным, поэтому данный пример — ложно отрицательный. Это означает, что необходимо обобщить гипотезу н2. Удалим условие Al ternate и получим следующее:
Нз: Vx Wi llWai t (x) <=> Patrons kx, Some)
Четвертый пример, x4, также положителен. Гипотеза н3 предсказывает, что он должен быть отрицательным, поэтому данный пример — ложно отрицательный. Это означает, что необходимо обобщить гипотезу н3. Условие Patrons удалить нельзя, поскольку такая операция приведет к созданию всеохватывающей гипотезы, которая будет несовместимой с примером х2. Одна из возможностей состоит в добавлении дизъюнкта:
Щ : Vx WillWai t (х) <=> Ра trons кх, Some) v (Раtronsкх, Full) a Fri/Satkx))
Итак, гипотеза уже начинает выглядеть как приемлемая. Очевидно, что есть и другие варианты, совместимые с первыми четырьмя примерами; ниже приведены два из них.
Н41 : Vx WillWai t (х) <=> —iWai tEstima te kx, 3 0-60)
H4 ' ' : Vx WillWai t (x) <=» Pa trons kx, Some)
v(Patronskx,Full) a WaitEstimatekx,10-30))
Алгоритм Current-Best-Learning описан здесь в недетерминированной форме, поскольку в любой момент может существовать возможность применить несколько вариантов уточнения или обобщения. Выбранный вариант не всегда обеспечивает получение простейшей гипотезы и может привести также к безвыходной ситуации, в которой ни одна простая модификация гипотезы не будет совместимой со всеми данными. В подобных случаях программа должна выполнить возврат к предыдущей точке выбора.
Алгоритм Current-Best-Learning и его варианты использовались во многих системах машинного обучения, начиная с программы “обучения распознаванию арок” Патрика Уинстона [1602]. Однако при большом количестве экземпляров примеров и большом пространстве гипотез возникают некоторые описанные ниже трудности.
В алгоритме снова и снова проводится проверка всех предыдущих экземпляров при каждой модификации, а это требует больших затрат.
Процесс поиска может быть связан с очень интенсивным перебором с возвратами. Как было показано в главе 18, размеры пространства гипотез могут определяться двойной экспоненциальной зависимостью.
Поиск на основе оценки наименьшего вклада
Перебор с возвратами возникает из-за того, что в подходе, предусматривающем поиск текущей наилучшей гипотезы, приходится выбирать конкретную гипотезу как наилучшее текущее предположение, даже несмотря на то, что еще отсутствует достаточный объем данных, позволяющий убедиться в правильности этого выбора. Вместо этого можно было бы просто “держать под рукой” те и только те гипотезы, которые являются совместимыми со всеми поступившими до сих пор данными. В таком случае каждый новый экземпляр данных либо не оказывает никакого влияния на состав гипотез, либо позволяет избавиться от некоторых гипотез. Напомним, что первоначальное пространство гипотез может рассматриваться как следующее дизъюнктивное высказывание:
Hi v Н2 v Нз v ... v Нп
По мере обнаружения того, что различные гипотезы являются несовместимыми с примерами, эта дизъюнкция сужается и остаются только те гипотезы, которые еще не исключены. Это означает, что при условии, что первоначальное пространство гипотез действительно содержит правильный ответ, этот правильный ответ должен также содержаться в сокращенной дизъюнкции, поскольку были удалены только неправильные гипотезы. Множество оставшихся гипотез называется ^ пространством версий, а соответствующий алгоритм обучения (приведенный в листинге 19.2) называется алгоритмом обучения в пространстве версий (а также алгоритмом удаления потенциальных гипотез).
Листинг 19.2. Алгоритм обучения в пространстве версий. Он находит подмножество гипотез V, совместимое с примерами examples
function Version-Space-Learning (examples') returns пространство версий local variables: V, пространство версий - множество всех гипотез
V <— множество всех гипотез
for each из примеров е в множестве примеров examples do if множество V не пусто then V <— Version-Space-Update(V, е)
return V
function Version-Space-Update(V, e) returns обновленное пространство версий
V <— {h G V: гипотеза h совместима с e}
Одним важным свойством этого алгоритма является то, что он инкрементный, — при его использовании никогда не приходится возвращаться и повторно исследовать старые примеры, поскольку в любом случае гарантируется, что оставшиеся гипотезы остаются совместимыми с ними. Этот алгоритм также представляет собой алгоритм поиска с наименьшим вкладом, поскольку в нем не используются произвольные варианты выбора (сравните его с алгоритмом планирования с частичным упорядочением, который приведен в главе 11). Но при использовании этого алгоритма возникает одна очевидная проблема. Как уже было сказано, пространство гипотез часто имеет огромные размеры; как же в таком случае можно записать соответствующую ему огромную дизъюнкцию?
Для анализа этой ситуации можно применить следующую очень полезную простую аналогию. Как представить все действительные числа в интервале между 1 и 2? В конце концов, ведь количество этих чисел бесконечно велико! Ответ на этот вопрос состоит в том, что должно использоваться интервальное представление, в котором задаются границы этого множества, [1,2]. Это представление применимо в связи с тем, что во множестве действительных чисел задано упорядочение.
В пространстве версий также существует отношение упорядочения, а именно отношение обобщения/уточнения. Но это — отношение частичного упорядочения, поэтому каждая граница пространства представляет собой не точку, а скорее множество гипотез, называемое М граничным множеством. Превосходной особенностью подхода, основанного на понятии граничного множества, является то, что он позволяет представить все пространство версий с использованием только двух граничных множеств — наиболее общего граничного множества (^ G-множества, где G — сокращение от general) и наиболее конкретного граничного множества (^ S-множества, где S — сокращение от specific). При этом гарантируется совместимость с примерами всех версий, которые находятся в пределах между этими двумя множествами. Прежде чем перейти к доказательству этого утверждения, подытожим сказанное выше в настоящей главе.
Текущее пространство версий представляет собой множество гипотез, совместимых со всеми примерами, встретившимися до сих пор. Это пространство представлено с помощью S- и G-множества, каждое из которых представляет собой множество гипотез.
Каждый элемент S-множества является совместимым со всеми полученными до сих пор результатами наблюдений, и нет ни одной совместимой гипотезы, которая была бы более конкретной, чем этот элемент.
Каждый элемент G-множества является совместимым со всеми полученными до сих пор результатами наблюдений, и нет ни одной совместимой гипотезы, которая была бы более общей, чем этот элемент.
Необходимо, чтобы первоначальное пространство версий (существовавшее до того, как встретились какие-либо примеры) содержало все возможные гипотезы. Для этого достаточно задать G-множество таким образом, чтобы оно содержало гипотезу True (гипотезу, которая включает все возможные случаи), а S-множество — так, чтобы оно содержало гипотезу False (гипотезу, расширение которой пусто).
На рис. 19.2 показана общая структура представления пространства версий с помощью граничных множеств. Для того чтобы показать, что это представление является достаточным, необходимо определить два описанных ниже свойства.
Рис. 19.2. Схематическая иллюстрация того, что пространство версий содержит все гипотезы, совместимые с примерами
Каждая совместимая гипотеза (отличная от гипотез граничных множеств) является более конкретной, чем некоторый элемент G-множества, и более общей, чем некоторый элемент S-множества (это означает, что за рамками пространства версий не остается ни одной “забытой гипотезы”). Такое свойство следует непосредственно из определений S- и G-множеств. Если бы существовала какая-то не охваченная гипотеза h, то она была бы не более конкретной, чем любой элемент G-множества, поскольку в таком случае она принадлежала бы к G-множеству, и не более общей, любой элемент S-множества, поскольку в таком случае она принадлежала бы к S-множеству.
Любая гипотеза, более конкретная, чем некоторый элемент G-множества, и более общая, чем некоторый элемент S-множества, является совместимой гипотезой. (Это означает, что между границами нет “пустот”, в которых находились бы гипотезы, не охваченные отношениями обобщения/уточнения.) Любая гипотеза h, лежащая между S- и G-множествами, должна отвергать все отрицательные примеры, отвергнутые каждым элементом G-множества (поскольку она является более конкретной), и должна принимать все поло-
жительные примеры, принятые любым элементом S-множества (поскольку она является более общей). Таким образом, гипотеза h должна согласовываться со всеми примерами и поэтому не может быть несовместимой. Соответствующая ситуация показана на рис. 19.3 — не существует каких-либо известных примеров вне S-множества, но внутри G-множества, поэтому любая гипотеза в промежутке между ними должна быть совместимой.
+++
r+lsuitd-
Рис. 19.3. Расширения G- и S-множества, показанные в виде отдельных элементов. Между двумя множествами границ не находится ни один известный пример
Таким образом, было показано, что если будет обеспечено правильное сопровождение S- и G-множества в соответствии с их определениями, то эти множества обеспечат удовлетворительное представление пространства версий. Остается единственная проблема— как обновлять S- и G-множество с учетом нового примера (выполнение этой операции возложено на функцию Version-Space-Update). На первый взгляд эта задача может показаться довольно затруднительной, но на основе определений множеств и с помощью рис. 19.2 не слишком сложно составить необходимый для этого алгоритм.
Необходимо прежде всего обеспечить использование элементов Si и Gy из S- и G- множества соответственно. Применительно к каждому из таких элементов каждый новый экземпляр примера может быть ложно положительным или ложно отрицательным. Возникающие при этом варианты описаны ниже.
Ложно положительный пример для Si. Появление такого примера означает, что гипотеза Si является слишком общей, но (по определению) совместимое уточнение для гипотезы Si отсутствует, поэтому ее необходимо исключить из S-множества.
Ложно отрицательный пример для Sy. Появление такого примера означает, что гипотеза Si является слишком конкретной, поэтому она заменяется всеми своими непосредственными обобщениями, при соблюдении условия, что они остаются более конкретными, чем любой элемент G-множества.
Ложно положительный пример для Gy. Появление такого примера означает, что гипотеза Gy является слишком общей, поэтому она заменяется всеми
своими непосредственными уточнениями, при соблюдении условия, что они остаются более общими, чем любой элемент S-множества.
Ложно отрицательный пример для G^. Появление такого примера означает, что гипотеза Gi является слишком конкретной, но (по определению) совместимое обобщение для гипотезы G^ отсутствует, поэтому ее необходимо исключить из G-множества.
Указанные выше операции продолжаются применительно к каждому новому экземпляру примера до тех пора, пока не произойдет одно из перечисленных ниже событий.
В пространстве версий останется одно и только одно определение некоторой концепции, и в этом случае оно будет возвращено как уникальная гипотеза.
Пространство версий свернется (либо S-, либо G-множество станет пустым), и это будет означать, что для данного обучающего множества не существуют совместимые гипотезы. Такая ситуация аналогична неудачному завершению поиска, которое возникает в простом варианте алгоритма формирования дерева решений.
Примеры закончатся, а в пространстве версий останется несколько гипотез. Это означает, что пространство версий представляет собой дизъюнкцию гипотез. Если при поступлении любого нового примера все дизъюнкты этой дизъюнкции согласуются, то можно возвратить определяемую ими классификацию данного примера. Если же они не согласуются, один из вариантов состоит в использовании мажоритарного голосования.
Рекомендуем читателю в качестве упражнения попытаться применить алгоритм Version-Space-Learning к данным о ресторане.
Описанный здесь подход к использованию пространства версий характеризуется описанными ниже принципиальными недостатками.
Если проблемная область характеризуются наличием шума или недостаточного количества атрибутов для точной классификации, то пространство версий всегда свертывается.
Если в пространстве гипотез допускается наличие неограниченного количества дизъюнкций, то S-множество всегда будет содержать единственную наиболее конкретную гипотезу, а именно дизъюнкцию описаний положительных примеров, встретившихся до сих пор. Аналогичным образом, G-множество будет содержать просто отрицание дизъюнкции описаний отрицательных примеров.
Для некоторых пространств гипотез количество элементов в S- или в G-множестве может увеличиваться в экспоненциальной зависимости от количества атрибутов, что не позволяет решить задачу обучения, даже несмотря на то, что для этих пространств гипотез существуют эффективные алгоритмы обучения.
Полностью эффективное решение проблемы шума не найдено до сих пор. Проблемы дизъюнкции можно решить, допуская использование ограниченных форм дизъюнкции или включая М иерархию обобщения более общих предикатов. Например, вместо применения дизъюнкции WaitEstimate^x, 30-60) v WaitEstimate^x, >60) можно
ввести в действие единственный литерал LongWai t (х). Для реализации такого подхода можно легко дополнить множество операций обобщения и уточнения.
Рассматриваемый в этом разделе чистый алгоритм сопровождения пространства версий был впервые применен в системе Meta-Dendral, которая была предназначена для изучения правил предсказания того, как молекулы разделяются на фрагменты в массовом спектрометре [202]. Система Meta-Dendral показала свою способность вырабатывать правила, которые оказались достаточно новаторскими, чтобы гарантировать их публикацию в журнале аналитической химии; это были первые реальные научные знания, полученные с помощью компьютерной программы. Такой алгоритм использовался также в изящной системе Lex [1066], которая проявила способность к обучению методам решения задач символического интегрирования, анализируя свои собственные удачи и неудачи. Хотя методы сопровождения пространства версий, по-видимому, не могут найти практического применения в большинстве реальных задач обучения, в основном из-за проблемы шума, они позволяют многое понять в отношении того, какова логическая структура пространства гипотез.
Применение знаний в обучении
В предыдущем разделе описывалась простейшая постановка задачи индуктивного обучения. А в этом разделе речь пойдет о логических связях между гипотезами, описаниями примеров и классификациями, что позволяет понять роль априорных знаний. Допустим, что Descriptions обозначает конъюнкцию всех описаний примеров в обучающем множестве, a Classifications — конъюнкцию всех классификаций примеров. В таком случае гипотеза, которая позволяет “объяснить результаты наблюдений”, должна удовлетворять следующему свойству (напомним, что к означает “влечет за собой логически”):
Hypothesis л Descriptions k Classifications (19.3)
Мы будем называть связь такого рода ^ограничением логического следствия, в котором Hypothesis представляет собой “неизвестное”. Чисто индуктивное обучение сводится к разрешению этого ограничения, притом что гипотеза Hypothesis извлекается из некоторого заранее определенного пространства гипотез. Например, если дерево решений рассматривается как логическая формула (см. уравнение 19.1), то дерево решений, совместимое со всеми примерами, будет удовлетворять уравнению 19.3. Если же на логическую форму гипотезы не налагаются никакие ограничения, то, разумеется, условие Hypothesis=Classifications также удовлетворяет этому ограничению. Согласно принципу бритвы Оккама, следует отдавать предпочтение небольшим, совместимым гипотезам, поэтому мы должны попытаться найти лучшее решение, чем просто запоминание примеров.
Такой простой подход к индуктивному обучению, в котором не предусматривалось использование знаний, господствовал в искусственном интеллекте до начала 1980-х годов. А современный подход состоит в том, что должны проектироваться агенты, которые ^ уже кое-что знают и пытаются освоить в процессе обучения некоторую дополнительную информацию. На первый взгляд открытие, приведшее к такой смене подходов, не кажется чрезвычайно глубоким, но оно стало причиной
весьма существенного изменения способа проектирования агентов. Кроме того, это открытие может иметь определенное отношение к рассматриваемым в данной книге теориям о том, как развивается сама наука. Общая идея этого открытия показана на рис. 19.4.
НаблюденияНаблюденияПредсказанияПредсказанияРис. 19.4. Схема, которая показывает, как в процессе обучения с накоплением знаний используется и со временем обогащается запас фоновых знанийРис. 19.4. Схема, которая показывает, как в процессе обучения с накоплением знаний используется и со временем обогащается запас фоновых знаний
Наблюдения
Наблюдения
Предсказания
Предсказания
Рис. 19.4. Схема, которая показывает, как в процессе обучения с накоплением знаний используется и со временем обогащается запас фоновых знаний
Рис. 19.4. Схема, которая показывает, как в процессе обучения с накоплением знаний используется и со временем обогащается запас фоновых знаний
Если должен быть создан автономный обучающийся агент, который использует фоновые знания, то в этом агенте необходимо предусмотреть некоторый метод получения в первую очередь фоновых знаний, для того, чтобы их можно было использовать в новых эпизодах обучения. Применяемый при этом метод сам должен представлять собой процесс обучения. Поэтому история существования агента должна быть таковой, чтобы ее можно было охарактеризовать как поступательное, или инкрементное, развитие. Разумеется, что агент может начать свое существование без какого-либо запаса знаний, осуществляя индуктивные выводы в условиях отсутствия знаний, как и добрая старая программа чисто индуктивного вывода. Но как только агент съест плод с Древа познания, он не будет больше обязан заниматься подобными примитивными рассуждениями, а должен использовать свои фоновые знания для все более эффективного обучения. Таким образом, вопрос заключается в том, как фактически следует использовать знания в обучении.
Некоторые простые примеры
Рассмотрим некоторые общеизвестные примеры обучения на основе фоновых знаний. При этом необходимо учитывать, что во многих формах поведения, требующих логического вывода релевантных гипотез в связи с поступлением новых результатов наблюдения, не применимы даже самые элементарные принципы чистой индукции.
Иногда возникают ситуации, в которых люди сразу же приходят к общим заключениям после одного лишь наблюдения. Перу Гэри Ларсона принадлежит юмористический рисунок, на котором вооруженный очками пещерный человек Зог поджаривает на огне ящерицу, насаженную на заостренную палочку. За ним наблюдает восхищенная толпа его менее интеллектуальных соплеменников, которые до сих пор всегда разогревали свою пищу над огнем, держа ее голыми руками. Этот наглядный пример является достаточным для того, чтобы ознакомить зрителей с общим принципом безболезненного приготовления пищи.
В качестве еще одного примера рассмотрим случай, в котором путешественник, прибывший в Бразилию, встречает первого в своей жизни бразильца. Ус-
лышав от него речь на португальском языке, путешественник сразу же приходит к выводу, что бразильцы говорят на португальском, но узнав, что его собеседника зовут Фернандо, он не делает вывод, что все бразильцы носят имя Фернандо. Аналогичные примеры можно найти в любой научной области. Например, когда начинающий студент-физик измеряет плотность и проводимость медного образца при определенной температуре, он без колебаний обобщает эти данные на все предметы из меди. Но измерив затем массу этого образца, студент даже не рассматривает такую гипотезу, что все предметы из меди имеют такую же массу. С другой стороны, он может вполне резонно сделать такое обобщение относительно всех монет одинакового достоинства.
Наконец, рассмотрим случай, в котором незнакомый с фармакологией, но глубоко освоивший специальность диагностики студент-медик присутствует на консультации, которую дает пациенту опытный терапевт. После ряда вопросов и ответов специалист сообщает пациенту, чтобы он прошел курс лечения каким-то конкретным антибиотиком. На основании увиденного студент- медик выводит общее правило, что данный конкретный антибиотик является эффективным средством лечения при данном конкретном типе инфекции.
Все эти случаи относятся к такому типу, в котором ^ использование фоновых знаний обеспечивает гораздо более быстрое обучение по сравнению с тем, чего можно ожидать при использовании программы чисто индуктивного обучения.
Некоторые общие схемы
В каждом из предыдущих примеров имеется возможность обратиться к априорным знаниям, чтобы попытаться обосновать выбранный способ обобщения. В данном разделе рассмотрим, какого рода ограничения логического следствия применяются в каждом из этих случаев. В таких ограничениях, кроме гипотезы Hypothesis, описаний наблюдаемых примеров Descriptions и классификации Classifications, применяются фоновые знания Background.
В случае поджаривания ящерицы пещерный человек проводит обобщение, объясняя своим соплеменникам успех, достигнутый с помощью заостренной палочки, — он держит ящерицу над огнем и вместе с тем не приближает руки к огню. Из этого объяснения его соплеменники могут вывести общее правило, что для поджаривания небольших мясистых съедобных объектов можно использовать любой длинный, твердый, заостренный предмет. Процесс обобщения такого рода получил название М обучения на основе объяснения, или сокращенно EBL (Explanation-Based Learning). Обратите внимание на то, что общее правило следует логически из фоновых знаний, которыми обладают рассматриваемые в данном примере пещерные люди. Поэтому ограничения логического следствия, которые удовлетворяются в процессе EBL, являются таковыми:
Hypothesis л Descriptions k Classifications
Background к Hypothesis
Поскольку в процессе EBL используется уравнение 19.3, на первых порах он рассматривался как наилучший способ обучения на примерах. Но в связи с тем, что для обучения на основе объяснения требуется, чтобы фоновые знания были достаточными для объяснения гипотезы Hypothesis, которая в свою очередь объясняет ре-
зультаты наблюдений, ^ в действительности агент из полученного экземпляра примера не извлекает никаких принципиально новых знаний. Дело в том, что агент мог бы просто вывести логическим путем предъявленный ему пример из того, что он уже знает, хотя для этого, возможно, потребовался бы неоправданно большой объем вычислений. В настоящее время обучение на основе объяснения рассматривается как метод преобразования теорий, складывающихся из основных принципов, в полезные знания специального назначения. Алгоритмы обучения на основе объяснения рассматриваются в разделе 19.3.
В следующем примере, когда речь шла о путешественнике в Бразилию, ситуация совсем иная, поскольку не каждый путешественник знает о том, почему встретившийся ему бразилец говорит именно на португальском языке, если этот путешественник никогда не слышал о соответствующих буллах, изданных папой Римским. Более того, к аналогичному обобщению мог бы прийти путешественник, полностью незнакомый с историей португальских колоний. Соответствующие априорные знания состоят в том, что в каждой конкретной стране большинство людей, как правило, говорят на одном и тот же языке; с другой стороны, не предполагается, что имя Фернандо носят все бразильцы, поскольку указанная закономерность, касающаяся общего языка для всей страны, не распространяется на имена. Аналогичным образом, начинающий студент-физик вряд ли мог бы объяснить, почему измеренные им значения проводимости и плотности меди являются именно таковыми. Но он знает, что проводимость объекта зависит и от материала, из которого состоит объект, и от его температуры. В данном случае априорные знания Background касаются ^ релевантности множества характеристик по отношению к целевому предикату. Эти знания, наряду с результатами наблюдений, позволяют агенту вывести новое, общее правило, которое объясняет результаты наблюдений, следующим образом:
Hypothesis л Descriptions 1= Classifications
Background л Descriptions л Classifications k Hypothesis (19.4)
Мы будем называть обобщение такого рода ^ обучением с учетом релевантности, или сокращенно RBL (Relevance-Based Learning), хотя такое название указанного метода обучения не является общепринятым. Обратите внимание на то, что в обучении с учетом релевантности используются результаты наблюдений, но не вырабатываются гипотезы, выходящие за пределы логического содержания фоновых знаний и наблюдений. Оно представляет собой дедуктивную форму обучения и поэтому не может само по себе рассматриваться как создание новых знаний с пустого места.
А в том случае, когда студент-медик наблюдает за работой опытного врача, предполагается, что априорных знаний студента достаточно, чтобы прийти к заключению на основании симптомов о том, каково заболевание D этого пациента. Но этого не достаточно, чтобы объяснить тот факт, что врач прописал конкретное лекарство м. Студент должен выдвинуть гипотезу, касающуюся еще одного правила, а именно, что лекарство м обычно является эффективным средством против заболевания D. С учетом этого правила и априорных знаний студент может теперь объяснить, почему в данном конкретном случае опытный врач прописал лекарство М. Этот пример можно обобщить так: указать, что он основан на приведенном ниже ограничении логического следствия.
(19.5)(19.5)Background л Hypothesis л Descriptions k Classifications
(19.5)
(19.5)
Это означает, что ^ для объяснения примеров объединяются фоновые знания и новая гипотеза. Как и при чисто индуктивном обучении, алгоритм обучения должен выдвигать гипотезы, которые являются как можно более простыми и совместимыми сданным ограничением. Алгоритмы, удовлетворяющие ограничению 19.5, называются алгоритмами М индуктивного обучения на основе знаний, или сокращенно KBIL (Knowledge-Based Inductive Learning).
Алгоритмы KBIL, которые подробно описаны в разделе 19.5, в основном исследовались в области М индуктивного логического программирования, или сокращенно ILP (Inductive Logic Programming). В системах ILP априорные знания выполняют две описанные ниже ключевые функции при решении задачи уменьшения сложности обучения.
Поскольку любая сформированная гипотеза должна быть совместимой с априорными знаниями, а также с новыми наблюдениями, эффективный размер пространства гипотез сокращается таким образом, чтобы в него были включены только теории, согласованные с тем, что уже известно.
Для любого конкретного множества наблюдений размер гипотезы, требуемый для формирования объяснения полученных результатов наблюдений, может быть намного сокращен, поскольку доступны априорные знания, на которые могут опираться новые правила при формировании объяснений результатов наблюдений. А чем короче гипотеза, тем проще ее сформулировать.
Системы ILP не только позволяют использовать в процессе индукции априорные знания, но и дают возможность формулировать гипотезы на языке общей логики первого порядка, а не на ограниченном языке, основанном на атрибутах, который рассматривается в главе 18. Это означает, что подобные системы могут осуществлять обучение в таких вариантах среды, которые остаются недоступными для понимания при использовании более простых систем.
Обучение на основе объяснения
Как было описано во введении в данной главе, обучение на основе объяснения представляет собой метод извлечения общих правил из отдельных результатов наблюдений. В качестве примера рассмотрим задачу дифференцирования и упрощения алгебраических выражений (упр. 9.15). После выполнения дифференцирования по X такого выражения, как X2, будет получено выражение 2Х. (Обратите внимание на то, что мы используем прописную букву для обозначения арифметического неизвестного X, чтобы отличить его от логической переменной х.) В системе формирования логических рассуждений такая цель может быть выражена как Ask (Derivative(X2, X) =d, КВ) с предполагаемым решением d=2x.
Любой, кто знает дифференциальное исчисление, может найти данное решение, лишь “ознакомившись с условиями задачи”, благодаря приобретенным ранее навыкам решения подобных задач. А перед студентом, столкнувшимся с подобными задачами впервые, или перед программой, не накопившей опыта в решении этих задач, возникают гораздо более существенные затруднения. Применение стандартных правил дифференцирования в конечном итоге приводит к получению выражения
1х(2х(х(2 1}) ), а это выражение в дальнейшем упрощается до 2Х. В логической программной реализации, подготовленной авторами данной книги, для решения такой задачи потребовалось 136 шагов доказательства, причем 99 из этих шагов относились к тупиковым ветвям доказательства. Тот, кто накопил такой отрицательный опыт, вполне естественно, стремится к тому, чтобы та же программа решала аналогичную задачу намного более быстро, встретившись с ней в следующий раз.
В компьютерных науках для ускорения работы программ уже в течение долгого времени используется метод М запоминания (memoization), который предусматривает сохранение в памяти результатов вычислений. Фундаментальная идея, лежащая в основе запоминающих функций, состоит в том, что должна накапливаться база данных, состоящая из входных/выходных пар; после вызова функции в первую очередь выполняется проверка базы данных для определения того, можно ли обойтись без решения рассматриваемой задачи с самого начала. Обучение на основе объяснения представляет собой значительный шаг вперед, поскольку в нем предусматривается создание общих правил, охватывающих целый класс вариантов. В случае дифференцирования метод запоминания позволяет записать в память информацию о том, что производная от X по X равна 2Х, но потребует от агента, чтобы он вычислял производную Z2 по Z с самого начала. Однако было бы желательно иметь возможность извлечь общее правило2, что для любого арифметического неизвестного и производная от и2 по и равна 2 и. В терминах логики такая мысль может быть выражена с помощью следующего правила:
Ari thmeticUnknown (u) => Derivative (u2, u) = 2u
Если база знаний содержит такое правило, то для любого нового случая, который является экземпляром этого правила, может быть немедленно найдено решение.
Безусловно, это лишь тривиальный пример очень общего феномена. После того как достигнуто понимание какой-то идеи, она может быть обобщена и повторно использована в других обстоятельствах. Освоенная идея становится “очевидным” этапом мышления, после чего может использоваться в качестве строительного блока при решении еще более сложных задач. Альфреду Норту Уайтхеду [1583], в соавторстве с которым Бертран Рассел написал свою знаменитую книгу Principia Mathematics принадлежат такие слова: <Э= “Цивилизация развивается, увеличивая количество важных операций, которые ее представители могут выполнять, не задумываясь”. По-видимому, сам Уайтхед применял обучение на основе объяснения, чтобы истолковать полученные им результаты, по аналогии с тем, как Зог объяснял соплеменникам свое открытие. Если вы поняли основную идею примера с дифференцированием, то ваш мозг уже занимается извлечением их него основных принципов обучения на основе объяснения. Обратите внимание на то, что вам не требовалось заранее изобретать принципы обучения на основе объяснения, прежде чем вы ознакомились с этим примером. Как и пещерным людям, наблюдающим за манипуляциями Зога, вам (и авторам данной книги) нужен был пример для того, чтобы прийти к пониманию основных принципов. Именно поэтому часто гораздо проще сначала показать, почему так хороша какая-то идея, чем сразу же ее изложить.
Извлечение общих правил из примеров
Обучение на основе объяснения базируется на том важном принципе, что вначале необходимо составить объяснение данного наблюдения с использованием априорных знаний, а затем сформировать определение класса случаев, для которого может использоваться такая же структура объяснения. Подобное определение может лечь в основу правила, охватывающего все случаи данного класса. Само “объяснение” может представлять собой логическое доказательство, но в более общем случае объяснением может служить любой процесс формирования рассуждений или решения задачи, этапы которого полностью определены. Ключом к успешному формированию объяснения является определение необходимых условий для того, чтобы такие же этапы процесса можно было применить к другому случаю.
Мы будем использовать в качестве рассматриваемой здесь системы формирования логических рассуждений простую систему доказательства теорем по методу обратного логического вывода, которая описана в главе 9. Дерево доказательства для случая Derivative (X2, X) =2Х слишком велико для того, чтобы его можно было использовать в качестве примера, поэтому для иллюстрации применяемого метода обобщения рассмотрим более простую задачу. Предположим, что задача состоит в том, чтобы упростить выражение lx (0+Х). База знаний включает следующие правила:
Rewrite^u, v) л Simplify(v, w) => Simplify(и,w)
Primitive(и) => Simplify(u, u)
ArithmeticUnknown(u) => Primitive(u)
Number(u) => Primitive(u)
Rewrite(lxu,u)
Rewrite(0+u,u)
Доказательство того, что ответом является X, приведено на рис. 19.5, сверху. В методе обучения на основе объяснения фактически одновременно формируются два дерева доказательства. Во втором дереве доказательства используется цель, описанная с помощью переменных, в которой константы первоначальной цели заменены переменными. По мере развития первоначального доказательства так же поэтапно развивается доказательство с помощью переменных, в котором применяются точно такие же приложения правил. Использование некоторых правил может вызвать конкретизацию определенных переменных. Например, для того чтобы можно было применить правило Rewri te( lxu, u), необходимо вначале связать с 1 переменную х в подцели Rewri te(xx (y+z) , v). Аналогичным образом, переменная у должна быть связана с 0 в подцели Rewri te(y+z, v' ), для того чтобы можно было использовать правило Rewri te(0+u, и). После получения обобщенного дерева доказательства остается только взять листовые узлы (с необходимыми связываниями) и сформулировать общее правило для целевого предиката, следующим образом:
Kewri te(l х (0+z),0+z) л Rewri te( 0 + z, z) л Ari thmeti cUnknown (z} => Simplify(lx(0 + z) , z)
Обратите внимание на то, что первые два условия в левой части правила являются истинными независимо от значения z. Поэтому их можно удалить из данного правила, что приводит к получению такого соотношения:
Ari thme ticUnknown (z) => Simplify (lx (0+z) , z)
YesA }
Рис. 19.5. Деревья доказательства для рассматриваемой задачи упрощения. Первое дерево демонстрирует доказательство для первоначального экземпляра задачи, на основании которого можно вывести следующее:
Arithmeticunknown (z) => Simplify (lx(0+z), z)
Второе дерево демонстрирует доказательство для экземпляра задачи, в котором все константы заменены переменными, что позволяет вывести целый ряд других правил
Вообще говоря, из окончательного правила можно удалять такие условия, которые не налагают ограничений на переменные в правой части правила, поскольку при этом результирующее правило остается истинным и становится более эффективным. Обратите внимание на то, что условие Ari thmeticUnknown (z) удалять нельзя, поскольку не все возможные значения z являются арифметическими неизвестными. Для значений, отличных от арифметических неизвестных, могут потребоваться другие формы упрощения; например, если переменная z равна 2x3, то правильным упрощением выражения 1х(0+(2x3) ) должно быть 6, а не 2x3.
Подводя итог, можно отметить, что основной процесс обучения на основе объяснения действует, как описано ниже.
Используя рассматриваемый пример, составить доказательство того, что целевой предикат является применимым к данному примеру, с использованием доступных фоновых знаний.
Одновременно с этим сформировать обобщенное дерево доказательства для цели, описанной с помощью переменных, в котором используются такие же этапы логического вывода, как и в первоначальном дереве доказательства.
Сформулировать новое правило, левая часть которого состоит из листовых узлов дерева доказательства, а правая часть представляет собой цель, описанную с помощью переменных (после применения соответствующих связываний из обобщенного доказательства).
Удалить все условия, которые являются истинными независимо от значений переменных в цели.
Повышение эффективности правила
Обобщенное дерево доказательства, показанное на рис. 19.5, фактически приводит к получению больше чем одного обобщенного правила. Например, если будет прекращено наращивание правой ветви в дереве доказательства после того, как одна ветвь достигнет этапа Primitive, т.е. если будет выполнено отсечение этой ветви, то получим следующее правило:
Primitivekz^ => Simplify(lx(0 + z) , z)
Это правило является таким же действительным, как и правило, в котором используется предикат Arithmeticunknown, но более общим, поскольку оно охватывает также случаи, в которых z является числом. Из дерева доказательства можно извлечь еще более общее правило, выполняя отсечение ветви после этапа Simplifyky+zf w), что приводит к получению такого правила:
Simplifyky+z, w) => Simplifyklx ky+z) , w^
Вообще говоря, из любого частичного поддерева обобщенного дерева доказательства можно извлечь какое-то правило. Это означает, что имеет место еще одна проблема: какое из этих правил следует выбрать?
Выбор правила, подлежащего выработке, сводится к решению вопроса об эффективности выбранного правила. Ниже описаны три фактора, которые касаются анализа прироста эффективности, достигнутого в результате обучения на основе объяснения.
Введение большого количества правил влечет за собой замедление процесса формирования рассуждений, поскольку механизм логического вывода так или иначе должен проверять эти правила, даже в тех случаях, когда они не приводят к решению. Иными словами, увеличение количества правил приводит к увеличению коэффициента ветвления в пространстве поиска.
Для того чтобы компенсировать замедление процесса формирования рассуждений, производные правила должны обеспечивать существенное увеличение скорости для тех случаев, которые они охватывают. Такое увеличение достигается в основном благодаря тому, что производные правила позволяют избегать тупиков, которые могли бы возникнуть без их использования, а также в связи с тем, что они сокращают само доказательство.
Производные правила должны быть как можно более общими, для того чтобы они применялись к максимально возможному множеству случаев.
Общепринятый подход к обеспечению эффективности таких производных правил состоит в том, чтобы следить за соблюдением требования, касающегося ^ операционной пригодности каждой подцели в правиле. Подцель является операционно пригодной, если ее можно достаточно “легко” решить. Например, подцель
Primi tive к z) решить легко, и для этого требуется самое большее два этапа вывода, а для достижения подцели Simplify ky-v z, w) может потребоваться произвольный объем логического вывода в зависимости от значений у и z. Если проверка на операционную пригодность выполняется на каждом этапе формирования обобщенного доказательства, то появляется возможность отсечь оставшуюся ветвь, как только будет найдена операционно пригодная подцель, и оставить в качестве конъюнкта нового правила лишь эту операционно пригодную подцель.
К сожалению, обычно приходится искать компромисс между операционной пригодностью и общностью. Для более конкретных подцелей обычно бывает проще найти решение, но они охватывают меньше случаев. Кроме того, сам критерий операционной пригодности в определенной степени субъективен: можно уверенно сказать, что подцель, для достижения которой требуется один или два этапа, является операционно пригодной, но можно ли это утверждать, если количество этапов приближается к 10 или 100? Наконец, стоимость поиска решения для данной конкретной подцели зависит от того, какие еще правила имеются в базе знаний. По мере введения дополнительных правил эта стоимость может и увеличиваться, и уменьшаться. Таким образом, при эксплуатации систем EBL фактически приходится сталкиваться с очень сложными проблемами оптимизации, пытаясь добиться максимальной эффективности заданной начальной базы знаний. Иногда существует возможность вывести математическую модель влияния операции добавления какого-то конкретного правила на общую эффективность и использовать эту модель для определения наилучшего правила, подлежащего добавлению. Но такой анализ может стать очень сложным, особенно когда приходится сталкиваться с рекурсивными правилами. Один из перспективных подходов состоит в эмпирическом решении проблемы эффективности путем добавления нескольких правил и определения того, какое из них является полезным и действительно позволяет ускорить работу.
Эмпирический анализ эффективности фактически становится основой системы EBL. То, что в предыдущем абзаце неформально было названо “эффективностью заданной базы знаний”, в действительности представляет собой усредненную по рассматриваемым случаям сложность решения задач, предъявляемых системе и описываемых некоторым распределением вероятностей. Система EBL позволяет проводить обобщение по результатам решения примеров задач, встретившихся в прошлом, поэтому способствует повышению эффективности базы знаний применительно к тем типам задач, которые, скорее всего, должны встретиться в будущем. Такая организация работы способствует достижению успеха, при условии, что распределение вероятностей прошлых примеров приблизительно соответствует распределению вероятностей будущих примеров; это — такое же предположение, которое лежало в основе метода РАС-обучения, описанного в разделе 18.5. Если проведено тщательное и продуманное проектирование системы EBL, то появляется возможность достичь существенного ускорения работы. Например, очень крупная система обработки естественного языка на основе Prolog, предназначенная для прямого и обратного перевода речи со шведского на английский, позволила добиться приемлемой производительности работы в реальном времени только благодаря применению системы EBL в процессе синтаксического анализа [1351].
Обучение с использованием информации о
РЕЛЕВАНТНОСТИ
Путешественник, приехавший в Бразилию, о котором говорилось раньше, по- видимому, сумел прийти к достоверному обобщению, касающемуся языка, на котором говорят остальные бразильцы. Полученный этим путешественником логический вывод был основан на его фоновых знаниях, а именно на знаниях о том, что население данной конкретной страны (обычно) говорит на одном и тот же языке. Это утверждение можно выразить в логике первого порядка следующим образом:
National! tykx, п) л National! ty (у, п) л Language кх, 1) =>
Language ку, 1)(19.6)
Это высказывание буквально означает: “Если х и у имеют одинаковое гражданство пих говорит на языке 2, то у также говорит на этом языке”. Нетрудно показать, что на основании этого высказывания и следующего наблюдения:
Nationalityк Fernando,Brazil) л Language к Fernando,Portuguese) можно прийти к такому заключению (см. у пр. 19.1):
Nationalitykx,Brazil) => Languagekx,Portuguese)
Высказывания, подобные приведенному в уравнении 19.6, выражают строгую форму релевантности: если известно гражданство человека, то полностью определен язык, на котором он говорит (эту мысль можно выразить иначе — язык определяется функциональной зависимостью от гражданства). Такие высказывания называются ^ функциональными зависимостями, или ^ определениями, и встречаются настолько часто в приложениях определенных типов (например, в спецификациях проектов баз данных), что для их записи используется специальный синтаксис. В этой главе мы будем придерживаться системы обозначений, предложенной Дэвисом [329]:
National! ty kx, п) >• Language kx, 1)
Как обычно, это обозначение представляет собой синтаксическое упрощение, но оно подчеркивает тот факт, что определение в действительности показывает связь между предикатами; в данном случае гражданство определяет язык. Аналогичным образом могут быть представлены релевантные свойства, определяющие проводимость и плотность:
Material kx, т) л Temperature kx, t) >- Conductance kx, р)
Material kx, m) л Temperature kx, t) >- Density kx, d)
Соответствующие обобщения следуют логически из определений и наблюдений.
Определение пространства гипотез
Хотя определения позволяют обосновать общие заключения, касающиеся всех бразильцев или всех образцов меди, исследуемых при заданной температуре, они, безусловно, не позволяют создать на основании одного примера общую прогности-
ческую теорию, которая распространялась бы на граждан всех государств или на любые материалы, исследуемые при любых температурах. По существу, основной эффект применения определений можно рассматривать как ограничение пространства гипотез, которые должен рассматривать обучающийся агент. В частности, согласно определению, при прогнозировании проводимости достаточно учитывать только материал и температуру, но игнорировать массу, права собственности на рассматриваемый образец, день недели, фамилию главы правительства и т.д. Но гипотезы, касающиеся проводимости, безусловно, могут включать термы, которые в свою очередь зависят от материалы и температуры, в том числе учитывающие молекулярную структуру, тепловую энергию или плотность свободных электронов. ^ Определения задают базовый словарь, достаточный для построения гипотез, касающихся целевого предиката. Это утверждение можно доказать, продемонстрировав, что данное конкретное определение логически эквивалентно утверждению о том, что правильная формулировка целевого предиката является одной из множества всех формулировок, которые могут быть представлены с помощью предикатов из левой части определения.
Интуитивно ясно, что сокращение размера пространства гипотез должно способствовать упрощению задачи изучения целевого предиката. Возможный при этом прирост эффективности можно оценить с использованием основных результатов теории вычислительного обучения (см. раздел 18.5). Вначале напомним, что для булевых функций требуется 1од( | н | ) примеров, чтобы свести все пространство гипотез к одной приемлемой гипотезе, где | н | — размер пространства гипотез. Если в распоряжении ученика имеется п булевых характеристик, для которых должны быть построены гипотезы, то в отсутствии дополнительных ограничений |н|=О(22 ), поэтому необходимое количество примеров составляет О (2П). Если же в левой части определения находятся d предикатов, то для ученика потребуется только O(2d) примеров, что соответствует сокращению в O(2n"d) раз. Для смещенного пространства гипотез, такого как конъюнктивно смещенное пространство, это сокращение будет не столь радикальным, но все еще достаточно существенным.
Обучение и использование информации о релевантности
Как было указано во введении к данной главе, априорные знания являются полезными при обучении, но они также должны быть освоены в процессе обучения. Поэтому для обеспечения целостного подхода к обучению с учетом релевантности необходимо предусмотреть алгоритм обучения, относящийся к определениям. Алгоритм обучения, приведенный в этом разделе, представляет собой прямолинейную попытку найти простейшее определение, совместимое с рассматриваемыми результатами наблюдений. В частности, определение P^Q говорит о том, что если какие- либо примеры согласуются по выражению Р, то они должны также согласовываться по выражению Q. Поэтому определение является совместимым с множеством примеров, если каждая пара, которая согласуется по предикатам в левой части определения, согласуется также по целевому предикату, т.е. входит в одну и ту же классификацию. Например, предположим, что имеются примеры результатов измерения проводимости образцов материалов, приведенные в табл. 19.1.
Минимальным согласованным определением является MaterialATemperature>- Conductance. Существует также одно не минимальное, но совместимое определе-
ние, а именно MassASizeATemperature^Conductance. Оно совместимо с примерами, поскольку масса и размер определяют плотность, а в рассматриваемом наборе данных отсутствуют два разных материала с одной и той же плотностью. Как обычно, для устранения гипотез, которые только внешне кажутся правильными, необходимо иметь более крупное множество примеров.
Таблица 19.1. Примеры результатов измерения проводимости образцов материалов
Образец
Масса
Температура
Материал
Размер
Проводимость
S1
12
26
Медь
3
0,59
S1
12
100
Медь
3
0,57
S2
24
26
Медь
6
0,59
S3
12
26
Свинец
2
0,05
S3
12
100
Свинец
2
0,04
S4
24
26
Свинец
4
0,05
Для поиска минимальных совместимых определений можно применить несколько подходящих для этого алгоритмов. Наиболее очевидный подход состоит в проведении поиска в пространстве определений и проверке всех определений с одним предикатом, двумя предикатами и т.д. до тех пор, пока не будет найдено совместимое определение. Предполагается, что используется простое представление на основе атрибутов, аналогичное тому, которое использовалось при обучении деревьев решений в главе 18. Определение d будет представлено с помощью множества атрибутов в левой части, поскольку предполагается, что целевой предикат остается постоянным. Основной алгоритм, соответствующий этому подходу, приведен в листинге 19.3.
Листинг 19.3. Алгоритм поиска минимального совместимого определения
function Minimal-Cons is tent-Det (Е, A) returns множество атрибутов inputs: Е, множество примеров
А, множество атрибутов с количеством элементов п
for i <- 0,..., n do
for each подмножество Ai множества Aс количеством элементов i doif Consistent-Det? (Ai, E) then return Ai
function Consistent-Det?(A, E) returns истинностное значение inputs: А, множество атрибутов
E, множество примеров local variables: H, хэш-таблица
for each пример e in E do
if некоторый пример в таблице Н имеет такое же значение множества атрибутов А, что и пример е, но имеет другую классификацию then return false
сохранить обозначение класса примера е в таблице Н под индексом, соответствующим значениям атрибутов А примера е return true
Временная сложность этого алгоритма зависит от размера наименьшего совместимого определения. Предположим, что это определение включает р атрибутов из общего количества, равного п атрибутам. В таком случае алгоритм не отыщет данное определение до тех пор, пока не выполнит поиск во всех подмножествах А с размером р. Количество таких подмножеств измеряется значением
( Л ) = О(пр) , Р
поэтому сложность алгоритма зависит экспоненциально от размера минимального определения. Как оказалось, данная задача является NP-полной, поэтому не следует рассчитывать на то, что в общем случае будет достигнута более высокая производительность. Тем не менее во многих проблемных областях существует локальная структура (понятие локально структурированных проблемных областей рассматривается в главе 14), благодаря которойр становится небольшим.
Получив в свое распоряжение алгоритм изучения определений, обучающийся агент приобретает способность создавать минимальную гипотезу, с помощью которой он может изучать целевой предикат. Например, можно скомбинировать алгоритм Minimal- Consistent-Det с алгоритмом Decision-Tree-Learning. Это приведет к созданию алгоритма обучения дерева решений с учетом релевантности, RBDTL (Relevance-Based Decision-Tree Learning), в котором вначале определяется минимальное множество релевантных атрибутов, а затем это множество передается алгоритму формирования дерева решений для обучения. В отличие от алгоритма Decision-Tree-Learning, алгоритм RBDTL одновременно обеспечивает и обучение, и использование информации о релевантности для минимизации своего пространства гипотез. Можно рассчитывать на то, что алгоритм RBDTL даст возможность проводить обучение быстрее по сравнению с алгоритмом Decision-Tree-Learning, и действительно так и происходит. На рис. 19.6 показана производительность обучения для этих двух алгоритмов на основе случайно сгенерированных данных для функции, которая зависит только от 5 из 16 атрибутов. Ясно, что в тех случаях, когда все доступные атрибуты являются релевантными, алгоритм RBDTL не показывает каких-либо преимуществ.
Рис. 19.6. Сравнение производительности алгоритмов RBDTL и Decision-Tree-Learning при обработке случайно сгенерированных данных применительно к целевой функции, которая зависит только от 5 из 16 атрибутов
В данном разделе приведены лишь самые основные сведения из области исследования ^ декларативного смещения, задача которой состоит в изучении того, как могут использоваться априорные знания для выявления приемлемого пространства гипотез, в котором должен осуществляться поиск правильного целевого определения. В нем не даны ответы на многие вопросы, например, нате, которые приведены ниже.
Как могут быть дополнены эти алгоритмы для того, чтобы в них учитывался шум?
Можно ли обеспечить обработку переменных с непрерывными значениями?
Можно ли использовать другие виды априорных знаний, кроме определений?
Как можно обобщить эти алгоритмы для охвата любой теории первого порядка, а не только представлений на основе атрибутов?
Некоторые из этих вопросов рассматриваются в следующем разделе.
Индуктивное логическое программирование
В индуктивном логическом программировании (Inductive Logic Programming — ILP) объединяются индуктивные методы с мощными представлениями в логике первого порядка, и оно в основном сосредоточивается на представлении теорий в виде логических программ. Это научное направление получило широкую известность по трем причинам. Во-первых, индуктивное логическое программирование лежит в основе строгого подхода к решению общих задач индуктивного обучения на основе базы знаний. Во-вторых, в рамках этого направления созданы полные алгоритмы логического вывода общих теорий в логике первого порядка с использованием примеров; это означает, что данные алгоритмы могут успешно применяться для обучения в тех проблемных областях, в которых использование алгоритмов на основе атрибутов связано с определенными затруднениями. В качестве соответствующего примера можно привести применение методов ILP в изучении того, как сворачиваются белковые структуры (рис. 19.7). Трехмерную конфигурацию молекулы белка невозможно представить с помощью какого-либо приемлемого способа в виде множества атрибутов, поскольку конфигурация молекулы неявно обусловлена связями между объектами, а не атрибутами отдельного объекта. Одним из языков, подходящих для описания таких связей, является логика первого порядка. В-третьих, с помощью методов индуктивного логического программирования могут вырабатываться гипотезы, которые являются (относительно) простыми для восприятия людьми. Например, перевод на естественный язык правила, приведенного в подписи к рис. 19.7, может уточняться и подвергаться критике биологами, которые работают в данной области. Это означает, что системы индуктивного логического программирования могут участвовать в научном цикле экспериментирования, выработки гипотез, обсуждения и опровержения. Такое участие невозможно при использовании таких систем, которые вырабатывают классификаторы в виде “черных ящиков”, например нейронных сетей.
2mhr - восходящая и нисходящая связка
а)б)
Рис. 19.7. Пример решения задачи обучения: положительный и отрицательный примеры применения понятия “восходящей и нисходящей связки из четырех спиралей ” в проблемной области сворачивания белка (а), (б). Пример каждой структуры кодируется в виде логического выражения, состоящего примерно из 100 конъюнктов, такого как TotalLength (D2mhr, 118)л NumberHelices (D2mhr, 6)л.... На основании этих описаний и таких классификаций, как Fold (Four-Helical-Up-And-Down-Bundle,D2mhrJ, система индуктивного логического программирования Progol [1098] сформировала по методу обучения следующее правило:
Fold(Four-Helical-Up-And-Down-Bundle,p,) <=
Helix (p,hi,) л Length (hi,High; л Position (p,hi,n;
a (1 < n < 3) л Adjacent (p, hi, h2^ лНеИхфЛг}
Правило такого рода невозможно выработать путем обучения или даже представить с помощью любых механизмов, основанных на атрибутах, наподобие тех, которые рассматривались в предыдущих главах. Это правило можно перевести на естественный язык, как показано ниже.
Белок Р относится к классу методов сворачивания “связка из четырех восходящих и нисходящих спиралей”, если он включает длинную спираль hi во второй структурной позиции между позициями 1 и 3 и если спираль hi находится рядом со второй спиралью
Практический пример
Как было указано выше, из уравнения 19.5 следует, что общая задача индукции на основе знаний состоит в “решении” ограничения логического следствия для неизвестной гипотезы Hypothesis, если даны фоновые знания Background и примеры, представленные с помощью описаний Descriptions и классификаций Classifications:
Background л Hypothesis л Descriptions к Classifications
Для иллюстрации этого процесса рассмотрим задачу изучения семейных связей на примерах. Описания будут состоять из развернутого генеалогического дерева, описанного в терминах отношений Mother (Мать), Father (Отец) и Married (Состоит в браке), а также свойств Male (Мужчина) и Female (Женщина). В качестве примера будет использоваться генеалогическое дерево, рассматриваемое в упр. 8.11, которое показано на рис. 19.8. Соответствующие описания приведены ниже.
William Harry Peter Zara Beatrice Eugenie
Рис. 19.8. Типичное генеалогическое дерево
Father {Phil ip, Charles')
Father{Philip,Anne)
Mo ther {Mum, Margare t) Mo ther(Mum,Elizabeth)
Married(Di ana, Charles)
Married{Elizabeth, Philip)
Male{Philip)
Male(Charles)
Female(Bea trice)
Female(Margaret)
Высказывания, входящие в состав классификаций Classifications, зависят от изучаемого целевого понятия. Например, может потребоваться изучить понятия Grandparent (Дедушка или бабушка), BrotherlnLaw (Двоюродный брат) или Ancestor (Предок). Что касается понятия Grandparent, то полное множество Classifications содержит 20x20=400 конъюнктов в следующей форме:
Grandparen t (Mum, Charl es)
Grandparent {Elizabeth,Bea trice)
—Grandparent {Mum, Harry)
—Grandparent {Spencer, Peter)
Безусловно, обучение может быть проведено на основе какого-то подмножества этого полного множества.
Задачей применения любой программы индуктивного обучения является выработка множества высказываний, соответствующих гипотезе Hypothesis, такого, что в нем выполняется заданное ограничение логического следствия. На данный момент предположим, что у агента отсутствуют фоновые знания: отношение Background является пустым. В таком случае одно из возможных решений для Hypothesis состоит в следующем:
Grandparen t кх, у)Grandparen t кх, у)a Motherkz,y) ]a Fatherkz, y)]a Mother к z, у) ]a Fa ther к z, y) ]a Motherkz,y) ]a Fatherkz, y)]a Mother к z, у) ]a Fa ther к z, y) ]<^ [3z Motherkx.z) v [3z Motherкх, z) v [3z Fatherkx,z) v [3z Fatherkx,z)
Grandparen t кх, у)
Grandparen t кх, у)
a Motherkz,y) ]a Fatherkz, y)]a Mother к z, у) ]a Fa ther к z, y) ]
a Motherkz,y) ]a Fatherkz, y)]a Mother к z, у) ]a Fa ther к z, y) ]
Следует отметить, что алгоритм обучения на основе атрибутов, такой как Decision-Tree-Learning, в попытке решить эту задачу бесконечно углубится в дерево, но не достигнет успеха. Для того чтобы выразить отношение Grandparent в виде атрибута (т.е. унарного предиката), необходимо будет преобразовывать пары людей в объекты:
Grandparen t к (Мит, Charl es)) ...
Затем мы окажемся в тупике, пытаясь представить описания примеров. Единственно возможными атрибутами станут такие ужасно неуклюжие конструкции, как следующая:
FirstElementIsMotherOfElizabethk(Mum, Charles))
Определением отношения Grandparent в терминах этих атрибутов становится большая дизъюнкция описаний конкретных случаев, которая вообще не может быть обобщена с учетом новых примеров. Алгоритмы обучения на основе атрибутов не способны обеспечить изучение реляционных предикатов. Таким образом, одним из принципиальных преимуществ алгоритмов ILP является их применимость для решения гораздо более широкого диапазона задач, включая реляционные задачи.
Читатель должен был, безусловно, заметить, что для представления определения Grandparent мог бы помочь небольшой фрагмент фоновых знаний. Например, если в состав фоновых знаний Background входит следующее высказывание:
Parent кх, у) <=> [Mother кх, у) v Fa ther кх, у) ]
то определение отношения Grandparent можно свести к следующему:
Grandparent кх, у) <=> [3z Parent kx,z) a Parent к z, у) ]
Этот пример показывает, насколько существенно фоновые знания позволяют сократить размер гипотез, требуемых для объяснения результатов наблюдений.
Алгоритмы ILP позволяют также создавать новые предикаты для упрощения способов выражения объяснительных гипотез. Применительно к примеру данных, приведенному выше, было бы вполне резонно, чтобы программа ILP предложила дополнительный предикат, который можно было бы назвать “Parent” (Родитель), для упрощения определений целевых предикатов. Алгоритмы, которые способны вырабатывать новые предикаты, называются алгоритмами М конструктивной индукции. Очевидно, что конструктивная индукция является необходимой частью подхода к обучению на основе накопления знаний, который был кратко описан во введении. Задача накопления знаний всегда была одной из сложнейших задач машинного обучения, но некоторые методы ILP предоставляют эффективные механизмы ее решения.
В оставшейся части данной главы исследуются два принципиальных подхода к индуктивному логическому программированию. В первом из них используется обобщение методов на основе деревьев решений, а во втором используются методы, основанные на инвертировании доказательства с помощью резолюции.
Нисходящие методы индуктивного обучения
Описанный здесь первый подход к индуктивному логическому программированию начинается с получения очень общего правила и его постепенного уточнения для достижения соответствия с данными. По сути такой же процесс происходит при обучении деревьев решений, когда дерево решений постепенно наращивается до тех пор, пока не становится совместимым с результатами наблюдений. Но для осуществления индуктивного логического программирования вместо атрибутов используются литералы первого порядка, а вместо дерева решений рассматриваются гипотезы, представляющие собой множества выражений. В этом разделе рассматривается программа Foil [1258], одна из первых программ ILP.
Предположим, что предпринимается попытка изучить определение предиката Grandfather (х, у) с использованием тех же данных о семейных отношениях, как и перед этим. По такому же принципу, как и при обучении деревьев решений, эти примеры можно разделить на положительные и отрицательные. Положительными примерами являются следующие:
(George, Anne), (Philip, Peter), (Spencer, Harry), ...
а отрицательными — такие примеры:
(George,Elizabeth), (Harry, Zara), (Charles, Philip), ...
Обратите внимание на то, что каждый пример представляет собой пару объектов, поскольку Grandfather — это бинарный предикат. В целом в данном генеалогическом дереве имеется 12 положительных примеров и 388 отрицательных (все прочие пары людей).
Программа Foil строит множества выражений, в каждом из которых Grandfather (х, у) является головой предиката. Эти выражения должны классифицировать 12 положительных примеров как экземпляры отношения Grandfather (х, у') и вместе с тем исключать 388 отрицательных примеров. Рассматриваемые выражения являются хорновскими выражениями, расширенными с помощью отрицаемых литералов, в которых используется отрицание как недостижение цели, по аналогии с языком Prolog. Первоначальное выражение имеет такое пустое тело:
=> Grandfather (х, у)
Это выражение классифицирует каждый пример как положительный, поэтому требует уточнения. Такую операцию можно выполнить, каждый раз вводя по одному литералу в левую часть выражения. Ниже перечислены три возможных дополнения.
Father кх,у^ => Grandfather {х, у)
Parentkx, z) => Grandfather{x,у)
Fatherkx, z) => Grandfather(x,у)
(Обратите внимание на то, что здесь предполагается, будто выражение, определяющее предикат Parent, уже является частью фоновых знаний.) Первое из этих
трех выражений неправильно классифицирует все 12 положительных примеров как отрицательные и поэтому может быть проигнорировано. Второе и третье выражения согласуются со всеми положительными примерами, но второе является неправильным применительно к большей части отрицательных примеров (этих примеров вдвое больше, чем в первом случае, поскольку в них допускается произвольная подстановка данных и о матерях, и об отцах). Поэтому предпочтительным является третье выражение.
Теперь необходимо дополнительно уточнить это выражение, чтобы исключить те случаи, в которых х является отцом некоторого z, но z не является родителем у. Добавление единственного литерала Parent (z,y) позволяет получить следующее выражение, которое правильно классифицирует все примеры:
Fatherкх,z) л Parentkz,у) => Grandfather кх, у)
Программа Foil способна найти и выбрать этот литерал, решая тем самым задачу обучения. Вообще говоря, программе Foil обычно приходится выполнять поиск среди многих неподходящих выражений, прежде чем она сможет найти правильное решение.
Этот пример может служить очень простой иллюстрацией того, как действует программа Foil. Набросок общего алгоритма этой программы приведен в листинге 19.4. По существу, алгоритм повторно составляет выражение, вводя в него один литерал за другим до тех пор, пока это выражение не начинает согласовываться с некоторым подмножеством положительных примеров и при этом не согласуется ни с одним отрицательным примером. Затем положительные примеры, охваченные данным выражением, удаляются из обучающего множества и процесс продолжается до тех пор, пока не остается ни одного положительного примера. Двумя основными процедурами, требующими пояснения, являются New-Literals, которая создает все возможные новые литералы для добавления к выражению, и Choose-Literal, которая выбирает литерал для добавления.
Листинг 19.4. Набросок алгоритма Foil, применяемого для изучения множеств хорновских выражений первого порядка на основе примеров. Функции New-Literals и Choose-Literal описаны в тексте
function Foilkexamples, target) returns множество хорновских выражений inputs: examples, множество примеров
target, литерал для целевого предиката local variables: clauses, множество выражений, первоначально пустое
while множество examples содержит положительные примеры do clause <— New-Clauseк examples, target) удалить примеры, охваченные выражением clause, из множества examples добавить выражение clause к множеству clauses return clauses
function New-Clausekexamples, target) returns хорновское выражение local variables: clause, выражение, головой которого является target, а тело пусто
1, литерал, который должен быть добавлен к выражению clause extended—examples, множество примеров со значениями для новых переменных
extended_examples <— examples
while extended_examples содержат отрицательные примеры do
<— Choose-Literal(New-Literals(clause), extended_examples) добавить 1 к телу выражения clause extended_examples <— множество примеров, созданных путем применения функции Extend-Example к каждому примеру в множестве extended_examples return clause
function Extend-Example(example, literal) returns множество примеров if пример example согласуется с литералом literal
then return множество примеров, созданное путем дополнения примера example каждым возможным значением константы для каждой новой переменной в литерале literal
else return пустое множество
Процедура New-Literals выбирает некоторое выражение и составляет все возможные “полезные” литералы, которые могут быть добавлены к этому выражению. Рассмотрим в качестве примера следующее выражение:
Father(x,z) => Grandfather{xt у)
К нему могут быть добавлены три описанные ниже разновидности литералов.
Литералы, в которых используются предикаты. Литерал может быть отрицаемым или неотрицаемым, в нем может применяться любой существующий предикат (включая целевой предикат), а все параметры должны быть переменными. В качестве любого параметра предиката может использоваться любая переменная, с учетом одного ограничения: каждый литерал должен включать по меньшей мере одну переменную из предыдущего литерала или из головы выражения. Такие литералы, как Mother(z, и), Married(z,у), -Male (у) и Grandfa ther (v,x), являются допустимыми, a Married (u, v) — нет. Обратите внимание на то, что благодаря имеющейся возможности применять предикат из головы выражения программа Foil может использоваться для изучения рекурсивных определений.
Литералы равенства и неравенства. Эти литералы связывают переменные, уже присутствующие в данном выражении. Например, можно ввести литерал z^x. Данные литералы могут также включать константы, заданные пользователем. Для изучения арифметических выражений могут использоваться константы 0 и 1, а для изучения функций, заданных на списках, — пустой список [ ].
Арифметические сравнения. При обработке функций непрерывных переменных могут быть добавлены такие литералы, как х>у и у<г. По аналогии с обучением деревьев решений могут быть выбраны пороговые значения для максимизации различительной мощи проверки.
Возникающий в результате коэффициент ветвления в этом пространстве поиска очень велик (см. упр. 19.6), но в программе Foil для его уменьшения может также использоваться информация о типе. Например, если проблемная область включает
данные не только о числах, но и о людях, то ограничения типов позволят исключить возможность выработки в процедуре New-Literals таких литералов, как Parent (х, п), гдех — человек, ап — число.
В процедуре Choose-Literal используется эвристика, немного напоминающая эвристику, основанную на приросте информации (см. с. 878), для определения того, какой литерал должен быть выбран для добавления. Точные сведения о том, как это осуществляется, не имеет в контексте данной главы слишком большого значения, к тому же было опробовано много различных вариантов таких эвристик. Одно интересное дополнительное средство программы Foil состоит в использовании принципа бритвы Оккама для устранения некоторых гипотез. Если некоторое выражение становится длиннее (согласно определенной метрике), чем общая длина положительных примеров, объясняемых с помощью этого выражения, оно больше не рассматривается в качестве потенциальной гипотезы. Такой метод предоставляет удобный способ предотвращения создания чрезмерно сложных выражений, которые обусловлены наличием шума в данных. Объяснение связи между шумом и длиной выражений приведено на с. 949.
Программа Foil и аналогичные ей программы использовались для изучения широкого ряда определений. Одна из наиболее впечатляющих демонстраций возможностей таких программ [1260] касалась решения длинной последовательности упражнений по функциям обработки списков из учебника по языку Prolog, написанного Братко [174]. В каждом случае программа показала свою способность найти в процессе обучения правильное определение функции на основе небольшого множества примеров, используя в качестве фоновых знаний ранее изученные функции.
Индуктивное обучение с помощью обратной дедукции
Второй важный подход к индуктивному логическому программированию предусматривает обращение обычного процесса дедуктивного доказательства. Метод М обратной резолюции основан на том наблюдении, что если классификация Classifications примера следует из выражения BackgroundAHypothesis/xDescriptions, то должна существовать возможность доказать этот факт с помощью метода резолюции (поскольку метод резолюции является полным). А если есть возможность “провести доказательство в обратном направлении”, то можно найти такую гипотезу Hypothesis, через которую проходит это доказательство. Поэтому задача состоит в том, чтобы найти способ обращения процесса резолюции.
В этом разделе будет показан процесс обратного доказательства для инверсного правила резолюции, который состоит из отдельных обратных этапов. Напомним, что в обычном этапе резолюции берутся два выражения, Сх и С2, и к ним применяется операция уничтожения взаимно противоположных литералов (операция резолюции) для получения резольвенты С. С другой стороны, на этапе инверсной резолюции берется резольвента Си формируются два выражения, Сх и С2, такие, что С является результатом применения операции уничтожения взаимно противоположных литералов в выражениях Сх и С2. Еще один вариант состоит в том, что можно взять резольвенту С и выражение Сх и сформировать выражение С2, такое, что С является результатом применения операции резолюции к Сх и С2.
Начальные этапы процесса обратной резолюции показаны на рис. 19.9; на этих этапах вся работа сосредоточивается на положительном примере Grandparent
(George, Annе). Процесс начинается с конца доказательства (который обозначен квадратом в нижней части рисунка). Предполагается, что резольвента С представляет собой пустое выражение (т.е. противоречие), а в качестве С2 берется выражение ^Grandparent (George, Anne), которое является отрицанием целевого примера. В первом обратном этапе используются выражения С и С2 и формируется выражение Grandparent (George, Anne), соответствующее Ст. На следующем этапе это выражение берется в качестве С, выражение Paren t(Elizabeth, Anne) используется в качестве С2, а в качестве с^ формируется следующее выражение:
—\Parent (Elizabeth, у) v Grandparent (George, у)
На последнем этапе данное выражение рассматривается как резольвента. Если в качестве С2 берется выражение Parent (George, Elizabeth), то одним из возможных выражений Ci становится гипотеза:
Parent(х, z) л Parent(z, у) => Garent(x, у)
Теперь в нашем распоряжении имеется доказательство с помощью резолюции, что из данной гипотезы, описаний и фоновых знаний следует классификация Grandparent(George,Anne).
Рис. 19.9. Начальные этапы в процессе обратной резолюции. Затененные выражения сформированы на этапах обратной резолюции из выражений, находящихся справа и внизу. Незатененные выражения взяты из множеств Descriptions и Classifications
Очевидно, что в процессе обратной резолюции требуется поиск. Каждый этап обратной резолюции является недетерминированным, поскольку для любого выражения С может существовать большое или даже бесконечное количество выражений Ci и с2, которые в результате операции резолюции преобразуются в С. Например, вместо применения выражения —Paren t(Eli zabe th, у) vGrandparen t (George, у) в качестве Ci на последнем этапе, показанном на рис. 19.9, на этом этапе обратной резолюции можно было выбрать любое из следующих высказываний (см. упр. 19.4 и 19.5):
—Parent(Elizabeth, Anne) v Grandparent(George,Anne)
—Parent(z,Anne) v Grandparent(George,Anne)
-^Parent ( z, y) v Grandparen t (George, у)
Более того, выражения, которые участвуют на каждом этапе, могут быть выбраны из фоновых знаний Background, из описаний примеров Descriptions, из отрицаемых выражений в множестве Classifications или из выражений, выдвинутых в качестве гипотезы, которые уже были сформированы в дереве обратной резолюции. Такое большое количество возможностей означает, что без дополнительного управления возникает большой коэффициент ветвления (и поэтому поиск становится неэффективным). В реализованных на практике системах ILP был опробован целый ряд подходов к управлению поиском, в том числе подходы, описанные ниже.
Могут быть удалены избыточные варианты выбора, например, путем формирования только наиболее конкретных гипотез из всех возможных и соблюдения требования о том, чтобы все выражения, принятые в качестве гипотез, были совместимыми и друг с другом, и с результатами наблюдений. Применение последнего критерия позволило бы исключить выражение -лРагеп t(z ,у) vGrandparen t (George, у), приведенное выше.
Могут быть наложены ограничения на стратегию доказательства. Например, в главе 9 было показано, что линейная резолюция — это полная, ограниченная стратегия, которая позволяет создавать только такие деревья доказательства, которые имеют линейную структуру ветвления (как на рис. 19.9).
Могут быть наложены ограничения на язык представления, например, путем устранения функциональных символов или применения только хорновских выражений. Например, язык Progol оперирует с хорновскими выражениями с использованием ^ обратного логического следствия. Идея этого метода состоит в том, что ограничение логического следствия:
Background л Hypothesis л Descriptions k Classifications должно быть преобразовано в такую логически эквивалентную форму: Background л Descriptions л —^Classifications k -^Hypothesis Исходя из этой формы представления, для вывода гипотезы Hypothesis можно использовать процесс, аналогичный обычной дедукции Prolog с помощью хорновских выражений, в котором применяется отрицание как недостижение цели. Поскольку данный метод ограничивается хорновскими выражениями, он является неполным, но может оказаться более эффективным, чем полная резолюция. Кроме того, при обратном логическом следствии появляется возможность использовать полный логический вывод [717].
Логический вывод может осуществляться с помощью проверки по модели, а не с помощью доказательства теоремы. В системе Progol [1098] для ограничения поиска используется определенная форма проверки по модели. Это означает, что в этой системе, как и в программировании множества ответов, вырабатываются все возможные значения логических переменных, которые затем проверяются на совместимость.
Логический вывод может осуществляться с помощью базовых пропозициональных выражений, а не выражений в логике первого порядка. Система Linus [897] действует по принципу преобразования теорий логики первого порядка в выражения пропозициональной логики, поиска для этих выражений решений с помощью пропозициональной обучающейся системы, а затем
обратного преобразования. Как было показано на примере алгоритма SATplan в главе 11, при решении некоторых задач может оказаться более эффективной организация работы с помощью пропозициональных формул.
Совершение открытий с помощью индуктивного логического программирования
Любая процедура обратной резолюции, в которой стратегия полной резолюции действует в противоположном направлении, в принципе представляет собой полный алгоритм изучения теорий первого порядка. Это означает, что если на основе некоторой неизвестной гипотезы Hypothesis вырабатывается множество примеров, то процедура обратной резолюции может выработать гипотезу Hypothesis из этих примеров. Такое замечание подсказывает любопытную возможность: предположим, что имеющиеся примеры включают данные о разнообразных траекториях падающих тел. Существует ли такая теоретическая возможность, что программа обратной резолюции позволит вывести логическим путем закон гравитации? Очевидно, что ответ на этот вопрос является положительным, поскольку именно закон гравитации позволяет объяснять все примеры траекторий при использовании подходящего вспомогательного математического аппарата. Аналогичным образом, вполне можно представить себе, что в пределах возможностей программ ILP находится открытие законов электромагнитного поля, квантовой механики и теории относительности. Разумеется, открытие этих законов находится и в пределах возможностей такой экспериментальной установки, в которой обезьяну посадили за пишущую машинку; нужны лишь более качественные эвристики и новые способы структуризации пространства поиска.
Но не углубляясь в эти крайности, можно отметить, что системы обратной резолюции действительно позволяют совершать небольшие, но важные открытия — создавать новые предикаты. Такую их способность часто рассматривают как нечто магическое, поскольку компьютеры принято считать устройствами, “просто работающими с тем, что им задано”. Но в действительности новые предикаты непосредственно следуют из этапов обратной резолюции. Простейшим случаем создания таких предикатов является преобразование в гипотезы двух новых выражений Ci и С2 на основе выражения С. Применение операции резолюции к выражениям Сг и С2 приводит к удалению в этих двух выражениях общего литерала, поэтому вполне возможно, что удаленный литерал содержал предикат, который не присутствовал в С. Таким образом, при проведении доказательства в обратном направлении одна из возможностей состоит в формировании нового предиката, из которого реконструируется недостающий литерал. .
На рис. 19.10 показан пример, в котором новый предикат Р формируется в процессе изучения определения для отношения Ancestor. После его формирования предикат Р может использоваться на дальнейших этапах обратной резолюции. Например, на одном из дальнейших этапов может быть выдвинута гипотеза, что Mother(x,y)^P(x, у). Таким образом, новый предикат Р имеет смысл, определяемый процессом выработки гипотез, в которых он участвует. А обработка еще одного примера может привести к созданию ограничения Father(x,y)=>P(x,y). Иными словами, предикат Р представляет собой описание того, что обычно рассматривается как отношение Parent. Как было указано выше, введение новых пре-
дикатов позволяет существенно уменьшить размер определения целевого предиката. Это означает, что системы обратной резолюции часто позволяют решать задачи обучения, неразрешимые с помощью других методов, поскольку предоставляют возможность изобретать новые предикаты.
^х/George^
—। Father(George,y) v Ancestor(George,y)
Рис. 19.10. Этап обратной резолюции, на котором вырабатывается новый предикат Р
Некоторые из самых радикальных революций в науке стали следствием изобретения новых предикатов и функций; в качестве примера можно привести открытие Галилеем принципа ускорения или уточнение Джоулем понятия тепловой энергии. Как только в распоряжении ученых оказываются эти новые определения, открытие новых законов становится относительно простым. При этом труднее всего понять, что какая-то новая сущность, имеющая конкретную связь с уже известными сущностями, позволяет объяснить целый класс результатов наблюдений с помощью гораздо более простой и изящной теории по сравнению с теми теориями, которые применялись раньше.
До сих пор с помощью систем ILP еще не были сделаны открытия на уровне Галилея или Джоуля, но даже небольшие открытия, сделанные с их помощью, оказались достойными публикации в научной литературе. Например, в Journal of Molecular Biology были описаны результаты автоматизированного открытия правил сворачивания белка с помощью программы Progol, действующей по принципу индуктивного логического программирования [1517]. Многие правила, открытые программой Progol, и раньше можно было вывести из известных принципов, но большинство из них еще не было до сих пор опубликовано в составе какой-либо стандартной биологической базы данных (один из примеров такого правила приведен на рис. 19.7). В одной из работ, относящихся к близкой теме, рассматривалась проблема открытия правил определения мутагенной способности нитроароматических веществ, обусловленной их молекулярной структурой [1454]. Такие вещества были обнаружены в выхлопных газах автомобилей. Для 80% этих веществ, данные о которых содержались в стандартной базе данных, удалось выявить четыре важные характеристики, причем применение метода линейной регрессии для анализа данных характеристик показало, что этот метод превышает по своей производительности метод ILP. А для оставшихся 20% веществ такие характеристики, отдельно взятые, не позволяют получить надежный прогноз, но система ILP выявила отношения, которые позволили ей превзойти по производительности системы с линейной регрессией, нейронными сетями и деревьями решений. В [798] показано, как обеспечить прогнозирование терапевтической эффективности различных лекарств, исходя из их молекулярной структуры. Анализ этих практических примеров позволяет прийти к выводу, что достижению высокой производительности систем ILP способствует то, что они позволяют представлять новые отношения и использовать фоновые знания. Тот факт, что правила, найденные системами ILP, могут интерпретироваться людьми, стал
причиной того, что эти методы были взяты на вооружение не только специалистами в области компьютерных наук, но и биологами.
Применение методов ILP способствует развитию не только биологии, но и других наук. Одним из наиболее важных таких направлений является обработка естественного языка, в котором системы ILP используются для извлечения сложной реляционной информации из текста. Итоговые результаты, достигнутые в этом научном направлении, описаны в главе 23.
Резюме
В данной главе рассматривались различные способы, при использовании которых априорные знания могут помочь агенту обучаться на основе новых опытных данных. Поскольку основная часть априорных знаний выражена в терминах реляционных моделей, а не моделей, основанных на атрибутах, в настоящей главе описаны также системы, которые позволяют изучать реляционные модели. Наиболее важные идеи, изложенные в этой главе, перечислены ниже.
Успешное применение априорных знаний в обучении показывает, что еще более перспективным является кумулятивное обучение, в котором обучающиеся агенты повышают свою способность к обучению по мере того, как приобретают все больше и больше знаний.
Априорные знания способствуют обучению, поскольку позволяют устранять ошибочные гипотезы, которые в ином случае считались бы совместимыми, а также “дополнять” объяснения примерами, что приводит к созданию более коротких гипотез. Такие возможности часто позволяют добиться ускоренного обучения с помощью меньшего количества примеров.
Априорные знания могут выполнять различные функции в логическом выводе, а описания этих функций, выраженные в форме ограничений логического следствия, позволяют определить целый ряд разнообразных методов обучения.
В методе обучения на основе объяснения (Explanation-Based Learning— EBL) предусматривается извлечение общих правил из отдельных примеров путем формирования объяснений для этих примеров и обобщения объяснений. Метод EBL представляет собой дедуктивный метод, с помощью которого знания основных принципов преобразуются в полезные, эффективные экспертные знания специального назначения.
В методе обучения с учетом релевантности (Relevance-Based Learning — RBL) используются априорные знания в форме определений для выявления релевантных атрибутов, что приводит к созданию уменьшенного пространства гипотез и ускорению обучения. Метод RBL обеспечивает также создание дедуктивных обобщений на основе отдельных примеров.
В методе индуктивного обучения на основе знаний (Knowledge-Based Inductive Learning — KBIL) предусматривается поиск индуктивных гипотез, позволяющих объяснять множества результатов наблюдений с помощью фоновых знаний.
В методах индуктивного логического программирования (Inductive Logic Programming — ILP) метод KBIL применяется к знаниям, выраженным в ло-
гике первого порядка. Методы ILP позволяют получать в процессе обучения такие реляционные знания, которое не могут быть выражены в системах на основе атрибутов.
Индуктивное логическое программирование может осуществляться в рамках нисходящего подхода, в котором осуществляется уточнение очень общего правила, или восходящего подхода, обратного по отношению к процессу дедуктивного логического вывода.
С помощью методов ILP естественным путем вырабатываются новые предикаты, с помощью которых могут быть выражены новые емкие теории, поэтому они открывают возможность создания систем формирования научных теорий общего назначения.
Библиографические и исторические заметки
Хотя вполне очевидно, что одной из главных тем философии науки должно быть использование априорных знаний в обучении, до последнего времени в этой области был проведен лишь небольшой объем работы. В книге Fact, Fiction, and Forecast, написанной философом Нельсоном Гудманом [578], была опровергнута применявшаяся ранее гипотеза о том, что индукция сводится просто к изучению достаточного количества примеров некоторого высказывания с квантором всеобщности, а затем принятия его в качестве гипотезы. Рассмотрим, например, гипотезу “Цвета всех изумрудов изменчивы”, где под ^изменчивым подразумевается “зеленый, если наблюдения проводятся до времени t, но голубой, если наблюдения проводятся после этого”. В любое время, предшествующее t, человеком могли бы рассматриваться миллионы примеров, подтверждающих правило, что цвета изумрудов изменчивы, и ни одного опровергающего примера, и тем не менее не была бы выражена готовность принять это правило. Такое свойство человеческой психики можно объяснить только с помощью анализа той роли, которую играют в процессе индукции релевантные априорные знания. Гудман предложил рассматривать различные виды априорных знаний, которое могли бы оказаться применимыми в логическом выводе, включая одну из версий способа формулировки определений, называемую определением сверхгипотез. К сожалению, идеи Гудмана никогда не применялись в исследованиях по машинному обучению.
Истоками подхода к обучения на основе объяснения явились методы, используемые в планировщике Strips [465]. После формирования какого-то плана его обобщенная версия сохраняется в библиотеке планов и используется в дальнейшем планировании в качестве макрооператора. Аналогичные идеи просматриваются в архитектуре ACT* Андерсона, где они выступают под названием компиляции знаний [31], и в архитектуре Soar под названием формирование фрагментов [881]. Непосредственными причинами быстрого повышения интереса к методам обучения на основе объяснения стало появление методов приобретения схемы [379], аналитического обобщения [1062] и обобщения на основе ограничений [1056], которые были подытожены в статьях [381] и [1065]. Хирш [659] предложил алгоритм EBL, описанный в данной книге, и показал, что этот алгоритм можно непосредственно включить в систему логического программирования. Ван Хармелен и Банди [1531] показали, что метод
обучения на основе объяснения представляет собой один из вариантов метода частичной оценки, используемого в системах анализа программ [742].
Проведенный в последнее время строгий анализ привел к лучшему пониманию потенциальных затрат и выгод, связанных с применением метода ЕВЕ, с точки зрения его влияния на скорость решения задач. Минтон [1057] показал, что использование метода ЕВЕ без значительных дополнительных усилий со стороны пользователя вполне может привести к существенному замедлению работы любой программы. Тамб и др. [1488] обнаружили, что аналогичная проблема возникает при формировании фрагментов знаний, предназначенных для запоминания, и предложили способ уменьшения выразительной мощи языка правил, позволяющий свести к минимуму стоимость операции согласования правил с содержимым рабочей памяти. В этой работе обнаружились явные аналогии с полученными недавно результатами анализа сложности логического вывода в ограниченных версиях логики первого порядка (см. главу 9). Формальный вероятностный анализ ожидаемых преимуществ использования метода ЕВЕ можно найти в [595] и [1471]. Превосходный обзор этого метода приведен в [396].
Вместо использования примеров в качестве материала для обобщения их можно применять непосредственно для решения новых задач в процессе, называемом формированием рассуждений по аналогии. Такой метод формирования рассуждений осуществляется в нескольких вариантах, во-первых, в виде формирования приемлемых рассуждений с учетом степени подобия [540], во-вторых, в виде дедуктивного логического вывода, основанного на определениях, но требующего привлечения примеров [330], и, в-третьих, в виде метода ЕВЕ с “отложенным принятием решений”, который позволяет корректировать направление обобщения старого примера с учетом потребностей решения новой задачи. Последняя разновидность процесса формирования рассуждений по аналогии наиболее часто встречается в системах формирования рассуждения на основе конкретных случаев [830] и системах создания деривационной аналогии [ 1540].
Подход к использованию информации о релевантности в форме функциональных зависимостей был впервые разработан в сообществе пользователей баз данных, где он служит для структуризации больших множеств атрибутов на более легко управляемые подмножества. Функциональные зависимости применялись для формирования рассуждений по аналогии Карбонеллом и Коллинзом [222], а их трактовка, более подходящая для использования в логике, была предложена Бобровым и Рафаэлем [144]. Зависимости были повторно открыты независимо и подверглись всестороннему логическому анализу в работах Дэвиса и Рассела [329], [330]. Кроме того, зависимости использовались в методе декларативного смещения Расселом и Грософом [1327]. Эквивалентность таких понятий, как определения и пространства гипотез с ограниченным словарем, была доказана в [1323]. Возможность применения алгоритмов обучения к определениям и достижения повышенной производительности с помощью метода RBDTL впервые была показана на примере алгоритма Focus в [20]. Тадепалли [1485] описал остроумный алгоритм обучения на основе определений, который демонстрирует существенное увеличение скорости обучения.
Идею о том, что индуктивное обучение может осуществляться по методу обратной дедукции, можно проследить до работы В.С. Джевонса [736], который писал: “Изучение формальной логики и теории вероятностей привело меня к тому, что я стал приверженцем мнения, что не существует такой вещи, как отдельный метод ин-
дукции, противопоставляемый дедукции, но индукция является просто обратным воплощением дедукции”. Исследования в области вычислительных алгоритмов начались с замечательных тезисов докторской диссертации Гордона Плоткина [1216], опубликованных в Эдинбурге. Хотя Плоткин разработал множество теорем и методов, которые в настоящее время находят применение в индуктивном логическом программировании, он был разочарован некоторыми результатами, показывающими неразрешимость определенных подзадач методами индукции. В системе MIS [1396] снова была предпринята попытка решения задачи изучения логических программ, но самим автором эта работа в основном рассматривалась как вклад в теорию автоматизированной отладки. Работа в области индуктивного вывода правил, подобная проведенной при создании систем ID3 [1257] и CN2 [263], привела к появлению системы Foil [1258], которая впервые позволила осуществлять на практике методы индуктивного вывода реляционных правил. Исследования в области реляционного обучения получили новый стимул после публикации работы Магглтона и Бантайна [1100], в которой была описана программа Cigol, реализующая немного неполную версию метода обратной резолюции, но способную вырабатывать новые предикаты. Задачи изобретения предикатов рассматриваются также в [1604]. Следующей важной системой стала Golem [1102], в которой используется алгоритм формирования покрытия, основанный на выдвинутом Плоткином понятии относительного наименьшего общего обобщения. Тогда как система Foil была нисходящей, системы Cigol и Golem действовали в восходящем направлении. К примерам других систем, появившихся в тот период, относятся Itou [1312] и Clint [352]. В разработанной в дальнейшем системе Progol [1098] был принят гибридный (нисходящий и восходящий) подход к формированию обратного логического следствия; эта система применялась для решения целого ряда практических задач, особенно в области биологии и обработки естественного языка. В [1099] описано расширение системы Progol, позволяющее учитывать неопределенность, в форме стохастических логических программ.
Формальный анализ методов ILP приведен в [1096], большая подборка статей представлена в [1097], а описания методов и приложений собраны в [897]. В [1163] можно найти более современный обзор истории развития этой области и описание проблем, которые должны быть решены в будущем. Первые результаты анализа сложности, опубликованные в [632], свидетельствовали о том, что задача изучения высказываний в логике первого порядка является безнадежно сложной. Однако благодаря лучшему пониманию важности синтаксических ограничений различного рода, налагаемых на выражения, удалось получить положительные результаты даже для выражений с рекурсией [426]. Результаты изучения возможности обучения для методов ILP изложены в [279] и [794].
Несмотря на то что в настоящее время индуктивное логическое программирование, по-видимому, является доминирующим подходом к решению задач конструктивной индукции, это — не единственный опробованный подход. Разработаны так называемые системы открытий, которые направлены на моделирование процесса научного открытия новых понятий, обычно путем прямого поиска в пространстве определений понятий. В системе АМ, или Automated Mathematician (автоматизированный матема-
тик), Дуга Лената [337] использовались эвристики открытий, выраженные в виде правил экспертной системы для управления осуществляемым в ней поиском понятий и научных предположений в области элементарной теории чисел. В отличие от большинства систем, предназначенных для формирования математических рассуждений, в системе АМ отсутствовало понятие доказательства, поэтому она могла выдвигать только предположения. Эта система повторно открыла предположение Гольдбаха и теорему уникального разложения на простые множители. Архитектура системы АМ была обобщена в системе Eurisko [907] в результате введения механизма, способного перезаписывать собственные эвристики открытия этой системы. Система Eurisko применялась во многих областях, отличных от области поиска математических открытий, хотя и с меньшим успехом, чем АМ. Но методология систем АМ и Eurisko оказалась противоречивой [909], [1292].
Еще один класс систем открытия предназначен для обработки реальных научных данных в целях поиска новых законов. Системы Dalton, Glauber и Stahl [885] представляют собой системы на основе правил, предназначенные для поиска количественных связей в экспериментальных данных, полученных из физических систем; в каждом случае системы показали свою способность снова выдвинуть широко известное открытие из истории науки. Системы открытия, основанные на вероятностных методах (в частности, алгоритмы кластеризации, позволяющие обнаруживать новые категории), рассматриваются в главе 20.
Упражнения
Преобразовав выражение в конъюнктивную нормальную форму и применив метод резолюции, покажите, что приведенное на с. 923 заключение, касающееся бразильцев, является обоснованным.
Для каждого из следующих определений запишите логическое представление и объясните, почему это определение является истинным (если его действительно можно считать таковым).
Название штата (в США) можно определить по почтовому индексу.
Масса монеты зависит от ее проекта и номинала.
Применительно к конкретной программе выходные данные определяются входными данными.
Изменение массы тела в большую или меньшую сторону происходит под влиянием климата, рациона питания, физической нагрузки и интенсивности обмена веществ.
Наличие лысины у мужчины определяется тем, была ли лысина у деда со стороны матери.
Могла бы найти применение вероятностная версия определения? Предложите приемлемую трактовку такого понятия.
Подставьте недостающие значения выражения Q или С2 (или обоих выражений) в приведенный ниже ряд выражений, при условии, что С — резольвента Ci и С2.
С = True => Р^А, В), Ci = Р(х,у) => 0(х,у),С2 = ??.
С = True => P(A,B),Ci = ??,С2 = ??.
С = Р(х,у) => P(x,f(y)),C! = ??,С2 = ??.
Если имеется больше одного возможного решения, приведите по одному примеру каждого из различных решений.
ё) Предположим, что разрабатывается логическая программа, которая осуществляет один из этапов логического вывода по методу резолюции. Это означает, что такая программа, Resol ve (сх, с2, с), завершается успешно, если с — результат применения операции резолюции к выражениям сх и с2. При обычных обстоятельствах программа Resolve используется в составе системы автоматического доказательства теорем, в которой она вызывается с параметрами Ci и с2, конкретизированными значениями некоторых выражений, и возвращает значение резольвенты с. А теперь предположим, что вместо этого данная программа вызывается с конкретизированным значением с и неконкретизированными значениями сг и с2. Приведет ли это к успешному получению приемлемых результатов на этапе обратной резолюции? Потребуется ли внести какие-либо специальные изменения в рассматриваемую систему логического программирования для того, чтобы можно было применять программу в такой форме?
Предположим, что в системе Foil рассматривается задача введения литерала в выражение с использованием бинарного предиката Р и что предыдущие литералы (включая голову выражения) содержат пять разных переменных.
Какое количество функционально различных литералов может быть сформировано? Два литерала являются функционально идентичными, если они отличаются только по именам содержащихся в них новых переменных.
Можете ли вы найти общую формулу для количества различных литералов с предикатом, имеющим арность г, если ранее использовалось п переменных?
Почему в системе Foil не допускается введение литералов, которые не содержат ранее использованных переменных?
Используя данные из генеалогического дерева, приведенного на рис. 19.8, или подмножество этих данных, примените алгоритм Foil для изучения определения предиката Ancestor.
20 Статистические
МЕТОДЫ ОБУЧЕНИЯ
В данной главе рассматривается обучение как способ формирования рассуждений в условиях неопределенности на основании результатов наблюдений.
В главах части V было указано, что в реальных вариантах среды ситуации преимущественно являются неопределенными. Агенты могут справиться с неопределенностью, используя методы теории вероятностей и теории решений, но вначале должны сформировать в процессе обучения на основании полученного опыта свои вероятностные теории о мире. В этой главе показано, как может быть достигнута эта цель. В ней описано, как сформулировать саму задачу обучения в виде процесса вероятностного вывода (раздел 20.1). Материал, изложенный в данной главе, свидетельствует о том, что байесовский подход к обучению является чрезвычайно мощным и предоставляет общие решения проблем шума, чрезмерно тщательной подгонки и оптимального предсказания. В настоящей главе учитывается также тот факт, что агент, не являющийся полностью всезнающим, не будет никогда уверен в том, что та или иная теория о мире действительно является правильной, но все равно обязан принимать решения, используя некоторую теорию о мире.
В разделах 20.2 и 20.3 описаны методы обучения вероятностных моделей (в основном байесовских сетей). В разделе 20.4 рассматриваются методы обучения, предусматривающие сохранение и извлечение из памяти конкретных экземпляров примеров. В разделе 20.5 описано обучение нейронных сетей, а в разделе 20.6 даны вводные сведения о ядерных машинах. Часть материала этой главы имеет богатое математическое содержание (и для ее освоения требуются элементарные знания в области многомерного исчисления), хотя основные приведенные здесь научные результаты можно понять, не углубляясь в детали. При изучении этого материала читателю может потребоваться еще раз просмотреть главы 13 и 14 и ознакомиться с математическими сведениями, приведенными в приложении А.
Статистическое обучение
Основными понятиями в данной главе, как и в главе 18, являются данные и гипотезы. Но в этой главе данные рассматриваются как свидетельства, т.е. конкретизации некоторых или всех случайных переменных, описывающих проблемную область, а гипотезы представляют собой вероятностные теории того, как функционирует проблемная область, включающие логические теории в качестве частного случая.
Рассмотрим очень простой пример. Наши любимые леденцы “Сюрприз” выпускаются в двух разновидностях: вишневые (сладкие) и лимонные (кислые). У изготовителя леденцов особое чувство юмора, поэтому он заворачивает каждую конфету в одинаковую непрозрачную бумагу, независимо от разновидности. Леденцы продаются в очень больших пакетах (также внешне не различимых), о которых известно, что они относятся к пяти следующим типам:
hi: 100% вишневых леденцов
h2: 75% вишневых + 25 % лимонных леденцов
h3: 50% вишневых + 50 % лимонных леденцов
h4: 25% вишневых + 75 % лимонных леденцов
h5: 100 % лимонных леденцов
Получив новый пакет леденцов, любитель конфет пытается угадать, к какому типу он относится, и обозначает тип пакета случайной переменной Н (сокращение от hypothesis — гипотеза), которая имеет возможные значения от Нг до h5. Безусловно, значение переменной н невозможно определить с помощью непосредственного наблюдения. По мере развертывания и осмотра конфет регистрируются данные о них, A, d2, ..., Дь где каждый элемент данных, д, представляет собой случайную переменную с возможными значениями cherry (вишневый леденец) и lime (лимонный леденец). Основная задача, стоящая перед агентом, состоит в том, что он должен предсказать, к какой разновидности относится следующая конфета. Несмотря на кажущуюся простоту, постановка этой задачи позволяет ознакомиться с многими важными темами. В действительности агент должен вывести логическим путем теорию о мире, в котором он существует, хотя и очень простую.
В ^ байесовском обучении исходя из полученных данных просто вычисляется вероятность каждой гипотезы и на этой основе делаются предсказания. Это означает, что предсказания составляются с использованием всех гипотез, взвешенных по их вероятностям, а не с применением только одной “наилучшей” гипотезы. Таким образом, обучение сводится к вероятностному выводу. Допустим, что переменная D представляет все данные, с наблюдаемым значением d; в таком случае вероятность каждой гипотезы может быть определена с помощью правила Байеса:
P(hi|d) = ос P(d|hi) P(hi)(20.1)
Теперь предположим, что необходимо сделать предсказание в отношении неизвестного количества X. В таком случае применяется следующее уравнение:
P(x|d) = ^P(x|d,hi) P(hi|d) i
(20.2)(20.2)= ^P(X|hi) P(hjd) ) i
(20.2)
(20.2)
где предполагается, что каждая гипотеза определяет распределение вероятностей по X. Это уравнение показывает, что предсказания представляют собой взвешенные средние по предсказаниям отдельных гипотез. Сами гипотезы по сути являются “посредниками” между фактическими данными и предсказаниями. Основными количественными показателями в байесовском подходе являются М распределение априорных вероятностей гипотезы, Р(Ь£), и правдоподобие данных согласно каждой гипотезе, P(d| ^).
Применительно к рассматриваемому примеру с леденцами предположим, что изготовитель объявил о наличии распределения априорных вероятностей по значениям hlt..., h5, которое задано вектором <0.1,0.2,0.4,0.2,0.1>. Правдоподобие данных рассчитывается в соответствии с предположением, что наблюдения характеризуются свойством М i.i.d., т.е. являются независимыми и одинаково распределенными (i.i.d. — independently and identically distributed), поэтому соблюдается следующее уравнение:
P(d|hi) = ||p(dj|hi) (20.3) j
Например, предположим, что пакет в действительности представляет собой пакет такого типа, который состоит из одних лимонных леденцов (й5), и все первые 10 конфет являются лимонными леденцами; в таком случае значение Р (d | Ь3) равно 0.510, поскольку в пакете типа h3 половина конфет— лимонные леденцы. На рис. 20.1, а показано, как изменяются апостериорные вероятности пяти гипотез по мере наблюдения последовательности из 10 лимонных леденцов. Обратите внимание на то, что кривые вероятностей начинаются с их априорных значений, поэтому первоначально наиболее вероятным вариантом является гипотеза h3 и остается таковой после развертывания 1 конфеты с лимонным леденцом. После развертывания 2 конфет с лимонными леденцами наиболее вероятной становится гипотеза h4, а после обнаружения 3 или больше лимонных леденцов наиболее вероятной становится гипотеза h5 (ненавистный пакет, состоящий из одних кислых лимонных леденцов). После обнаружения 10 подряд лимонных леденцов мы почти уверены в своей злосчастной судьбе. На рис. 20.1, б приведена предсказанная вероятность того, что следующий леденец будет лимонным, согласно уравнению 20.2. Как и следовало ожидать, она монотонно увеличивается до 1.
Количество выборок в множестве d Количество выборок в множестве d а) б)
Рис. 20.1. Изменение вероятностей в зависимости от количества данных: апостериорные вероятности Р fhi /di,..., dN), полученные с помощью уравнения 20.1. Количество наблюдений N возрастает от 1 до 10, а в каждом наблюдении обнаруживается лимонный леденец (а); байесовские предсказания Р fd^i=lime /di,..., d^J, полученные из уравнения 20.2(6)
Этот пример показывает, что ^ истинная гипотеза в конечном итоге будет доминировать над байесовским предсказанием. В этом состоит характерная особенность байесовского обучения. При любом заданном распределении априорных вероятностей, которое не исключает с самого начала истинную гипотезу, апостериорная вероятность любой ложной гипотезы в конечном итоге полностью исчезает просто потому, что вероятность неопределенно долгого формирования “нехарактерных” данных исчезающе мала (сравните это замечание с аналогичным замечанием, сделанным при обсуждении РАС-обучения в главе 18). Еще более важно то, что байесовское предсказание является оптимальным, независимо от того, применяется ли большой или малый набор данных. При наличии распределения априорных вероятностей гипотезы все другие предсказания будут правильными менее часто.
Но за оптимальность байесовского обучения, безусловно, приходится платить. В реальных задачах обучения пространство гипотез обычно является очень большим или бесконечным, как было показано в главе 18. В некоторых случаях операция вычисления суммы в уравнении 20.2 (или, в непрерывном случае, операция интегрирования) может быть выполнена успешно, но в большинстве случаев приходится прибегать к приближенным или упрощенным методам.
Один из широко распространенных приближенных подходов (из числа тех, которые обычно применяются в научных исследованиях) состоит в том, чтобы делать предсказания на основе единственной наиболее вероятной гипотезы, т.е. той гипотезы h^ которая максимизирует значение P(hi|d). Такую гипотезу часто называют М максимальной апостериорной гипотезой, или сокращенно MAP (Maximum А Posteriori; произносится “эм-эй-пи”). Предсказания ^р, сделанные на основе МАР- гипотезы, являются приближенно байесовскими до такой степени, что р (х| d) =Р (х| ^мдр). В рассматриваемом примере с конфетами ^мар=^5 после обнаружения трех лимонных леденцов подряд, поэтому агент, обучающийся с помощью MAP-гипотезы, после этого предсказывает, что четвертая конфета представляет собой лимонный леденец, с вероятностью 1.0, а это — гораздо более радикальное предсказание, чем байесовское предсказание вероятности 0.8, приведенное на рис. 20.1.
По мере поступления дополнительных данных предсказания с помощью МАР- гипотезы и байесовские предсказания сближаются, поскольку появление гипотез, конкурирующих с МАР-гипотезой, становится все менее и менее вероятным. Хотя в рассматриваемом примере это не показано, поиск MAP-гипотез часто бывает намного проще по сравнению с байесовским обучением, поскольку требует решения задачи оптимизации, а не задачи вычисления большой суммы (или интегрирования). Примеры, подтверждающие это замечание, будут приведены ниже в данной главе.
И в байесовском обучении, и в обучении с помощью MAP-гипотез важную роль играет распределение априорных вероятностей гипотезы Р№0 . Как было показано в главе 18, если пространство гипотез является слишком выразительным, в том смысле, что содержит много гипотез, хорошо согласующихся с набором данных, то может происходить чрезмерно тщательная подгонка. С другой стороны, байесовские методы обучения и методы обучения на основе MAP-гипотез не налагают произвольный предел на количество подлежащих рассмотрению гипотез, а позволяют использовать распределение априорных вероятностей для наложения штрафа за сложность. Как правило, более сложные гипотезы имеют более низкую априорную вероятность, отчасти потому, что сложных гипотез обычно бывает намного больше, чем простых. С другой стороны, более сложные гипотезы имеют большую способность согласовываться с данными (в крайнем случае какая-то поисковая таблица может оказаться способной точно воспроизводить данные с вероятностью 1). Поэтому в распределении априорных вероятностей гипотезы воплощен компромисс между сложностью гипотезы и степенью ее согласования с данными.
Влияние такого компромисса можно наблюдать наиболее наглядно в случае использования логических гипотез, когда переменная н содержит только детерминированные гипотезы. В таком случае значение P(d | hi) равно 1, если гипотеза hi согласуется с данными, и 0 — в противном случае. Рассматривая уравнение 20.1, можно определить, что h^p в таких условиях представляет собой ^ простейшую логическую теорию, согласованную с данными. Поэтому обучение с помощью максимальной апостериорной гипотезы представляет собой естественное воплощение принципа бритвы Оккама.
Еще один способ анализа компромисса между сложностью и степенью согласованности состоит в том, что можно исследовать уравнение 20.1, взяв его логарифм. Применение значения ^р для максимизации выражения P(d| hi) P(h£) эквивалентно минимизации следующего выражения:
-log2P(d|hi) - log2P(hi)
Используя связь между информационным содержанием и вероятностью, которая была описана в главе 18, можно определить, что терм -log2P(^i) определяет количество битов, требуемых для задания гипотезы h^ Кроме того, терм -log2P(d | hi) представляет собой дополнительное количество битов, требуемых для задания данных, если дана рассматриваемая гипотеза (чтобы убедиться в этом, достаточно отметить, что если гипотеза точно предсказывает данные, как в случае гипотезы h5 и сплошного ряда конфет с лимонными леденцами, не требуется ни одного бита, поскольку 1од21 = 0). Таким образом, обучение с помощью MAP-гипотезы равносильно выбору гипотезы, которая обеспечивает максимальное сжатие данных. Такую же задачу можно решить более прямо с помощью метода обучения на основе ^ минимальной длины описания, или сокращенно MDL (Minimum Description
Length), в котором вместо манипуляций с вероятностями предпринимаются попытки минимизировать размер гипотезы и закодированного представления данных.
Окончательное упрощение может быть достигнуто путем принятия предположения о равномерном распределении априорных вероятностей по пространству гипотез. В этом случае обучение с помощью MAP-гипотезы сводится в выбору гипотезы hi, которая максимизирует значение P(d | HJ. Такая гипотеза называется гипотезой с ^ максимальным правдоподобием (Maximum Likelihood — ML) и сокращенно обозначается hML. Обучение на основе гипотезы с максимальным правдоподобием очень широко применяется в статистике, поскольку в этой научной области многие исследователи не доверяют распределениям априорных вероятностей гипотезы, считая, что они имеют субъективный характер. Это — приемлемый подход, применяемый в тех обстоятельствах, когда нет оснований априорно отдавать предпочтение одной гипотезе перед другой, например, в тех условиях, когда все гипотезы являются в равной степени сложными. Такой метод обучения становится хорошей аппроксимацией байесовского обучения и обучения с помощью MAP-гипотезы, когда набор данных имеет большие размеры, поскольку данные сами исправляют распределение априорных вероятностей по гипотезам, но связан с возникновением определенных проблем (как будет показано ниже) при использовании небольших наборов данных.
Обучение с помощью полных данных
Начнем разработку методов статистического обучения с простейшей задачи — ^ обучение параметрам с помощью М полных данных. Задача обучения параметрам сводится к поиску числовых параметров для вероятностной модели, имеющей фиксированную структуру. Например, может потребоваться определить в процессе обучения условные вероятности в байесовской сети с заданной структурой. Данные называются полными, если каждая точка данных содержит значения для каждой переменной в вероятностной модели, применяемой при обучении. При наличии полных данных задача определения в процессе обучения параметров сложной модели значительно упрощается. Кроме того, в данном разделе кратко рассматривается задача изучения структуры.
Обучение параметрам с помощью метода максимального правдоподобия: дискретные модели
Допустим, что мы покупаем пакет конфет с лимонными и вишневыми леденцами, выпущенный новым изготовителем, соотношение лимонных и вишневых леденцов в продукции которого полностью неизвестно; это означает, что доля тех и других леденцов может измеряться любым значением от 0 до 1. В данном случае приходится рассматривать континуум гипотез. Кроме того, в этом случае параметром, который будет обозначаться как 0, является доля вишневых леденцов, а гипотезой является h9 (доля лимонных леденцов выражается как 1-0). Если принято предположение, что все возможные значения долевого состава априорно являются равновероятными, то становится обоснованным подход на основе гипотезы с максимальным правдоподобием. Если мы промоделируем эту ситуацию с помо-
щью байесовской сети, то потребуется только одна случайная переменная, Flavor (разновидность конфеты, случайно выбранной из пакета). Эта переменная принимает значения cherry и lime, где вероятность cherry равна 0 (рис. 20.2, а\ Теперь предположим, что развернуто N конфет, из которых с оказались вишневыми леденцами, a £=N-c были лимонными леденцами. Согласно уравнению 20.3, правдоподобие этого конкретного набора данных выражается следующей формулой:
N
P(d|he) = JJp(dj|h6) = 6е-(1-6) j=i
Гипотеза с максимальным правдоподобием задается значением 0, которое максимизирует это выражение. Такое же значение может быть получено путем макси
мизации значения М логарифмического правдоподобия:
N
L(d|h0) = log P(d|h0) = ^' log P(dj|h0) = clogO + £log(l-0) j=l
(Взяв логарифмы, мы преобразовали произведение в сумму по данным, которую обычно легче максимизировать.) Чтобы найти значение максимального правдоподобия 0, дифференцируем L по 0 и приравняем полученное выражение к нулю следующим образом:
dMdjho^ _ с _ Iс _ с
de " е " 1-е "
Таким образом, если описать это выражение на естественном языке, то гипотеза с максимальным правдоподобием h^ утверждает, что фактическая доля вишневых леденцов в пакете равна наблюдаемой доле этих леденцов в конфетах, развернутых до сих пор!
На первый взгляд создается впечатление, что мы проделали большой объем работы лишь для того, чтобы открыть этот очевидный факт. Но в действительности описанным выше путем был создан один из стандартных методов обучения параметрам с максимальным правдоподобием, который описан ниже.
Записать выражение для правдоподобия данных как функции от параметра (параметров).
Найти производную логарифмического правдоподобия по отношению к каждому параметру.
Найти такие значения параметров, чтобы производные стали равными нулю.
Обычно самым сложным является последний из этих этапов. В рассматриваемом примере он был простейшим, но ниже будет показано, что во многих случаях приходится прибегать к использованию итерационных алгоритмов поиска решений или других числовых методов оптимизации, как было описано в главе 4. Кроме того, этот пример иллюстрирует важную проблему, которая в целом характерна для обучения с учетом максимального правдоподобия: ^ если набор данных достаточно мал и поэтому некоторые события еще не наблюдались (например, не было обнаружено ни одной конфеты с вишневым леденцом), то гипотеза с максимальным правдоподобием
одной конфеты с вишневым леденцом), то гипотеза с максимальным правдоподобием присваивает этим событиям нулевую вероятность. Для предотвращения возникновения этой проблемы использовались различные приемы, такие как инициализация счетчиков для каждого события значением 1, а не 0.
Рассмотрим еще один пример. Предположим, что этот новый изготовитель конфет хочет дать потребителю небольшую подсказку и использует для конфет обертки красного и зеленого цветов. Значение переменной Wrapper, соответствующей цвету обертки для каждой конфеты, выбирается по вероятностным законам, в соответствии с некоторым неизвестным условным распределением, но в зависимости от разновидностей конфет. Соответствующая вероятностная модель показана на рис. 20.2, б. Обратите внимание на то, что она имеет три параметра: 0, 0Х и 02. С использованием этих параметров правдоподобие события, связанного, скажем, с обнаружением вишневого леденца в зеленой обертке, можно определить на основе стандартной семантики для байесовских сетей (с. 664):
Р (Fl a vor= cherry, Wrapper= green | he, ех,e2)
= P (Fl a vor= cherry | he, 61, e2) P (Wrapper= green | Fl a vor= cherry, he, 61, e2)
= O-(l-Oi)
a) 6)
Puc. 20.2. Обучение параметром с помощью байесовской сети: модель в виде байесовской сети для случая, в котором доля вишневых и лимонных леденцов в пакете неизвестна (а); модель для того случая, когда цвета обертки связаны (вероятностной) зависимостью с разновидностями конфет (б)
Теперь допустим, что развернуто N конфет, из которых с оказались вишневыми леденцами, al — лимонными, а количество оберток оказалось таковым: гс вишневых леденцов имели красные обертки, а дс — зеленые, тогда как г( лимонных леденцов имели красные обертки, а gf — зеленые. Правдоподобие этих данных выражается следующим образом:
P(d|he,ere2) = 0е (1-0)' * 0rf(l-0i)9c • 0^(1-02)9
На первый взгляд это соотношение кажется весьма сложным, но его можно упростить, взяв логарифмы, следующим образом:
L = [clog9 + llog(l-9)] + [rclog9i + gclog(l-9i)] + [r>log92 + дДод(1-92)]
Преимущество взятия логарифмов является очевидным — логарифмическое правдоподобие представляет собой сумму трех термов, каждый из которых содержит единственный параметр. После взятия производных по каждому параметру и приравнивания их к нулю будет получено три независимых уравнения, каждое из которых содержит только один параметр:
— =— = 0=^ о = —
9991-9с+1
9L _ Гс 9с _ _ Q _ __£с_
991 ” 91 " 1-91 "1 " гс+дс
^L =_ д,„ = г,
992921-922 г^д.
Решение для 0 остается таким же, как и прежде. Решение для 0х, вероятности того, что вишневый леденец имеет красную обертку, представляет собой наблюдаемую долю вишневых леденцов в красных обертках, и аналогичным образом определяется решение для 02.
Эти результаты являются очень удобными, и легко показать, что их можно распространить на любую байесовскую сеть, условные вероятности в которой представлены в виде таблицы. Наиболее важный вывод состоит в том, что ^ при наличии полных данных задача обучения параметрам с максимальным правдоподобием для байесовской сети декомпонуется на отдельные задачи обучения, по одной для каждого параметра. Еще один важный вывод состоит в том, что значения параметра для любой переменной при наличии ее родительских значений представляют собой наблюдаемые частоты значений переменных для каждого набора родительских значений. Как и прежде, необходимо внимательно следить за предотвращением появления нулевых значений, если набор данных является небольшим.
Наивные байесовские модели
По-видимому, к числу моделей на основе байесовской сети, которые наиболее широко используются в машинном обучении, относятся наивные байесовские модели. В таких моделях переменная “класса” С (значение которой должно быть предсказано) задана в корневом узле, а переменные “атрибутов” Xi заданы в листовых узлах. Такие модели называются “наивными”, поскольку в них предполагается, что атрибуты являются условно независимыми друг от друга, если определен рассматриваемый класс (модель, приведенная на рис. 29.2, б, представляет собой наивную байесовскую модель только с одним атрибутом). При условии, что переменные являются булевыми, рассматриваемые параметры принимают такой вид:
9 = P(C=true) , 9ii = P(Xi=true\С= true) , 9i2 = P (Xi= true | C= false)
Значения параметров с максимальным правдоподобием можно найти с помощью точно такого же способа, который применялся в сети на рис. 20.2, б. Сразу после
обучения данной модели с помощью такого способа она может использоваться для классификации новых примеров, в которых переменная класса С является ненаблюдаемой. При наличии значений наблюдаемых атрибутов xlz..., хп вероятность каждого класса определяется следующим соотношением:
P(c|xiх„) = а P(c)J]p(xi|c)
i
Детерминистическое предсказание может быть получено путем выбора наиболее вероятного класса. На рис. 20.3 показана кривая обучения для этого метода, соответствующая примеру его применения к задаче с рестораном, описанной в главе 18. Обучение с помощью этого метода происходит довольно успешно, но не так хорошо, как при обучении деревьев решений; следует полагать, это связано с тем, что истинная гипотеза (представляющая собой дерево решений) не является точно представимой с помощью наивной байесовской модели. Как оказалось, метод наивного байесовского обучения действует удивительно успешно в самых разнообразных приложениях, а его усиленная версия (упр. 20.5) является одним из наиболее эффективных алгоритмов обучения общего назначения. Метод наивного байесовского обучения хорошо масштабируется на очень большие задачи: при наличии п булевых атрибутов имеется только 2 п+1 параметров и ^ для обнаружения наивной байесовской гипотезы с максимальным правдоподобием, hML, не требуется поиск. Наконец, метод наивного байесовского обучения не сталкивается с затруднениями при обработке зашумленных данных и может предоставить вероятностные предсказания, когда это необходимо.
0,90,80,70,60,50,90,80,70,60,50,4 ■..020406080100Объем обучающего множества0,4 ■..020406080100Объем обучающего множестваРис. 20.3. Кривая обучения для случая применения метода наивного байесовского обучения к задаче с рестораном из главы 18; для сравнения показана кривая обучения для случая применения метода обучения дерева решенийРис. 20.3. Кривая обучения для случая применения метода наивного байесовского обучения к задаче с рестораном из главы 18; для сравнения показана кривая обучения для случая применения метода обучения дерева решений
0,9
0,8
0,7
0,6
0,5
0,9
0,8
0,7
0,6
0,5
0,4 ■..
020406080100
Объем обучающего множества
0,4 ■..
020406080100
Объем обучающего множества
Рис. 20.3. Кривая обучения для случая применения метода наивного байесовского обучения к задаче с рестораном из главы 18; для сравнения показана кривая обучения для случая применения метода обучения дерева решений
Рис. 20.3. Кривая обучения для случая применения метода наивного байесовского обучения к задаче с рестораном из главы 18; для сравнения показана кривая обучения для случая применения метода обучения дерева решений
Обучение параметрам с максимальным правдоподобием: непрерывные модели
Непрерывные вероятностные модели, такие как линейная гауссова модель, описывались в разделе 14.3. Поскольку в реальных приложениях в основном используются непрерывные переменные, важно знать, как должно осуществляться обучение
непрерывных моделей на основе данных. Принципы обучения с максимальным правдоподобием идентичны применяемым в дискретном случае.
Начнем с очень простого случая: обучение параметрам гауссовой функции плотности от одной переменной. Это означает, что данные вырабатываются следующим образом:
_ (х-Ц)2
Р(х)Р(х)12о2
Р(х)
Р(х)
г=~е
2 лег
Параметрами этой модели являются математическое ожидание ц и среднеквадратичное отклонение о (обратите внимание на то, что нормализующая “константа” зависит от о, поэтому ее нельзя игнорировать). Допустим, что наблюдаемыми значениями являются xlz..., xN. В таком случае логарифмическое правдоподобие определяется следующим образом:
Е
12 ст2/—(xj—ц)2
log—г=~е= Х(-1од\2л - logo) - / —”2 —
j=lj=l
Приравняв, как обычно, производные к нулю, получим такие уравнения:
у
dL 1 V*N ,.„^j
= vLj=1 (Xj'^ = 0 и = —й—
dL W 1 V^N2
+ ? Lj=1 (х^’ = 0
/У (xj-Ц)2
<20.4)
Таким образом, значение максимального правдоподобия среднего представляет собой среднее по выборкам, а значение максимального правдоподобия среднеквадратичного отклонения выражается квадратным корнем от дисперсии выборки. И в данном случае получены удобные результаты, которые подтверждают обоснованность практических методов, созданных на основе “здравого смысла”.
Теперь рассмотрим линейную гауссову модель с одним непрерывным родительским значением X и непрерывным дочерним значением У. Как было описано на стр. 672, значение У имеет гауссово распределение, математическое ожидание которого линейно зависит от значения X, а среднеквадратичное отклонение является постоянным. Чтобы определить в результате обучения распределение условных вероятностей Р( У| X), можно максимизировать условное правдоподобие следующим образом:
_(у-(91Х+92) )2
12а2
Р(у|х) = -7=-е(20.5)
\2ЛО
где параметрами являются 01$ 02 и о. Данные представляют собой множество пар (Xj,yj), как показано на рис. 20.4. Используя обычные методы (упр. 20.6), можно
найти значения параметров с максимальным правдоподобием. Но в этом контексте нужно сделать еще одно замечание. Если рассматриваются только параметры 01 и 02, которые определяют линейную связь между хи у, то становится очевидно, что максимизация логарифмического правдоподобия по отношению к этим параметрам равносильна минимизации числителя в экспоненте уравнения 20.5:
N
Е = ^ (л- (0ix]+e2) )2
а)а)Рис. 20.4. Примеры применения линейной гауссовой модели: линейная гауссова модель, описанная как у=в1Х + 02, к которой добавляется гауссов шум с постоянной дисперсией (а); множество из 50 точек данных, сформированных с помощью этой модели (б)Рис. 20.4. Примеры применения линейной гауссовой модели: линейная гауссова модель, описанная как у=в1Х + 02, к которой добавляется гауссов шум с постоянной дисперсией (а); множество из 50 точек данных, сформированных с помощью этой модели (б)
а)
а)
Рис. 20.4. Примеры применения линейной гауссовой модели: линейная гауссова модель, описанная как у=в1Х + 02, к которой добавляется гауссов шум с постоянной дисперсией (а); множество из 50 точек данных, сформированных с помощью этой модели (б)
Рис. 20.4. Примеры применения линейной гауссовой модели: линейная гауссова модель, описанная как у=в1Х + 02, к которой добавляется гауссов шум с постоянной дисперсией (а); множество из 50 точек данных, сформированных с помощью этой модели (б)
Величина (yj-(0iXj+02) ) представляет собой ^ ошибку для (xd, yj), т.е. разность между фактическим значением у^ и прогнозируемым значением (0^+02), поэтому Е представляет собой хорошо известную ^ сумму квадратичных ошибок. Она является величиной, которую можно минимизировать с помощью стандартной процедуры ^ линейной регрессии. Теперь можно понять, с чем это связано: минимизация суммы квадратичных ошибок позволяет получить линейную модель с максимальным правдоподобием, при условии, что данные вырабатывались с гауссовым шумом, имеющим постоянную дисперсию.
Обучение байесовским параметрам
Метод обучения с максимальным правдоподобием может стать основой некоторых очень простых процедур, но обнаруживает определенные серьезные недостатки при работе с небольшими наборами данных. Например, после обнаружения одного вишневого леденца в этом методе вырабатывается гипотеза с максимальным правдоподобием, что данный пакет на 100% состоит из вишневых леденцов (т.е. 0=1 . 0). Но если только принятое распределение априорных вероятностей гипотезы не сводится к тому, что в пакетах должны находиться лишь одни вишневые леденцы либо исключительно лимонные леденцы, то такое заключение является необоснованным. В байесовском подходе к обучению параметрам распределению априорных вероят-
ностей гипотезы дается предпочтение над возможными значениями параметров, а само распределение обновляется по мере поступления данных.
В примере с конфетами, приведенном на рис. 20.2, а, имеется только один параметр, 6, — вероятность того, что случайно выбранная конфета относится к разновидности вишневых леденцов. С точки зрения байесовского подхода 6 представляет собой (неизвестное) значение случайной переменной 0; распределение априорных вероятностей гипотезы представляет собой распределение априорных вероятностей р (0). Таким образом, Р(0=9) — это априорная вероятность того, что в пакете имеется доля 9 вишневых леденцов.
Если параметр 9 может иметь любое значение от 0 до 1, то Р (0) должно представлять собой непрерывное распределение, которое является ненулевым только между 0 и 1 и интеграл которого равен 1. Одним из потенциальных распределений, пригодных для этой роли, является распределение с равномерной плотностью Р(9) =сг[0,1] (9) (см. главу 13). Как оказалось, распределение с равномерной плотностью является членом семейства М бета-распределений. Каждое бета- распределение определяется двумя М гиперпараметрами, а и Ь, такими, что справедливо следующее соотношение для 9 в диапазоне значений [0,1]:
beta[а,Ь] (6) = ос 9а"1 (1-9)ь"1 (20.6)
Константа нормализации ос зависит от а и b (см. упр. 29.8). На рис. 29.5 показано, как выглядит это распределение при различных значениях а и Ь. Среднее значение этого распределения равно а/ (а+b), поэтому большие значения а показывают обоснованность убеждения, что 0 ближе к 1, чем к 0. При больших значениях а+b распределение становится более заостренным, что выражает большую уверенность в правильности значения 0. Таким образом, семейство бета-распределений предоставляет удобный ряд возможностей выбора распределений априорных вероятностей гипотезы.
Рис. 20.5. Примеры распределения beta fa,bJ для различных значений [а ,Ь]
Кроме такой гибкости, семейство бета-распределений обладает еще одним замечательным свойством: если переменная 0 имеет распределение априорных вероятностей beta [ а, Ь], то после наблюдения в любой точке данных распределение апостериорных вероятностей для 0 также становится бета-распределением. Семейство бета-распределений называется сопряженным распределением априорных вероятностей для семейства распределений, относящихся к некоторой булевой переменной. Рассмотрим, как применяется это свойство. Предположим, что наблюдается появление вишневого леденца; в таком случае имеет место следующее соотношение:
Р(9 | Di=cherry^ = ос Р(Di=cherry10) Р(9)
= ос'9 • beta[а,Ь](9) = ос'9 • 9а"1(1-9)ь"1
= oc'9a(l-9)b"1 = beta[а+1,Ь](9)
Таким образом, после обнаружения вишневого леденца наращивается параметр а для получения нового распределения апостериорных вероятностей; аналогичным образом, после обнаружения лимонного леденца наращивается параметр Ь. Поэтому гиперпараметры а и b можно рассматривать как ^ виртуальные счетчики, в том смысле, что распределение априорных вероятностей beta [а, Ь] ведет себя точно так же, как если бы обучение начиналось с равномерного распределения априорных вероятностей beta [1,1], после чего было фактически обнаружено а-1 вишневых леденцов и Ь-1 лимонных.
Изучая последовательность бета-распределений, соответствующих возрастающим значениям а и Ь, и поддерживая постоянные пропорции, можно наглядно продемонстрировать, как изменяется распределение апостериорных вероятностей по параметру 0 по мере поступления новых данных. Например, предположим, что пакет с конфетами в действительности содержит 75% вишневых леденцов. На рис. 20.5, б показана последовательность распределений beta [ 3,1 ], beta [ б, 2 ], beta [ 3 0,10 ]. Очевидно, что эта последовательность сходится к узкому пику вокруг истинного значения 0. Поэтому при наличии больших наборов данных процесс байесовского обучения постепенно сходится (по меньшей мере в данном случае) и позволяет получить такие же результаты, как и обучение с учетом максимального правдоподобия.
Сеть, показанная на рис. 20.2, б, имеет три параметра, 0, 01$ и 02, где 0Х — вероятность наличия красной обертки на вишневом леденце, а 02 — вероятность наличия красной обертки на лимонном леденце. Распределение априорных вероятностей байесовской гипотезы должно охватывать все три параметра; это означает, что необходимо задать распределение Р (0,0Х, 02). Обычно предполагается, что соблюдается свойство М независимости параметров, как показано ниже.
р(0,0х,02) = р(0)р(01)р(02)
Согласно этому предположению, каждый параметр может иметь свое собственное бета-распределение, которое обновляется отдельно по мере поступления данных.
После того как была сформулирована идея, что неизвестные параметры могут быть представлены случайными переменными, такими как 0, из нее можно вывести естественное заключение, что эти параметры можно включить в саму байесовскую
сеть. Для этого также потребуется сделать копии переменных, описывающих каждый экземпляр. Например, если проверены три леденца, то для их описания потребуются переменные Flavor^ Flavor2, Flavor3, а также Wrapper^ Wrapper2, Wrapper3. Параметрическая переменная 0 определяет вероятность каждой переменной Flavor^.
Р(Flavor^cherry | 0=9) = 9
Аналогичным образом, вероятности оберток зависят от 0Х и 02, например:
Р (Wrapper^-red | Flavors cherry, 0x=9i) = 9i
Теперь весь байесовский процесс обучения можно сформулировать как задачу вероятностного вывода в байесовской сети, имеющей соответствующую структуру (рис. 20.6). Предсказание, касающееся нового экземпляра примера, можно получить, добавляя к сети новые переменные экземпляра, с тем условием, что значения некоторых из них можно будет определять с помощью запросов. Такая формулировка процессов обучения и предсказания наглядно показывает, что для байесовского обучения не требуется задавать дополнительные “принципы обучения”. Кроме того, это означает, что ^ в действительности существует лишь единственный алгоритм обучения, т.е. алгоритм вероятностного вывода для байесовских сетей.
Рис. 20.6. Байесовская сеть, которая соответствует байесовскому процессу обучения. Распределения апостериорных вероятностей для параметрических переменных 0, ©i и 02 можно определить путем вероятностного вывода на основании распределений апостериорных вероятностей этих параметрических переменных и свидетельств, касающихся переменных Wrapper! и Flavori
Определение путем обучения структур байесовских сетей
До сих пор предполагалось, что структура байесовской сети задана, и мы просто пытаемся определить в процессе обучения ее параметры, тогда как структура самой
сети представляет основные причинные знания о проблемной области, которые часто может без особых затруднений сформулировать не только специалист, но даже неопытный пользователь. Но в некоторых случаях причинная модель может оказаться недоступной или стать предметом спора (например, некоторые корпорации долгое время утверждали, что курение не является причиной рака), поэтому важно понять, как может быть определена путем обучения структура байесовской сети на основе данных. В настоящее время алгоритмы структурного обучения находятся на начальном этапе развития, поэтому в данном разделе будет приведен лишь краткий обзор основных идей.
Наиболее очевидным подходом к решению этой задачи является поиск качественной модели. Эту работу можно начать с модели, не содержащей связей, и приступить к введению родительских узлов для каждого узла, согласуя параметры с помощью только что описанных методов и измеряя точность результирующей модели. Еще один вариант состоит в том, что можно начать с исходного предположения о структуре и использовать поиск с восхождением к вершине или с эмуляцией отжига для внесения модификаций, возвращая параметры после каждого изменения в структуре. Модификации могут включать обращение, добавление или удаление дуг. В этом процессе следует избегать появления циклов, поскольку во многих алгоритмах принято предположение, что для переменных задано упорядочение и что узел может иметь родительские узлы только среди тех узлов, которые присутствуют перед ним в этом упорядочении (точно так же, как и в процессе создания сети, описанном в главе 14). Для достижения полной общности необходимо также обеспечить поиск среди возможных упорядочений.
Существуют два альтернативных метода принятия решения о том, нужно ли прекратить поиск, поскольку обнаружена приемлемая структура. Первый из них предусматривает проверку того, действительно ли в данных удовлетворяются предположения об условной независимости, неявно заданные в этой структуре. Например, сам факт использования наивной байесовской модели для задачи с рестораном равносилен предположению о том, что справедливо приведенное ниже соотношение, поэтому можно проверить по самим данным, соблюдается ли это соотношение применительно к соответствующим условным частотам.
Р (Fri/Sat, Bar | WillWai t) = Р (Fri/Sat | WillWai t) Р (Bar | WillWai t)
Итак, даже если полученная структура описывает истинный причинный характер проблемной области, наличие статистических флуктуаций в наборе данных означает, что это уравнение никогда не будет выполняться точно, поэтому необходимо выполнить подходящую статистическую проверку для определения того, есть ли достаточно весомые свидетельства нарушения гипотезы о независимости. Сложность результирующей сети будет зависеть от пороговых значений, используемых для этой проверки — чем строже проверка на независимость, тем больше связей будет введено в сеть и тем выше опасность чрезмерно тщательной подгонки.
Подход, более совместимый с идеями, изложенными в этой главе, состоит в определении того, до какой степени предложенная модель объясняет данные (в вероятностном смысле). Но необходимо соблюдать осторожность при выборе способа измерения этой степени. Если будет просто предпринята попытка найти гипотезу с максимальным правдоподобием, то в конечном итоге будет получена полносвязная сеть, поскольку введение дополнительных родительских узлов для некоторого узла
не позволяет повысить его правдоподобие (см. упр. 20.9). Поэтому приходится каким-то образом вводить штраф за сложность модели. В подходе МАР (или MDL) просто вычитаются штрафные оценки из значений правдоподобия каждой структуры (после настройки параметров) до сравнения различных структур, а в байесовском подходе налагается совместное распределение априорных вероятностей на структуры и параметры. Но обычно количество структур, по которым должно быть выполнено суммирование, слишком велико (оно определяется суперэкспоненциальной зависимостью от количества переменных), поэтому большинство практиков используют алгоритм МСМС для формирования выборок по структурам.
Применение способа штрафования за сложность (с помощью либо методов МАР, либо байесовских методов) влечет за собой появление важной связи между оптимальной структурой и характером представления для распределений условных вероятностей в сети. При использовании табличных распределений значения штрафов за сложность для распределения вероятностей узла растут экспоненциально в зависимости от количества родительских узлов, а при использовании, скажем, распределений зашумленного ИЛИ они растут только линейно. Это означает, что обучение с помощью моделей зашумленного ИЛИ (или других компактно параметризованных моделей), как правило, приводит к созданию в результате обучения таких структур, в которых имеется больше родительских узлов, чем при обучении с помощью табличных распределений.
Обучение с помощью скрытых переменных: алгоритм ЕМ
Предыдущий раздел относился к полностью наблюдаемому случаю. Но многие реальные задачи характеризуются наличием скрытых переменных (иногда называемых ^латентными переменными), которые не наблюдаются в данных, доступных для обучения. Например, истории болезни часто включают описания наблюдаемых симптомов, применяемого лечения и, возможно, результата лечения, но редко содержат сведения о непосредственном наблюдении за развитием самого заболевания! Очевидно, напрашивается вопрос: “Если ход развития заболевания не наблюдается, то почему бы не построить модель без него?” Ответ на этот вопрос можно найти на рис. 20.7, где показана небольшая фиктивная диагностическая модель для сердечного заболевания. Существуют три наблюдаемых фактора, способствующих или препятствующих развитию заболевания, и три наблюдаемых симптома (которые имеют слишком сложные медицинские названия, поэтому им присвоены условные обозначения). Предполагается, что каждая переменная имеет три возможных значения (например, попе (отсутствующий), moderate (умеренный) и severe (серьезный)). Удаление скрытой переменной из сети, приведенной на рис. 20.7, а, влечет за собой создание сети, показанной на рис. 20.7, б; при этом общее количество параметров увеличивается с 78 до 708. Таким образом, ^ скрытые переменные
позволяют резко уменьшить количество параметров, требуемых для определения байесовский сети. А такой факт, в свою очередь, позволяет резко уменьшить объем данных, необходимых для определения в процессе обучения рассматриваемых параметров.
Рис. 20.7. Иллюстрация необходимости использования скрытых переменных: простая диагностическая сеть для сердечного заболевания, в которой предполагается наличие скрытой переменной; каждая переменная имеет три возможных значения и соответствующий ей узел обозначен количеством независимых параметров в распределении ее условной вероятности; общее количество параметров равно 78 (а); эквивалентная сеть с удаленным узлом HeartDisease. Обратите внимание на то, что переменные симптомов больше не являются условно независимыми, если даны значения их родительских переменных. Для этой сети требуется 708 параметров (б)Рис. 20.7. Иллюстрация необходимости использования скрытых переменных: простая диагностическая сеть для сердечного заболевания, в которой предполагается наличие скрытой переменной; каждая переменная имеет три возможных значения и соответствующий ей узел обозначен количеством независимых параметров в распределении ее условной вероятности; общее количество параметров равно 78 (а); эквивалентная сеть с удаленным узлом HeartDisease. Обратите внимание на то, что переменные симптомов больше не являются условно независимыми, если даны значения их родительских переменных. Для этой сети требуется 708 параметров (б)
Рис. 20.7. Иллюстрация необходимости использования скрытых переменных: простая диагностическая сеть для сердечного заболевания, в которой предполагается наличие скрытой переменной; каждая переменная имеет три возможных значения и соответствующий ей узел обозначен количеством независимых параметров в распределении ее условной вероятности; общее количество параметров равно 78 (а); эквивалентная сеть с удаленным узлом HeartDisease. Обратите внимание на то, что переменные симптомов больше не являются условно независимыми, если даны значения их родительских переменных. Для этой сети требуется 708 параметров (б)
Рис. 20.7. Иллюстрация необходимости использования скрытых переменных: простая диагностическая сеть для сердечного заболевания, в которой предполагается наличие скрытой переменной; каждая переменная имеет три возможных значения и соответствующий ей узел обозначен количеством независимых параметров в распределении ее условной вероятности; общее количество параметров равно 78 (а); эквивалентная сеть с удаленным узлом HeartDisease. Обратите внимание на то, что переменные симптомов больше не являются условно независимыми, если даны значения их родительских переменных. Для этой сети требуется 708 параметров (б)
Скрытые переменные важны, но их введение приводит к усложнению задачи обучения. Например, на рис. 20.7, а не показано наглядно, как найти в процессе обучения распределение условных вероятностей для переменной HeartDisease, если заданы ее родительские переменные, поскольку значение переменной HeartDisease в каждом случае не известно; такая же проблема возникает при поиске в процессе обучения распределений вероятностей для симптомов. В этом разделе описан алгоритм, называемый ^ ожиданием—максимизацией, или сокращенно ЕМ (Expectation—Maximization), который позволяет решить эту проблему очень общим способом. Мы рассмотрим три примера, а затем приведем общее описание. На первых порах складывается впечатление, что этот алгоритм действует как по волшебству, но как только будет достигнуто его интуитивное понимание, читатель сможет найти приложения для алгоритма ЕМ в огромном спектре задач обучения.
Неконтролируемая кластеризация: определение в процессе обучения смешанных гауссовых распределений
^ Неконтролируемой кластеризацией называется задача выделения многочисленных категорий в коллекции объектов. Эта проблема — неконтролируемая, поскольку категориям не назначены метки. Например, предположим, что регистрируются спектры сотен тысяч звезд; звезды подразделяются на типы, которые можно определить по спектру, а если так оно и есть, то сколько таких типов и каковы их характеристики? Мы все знакомы с терминами наподобие “красный гигант” и “белый карлик”, но звезды не носят эти надписи на своих шляпах, поэтому астрономы должны
выполнять неконтролируемую кластеризацию для выявления их категорий. К другим примерам относится выявление видов, родов, отрядов и других категорий в таксономии живых организмов, установленной Линнеем, а также создание естественных разновидностей для распределения по категориям обычных объектов (см. главу 10).
Неконтролируемая кластеризация начинается с данных. На рис. 20.8, а показано 500 точек данных, каждая из которых задает значения двух непрерывных атрибутов. Точки данных могут соответствовать звездам, а атрибуты — интенсивностям спектра на двух определенных частотах. Затем необходимо понять, какого рода распределение вероятностей могло быть сформировано этими данными. Сама возможность кластеризации равносильна предположению, что данные сформированы с помощью
смешанного распределения Р. Такое распределение имеет к ^ компонентов, каждый из которых представляет собой отдельное распределение. Точка данных формируется путем первоначального выбора компонента, а затем формирования выборки из этого компонента. Допустим, что этот компонент определяет случайная переменная С со значениями 1,..., к; в таком случае смешанное распределение задается следующим выражением:
к
PW = ^Р(С=2) Р(х|С=1) i=l
где х относится к значениям атрибутов для точки данных. В случае непрерывных данных естественным вариантом выбора для распределений компонентов является многомерное гауссово распределение, что приводит к созданию семейства распределений, представляющего собой так называемое М смешанное гауссово распределение. Параметрами смешанного гауссова распределения являются ^=Р(С=1) (вес каждого компонента), ^ (математическое ожидание каждого компонента) и Si (ковариация каждого компонента). На рис. 20.8,6 показано смешанное гауссово распределение, состоящее из трех распределений; фактически это смешанное распределение было источником данных, приведенных на рис. 20.8, а.
Рис. 20.8. Смешанное гауссово распределение: 500 двухмерных точек данных, показывающих наличие трех кластеров (а); модель смешанного гауссова распределения с тремя компонентами; веса компонентов (слева направо) равны 0.2, 0.3 и 0.5. Данные, приведенные на рис. 20.8, а, были сформированы с помощью этой модели (б); модель, реконструированная из данных, приведенных на рис. 20.8, а, с помощью алгоритма ЕМ (в)
Таким образом, задача неконтролируемой кластеризации состоит в восстановлении модели смешанного распределения, подобной приведенной на рис. 20.8, б, из исходных данных, таких как показано на рис. 20.8, а. Очевидно, что если бы мы знали, с помощью какого компонента сформирована каждая точка данных, то было бы легко восстановить гауссово распределение для этого компонента, поскольку можно было просто выбрать все точки данных, соответствующие такому компоненту, а затем применить уравнение 20.4 (вернее, его многомерную версию) для согласования параметров гауссова распределения с множеством данных. С другой стороны, если бы были известны параметры каждого компонента, то можно было бы, по меньшей мере в вероятностном смысле, присвоить каждую точку данных компоненту. Но проблема состоит в том, что не известны ни присваивания, ни параметры.
Основная идея алгоритма ЕМ, рассматриваемого в данном контексте, состоит в том, что необходимо принять допущение, будто нам известны параметры этой модели, а затем вычислить вероятность того, что каждая точка данных принадлежит к тому или иному компоненту. После этого нужно снова согласовать компоненты сданными таким образом, чтобы каждый компонент согласовывался со всем набором данных, каждой точке которого назначен вес, соответствующий вероятности того, что она принадлежит к данному компоненту. Такой процесс продолжается итерационно до достижения сходимости. По сути при этом происходит “дополнение” данных путем вычисления распределений вероятностей по скрытым переменным (определяющим, какому компоненту принадлежит каждая точка данных) на основании текущей модели. При использовании смешанного гауссова распределения модель смешанного распределения инициализируется произвольными значениями параметров, а затем осуществляются итерации по описанным ниже двум шагам.
Е-шаг. Вычислить вероятности pij=P(C=i |xj) того, что данные xd были сформированы компонентом 1. Согласно правилу Байеса, справедливо соотношение pij=aP(xj | C=i) Р(С=1). Терм P(Xj | C=i) представляет собой вероятность значений данных Xj в i-м гауссовом распределении, а терм Р (C-i) — это параметр определения веса i-ro гауссова распределения; по определению Pi=Xj Pij-
М-шаг. Вычислить новые значения математического ожидания, ковариаций и весов компонента следующим образом:
mi ^PijXj/pi j
Si <- ^ PijXjXj /Pi j
^i <- Pi
Е-шаг, или шаг ожидания (expectation), может рассматриваться как вычисление ожидаемых значений р15 скрытых М индикаторных переменных z^, где значение Zij равно 1, если данные х5 были сформированы i-м компонентом, и 0 — в противном случае. В М-шаге, или шаге максимизации (maximization), осуществляется поиск
новых значений параметров, которые максимизируют логарифмическое правдоподобие данных с учетом ожидаемых значений скрытых индикаторных переменных.
Окончательная модель, параметры которой определены в процессе обучения с помощью алгоритма ЕМ, применяемого к данным, приведенным на рис. 20.8, а, показана на рис. 20.8, в; она практически не отличается от первоначальной модели, на основе которой были сформированы данные. На рис. 20.9, а показан график изменения логарифмического правдоподобия данных, соответствующих текущей модели, которое изменяется в процессе выполнения алгоритма ЕМ. На этом графике заслуживают внимания две особенности. Во-первых, логарифмическое правдоподобие модели, окончательно полученной в процессе обучения, немного превышает соответствующее значение для первоначальной модели, на основании которой были сформированы исходные данные. Это явление может на первый взгляд показаться удивительным, но оно просто отражает тот факт, что данные были сформированы случайным образом, поэтому существует вероятность того, что они не являются точным отражением самой базовой модели. Во-вторых, любопытно то, что ^ в алгоритме ЕМ логарифмическое правдоподобие данных повышается после каждой итерации. Можно доказать, что такова общая особенность данного алгоритма. Кроме того, можно доказать, что при определенных условиях алгоритм ЕМ достигает локального максимума правдоподобия (а в редких случаях он может достичь точки перегиба или даже локального минимума). В этом смысле алгоритм ЕМ напоминает алгоритм восхождения к вершине с учетом градиента, но заслуживает внимания то, что в нем уже не применяется параметр со “ступенчатым изменением величины”!
Рис. 20.9. Графики, показывающие изменение логарифмического правдоподобия данных, L, как функции от количества итераций ЕМ. Горизонтальная линия соответствует логарифмическому правдоподобию истинной модели: график для модели смешанного гауссова распределения, показанной на рис. 20.8(a); график для байесовской сети, приведенной на рис. 20.10, а (б)Рис. 20.9. Графики, показывающие изменение логарифмического правдоподобия данных, L, как функции от количества итераций ЕМ. Горизонтальная линия соответствует логарифмическому правдоподобию истинной модели: график для модели смешанного гауссова распределения, показанной на рис. 20.8(a); график для байесовской сети, приведенной на рис. 20.10, а (б)Количество итераций б)Количество итераций б)
Рис. 20.9. Графики, показывающие изменение логарифмического правдоподобия данных, L, как функции от количества итераций ЕМ. Горизонтальная линия соответствует логарифмическому правдоподобию истинной модели: график для модели смешанного гауссова распределения, показанной на рис. 20.8(a); график для байесовской сети, приведенной на рис. 20.10, а (б)
Рис. 20.9. Графики, показывающие изменение логарифмического правдоподобия данных, L, как функции от количества итераций ЕМ. Горизонтальная линия соответствует логарифмическому правдоподобию истинной модели: график для модели смешанного гауссова распределения, показанной на рис. 20.8(a); график для байесовской сети, приведенной на рис. 20.10, а (б)
Количество итераций б)
Количество итераций б)
Но события не всегда развиваются так удачно, как можно было бы судить на основании рис. 20.9, а. Например, может случиться так, что один компонент гауссова распределения сузится настолько, что будет охватывать лишь единственную точку данных. В таком случае его дисперсия достигнет нуля, а правдоподобие увеличится до бесконечности! Еще одна проблема состоит в том, что может произойти “слияние” двух компонентов, в результате чего они примут одинако-
вые значения средних и дисперсий, а точки данных станут для них общими. Вырожденные локальные максимумы такого рода представляют собой серьезную проблему, особенно в случае большого количества измерений. Одно из решений состоит в наложении распределений априорных вероятностей на параметры модели и применении версии МАР алгоритма ЕМ. Еще одно решение состоит в перезапуске вычислений для некоторого компонента с новыми случайно выбранными параметрами, если он становится слишком малым или слишком близким к другому компоненту. Иногда имеет также смысл выбирать для инициализации параметров более обоснованные значения.
Обучение байесовских сетей со скрытыми переменными ,
Чтобы определить в процессе обучения параметры байесовской сети со скрытыми переменными, можно применить такие же подходы, которые позволили добиться успеха в случае смешанных гауссовых распределений. На рис. 20.10 показана ситуация, в которой имеются два пакета конфет, смешанных друг с другом. Для описания конфет применяются три характеристики: кроме разновидности Flavor и обертки Wrapper, в некоторых конфетах находятся леденцы с отверстиями Hole в середине, а в некоторых — леденцы без отверстий. Распределение конфет в каждом пакете описано с помощью наивной байесовской модели: в каждом конкретном пакете характеристики являются независимыми, но распределение условных вероятностей каждой характеристики зависит от пакета. Применяются следующие параметры: 9 — априорная вероятность того, что конфета взята из пакета Вад 1; 0F1 и 0F2 — вероятности того, что конфета относится к разновидности вишневых леденцов, при условии, что эта конфета взята из пакета Вад 1 и Вад 2 соответственно; 0W1 и 0W2 задают вероятности того, что обертка имеет красный цвет; a 0Hi и 0Н2 — вероятности того, что леденец имеет отверстие. Обратите внимание на то, что вся эта модель в целом представляет собой модель смешанного распределения (в действительности это смешанное гауссово распределение можно также промоделировать в виде байесовской сети, как показано на рис. 20.10, б). На этом рисунке скрытая переменная соответствует пакету, поскольку после смешивания конфет мы больше не имеем возможности определить, из какого пакета взята каждая конфета. Можно ли в таком случае восстановить описание этих двух пакетов, наблюдая за характеристиками конфет, взятых из этой смеси?
Проведем одну итерацию алгоритма ЕМ для решения этой задачи. Вначале рассмотрим данные. Сформировано 1000 выборок из модели, истинными параметрами которой являются следующие:
е = о.5, eFi = Owi = 0н1 = о.8, eF2 = eW2 = 0н2 = о.з (20.7)
Это означает, что равновероятно получение конфет из одного или другого пакета; в первом пакете в основном находятся вишневые леденцы в красных обертках и с отверстиями, а во втором — в основном лимонные леденцы в зеленых обертках и без отверстий. Количество восьми возможных разновидностей конфет определено в табл. 20.1.
Таблица 20.1. Восемь возможных разновидностей конфет
W = red
W = green
H = 1
H = 0
Н = 1
Н = 0
F = cherry
273
93
104
90
F = lime
79
100
94
167
Рис. 20.10. Примеры применения модели смешанного гауссова распределения и байесовской сети: модель смешанного распределения для задачи с конфетами. Относительные количества различных разновидностей оберток и количества отверстий в леденцах зависят от пакета, который определен с помощью ненаблюдаемой переменной (а); байесовская сеть, соответствующая смешанному гауссову распределению. Среднее и ковариация наблюдаемой переменной х зависит от компонента С (б)Рис. 20.10. Примеры применения модели смешанного гауссова распределения и байесовской сети: модель смешанного распределения для задачи с конфетами. Относительные количества различных разновидностей оберток и количества отверстий в леденцах зависят от пакета, который определен с помощью ненаблюдаемой переменной (а); байесовская сеть, соответствующая смешанному гауссову распределению. Среднее и ковариация наблюдаемой переменной х зависит от компонента С (б)
Рис. 20.10. Примеры применения модели смешанного гауссова распределения и байесовской сети: модель смешанного распределения для задачи с конфетами. Относительные количества различных разновидностей оберток и количества отверстий в леденцах зависят от пакета, который определен с помощью ненаблюдаемой переменной (а); байесовская сеть, соответствующая смешанному гауссову распределению. Среднее и ковариация наблюдаемой переменной х зависит от компонента С (б)
Рис. 20.10. Примеры применения модели смешанного гауссова распределения и байесовской сети: модель смешанного распределения для задачи с конфетами. Относительные количества различных разновидностей оберток и количества отверстий в леденцах зависят от пакета, который определен с помощью ненаблюдаемой переменной (а); байесовская сеть, соответствующая смешанному гауссову распределению. Среднее и ковариация наблюдаемой переменной х зависит от компонента С (б)
Начнем с инициализации параметров. Для упрощения числовых расчетов выберем следующие значения параметров:
е(0) = о.б, ей = ей = ей = о.б, ей = ей = ей = о.4(20.8)
Вначале проведем расчет для параметра 6. В полностью наблюдаемом случае можно было бы получить оценку для этого параметра непосредственно из наблюдаемых значений количества конфет, относящихся к пакетам 1 и 2. Но поскольку номер пакета — это скрытая переменная, рассчитаем вместо этого ожидаемые значения количества. Ожидаемое количество iv(Bag=l) представляет собой сумму вероятностей того, что конфета взята из пакета 1, по всем конфетам:
N
0(1) = N(Bag=l) /N = ^ ' P(,Bag=l | flavor^, wrapper^, holesj) /N j=l
Эти вероятности можно вычислить с помощью любого алгоритма вероятностного вывода для байесовских сетей. А применительно к наивной байесовской модели, по-
добной той, что рассматривается в данном примере, этот вероятностный вывод можно выполнить “вручную”, используя правило Байеса и применяя выражение для условной независимости:
N
0(1) _ А 1 Р( flavor^ | Вад=1) P^wrapper3 | Вад=1) Р( holes-; | Вад=1) Р^Вад=1)
Р( flavor31 Bag=i) P(wrapper31 Bag^i) P(holes31 Bag=i) P(Bag=i)
j=l
(Обратите внимание на то, что нормализующая константа также зависит от параметров.) Применяя эту формулу, например, к данным о 273 конфетах в красной обертке, среди которых находятся вишневые леденцы с отверстиями, определим, какой вклад они вносят в распределение вероятностей:
ппод(0) д(0) д(0)
10000^ 0Й 0^ 0(0) + 0(О2) 0(0,) 0(но2) (1_0(О)) ~ 0.22797
Продолжая эти расчеты для семи других видов конфет, количество которых указано втабл. 20.1, получим, что0(1) = 0.6124.
Теперь рассмотрим другие параметры, такие как 0F1. В полностью наблюдаемом случае это значение можно было бы оценить непосредственно на основе наблюдаемых значений количества вишневых и лимонных леденцов из пакета 1. Ожидаемое количество вишневых леденцов из пакета 1 задается с помощью следующего выражения:
уР {Вад=11 Flavor3 = cherry, wrapper^, hoies3)
j:Flavorj=cherry
Эти вероятности также можно вычислить с помощью любого алгоритма для байесовской сети. Продолжая этот процесс, получим новые значения для всех параметров:
0(1) = 0.6124, ей = 0.6684, ей = 0.6483, ей = 0.6558
ей = 0.3887, ей = 0.3817, ей = 0.3827(20.9)
Логарифмическое правдоподобие данных возрастает от первоначального значения, примерно равного -2 044, приблизительно до -2 021 после первой итерации, как показано на рис. 20.9, б. Это означает, что в данном обновлении само значение правдоподобия улучшается примерно на коэффициент е23=1О10. К десятой итерации модель, полученная в процессе обучения, лучше согласуется с данными, чем первоначальная модель (L=-1982.214). Но дальнейший прогресс очень сильно замедляется. Такая ситуация в приложениях алгоритма ЕМ встречается весьма часто, поэтому во многих практически применяемых системах алгоритм ЕМ на последнем этапе обучения используется в сочетании с таким алгоритмом на основе градиента, как алгоритм Ньютона—Рафсона (см. главу 4).
Общий вывод, который может быть сделан на основании данного примера, состоит в том, что (^ обновления параметров при обучении байесовской сети со скрытыми переменными являются непосредственно доступными из результатов вероятностного вывода по каждому примеру. Более того, для каждого параметра требуются только локальные апостериорные вероятности. Для общего случая, в котором в процессе обучения определяются параметры условной вероятности для каждой переменной Xi$ если даны ее роди-
тельские переменные (иначе говоря, 0ijk=P(Xi=xij | Ра^ра^), обновление задается с помощью нормализованных ожидаемых количеств следующим образом:
Oijk <- 2V(Xi=Xij, Pai=paik)/2V(Pai=paik)
Эти ожидаемые количества можно получить путем суммирования по всем примерам и вычисления вероятностей P(Xi=xij, Ра^ра^ для каждого из них с использованием любого алгоритма вероятностного вывода в байесовской сети. Для использования в точных алгоритмах (включая алгоритмы удаления переменных) все эти вероятности могут быть получены непосредственно как побочный продукт стандартного вероятностного вывода, без необходимости применения дополнительных вычислений, характерных для обучения. Более того, информация, необходимая для обучения, доступна локально применительно к каждому параметру.
Обучение скрытых марковских моделей
Последнее приложение алгоритма ЕМ, рассматриваемой в данной главе, касается изучения вероятностей перехода в скрытых марковских моделях (Hidden Markov Model — HMM). Напомним, что, как было сказано в главе 15, скрытая марковская модель может быть представлена с помощью динамической байесовской сети с одной дискретной переменной состояния (рис. 20.11). Каждая точка данных состоит из последовательности наблюдений конечной длины, поэтому задача заключается в том, чтобы определить в процессе обучения вероятности перехода на основании множества последовательностей наблюдений (или, возможно, на основании только одной длинной последовательности).
Рис. 20.11. Развернутая динамическая байесовская сеть, которая представляет скрытую марковскую модель (повторение рис. 15.12)Рис. 20.11. Развернутая динамическая байесовская сеть, которая представляет скрытую марковскую модель (повторение рис. 15.12)«1P(U^‘f83«1P(U^‘f83Л1P(U)lfЛ1P(U)lfR1P(U^8;!R1P(U^8;!P(U^‘f83P(U^‘f83^4P(^'f83^4P(^'f83
Рис. 20.11. Развернутая динамическая байесовская сеть, которая представляет скрытую марковскую модель (повторение рис. 15.12)
Рис. 20.11. Развернутая динамическая байесовская сеть, которая представляет скрытую марковскую модель (повторение рис. 15.12)
«1
P(U^
‘f
83
«1
P(U^
‘f
83
Л1
P(U)
lf
Л1
P(U)
lf
R1
P(U^
8;!
R1
P(U^
8;!
P(U^
‘f
83
P(U^
‘f
83
^4
P(^
'f
83
^4
P(^
'f
83
В данной главе уже было показано, как проводить обучение байесовских сетей, но в этом случае возникает одна сложность: в байесовских сетях каждый параметр является различным, а в скрытой марковской модели, с другой стороны, отдельные вероятности перехода из состояния 1 в состояния j во время t, 0ijt=P(xt+1=j |xt=i), повторяются во времени, т.е. 0ijt=0ij для всех с. Чтобы оценить вероятность перехода из состояния 1 в состояние j, достаточно вычислить ожидаемую долю случаев, в которых система подвергается переходу в состояние j, находясь в состоянии 1:
Oij <—Oij <—^/^ W(Xt=i)^/^ W(Xt=i)tttt
Oij <—
Oij <—
^/^ W(Xt=i)
^/^ W(Xt=i)
t
t
t
t
Опять-таки эти ожидаемые количества могут быть вычислены с помощью любого алгоритма вероятностного вывода для скрытой марковской модели. Для вычисления необходимых вероятностей можно очень легко модифицировать прямой-обратный алгоритм, приведенный в листинге 15.1. Заслуживает внимание одно важное замечание, что требуются вероятности, полученные путем сглаживания, а не фильтрации; это означает, что при оценке вероятности того, что произошел конкретный переход, необходимо учитывать полученное впоследствии свидетельство. Например, как было указано в главе 15, свидетельство в случае убийства обычно может быть получено только после этого преступления (т.е. после перехода из состояния i в состояние j\
Общая форма алгоритма ЕМ
Выше было описано несколько вариантов применения алгоритма ЕМ. Каждый из них сводился к тому, что вычислялись ожидаемые значения скрытых переменных для каждого примера, а затем повторно вычислялись параметры с использованием ожидаемых значений так, как если бы они были наблюдаемыми значениями. Допустим, что х — все наблюдаемые значения во всех примерах, и предположим, что Z обозначает все скрытые переменные для всех примеров, а 0 представляет собой все параметры для модели вероятности. В таком случае алгоритм ЕМ можно представить с помощью следующего уравнения:
q(1+1) = argmax ^ ' P(Z=z | х, 0(1)) L(x,Z=z|0)
9 =
Это уравнение составляет саму суть алгоритма ЕМ. При этом Е-шаг сводится к вычислению выражения для суммы, которая представляет собой ожидаемое значение логарифмического правдоподобия “дополненных” данных по отношению к распределению P(z=z |х,0(1)), т.е. распределение апостериорных вероятностей по скрытым переменным при наличии полученных данных. С другой стороны, М-шаг представляет собой максимизацию этого ожидаемого логарифмического правдоподобия по отношению к параметрам. При использовании смешанного гауссова распределения скрытыми переменными являются zi5, где и^ равна 1, если пример j был сформирован компонентом i. При использовании байесовских сетей скрытые переменные представляют собой значения ненаблюдаемых переменных для каждого примера. При использовании скрытых марковских моделей скрытые переменные являются переходами i-^j. Начиная с этой общей формы, можно вывести алгоритм ЕМ для конкретного приложения, как только определены соответствующие скрытые переменные.
Поняв основную идею алгоритма ЕМ, можно легко вывести все возможные его варианты и усовершенствования. Например, во многих случаях Е-шаг (вычисление распределений апостериорных вероятностей по скрытым переменным) является трудновыполнимым, как при использовании больших байесовских сетей. Оказалось, что в этом случае можно применить приближенный Е-шаг и все еще получить эффективный алгоритм обучения. А если используется такой алгоритм формирования выборки, как МСМС (см. раздел 14.5), то процесс обучения становится полностью интуитивно понятным: каждое состояние (конфигурация скрытых и наблюдаемых переменных), посещенное алгоритмом МСМС, рассматривается точно так
же, как если бы оно было полным наблюдением. Поэтому параметры могут обновляться непосредственно после каждого перехода из состояния в состояние в алгоритме МСМС. Для определения с помощью обучения параметров очень больших сетей показали свою эффективность и другие формы приближенного вероятностного вывода, такие как вариационные и циклические методы.
Определение с помощью обучения структур байесовских сетей со скрытыми переменными
В разделе 20.2 обсуждалась задача определения с помощью обучения структур байесовских сетей на основе полных данных. А если приходится учитывать скрытые переменные, то задача осложняется. В простейшем случае скрытые переменные могут быть включены в общий список наряду с наблюдаемыми переменными; хотя их значения не наблюдаются, алгоритм обучения получает сведения о том, что они существуют, и должен найти для них место в структуре сети. Например, с помощью алгоритма может быть предпринята попытка определить в процессе обучения структуру, показанную на рис. 20.7, а, на основе той информации, что в модель должна быть включена переменная HeartDisease (трехзначная переменная). Если же алгоритму обучения не предоставлена эта информация, то в процессе обучения возникают два варианта: либо исходить из того, что данные действительно являются полными (что вынуждает алгоритм определить в процессе обучения модель с гораздо большим количеством параметров, показанную на рис. 20.7, 5), либо изобрести новые скрытые переменные для упрощения модели. Последний подход можно реализовать путем включения новых вариантов операций модификации в процедуру поиска структуры — предусмотреть в алгоритме возможность не только модифицировать связи, но и добавлять или удалять скрытые переменные либо менять их арность. Безусловно, в таком алгоритме нельзя предусмотреть возможность назвать вновь изобретенную переменную, допустим HeartDisease, а также присваивать ее значениям осмысленные имена. Но, к счастью, вновь изобретенные скрытые переменные обычно связываются с ранее существовавшими переменными, поэтому человек— специалист в данной проблемной области часто может проверять локальные распределения условных вероятностей, касающиеся новой переменной, и устанавливать ее смысл.
Как и в случае полных данных, процесс определения структуры с помощью обучения с учетом максимального правдоподобия в чистом виде приводит к созданию полносвязной сети (более того, сети без скрытых переменных), поэтому требуется ввести какую-то форму штрафования за сложность. Для аппроксимации байесовского обучения можно также применить алгоритм МСМС. Например, можно предусмотреть определение в процессе обучения параметров смешанного гауссова распределения с неизвестным количеством компонентов, осуществляя выборки по такому количеству; приближенное распределение апостериорных вероятностей для количества заданных гауссовых распределений определяется частотами выборки в процессе применения алгоритма МСМС.
До сих пор рассматриваемый процесс обучения состоял из внешнего цикла, который представлял собой процесс поиска структуры, и внутреннего цикла, представляющего собой процесс оптимизации параметров. В случае полных данных внутренний цикл выполняется очень быстро, поскольку при этом достаточно лишь
извлечь информацию об условных частотах из набора данных. Если же имеются скрытые переменные, то для выполнения внутреннего цикла может потребоваться применить много итераций алгоритма ЕМ или алгоритма на основе градиента, а каждая итерация потребует вычисления распределений апостериорных вероятностей в байесовской сети, что само представляет собой NP-трудную задачу. К настоящему времени доказано, что такой подход является практически не применимым для определения в процессе обучения сложных моделей. Одно из возможных усовершенствований состоит в использовании так называемого алгоритма ^ структурного ЕМ, который действует во многом таким же образом, как и обычный (параметрический) алгоритм ЕМ, за исключением того, что этот алгоритм может обновлять не только параметры, но и структуру. Так же как в обычном алгоритме ЕМ используются текущие параметры для вычисления ожидаемых количеств в Е-шаге, а затем эти количества применяются в М-шаге для выбора новых параметров, так и в алгоритме структурного ЕМ используется структура для вычисления ожидаемых количеств, после чего эти количества применяются в М-шаге для оценки правдоподобия потенциальных новых структур (в этом состоит отличие данного метода от метода внешнего цикла/внутреннего цикла, в котором вычисляются новые ожидаемые количества для каждой потенциальной структуры). Таким образом, структурный алгоритм ЕМ позволяет вносить в сеть несколько структурных изменений без каких-либо повторных вычислений ожидаемых количеств и обладает способностью определять в процессе обучения нетривиальные структуры байесовских сетей. Тем не менее необходимо проделать еще очень много работы, прежде чем можно будет утверждать, что задача определения структуры в процессе обучения окончательно решена.
Обучение на основе экземпляра
До сих пор приведенное в данной главе описание статистического обучения сосредоточивалось в основном на задаче подгонки параметров ограниченного семейства вероятностных моделей к неограниченному набору данных. Например, в методе неконтролируемой кластеризации используются смешанные гауссовы распределения на основании того предположения, что структуру рассматриваемых данных можно объяснить, трактуя их как сумму постоянного количества гауссовых распределений. Авторы настоящей книги называют такие методы ^ параметрическим обучением. Методы параметрического обучения часто бывают простыми и эффективными, но предположение о том, что в данных воплощено конкретное ограниченное семейство моделей, часто слишком упрощает то, что происходит в реальном мире, из которого поступают эти данные. Верно, что при наличии очень малого объема данных нельзя надеяться определить в процессе обучения параметры сложной и подробной модели, но представляется неразумным по-прежнему придерживаться гипотезы с той же фиксированной сложностью, даже после того, как доступный набор данных становится очень большим!
В отличие от параметрического обучения, методы М непараметрического обучения позволяют увеличивать сложность гипотезы по мере роста объема данных. Чем больше данных поступает в распоряжение исследователя, тем более развитой может становиться гипотеза. В данном разделе рассматриваются два очень простых семейства методов непараметрического ^ обучения на основе экземпляра (или обучения на основе
содержимого памяти), получивших такое название потому, что они позволяют конструировать гипотезы непосредственно на основе самих обучающих экземпляров.
Модели ближайшего соседа
Ключевая идея моделей ^ ближайшего соседа состоит в том, что свойства любой конкретной входной точки х, по-видимому, должны быть подобными свойствам точек, соседних по отношению к х. Например, если требуется выполнить оценку плотности (т.е. оценить значение неизвестной плотности вероятности в точке х), то можно просто измерить ту плотность, с какой расположены точки, рассеянные в окрестности х. Такая задача на первый взгляд может показаться очень простой, пока не станет очевидно, что нужно точно определить, что подразумевается под понятием “окрестность”. Если окрестность слишком мала, то не будет содержать ни одной точки данных, а если слишком велика, то может включить все точки данных, в результате чего будет получена всюду одинаковая оценка плотности. Одно из возможных решений состоит в том, чтобы определить окрестность как достаточно большую для включения к точек, где к достаточно велико для обеспечения получения осмысленной оценки. При постоянном значении к размеры окрестности изменяются — если данные являются разреженными, то окрестность велика, а если данные расположены плотно, то окрестность мала. На рис. 20.12, а показан пример данных, рассеянных в двух измерениях, а на рис. 20.13 приведены результаты оценки плотности по к ближайшим соседним точкам на основании этих данных при к=3, 10 и 40 соответственно. При к=3 оценка плотности в любой точке основана только на 3 соседних точках и весьма изменчива. При к=10 полученная оценка представляет собой хорошую реконструкцию истинной плотности, показанной на рис. 20.12, б. При к=40 окрестность становится слишком большой и информация о структуре данных полностью теряется. На практике хорошие результаты для большинства наборов данных с малым количеством размерностей можно получить с помощью значения к, находящегося примерно между 5 и 10. Подходящее значение для к можно также выбрать с использованием перекрестной проверки.
Для выявления соседних точек, ближайших к точке запроса, нужна метрика расстояний jD(x1z х2). В двухмерном примере, приведенном на рис. 20.12, используется евклидово расстояние. Но такая метрика становится неподходящей, если каждая размерность пространства измеряет что-то другое (например, рост и вес), поскольку изменение масштаба одной размерности приводит к изменению множества ближайших соседних точек. Одним из решений является стандартизация масштаба для каждой размерности. Для этого измеряется среднеквадратичное отклонение каждой характеристики по всему набору данных и значения характеристик выражаются как кратные среднеквадратичного отклонения для этой характеристики (это — частный случай М расстояния Махаланобиса, в котором также учитывается ковариация характеристик). Наконец, для дискретных характеристик можно использовать М расстояние Хемминга, в котором D(xlf х2) определяется как количество характеристик, по которым отличаются точки хх и х2.
Оценки плотности, подобные приведенным на рис. 20.13, определяют совместные распределения по пространству входных данных. Но в отличие от байесовской сети, представление на основе экземпляра не может содержать скрытых перемен-
ных, а это означает, что может выполняться неконтролируемая кластеризация, как это было в случае с моделью смешанного гауссова распределения. Тем не менее оценка плотности все еще может использоваться для предсказания целевого значения у по входным значениям характеристики х путем вычисления вероятности P(ylx) =Р(у,х) /Р(х), при условии, что обучающие данные включают значения для соответствующей целевой характеристики.
Рис. 20.12. Пример применения оценки плотности с к ближайшими соседними точками: частичная выборка данных, показанных на рис. 20.8, а, состоящая из 128 точек, наряду с двумя точками запроса и их окрестностями, которые включают 10 ближайших соседних точек (а); трехмерный график смешанного гауссова распределения, на основании которого были получены эти данные (б)Рис. 20.12. Пример применения оценки плотности с к ближайшими соседними точками: частичная выборка данных, показанных на рис. 20.8, а, состоящая из 128 точек, наряду с двумя точками запроса и их окрестностями, которые включают 10 ближайших соседних точек (а); трехмерный график смешанного гауссова распределения, на основании которого были получены эти данные (б)ПлотностьПлотностьб)б)а)а)
Рис. 20.12. Пример применения оценки плотности с к ближайшими соседними точками: частичная выборка данных, показанных на рис. 20.8, а, состоящая из 128 точек, наряду с двумя точками запроса и их окрестностями, которые включают 10 ближайших соседних точек (а); трехмерный график смешанного гауссова распределения, на основании которого были получены эти данные (б)
Рис. 20.12. Пример применения оценки плотности с к ближайшими соседними точками: частичная выборка данных, показанных на рис. 20.8, а, состоящая из 128 точек, наряду с двумя точками запроса и их окрестностями, которые включают 10 ближайших соседних точек (а); трехмерный график смешанного гауссова распределения, на основании которого были получены эти данные (б)
Плотность
Плотность
б)
б)
а)
а)
Рис. 20.13. Результаты применения метода оценки плотности с использованием окрестностей, включающих к ближайших соседних точек, к данным, приведенным на рис. 20.12, а, при к=3, 10 и 4 0 соответственно
Идею оценки характеристик с помощью ближайшей соседней точки можно также непосредственно использовать в контролируемом обучении. Если имеется проверочный пример с входными данными х, то выходное значение y=h (х) можно получить на основании значений у для к ближайших соседних точек точки х. В дискретном случае единственное предсказание можно получить с помощью мажоритарного голосования, а в непрерывном случае — предусмотреть усреднение по к значениям
или применить локальную линейную регрессию, подгоняя гиперплоскость к к точкам и предсказывая значение в точке х с помощью этой гиперплоскости.
Алгоритм обучения с помощью к ближайших соседних точек является очень простым для реализации, требует весьма небольшой настройки и часто показывает достаточно приемлемую производительность. Вполне целесообразно, столкнувшись с новой задачей обучения, вначале попытаться воспользоваться этим алгоритмом. Но при наличии больших наборов данных требуется эффективный механизм поиска соседних точек, ближайших к точке запроса х, поскольку выполнение метода, в котором просто вычисляется расстояние до каждой точки, занимает слишком много времени. Было предложено много остроумных методов, позволяющих повысить эффективность этого этапа, которые основаны на предварительной обработке обучающих данных. Но, к сожалению, большинство из этих методов не достаточно хорошо масштабируются с увеличением количества размерностей пространства (т.е. количества характеристик).
При использовании многомерных пространств возникает еще одна проблема, связанная с тем, что ближайшие соседние точки в таких пространствах в действительности часто находятся очень далеко! Рассмотрим набор данных с размером N в d-мерном единичном гиперкубе и предположим, что нужно найти гиперкубическую окрестность с размером b и объемом bd (те же рассуждения относятся к гиперсферам, но формула объема гиперсферы является более сложной). Чтобы в нее вошло к точек, средняя окрестность должна занимать долю k/N всего объема гиперкуба, который равен 1. Поэтому b&=k/N, или b= (k/N)1/d. До сих пор все шло хорошо. А теперь допустим, что количество характеристик d равно 100, и предположим, что к равно 10, a N равно 1 000 000. В таком случае получаем, что Ь=0.89, т.е. что окрестность должна охватывать почти все пространство входных данных! Эти расчеты говорят о том, что методам с ближайшими соседними точками нельзя доверять, когда дело касается многомерных данных, а в случае малого количества размерностей не возникает никаких проблем; при d=2 получаем Ь=0.003.
Ядерные модели
В ^ ядерной модели каждый обучающий экземпляр рассматривается как самостоятельно вырабатывающий небольшую функцию плотности (^ ядерную функцию). Оценка всей плотности в целом представляет собой нормализованную сумму всех небольших ядерных функций. Обучающий экземпляр в точке х£ вырабатывает ядерную функцию K(x,Xi), которая присваивает определенную вероятность каждой точке х в пространстве. Поэтому оценка плотности принимает такой вид:
N
Р(х) = ~ ^^ K(x,Xi) i=l
Ядерная функция обычно зависит только от расстояния D(x, х£) между точкой х и экземпляром х£. Наиболее широко применяемой ядерной функцией (безусловно) является гауссово распределение. Для упрощения предполагается использование сферического гауссова распределения со среднеквадратичным отклонением w вдоль каждой оси, т.е. следующего распределения:
К(х, Xi)К(х, Xi)1( ^) d1( ^) dD(x,Xj) 22vZD(x,Xj) 22vZ
К(х, Xi)
К(х, Xi)
1
( ^) d
1
( ^) d
D(x,Xj) 22vZ
D(x,Xj) 22vZ
где d — количество размерностей в точке х. И при таком подходе все еще приходится сталкиваться с проблемой выбора подходящего значения для w; как и прежде, применение слишком малой окрестности приводит к получению оценки, состоящей из слишком большого количества пиков, как показано на рис. 20.14, а. На рис. 20.14, б видно, что промежуточное значение w позволяет получить очень хорошую реконструкцию первоначального распределения. А на рис. 20.14, в применение слишком большой окрестности приводит к полной потере структуры. Хорошее значение w может быть выбрано с использованием перекрестной проверки.
в)в)
в)
в)
Рис. 20.14. Оценка плотности с помощью ядерной модели для данных, показанных на рис. 20.12, а, в которых используется ядерная функция гауссова распределения со значениями ^=0.02, 0.07 и 0.20
Контролируемое обучение с помощью ядерных функций осуществляется путем взятия взвешенных комбинаций всех предсказаний из обучающих экземпляров (сравните такой подход с предсказанием с помощью к ближайших соседних точек, в котором берется невзвешенная комбинация ближайших к экземпляров). Вес i-ro экземпляра для точки запроса х определяется по значению ядерной функции K(x,Xi). Для предсказания в дискретном случае можно выполнить взвешенное голосование, а для предсказания в непрерывном случае — получить взвешенное среднее или применить метод взвешенной линейной регрессии. Следует отметить, что для получения предсказаний с помощью ядерной функции требуется анализ каждого обучающего экземпляра. Существует также возможность объединять ядерные функции со схемами индексации ближайших соседних точек для получения взвешенных предсказаний только с помощью самых близких экземпляров.
Нейронные сети
Нейрон — это клетка мозга или нервной системы, основной функцией которой является сбор, обработка и распространение электрических сигналов. Схематическое изображение типичного нейрона приведено на рис. 1.1 (см. с. 48). Считается, что способность мозга к обработке информации в основном обусловлена функционированием сетей, состоящих из таких нейронов. По этой причине целью некоторых из самых ранних работ по искусственному интеллекту было создание искусственных ^ нейронных сетей (эта область научной деятельности упоминалась также под дру-
гими названиями, включая коннекционизм, параллельная распределенная обработка и нейронные вычисления). На рис. 20.15 показана простая математическая модель нейрона, предложенная Мак-Каллоком и Питтсом [1017]. Грубо говоря, нейрон “активизируется”, когда линейная комбинация значений на его входах превышает некоторый порог. Начиная с 1943 года были разработаны гораздо более подробные и реалистичные модели как для нейронов, так и для более крупных систем в мозгу, что привело к созданию такой современной научной области, как ^ вычислительная неврология. С другой стороны, у исследователей в области искусственного интеллекта и статистики пробудился интерес к изучению более абстрактных свойств нейронных сетей, таких как способность выполнять распределенные вычисления, справляться с зашумленными входными данными и обеспечивать обучение. Хотя со временем стало ясно, что подобные возможности предоставляют и другие системы (включая байесовские сети), нейронные сети остаются одной из наиболее широко применяемых и эффективных форм систем обучения и сами по себе могут стать важным предметом для изучения.
Рис. 20.15. Простая математическая модель нейрона. Выходной активацией этого элемента является
где а^ — выходная активация элемента j; W^i — вес связи от элемента j к данному элементу
Элементы в нейронных сетях
Нейронные сети состоят из узлов, или ^ элементов (см. рис. 20.15), соединенных направленными ^ связями. Связь от элемента j к элементу 1 служит для распространения ^ активации а5 от j к i. Кроме того, каждая связь имеет назначенный ей числовой ^ вес w^.^ который определяет силу и знак связи. Каждый элемент 1 прежде всего вычисляет взвешенную сумму своих входных данных:
п
ini = ^^j,i aj j=0
Затем он применяет к этой сумме ^ функцию активации д, чтобы определить, какими должны быть выходные данные:
(20.10)
Обратите внимание на то, что в эту формулу входит М смещенный вес l¥0/i, относящийся к постоянному входному значению а0=-1. Роль, которую играет эта величина, будет описана немного позже.
Функция активации д предназначена для выполнения двух назначений. Во-первых, необходимо, чтобы элемент был “активным” (находился на уровне активации примерно +1) при наличии “правильных” входных данных и “неактивным” (с уровнем активации, близким к 0) при получении “неправильных” входных данных. Во-вторых, функция активации должна быть нелинейной, поскольку в противном случае произойдет сворачивание всех функций активации нейронной сети в простую линейную функцию (см. упр. 20.17). Два варианта формы функции активации д показаны на рис. 20.16— ^пороговая функция и ^сигмоидальная функция (называемая также ^логистической функцией). Преимуществом сигмоидальной функции является то, что она дифференцируема, а это, как показано ниже, — важное свойство для алгоритма обучения с учетом весов. Обратите внимание на то, что обе функции имеют пороговое значение (либо жесткое, либо мягкое) около нуля; смещенный вес %,£ задает фактическое пороговое значение для данного элемента в том смысле, что элемент активизируется после того, как взвешенная сумма “реальных” входных данных
(т.е. сумма, из которой исключен смещенный вход) превышает Ио
Рис. 20.16. Основные виды функций активации: пороговая функция активации, которая выводит 1, когда входные данные являются положительными, и 0 — в противном случае (иногда вместо нее используется знаковая функция, которая выводит ± 1 в зависимости от знака входного значения) (а); сигмоидальная функция 1 / (1 +е"х) (б)Рис. 20.16. Основные виды функций активации: пороговая функция активации, которая выводит 1, когда входные данные являются положительными, и 0 — в противном случае (иногда вместо нее используется знаковая функция, которая выводит ± 1 в зависимости от знака входного значения) (а); сигмоидальная функция 1 / (1 +е"х) (б)
Рис. 20.16. Основные виды функций активации: пороговая функция активации, которая выводит 1, когда входные данные являются положительными, и 0 — в противном случае (иногда вместо нее используется знаковая функция, которая выводит ± 1 в зависимости от знака входного значения) (а); сигмоидальная функция 1 / (1 +е"х) (б)
Рис. 20.16. Основные виды функций активации: пороговая функция активации, которая выводит 1, когда входные данные являются положительными, и 0 — в противном случае (иногда вместо нее используется знаковая функция, которая выводит ± 1 в зависимости от знака входного значения) (а); сигмоидальная функция 1 / (1 +е"х) (б)
Представление о том, как работают отдельные элементы, можно получить, сравнив их с логическими элементами. Одной из первоначальных причин, по которым исследователи занялись проектированием отдельных элементов [1017], была способность элементов представлять основные булевы функции. На рис. 20.17 показано, как можно представить булевы функции and, OR и NOT с помощью пороговых элементов, входам которых назначены подходящие веса. Такое свойство является
важным, поскольку оно означает, что эти элементы можно использовать для создания сети, обеспечивающей вычисление любой булевой функции от входных данных.
ANDORNOT
Рис. 20.17. Примеры элементов с пороговой функцией активации, которые могут действовать как логические элементы, если заданы соответствующие веса простых и смещенных входов
Структуры сетей
Существуют две основные категории структур нейронных сетей: ациклические сети, или М сети с прямым распространением, и циклические, или М рекуррентные, сети. Сеть с прямым распространением представляет определенную функцию ее текущих входных данных, поэтому не имеет внутреннего состояния, отличного от самих весов. Рекуррентная сеть, с другой стороны, подает свои выходные данные обратно на свои собственные входы. Это означает, что уровни активации сети образуют динамическую систему, которая может достигать устойчивого состояния, или переходить в колебательный режим, или даже проявлять хаотичное поведение. Более того, отклик сети на конкретные входные данные зависит от ее начального состояния, которое, в свою очередь, может зависеть от предыдущих входных данных. Поэтому рекуррентные сети (в отличие от сетей с прямым распространением) могут моделировать кратковременную память. Это означает, что они являются более интересными объектами для использования в качестве моделей мозга, но вместе с тем являются более трудными для понимания. В данном разделе в основном рассматриваются сети с прямым распространением; некоторые указания на источники для дополнительного чтения по рекуррентным сетям приведены в конце данной главы.
Проанализируем более внимательно утверждение о том, что сеть с прямым распространением представляет функцию от ее входных данных. Рассмотрим простую сеть, показанную на рис. 20.18, которая состоит из входных элементов, двух М скрытых элементов и одного выходного элемента (чтобы упростить рассматриваемую схему, в данном примере удалены элементы, на которые подается смещение). Если задан вектор входных данных х= (х1# х2), активации входных элементов принимают вид (аг, а2) = (хх, х2), а сеть вычисляет следующее значение:
З5 = ^( (1/3,533 + (1/4,5 34)
= g ((1/3, s9 ( Wi, 3З1 + (1^2,з32) + (1/4,5g ( Ж. 4З1 + (1/2,432) ) (20.11)
Таким образом, выразив выходное значение каждого скрытого элемента как функцию его входных значений, мы показали, что выход всей сети, а5, является функцией от ее входов. Кроме того, мы показали, что веса в сети действуют как параметры этой функции; если применить запись w для обозначения параметров, то можно утверждать, что сеть вычисляет функцию h^W • Корректируя веса, можно
изменять функцию, представленную сетью. Именно так происходит обучение в нейронных сетях.
Рис. 20.18. Очень простая нейронная сеть с двумя входными элементами, одним скрытым слоем из двух элементов и одного выходного элемента
Нейронная сеть может использоваться для классификации или регрессии. Для булевой классификации с непрерывными выходными данными (например, формируемыми с помощью сигмоидальных элементов) обычно принято применять один выходной элемент, в котором значение, превышающее 0.5, интерпретируется как принадлежащее к одному классу, а значение ниже 0.5 — как принадлежащее к другому. Для k-сторонней классификации можно разделить диапазон одного выходного элемента на к частей, но чаще используется структура сети с к отдельными выходными элементами, притом что значение на каждом из них представляет относительное правдоподобие конкретного класса на основании текущих входных данных.
Сети с прямым распространением обычно размещаются по ^ слоям, таким, что каждый элемент получает входные данные только от элементов, относящихся к непосредственно предшествующему слою. В следующих двух подразделах рассматриваются однослойные сети, не имеющие скрытых элементов, и многослойные сети, которые имеют один или несколько слоев скрытых элементов.
Однослойные нейронные сети с прямым распространением (персептроны)
Сеть, в которой все входные элементы соединены непосредственно с выходными элементами, называется М однослойной нейронной сетью, или сетью ^ персептрона. Поскольку каждый выходной элемент является независимым от других (каждый вес влияет только на один из выходов), можно ограничиться в нашем исследовании рассмотрением персептронов с единственным выходным элементом, как показано на рис. 20.19, а.
Начнем с исследования пространства гипотез, которое может быть представлено с помощью персептрона. Если применяется пороговая функция активации, то персептрон может рассматриваться как представляющий некоторую булеву функцию. Кроме элементарных булевых функций AND, OR и NOT (см. рис. 20.17), персептрон позволяет представлять очень компактно некоторые весьма “сложные” булевы функции. Например, мажоритарная функция, которая выводит 1, только если 1 присутствует больше чем на половине из ее п входов, может быть представлена с помощью персептрона, в котором каждое значение Wj=l, а пороговое значение й7о=п/2. В дереве решений для представления этой функции потребовалось бы О( 2П) узлов.
ВходныеВыходныеэлементы wm элементыВходныеВыходныеэлементы wm элементы
ВходныеВыходные
элементы wm элементы
ВходныеВыходные
элементы wm элементы
а)а)б)
а)
а)
Рис. 20.19. Свойства сети персептрона: сеть персептрона, состоящая из трех выходных элементов персептрона, в которых совместно используются пять входных элементов (а). Рассматривая конкретный выходной элемент (скажем, второй элемент, выделенный жирным контуром), можно обнаружить, что веса его входных связей не влияют на другие выходные элементы; графическое изображение выходных данных элемента персептрона с двумя входами, имеющего сигмоидальную функцию активации (б)
К сожалению, существует также много булевых функций, которые не могут быть представлены с помощью порогового персептрона. Рассматривая уравнение 20.10, можно обнаружить, что пороговый персептрон возвращает 1 тогда и только тогда, когда взвешенная сумма его входных данных (включая смещение) является положительной:
п
^j Xj > 0 или W • х > 0
3=0
Итак, w • х = 0 определяет гиперплоскость в пространстве входных данных, поэтому персептрон возвращает 1 тогда и только тогда, когда входные данные находятся с одной стороны от этой гиперплоскости. По такой причине пороговый персептрон называют ^ линейным разделителем. На рис. 20.20, а, б показана такая гиперплоскость (которая в двух измерениях является линией) для представления с помощью персептрона функций and и OR от двух входных значений. Черные кружки обозначают точки в пространстве входных данных, где значение этой функции равно 1, а белые кружки — точки, где это значение равно 0. Персептрон способен представить эти функции, поскольку есть какая-то линия, которая отделяет все белые кружки от всех черных кружков. Такие функции называются ^ линейно разделимыми. На рис. 20.20, в показан пример функции, которая не является линейно разделимой, — функции XOR. Безусловно, что пороговый персептрон не позволяет определить в процессе обучения эту функцию. Вообще говоря, <9® пороговые персептроны способны представить только линейно разделимые функции. Но такие функции составляют лишь небольшую часть всех функций; в упр. 20.14 предлагается определить величину этой части. Сигмоидальные персептроны характеризуются аналогичными ограничениями, с той поправкой, что они представляют только “мягкие” линейные разделители (см. рис. 20.19, б).
а) Х\ and Х^а) Х\ and Х^•>•>о О•—►
а) Х\ and Х^
а) Х\ and Х^
•>
•>
о1 Хг
в) Х{ хог Х^
Рис. 20.20. Иллюстрация свойства линейной разделимости пороговых персептронов. Черные кружки показывают точки в пространстве входных данных, где значение функции равно 1, а белые кружки показывают точки, где это значение равно 0. Персептрон возвращает 1 при получении данных из области, соответствующей незаштрихованной стороне линии. На рис. 20.20, в не существует такой линии, которая могла бы правильно классифицировать входные данные
Несмотря на их ограниченную выразительную мощь, пороговые персептроны имеют некоторые преимущества. В частности, с^= существует простой алгоритм обучения, позволяющий выполнить подгонку весов порогового персептрона к любому линейно разделимому обучающему множеству, но в данном разделе вместо описания этого алгоритма мы выведем тесно связанный с ним алгоритм для обучения с помощью сигмоидальных персептронов.
В основе этого алгоритма, а в действительности в основе большинства алгоритмов для обучения нейронных сетей, лежит такая идея, что в процессе обучения необходимо корректировать веса в сети для минимизации некоторого критерия измерения ошибок в обучающем множестве. Таким образом, задача обучения формулируется как некоторая задача оптимизационного поиска в ^ пространстве весов. “Классическим” критерием измерения ошибок является сумма квадратичных ошибок, которая использовалась в том числе в алгоритме линейной регрессии, приведенном на с. 1. Квадратичная ошибка для единственного обучающего примера с входными данными х и истинными выходными данными у определяется следующим образом:
1 9 1 9
Е = "^Err - 2*(y--hw(x) )2
где Д, (х) — выходные данные персептрона при обработке рассматриваемого примера.
Для уменьшения квадратичной ошибки можно применить метод градиентного спуска, вычисляя частичную производную Е по отношению к каждому весу. При этом может быть получено следующее соотношение:
где д' — производная функции активации. В алгоритме градиентного спуска предусмотрено, что если требуется уменьшить Е, то вес обновляется следующим образом:
(20.12)(20.12)й/j <— Wj + ОС X Err X д' (in) X Xj
(20.12)
(20.12)
где ос — скорость обучения. Интуитивно ясно, что приведенное выше уравнение имеет большой смысл. Если ошибка Err^y-h^W является положительной, то выход сети слишком мал и поэтому веса увеличиваются при положительных входных данных и уменьшаются при отрицательных входных данных. А если ошибка является отрицательной, то происходит противоположное.
Полный алгоритм приведен в листинге 20.1. Он предусматривает прогон обучающих примеров через сеть каждый раз по одному и небольшую корректировку весов после прогона каждого примера для уменьшения ошибки. Каждый цикл прогона примеров называется ^ эпохой. Эпохи повторяются до тех пор, пока не достигается некоторый критерий останова; как правило, такая ситуация достигается, когда изменения весов становятся очень небольшими. В других методах для всего обучающего набора вычисляется градиент путем сложения всех градиентных вкладов в уравнении 20.12 перед обновлением весов. А в методе ^стохастического градиента примеры выбираются случайным образом из обучающего набора вместо их циклической обработки.
Листинг 20.1. Алгоритм обучения на основе градиентного спуска для персептронов, в котором предполагается использование дифференцируемой функции активации д. Для пороговых персептронов коэффициент д' {in) из обновления веса исключается. Функция Neural-Net-Hypothesis возвращает гипотезу, которая вычисляет выход сети для любого конкретного примера
function Perceptron-Learning(examples, network) returns гипотеза персептрона
inputs: examples, множество примеров, для каждого из которых заданы входные данные x=xi,...,xn и выходные данные у network, персептрон с весами Wj, где j=0...n, и функцией активации д
repeat for each е in examples do
E
n
Wj xj [ e] j=0
Err <— y[e] - g{in)
й/j <—Wj + ос х Err х д'(in) х Xj[e] until не достигается некоторый критерий останова return Neural-Net-Hypothesis (.network)
На рис. 20.21 показаны кривые обучения персептрона для двух разных задач. Слева показана кривая для определения в процессе обучения мажоритарной функции с 11 булевыми входами (т.е. функция выводит 1, если на шести или больше входах присутствует 1). Как и следовало ожидать, персептрон определяет эту функцию в процессе обучения очень быстро, поскольку мажоритарная функция является линейно разделимой. С другой стороны, обучающееся устройство, основанное на использовании дерева решений, не добивается существенного прогресса, поскольку мажоритарную функцию очень сложно (хотя и возможно) представить в виде дерева решений. Справа показана задача с рестораном. Решение этой задачи можно легко представить в виде дерева решений, но соответствующая функция не является линейно разделимой. Наилучшая гиперплоскость, разделяющая данные, позволяет правильно классифицировать только 65% примеров.
Рис. 20.21. Сравнение производительности персептронов и деревьев решений: персептроны показывают более высокую производительность при определении в процессе обучения мажоритарной функции от И входов (а); деревья решений показывают лучшую производительность при определении в процессе обучении предиката willwait в задаче с рестораном (б)
До сих пор персептроны рассматривались как средства реализации детерминированных функций, выходные данные которых могут содержать ошибки. Выход сигмоидального персептрона можно также интерпретировать как вероятность, а именно вероятность того, что истинным выходом является 1, если заданы все входы. При такой интерпретации сигмоидальный персептрон может использоваться как каноническое представление для условных распределений в байесовских сетях (см. раздел 14.3). Существует также возможность выполнять вероятностный вывод правила обучения с использованием стандартного метода максимизации (условного) логарифмического правдоподобия данных, как было описано выше в данной главе. Рассмотрим, как действует последний метод.
Допустим, что рассматривается единственный обучающий пример с истинным выходным значением Т, и предположим, что р — вероятность, возвращаемая персептроном для этого примера. Если Т=1, то условная вероятность этих данных равна
р, а если т=0,то условная вероятность данных равна (1-р). Теперь можно воспользоваться простым приемом, чтобы записать интересующее нас выражение для логарифмического правдоподобия в дифференцируемой форме. Этот прием состоит в том, что переменная со значениями 0/1 в экспоненте выражения рассматривается как ^ индикаторная переменная: рт-р, если М, и 1-в противном случае; аналогичным образом, (1-р) (1"т)- (1-р), если т=0, и 1 — в противном случае. Поэтому можно записать выражение для логарифмического правдоподобия данных следующим образом:
L = log рт(1-р)(1"т) = Tlog р + (1-Т) log (1-р)(20.13)
В силу самих свойств сигмоидальной функции полученный градиент сводится к очень простой формуле (упр. 20.16):
Эь = Err X
Обратите внимание на то, что ^ вектор обновления весов для обучения с максимальным правдоподобием в сигмоидальных персептронах по сути идентичен вектору обновления для минимизации квадратичной ошибки. Таким образом, можно утверждать, что персептроны имеют вероятностную интерпретацию, даже если правило их обучения выведено на основании детерминированного подхода.
Многослойные нейронные сети с прямым распространением
Теперь рассмотрим сети со скрытыми элементами. Наиболее общий случай охватывает сети с одним скрытым слоем, как показано на рис. 20.23. Преимущество введения скрытых слоев состоит в том, что они приводят к расширению пространства гипотез, которые могут быть представлены сетью. Каждый скрытый элемент можно рассматривать как персептрон, который представляет мягкую пороговую функцию в пространстве входов (см. рис. 20.19, б. В таком случае любой выходной элемент должен рассматриваться как средство создания линейной комбинации нескольких таких функций с мягким порогом. Например, путем сложения двух противоположно направленных мягких пороговых функций и определения порогового значения результата можно получить функцию с графиком в виде “хребта” (рис. 20.22, а). Соединение двух таких хребтов под прямыми углами друг к другу (например, комбинирование выходов четырех скрытых элементов) позволяет получить “выступ” (см. рис. 20.22, б).
а)а)Рис. 20.22. Примеры применения мягких пороговых функций: результат комбинирования двух противоположно направленных мягких пороговых функций для создания хребта (а); результат комбинирования двух хребтов для создания выступа (б)Рис. 20.22. Примеры применения мягких пороговых функций: результат комбинирования двух противоположно направленных мягких пороговых функций для создания хребта (а); результат комбинирования двух хребтов для создания выступа (б)^W^I ’ ^2^^W^I ’ ^2^б)б)
а)
а)
Рис. 20.22. Примеры применения мягких пороговых функций: результат комбинирования двух противоположно направленных мягких пороговых функций для создания хребта (а); результат комбинирования двух хребтов для создания выступа (б)
Рис. 20.22. Примеры применения мягких пороговых функций: результат комбинирования двух противоположно направленных мягких пороговых функций для создания хребта (а); результат комбинирования двух хребтов для создания выступа (б)
^W^I ’ ^2^
^W^I ’ ^2^
б)
б)
При наличии большего количества скрытых элементов появляется возможность создавать еще больше выступов различных размеров, расположенных в разных местах. В действительности с помощью одного, достаточно большого скрытого слоя возможно представить любую непрерывную функцию от входных данных с произвольной точностью, а при наличии двух слоев можно представить даже функции с разрывами. К сожалению, применительно к любой конкретной сетевой структуре сложно точно охарактеризовать, какие функции могут быть представлены с ее помощью, а какие — нет.
Предположим, что необходимо сконструировать сеть со скрытым слоем для задачи с рестораном. Имеется 10 атрибутов, описывающих каждый пример, поэтому требуется 10 входных элементов. А сколько нужно скрытых элементов? На рис. 20.23 показана сеть с четырьмя скрытыми элементами. Как оказалось, такое количество скрытых элементов почти полностью подходит для решения данной задачи. Но проблема заблаговременного выбора подходящего количества скрытых элементов все еще полностью не исследована (с. 990).
Алгоритмы обучения для многослойных сетей подобны алгоритму обучения для персептронов, приведенному в листинге 20.1. Одно небольшое различие состоит в том, что может быть предусмотрено несколько выходов, поэтому должен применяться вектор выходов hw(x), а не одно значение, и с каждым примером должен быть связан вектор выходов у. Между этими алгоритмами существует также важное различие, которое заключается в том, что ошибка y-hw в выходном слое является очевидной, а ошибка в скрытых слоях кажется неуловимой, поскольку в обучающих данных отсутствует информация о том, какие значения должны иметь скрытые узлы. Как оказалось, можно обеспечить ^ обратное распространение ошибки из выходного слоя в скрытые слои. Процесс обратного распространения может быть организован непосредственно на основе исследования общего градиента ошибки. Вначале мы опишем этот процесс на основе интуитивных представлений, а затем приведем его обоснование.
Рис. 20.23. Многослойная нейронная сеть с одним скрытым слоем и 10 входами, применимая для решения задачи с рестораном
Правило обновления весов, применяемое в выходном слое, идентично уравнению 20.12. Предусмотрено несколько выходных элементов, поэтому предположим, что Егг^ является i-м компонентом вектора ошибки y-hw. Авторы находят также удобным определить модифицированную ошибку Z^Err^xg' (inj, с помощью которой правило обновления весов можно преобразовать следующим образом:
Wj.i <- ^j,i + а х aj х Ai(20.14)
Чтобы обновить веса связей между входными и скрытыми элементами, необходимо определить величину, аналогичную терму ошибки для выходных узлов. Именно в этом и заключается суть метода обратного распространения ошибки. Идея его состоит в том, что скрытый узел j “отвечает” за некоторую долю ошибки Ai в каждом из выходных узлов, с которыми он соединен. Таким образом, значения Ai разделяются в соответствии с весом связи между скрытым узлом и выходным узлом и распространяются обратно, обеспечивая получение значений Aj для скрытого слоя. Правило распространения для значений А состоит в следующем:
Aj = д' (in^ ^ №j,i Ai(20.15)
i
Теперь правило обновления весов между входными элементами и элементами скрытого слоя становится почти идентичным правилу обновления для выходного слоя:
PVk,j ^— ^k,j + Ct X Як X Aj
Таким образом, процесс обратного распространения можно кратко описать, как показано ниже.
Вычислить значения А для выходных элементов с использованием наблюдаемой ошибки.
Начиная с выходного слоя, повторять следующие действия для каждого слоя в сети до тех пор, пока не будет достигнут самый первый скрытый слой:
распространять значения А обратно к предыдущему слою;
обновлять веса между этими двумя слоями.
Подробный алгоритм приведен в листинге 20.2.
Листинг 20.2. Алгоритм обратного распространения для обучения в многослойных сетях
function Back-Prop-Learning(examples, network) returns нейронная сеть inputs: examples, множество примеров, для каждого из которых заданы входной вектор х и выходной вектор у
network, многослойная сеть с L слоями, весами й^д и функцией активации д
repeat
for each е in examples do
for each узел j in выходной слой do aj <— xj [ e] for £ = 2 to L do
ini
3i <- g(ini) for each узел i in выходной слой do Ai <- д' (ini) x (yi[e] - ai)
for £ = L-l to 1 do for each узел j in слой £ do
Aj <- д' (in^)^ Wd,i Ai
for each узел i in слой £+1 do ^j,i<-^j,i + a x aj x Ai until не достигается некоторый критерий останова return Neural-Net-Hypothesis(network)
Теперь исходя из основных принципов выведем уравнения обратного распространения к радости читателей, интересующихся математикой. Квадратичная ошибка на одном примере определяется следующим образом:
в = 7 X (yi"31)2 i
где сумма вычисляется по всем узлам выходного слоя. Чтобы определить градиент по отношению к конкретному весу Wj.i в выходном слое, достаточно развернуть только выражение для активации ai( поскольку все другие термы в этой операции суммирования не зависят от i¥j, i:
ЭеdWj.i ~ ~ У1ЭеdWj.i ~ ~ У1ai)ai)daiЭд (inj)
Эе
dWj.i ~ ~ У1
Эе
dWj.i ~ ~ У1
ai)
ai)
= - (yi -= - (yi -ai)ai), , . . dini. . d9 Uni)d^” = -(yi - a^ 9 (2Л1,д^1, , . . dini. . d9 Uni)d^” = -(yi - a^ 9 (2Л1,д^1= -(yi -= -(yi -ai)ai)д' (ini) aj = -aj Aiд' (ini) aj = -aj AiЭй^д ~ yi 3i dWj.i
= - (yi -
= - (yi -
ai)
ai)
, , . . dini. . d
9 Uni)d^” = -(yi - a^ 9 (2Л1,д^1
, , . . dini. . d
9 Uni)d^” = -(yi - a^ 9 (2Л1,д^1
= -(yi -
= -(yi -
ai)
ai)
д' (ini) aj = -aj Ai
д' (ini) aj = -aj Ai
где Ai определено, как указано выше. Чтобы получить градиент по отношению к весам wk,j связей, соединяющих входной слой со скрытым слоем, необходимо по- прежнему вычислять всю сумму по i, поскольку изменение в значениях %., могут повлиять на каждое выходное значение aj. При этом придется также развертывать
выражение для активаций aj. Ниже показан ход вывода формулы во всех подробностях, поскольку любопытно понаблюдать за тем, как оператор производной распространяется в обратном направлении через сеть:
11iidg(inj) OtVk, jdg(inj) OtVk, jdgCinJ.dgCinJ.(yi - a^ 9‘ Uni)M^ i(yi - a^ 9‘ Uni)M^ iiiiiIVj,i д' (in^ ak = -ak AjIVj,i д' (in^ ak = -ak Aj
1
1
i
i
dg(inj) OtVk, j
dg(inj) OtVk, j
dgCinJ.
dgCinJ.
(yi - a^ 9‘ Uni)M^ i
(yi - a^ 9‘ Uni)M^ i
ii
ii
IVj,i д' (in^ ak = -ak Aj
IVj,i д' (in^ ak = -ak Aj
где Aj определено, как показано выше. Таким образом, получено то же правило обновления, которое было сформулировано выше на основании интуитивных соображений. Очевидно также, что этот процесс может быть продолжен применительно к сетям, имеющим больше одного скрытого слоя, и это соображение является обоснованием для общего алгоритма, приведенного в листинге 20.2.
Внимательно ознакомившись со всеми этими математическими выкладками (или пропустив их), рассмотрим, какую производительность показывает сеть с одним скрытым слоем при решении задачи с рестораном. На рис. 20.24 показаны две кривые. Первая из них представляет собой М кривую обучения, которая характеризует изменение среднеквадратичной ошибки на заданном обучающем множестве из 100 примеров для задачи с рестораном в процессе обновления весов. Эта кривая демонстрирует, что параметры сети действительно сходятся, позволяя достичь идеального согласования с обучающими данными. Вторая кривая представляет собой стандартную кривую обучения для данных о ресторане. Нейронная сеть позволяет достичь в процессе обучения хороших результатов, хотя и не совсем с такой скоростью, как при обучении дерева решений; по-видимому, в этом нет ничего удивительного, хотя бы потому, что сами эти данные были сформированы с помощью простого дерева решений.
Безусловно, нейронные сети способны решать гораздо более сложные задачи обучения, хотя и следует отметить, что для создания подходящей сетевой структуры и достижения сходимости к величине, достаточно близкой к глобальному оптимуму в пространстве весов, необходимо приложить определенные усилия. Количество приложений нейронных сетей, описанных в опубликованной литературе, исчисляется буквально десятками тысяч. В разделе 20.7 одно из таких приложений рассматривается более подробно.
Рис. 20.24. Результаты анализа производительности алгоритма обучения: кривая обучения, показывающая постепенное уменьшение ошибки по мере того, как в течение нескольких эпох происходит модификация весов для заданного множества примеров в задаче с рестораном (а); сопоставление кривых обучения, которое показывает, что обучение дерева решений обеспечивает немного лучшие результаты, чем обратное распространение в многослойной сети (б)
Определение в процессе обучения структур нейронных сетей
До сих пор в данной главе рассматривалась проблема определения в процессе обучения весов связей при наличии заданной структуры сети; но, как и в случае с байесовскими сетями, необходимо также знать, как найти наилучшую структуру сети. Если будет выбрана сеть, которая слишком велика, она будет способна запомнить все примеры благодаря формированию большой поисковой таблицы, но не обязательно обеспечит качественное обобщение применительно к входным данным, с которыми еще не сталкивалась. Иными словами, как и все статистические модели, нейронные сети подвержены такому недостатку, как чрезмерно тщательная подгонка, когда количество параметров в модели слишком велико. В этом можно убедиться, рассматривая рис. 18.1, где показано, что модели с большим количеством параметров на рис. 18.1, б, в хорошо согласуются со всеми данными, но не обеспечивают такого же хорошего обобщения, как модели с малым количеством параметров, показанные на рис. 18.1, а и г.
Если мы остановимся исключительно на полносвязных сетях, то единственные изменения, которые могут быть внесены в структуру сети, относятся только к количеству скрытых слоев и их размерам. Обычно применяется подход, который предусматривает опробование нескольких вариантов и сохранение наилучшего. Если же решено придерживаться требования по предотвращению компрометации проверочного набора, то необходимо использовать методы перекрестной проверки, описанные в главе 18. Это означает, что выбор останавливается на такой архитектуре сети, ко-
торая обеспечивает наивысшую точность прогнозирования при проверке с помощью испытательных наборов.
Если же решено прибегнуть к использованию сетей, которые не являются полносвязными, то необходимо найти какой-то эффективный метод поиска в очень большом пространстве возможных топологий связей. Алгоритм М оптимального повреждения мозга (optimal brain damage) начинает свою работу с полносвязной сети и удаляет из нее связи. После обучения сети в первый раз с помощью подхода на основе теории информации определяется оптимальный выбор связей, которые могут быть удалены. После этого осуществляется повторное обучение сети, и если ее производительность не уменьшается, то этот процесс повторяется. Кроме удаления связей, возможно также удаление элементов, которые не вносят большого вклада в результат.
Было также предложено несколько алгоритмов для формирования большой сети из малой. Один из таких алгоритмов, называемый алгоритмом ^ заполнения мозаики (tiling), напоминает алгоритм обучения списков решений. Его идея состоит в том, что процесс начинается с одного элемента, который настраивается наилучшим образом для выработки правильных выходных данных для максимально возможного количества обучающих примеров. Для обработки примеров, которые не могли быть правильно обработаны первым элементом, вводятся дополнительные элементы. Этот алгоритм предусматривает введение только такого количества элементов, которое требуется для охвата всех примеров.
Ядерные МАШИНЫ
тор значений характеристик, F(x). В частности, предположим, что используются следующие три характеристики:
fl = Х12
f2 = Х22
(20.16)(20.16)f3 = Л^Х1Х2
(20.16)
(20.16)
Вскоре будет показано, как получены эти выражения, а пока просто рассмотрим, что происходит. На рис. 20.25, б показаны данные в этом новом, трехмерном пространстве, определенном тремя характеристиками; очевидно, что данные в этом пространстве являются линейно разделимыми! Такой подход действительно является достаточно общим: если данные отображаются на пространство с достаточно большим количеством размерностей, то они всегда могут быть преобразованы в линейно разделимую форму. В данном случае использовались только три размерности, но если бы количество точек данных было равно N, то, за исключением частных случаев, они всегда являются разделимыми в пространстве с N-1 размерностями или больше (упр. 20.21).
а)а)Рис. 20.25. Пример применения преобразования: двухмерная задача обучения с положительными примерами, показанными в виде черных кружков, и отрицательными примерами, обозначенными белыми кружками. Показана также истинная граница решений, xi2+x22<1 (а); те же данные после отображения на трехмерное пространство входов (xi2,x22,^xix2). Круглая граница решений, показанная на рис. 20.25, а, в трехмерном пространстве становится линейной границей решения (б)Рис. 20.25. Пример применения преобразования: двухмерная задача обучения с положительными примерами, показанными в виде черных кружков, и отрицательными примерами, обозначенными белыми кружками. Показана также истинная граница решений, xi2+x22<1 (а); те же данные после отображения на трехмерное пространство входов (xi2,x22,^xix2). Круглая граница решений, показанная на рис. 20.25, а, в трехмерном пространстве становится линейной границей решения (б)б)б)
а)
а)
Рис. 20.25. Пример применения преобразования: двухмерная задача обучения с положительными примерами, показанными в виде черных кружков, и отрицательными примерами, обозначенными белыми кружками. Показана также истинная граница решений, xi2+x22<1 (а); те же данные после отображения на трехмерное пространство входов (xi2,x22,^xix2). Круглая граница решений, показанная на рис. 20.25, а, в трехмерном пространстве становится линейной границей решения (б)
Рис. 20.25. Пример применения преобразования: двухмерная задача обучения с положительными примерами, показанными в виде черных кружков, и отрицательными примерами, обозначенными белыми кружками. Показана также истинная граница решений, xi2+x22<1 (а); те же данные после отображения на трехмерное пространство входов (xi2,x22,^xix2). Круглая граница решений, показанная на рис. 20.25, а, в трехмерном пространстве становится линейной границей решения (б)
б)
б)
Итак, можно ли считать, что на этом проблема исчерпана? Достаточно ли просто подготовить целый ряд расчетных характеристик, а затем найти линейный разделитель в соответствующем многомерном пространстве? К сожалению, все не так просто. Напомним, что линейный разделитель в пространстве с d размерностями определяется уравнением с d параметрами, поэтому возникает серьезная опасность
чрезмерно тщательной подгонки данных, если d~N, т.е. приблизительно равно количеству точек данных. (Такая ситуация аналогична чрезмерно тщательной подгонке к данным с помощью полинома высокой степени, о чем шла речь в главе 18.) По этой причине ядерные машины обычно находят оптимальный линейный разделитель, т.е. такой разделитель, который имеет наибольший ^ край между ним и положительными примерами, с одной стороны, и отрицательными примерами, с другой (рис. 20.26). Можно показать, используя аргументы, основанные на теории вычислительного обучения (см. раздел 18.5), что такой разделитель обладает желаемыми свойствами с точки зрения возможности надежного обобщения новых примеров.
Рис. 20.26. Замыкание оптимального разделителя, показанного на рис. 20.25, б, спроектированное на первые две размерности. Разделитель показан в виде жирной линии, а ближайшие точки (поддерживающие векторы) обозначены кружками. Край представляет собой разделение между положительными и отрицательными примерамиРис. 20.26. Замыкание оптимального разделителя, показанного на рис. 20.25, б, спроектированное на первые две размерности. Разделитель показан в виде жирной линии, а ближайшие точки (поддерживающие векторы) обозначены кружками. Край представляет собой разделение между положительными и отрицательными примерами
Рис. 20.26. Замыкание оптимального разделителя, показанного на рис. 20.25, б, спроектированное на первые две размерности. Разделитель показан в виде жирной линии, а ближайшие точки (поддерживающие векторы) обозначены кружками. Край представляет собой разделение между положительными и отрицательными примерами
Рис. 20.26. Замыкание оптимального разделителя, показанного на рис. 20.25, б, спроектированное на первые две размерности. Разделитель показан в виде жирной линии, а ближайшие точки (поддерживающие векторы) обозначены кружками. Край представляет собой разделение между положительными и отрицательными примерами
Но как найти такой разделитель? Оказалось, что эта задача представляет собой задачу оптимизации из области ^квадратичного программирования. Предположим, что имеются примеры xi с классификациями yi=±l и необходимо найти оптимальный разделитель в пространстве входов; в таком случае задача квадратичного программирования сводится к поиску значений параметров о^, которые максимизируют следующее выражение с учетом ограничений «£>0 и 22 о^ у^ = 0:
i
(X£ • Xj)(X£ • Xj)(20.17)(20.17)52 ■ 152 ai “j yi yj
(X£ • Xj)
(X£ • Xj)
(20.17)
(20.17)
iid
Хотя для понимания излагаемого материала не обязательно знакомиться с тем, как было выведено данное выражение, следует отметить, что оно имеет два важных свойства. Во-первых, это выражение имеет единственный глобальный максимум, который может быть найден с помощью эффективных методов. Во-вторых, с^= данные входят в это выражение только в форме точечных произведений пар точек. Утверждение о существовании
такого второго свойства является также справедливым применительно к уравнению для самого разделителя; как только будут вычислены оптимальные значения ai? появляется возможность вычислить следующее выражение:
hW = sign у , oti уч (x-Xi) (20.18) < i )
Последнее важное свойство оптимального разделителя, определяемого этим уравнением, заключается в том, что веса ai? связанные с каждой точкой данных, являются нулевыми, кроме тех точек, которые являются ближайшими к разделителю; эти точки называются ^ поддерживающими векторами (они получили такое название потому, что на них как бы “опирается” разделяющая гиперплоскость). Поскольку количество поддерживающих векторов обычно намного меньше, чем количество точек данных, результирующее количество параметров, определяющих оптимальный разделитель, так же намного меньше, чем N.
Итак, обычно не стоит рассчитывать на то, что удастся найти линейный разделитель в пространстве входов х, но легко показать, что можно найти линейные разделители в многомерном пространстве характеристик F(x), просто заменяя точечное произведение XiXj в уравнении 20.17 произведением FfxJ-Ftxj). В этой операции, отдельно взятой, нет ничего необычного (поскольку требуемый эффект может быть достигнут путем замены х на F(x) в любом алгоритме обучения), но точечное произведение обладает некоторыми особыми свойствами. Как оказалось, значение F(Xi) -F(Xj) часто можно вычислить без предварительного вычисления характеристики F для каждой точки. В рассматриваемом трехмерном пространстве, определяемом уравнением 20.16, с помощью несложных алгебраических преобразований можно показать, что справедливо следующее соотношение:
F(xJ • F(Xj) = (Xi • Xj)2
Выражение (Xi-Xj)2 называется ядерной функцией и обычно записывается как K(xi,xj). В контексте проблематики ядерных машин под этим подразумевается любая функция, которая может быть применена к парам выходных данных для вычисления точечных произведений в некотором соответствующем пространстве характеристик. Таким образом, утверждение, приведенное в начале данного абзаца, можно сформулировать следующим образом: линейные разделители в многомерном пространстве характеристик F(x) можно найти, заменив выражение х^х., в уравнении 20.17 ядерной функцией Klxifx5). Таким образом, может быть организовано обучение в многомерном пространстве, но для этого придется вычислять только значения ядерных функций, а не значения полного списка характеристик для каждой точки данных.
Следующий этап, который теперь должен стать полностью очевидным, состоит в демонстрации того, что в ядерной функции K(Xi,Xj) = (Xi-xJ2 нет ничего особенного, просто она соответствует конкретному пространству характеристик с большим количеством размерностей, а другие ядерные функции соответствуют другим пространствам характеристик. Один из знаменитых результатов в математике, ^ теорема Мерсера
[1035], гласит, что любая “приемлемая” ядерная функция соответствует некоторому пространству характеристик. Эти пространства характеристик могут оказаться очень большими даже применительно к таким ядерным функциям, которые выглядят совершенно “невинно”. Например, ^полиномиальная ядерная функция, KtXi^j) = (l+xi-Xj)d, соответствует пространству характеристик, количество размерностей которого определяется экспоненциальной зависимостью от d. Поэтому использование ядерных функций, подобных приведенной в уравнении 20.17, обеспечивает эффективный поиск оптимальных линейных разделителей в пространствах характеристик с миллиардами (а в некоторых случаях с бесконечным количеством) размерностей. Полученные в результате линейные разделители после их обратного отображения на первоначальное пространство входов могут соответствовать произвольно сложным, нелинейным границам между положительными и отрицательными примерами.
Как было упомянуто в предыдущем разделе, ядерные машины превосходят все другие способы распознавания рукописных цифр; кроме того, они быстро находят применение и в других приложениях, особенно в тех, которые отличаются большим количеством входных характеристик. В составе этого процесса было разработано много новых ядерных функций, позволяющих работать со строками, деревьями и другими нечисловыми типами данных. Было также отмечено, что метод ядерных функций может применяться не только в алгоритмах обучения, которые находят оптимальные линейные разделители, но и в любых других алгоритмах, которые можно переформулировать применительно к использованию только точечных произведений пар точек данных, как в уравнениях 20.17 и 20.18. После выполнения такого преобразования точечное произведение заменяется ядерной функцией, что приводит к получению версии того же алгоритма, ^ преобразованной в ядерную форму. Кроме всего прочего, такое преобразование можно легко применить для обучения с к ближайшими соседними точками и для обучения персептрона.
Практический пример: распознавание рукописных ЦИФР
Задача распознавания рукописных цифр является важной во многих приложениях, включая автоматизированную сортировку почты по почтовому коду, автоматизированное чтение чеков и налоговых деклараций, а также ввод данных для портативных компьютеров. В этой области достигнут быстрый прогресс отчасти благодаря применению лучших алгоритмов обучения и отчасти благодаря наличию лучших обучающих наборов. В Национальном институте стандартов и технологии (National Institute of Standards and Technology — NIST) США был создан архив, представляющий собой базу данных из 60 000 рукописных цифр с расшифровками (с так называемой разметкой), каждая из которых задана в виде изображения, состоящего из 20x20=400 пикселов с восьмибитовой кодировкой уровня серого. Распознавание
цифр из этой базы данных стало одной из стандартных эталонных задач для сравнения новых алгоритмов обучения. Некоторые примеры цифр показаны на рис. 20.27.
Рис. 20.27. Примеры из базы данных рукописных цифр института NIST. Верхний ряд: примеры цифр 0-9, которые несложно распознать; нижний ряд: более трудные примеры тех же цифр
Для решения этой задачи было опробовано много разных подходов к обучению. Одним из первых и, по-видимому, самых простых стал классификатор по трем ближайшим соседним точкам, преимуществом которого является также то, что он не требует затрат времени на обучение. Но поскольку он представляет собой алгоритм, основанный на использовании памяти, то должен хранить все 60 000 изображений, поэтому показывает низкую производительность на этапе прогона. При использовании такого классификатора была достигнута частота ошибок при распознавании проверочного набора, равная 2,4%.
Кроме того, для решения этой задачи была разработана нейронная сеть с одним скрытым слоем, состоящая из 400 входных элементов (по одному на каждый пиксел) и 10 выходных элементов (по одному на каждый класс). С использованием перекрестной проверки было обнаружено, что наилучшую производительность обеспечивают примерно 300 скрытых элементов. Поскольку была предусмотрена полная связность между слоями, общее количество весов составляло 123300. Эта сеть позволила достичь уровня частоты ошибок 1,6%.
Чтобы можно было воспользоваться структурой самой задачи (тем, что вход состоит из пикселов в двухмерном массиве и что небольшие изменения в положении или наклоне изображения не имеют значения), был разработан ряд специализированных нейронных сетей, называемых LeNet. Каждая сеть имела входной слой из 32x3 2 элементов, по которым 2 0x2 0 пикселов отцентровывались таким образом, чтобы каждый входной элемент был представлен с помощью локальной окрестности пикселов. За ними следовали три слоя скрытых элементов. Каждый слой состоял из нескольких гиперплоскостей из пхп массивов, где значение п было меньше, чем в предыдущем слое, с тем чтобы сеть сокращала объем выборки входных данных, и где веса каждого элемента в гиперплоскости ограничивались идентичными весами, с тем чтобы эта гиперплоскость действовала как детектор какой-то характеристики: оно позволяла выделять некоторую характеристику, такую как длинная вертикальная линия или короткая полукруглая дуга. Выходной слой включал 10 элементов. Было опробовано много версий такой архитектуры; в одной из наиболее успешных версий применялись скрытые слои, состоящие соответственно из 768, 192 и 30 элементов. Обучающий набор был дополнен путем применения аффинных преобразований к фактическим входным данным — сдвиг, поворот на небольшой угол и масштабирование изображений (безусловно, эти преобразования должны были
быть небольшими, поскольку иначе цифра 6 могла бы превратиться в 91). Наилучшим значением частоты ошибок, достигнутым с помощью сетей LeNet, было 0,9%.
В усиленной нейронной сети комбинировались три копии архитектуры LeNet, притом что вторая обучалась на смеси образцов, которые первая распознавала с ошибками 50%, а третья обучалась на образцах, для которых не было достигнуто согласование с помощью первых двух копий. Во время проверки проводилось голосование между тремя сетями с назначенными с помощью их весами для каждой из десяти цифр, а полученные оценки складывались для определения победителя. Частота ошибок при обработке проверочного набора составляла 0,7%.
Машина поддерживающих векторов (см. раздел 20.6) с 25000 поддерживающих векторов достигла частоты ошибок 1,1%. Это— замечательное достижение, поскольку метод SVM, как и простой подход с использованием ближайших соседних точек, почти не потребовал размышлений или неоднократных экспериментов со стороны разработчика, но вместе с тем позволил сразу же приблизиться к производительности сетей LeNet, на создание которых ушли годы интенсивных разработок. Разумеется, в машине поддерживающих векторов не используются данные о структуре задачи, поэтому она действовала бы с таким же успехом, если бы те же пикселы были представлены после применения к ним какой-то перестановки.
М Виртуальная машина поддерживающих векторов начинает работу с обычной машины SVM, а затем совершенствует ее с помощью метода, позволяющего воспользоваться данными о структуре задачи. В этом подходе не разрешается использовать произведения всех пар пикселов — вместо этого в основном применяются ядерные функции, сформированные с помощью пар ближайших пикселов. В нем также была предусмотрена возможность дополнять обучающий набор преобразованными вариантами примеров, как и в проекте LeNet. Виртуальная машина SVM достигла наилучшего показателя частоты ошибок, зарегистрированного до настоящего времени, который равен 0,56%.
Согласование с формой — это метод из области машинного зрения, который используется для выравнивания соответствующих частей двух различных изображений объектов (см. главу 24). Идея этого метода состоит в том, что выбирается множество точек каждого из двух изображений, а затем для каждой точки из первого изображения с помощью вычислений определяется, какая точка соответствует ей во втором изображении. После этого на основании полученных данных о выравнивании вычисляется преобразование между изображениями, которое позволяет определить значение критерия расстояния между этими изображениями. Такой критерий расстояния является более обоснованным по сравнению с простым подсчетом количества различающихся пикселов, и, как оказалось, очень высокую производительность показывает алгоритм с тремя ближайшими соседними точками, в котором используется этот критерий расстояния. После обучения только на 20000 из 60000 цифр и с использованием 100 выборочных точек в расчете на каждое изображение, выделенных с помощью детектора края Кэнни, классификатор с согласованием формы достиг частоты ошибок при обработке проверочного набора, равной 0,63%.
По некоторым оценкам, люди допускают ошибки при решении задачи распознавания рукописных цифр с частотой примерно 0,2%. Но этим данным не следует полностью доверять, поскольку отнюдь не проводилась такая исчерпывающая проверка способностей людей, как самих алгоритмов машинного обучения. На анало-
гичном наборе данных, состоящем из цифр, полученных из почтовой службы США, частота ошибок, допущенных людьми, составляла примерно 2,5%.
Цифры, приведенные ниже, представляют собой итоговые данные по частоте ошибок, производительности на этапе прогона, потребностям в памяти и продолжительности времени обучения для семи описанных здесь алгоритмов. К этим данным добавлен еще один критерий — процентное количество цифр, которые должны быть отброшены, чтобы можно было достичь частоты ошибок 0,5%. Например, если при использовании алгоритма SVM разрешено отбрасывать 1,8% входных данных (т.е. передавать их кому-то другому, чтобы он сделал окончательное заключение), то частота ошибок на оставшихся 98,2% входных данных сокращается с 1,1% до 0,5%.
Итоговые данные по частоте ошибок и некоторых других характеристиках семи методов, описанных в этом разделе, приведены в табл. 20.2.
Таблица 20.2. Итоговые данные о семи методах распознавания рукописных цифр
Стремябли- С 300LeNet Усиленная SVM Виртуальная Согласование
жайшими со- скрытыхLeNetSVMформы
седними точка- элементов ми
Частота ошибок (проценты)
Время выполнения (мс/цифра)
Потребность в памяти (Мбайт)
Время обучение (суток)
Процент отвергнутых примеров, позволяющий достичь ошибки 0,5%
2,41,60,90,71,10,560,63
10001030502000200
120,490,0120,2111
07143010
8,13,21,80,51,8
Резюме
Разработан широкий перечень статистических методов обучения, начиная от простого вычисления средних и заканчивая построением сложных моделей, таких как байесовские и нейронные сети. Эти методы находят широкое применение в компьютерной науке, техническом проектировании, нейробиологии, психологии и физике. В данной главе представлены некоторые основные идеи из этой области и приведена часть математических выкладок. Основные темы, рассматриваемые в этой главе, перечислены ниже.
В методах байесовского обучения задача обучения формулируется как один из видов вероятностного вывода, в котором наблюдения используются для обновления распределений априорных вероятностей по гипотезам. Такой подход представляет собой хороший способ реализации принципа бритвы Оккама, но быстро становится трудноосуществимым при возрастании сложности пространства гипотез.
В обучении на основе максимальной апостериорной вероятности (Maximum А Posteriori — МАР) выбирается единственная гипотеза, наиболее вероятная согласно имеющимся данным. При этом все еще используется распределение априорных вероятностей гипотезы и сам этот метод часто является более легко осуществимым, чем полное байесовское обучение.
В обучении с учетом максимального правдоподобия выбирается гипотеза, которая максимизирует правдоподобие данных; этот метод эквивалентен методу обучения МАР с равномерным распределением априорных вероятностей. В простейших случаях, таких как линейная регрессия и полностью наблюдаемые байесовские сети, решения с учетом максимального правдоподобия можно легко найти в замкнутой форме. Особенно эффективным методом, который хорошо масштабируется, является наивное байесовское обучение.
Если некоторые переменные скрыты, то решения с локальным максимальным правдоподобием можно найти с использованием алгоритма ЕМ. В число приложений соответствующего метода входит кластеризация с помощью смешанных гауссовых распределений, обучение байесовских сетей и скрытых марковских моделей.
Определение в процессе обучения структур байесовских сетей представляет собой пример метода выбора модели. В этом методе обычно предусматривается дискретный поиск в пространстве структур. При этом необходимо каким- то образом обеспечить поиск компромисса между сложностью модели и степенью ее соответствия данным.
В моделях на основе экземпляра распределение представлено с использованием коллекции обучающих экземпляров. Таким образом, количество параметров растет с увеличением размеров обучающего множества. В методах ближайшей соседней точки осуществляется поиск экземпляров, ближайших к рассматриваемой точке, а в ядерных методах формируется комбинация всех экземпляров, взвешенная по расстоянию.
Нейронные сети позволяют определять в процессе обучения сложные нелинейные функции со многими параметрами. Изучение этих параметров может осуществляться с применением зашумленных данных, а сами нейронные сети используются в тысячах приложений.
Персептрон — это нейронная сеть с прямым распространением без скрытых элементов, которая способна представить только линейно разделимые функции. Если данные являются линейно разделимыми, то для обеспечения точного согласования с данными может использоваться простое правило обновления весов.
Такие нейронные сети, как многослойные сети с прямым распространением, способны представлять любые функции при наличии достаточного количества элементов. В алгоритме обратного распространения реализуется метод градиентного спуска в пространстве параметров для минимизации выходной ошибки.
Статистическое обучение продолжает оставаться очень активной областью исследования. Были достигнуты колоссальные успехи как в теории, так и в практике, и уровень знаний поднялся на такую высоту, что теперь существует возможность оп-
ределить в процессе обучения параметры почти любой модели, для которой осуществим точный или приближенный вероятностный вывод.
Библиографические и исторические заметки
В ранние годы развития искусственного интеллекта приложения статистических методов обучения были активной областью исследований [421], но отделились от основного направления искусственного интеллекта после того, как работы в этом направлении сосредоточились на символических методах. Тем не менее исследования статистических методов обучения продолжались в различных формах (часть которых явно относилась к вероятностным, а другая — нет) в таких областях, как распознавание образов [394] и информационный поиск [1347]. Возрождение всеобщего интереса к этой теме началось вскоре после появления моделей байесовских сетей в конце 1980-х годов; приблизительно в то же время начала формироваться статистическая научная трактовка процесса обучения нейронных сетей. В конце 1990-х годов произошло заметное пробуждение интереса к машинному обучению, статистике и нейронным сетям и значительные усилия были сосредоточены на разработке методов создания больших вероятностных моделей на основе данных.
Наивная байесовская модель представляет собой одну из самых старых и наиболее простых форм байесовской сети, которая была впервые описана в 1950-х годах. О том, каково происхождение этой модели, упоминалось в заметках в конце главы 13; частичное описание этой темы приведено в [402]. Программа на основе усиленной формы наивного байесовского обучения стала победителем первого соревнования по интеллектуальному анализу данных на кубок KDD Сир [435]. В [641] приведено превосходное введение в общую проблему обучения байесовской сети. Определение параметров байесовской сети с помощью распределений априорных вероятностей Дирихле для байесовских сетей рассматривалось в [1450]. Многие из этих идей были реализованы в программном пакете Bugs [555], который представляет собой очень мощное инструментальное средство для формулировки и обучения сложных вероятностных моделей. В первых алгоритмах для определения в процессе обучения структур байесовских сетей использовались проверки условной независимости [1191], [1193]. В [1452] разработан исчерпывающий подход и описан пакет Tetrad для обучения байесовских сетей на основе аналогичных идей. Достигнутые с тех пор усовершенствования алгоритмов стали причиной убедительной победы метода обучения байесовской сети в соревновании по интеллектуальному анализу данных на кубок KDD Сир 2001 года [248]. (На этих соревнованиях рассматривалась конкретная задача из биоинформатики с 139351 характеристикой!) Подход к определению в процессе обучения структуры сети, основанный на учете максимального правдоподобия, был разработан Купером и Херсковицем [292] и усовершенствован Хекерманом и др. [642]. В [507] указано на то, какое влияние оказывает способ представления локальных распределений условных вероятностей на структуру, определяемую в процессе обучения. '
Общая задача определения в процессе обучения параметров вероятностных моделей со скрытыми переменными и недостающими данными была решена с помощью алгоритма ЕМ, предложенного Демпстером [383], который представляет собой обобщение нескольких существующих методов, включая алгоритм Баума-Уэлша
для обучения скрытых марковских моделей [85]. (Сам Демпстер рассматривал ЕМ скорее как схему, а не как алгоритм, поскольку может потребоваться большой объем математической работы, прежде чем появится возможность применить подход на основе ЕМ к новому семейству распределений.) В настоящее время ЕМ представляет собой один из алгоритмов, наиболее широко используемых в науке, а Маклахлан и Кришнан посвятили этому алгоритму и его свойствам целую книгу [1030]. Конкретная задача определения в процессе обучения параметров моделей на основе смешанных распределений, включая смешанные гауссовы распределения, рассматривается в [1509]. В рамках искусственного интеллекта первой успешной системой, в которой использовался алгоритм ЕМ для моделирования смешанных распределений, была система Autoclass [245], [246]. Система Autoclass применялась для решения многих реальных задач научной классификации, включая открытие новых типов звезд на основе спектральных данных [567] и новых классов белков и интронов в базах данных последовательностей ДНК/белок [708].
Алгоритм ЕМ для обучения байесовских сетей со скрытыми переменными был разработан Лауритценом [892]. Наряду с этим свою эффективность при обучении байесовских сетей, а также динамических байесовских сетей показали методы на основе градиента [1326], [126]. Структурный алгоритм ЕМ был разработан Фридманом [506]. Способность к определению в процессе обучения структуры байесовских сетей тесно связана с проблемой извлечения причинной информации из данных. Эта проблема сводится к поиску ответа на вопрос о том, существует ли возможность определять в процессе обучения структуру байесовских сетей таким образом, чтобы полученная структура сети демонстрировала реальные причинные связи? В течение многих лет статистики избегали анализа этого вопроса, считая, что данные самих наблюдений (в отличие от данных, выработанных в результате экспериментальных попыток) могут предоставить только информацию о корреляции; в конце концов, любые две переменные, которые кажутся взаимосвязанными, могут в действительности испытывать влияние третьего, неизвестного причинного фактора, а не влиять друг на друга непосредственно. Перл [1192] представил убедительные доводы, опровергающие это мнение, и показал, что фактически возникает много ситуаций, в которых причинно-следственные связи можно подтвердить и выявить с помощью формальных средств ^ причинной сети для выражения причин и результатов вмешательства, а также обычных условных вероятностей.
Истоки моделей с использованием ближайших соседних точек прослеживаются по меньшей мере до работы Фикса и Ходжеса [474] и со времени ее появления такие модели считаются стандартным инструментом в статистике и распознавании образов. В искусственном интеллекте они нашли широкое применение под влиянием работы Стенфилда и Вальца [1457], которые исследовали методы адаптирования метрики расстояния к данным. Хасти и Тибширани [628] разработали способ локализации метрики применительно к каждой точке пространства в зависимости от распределения данных вокруг этой точки. Эффективные схемы индексации для поиска ближайших соседних точек исследовались в сообществе специалистов по алгоритмам (см., например, [715]). Оценки плотности ядра, называемые также оценками плотности окна Парцена, были первоначально исследованы Розенблаттом [1305] и Парценом [1178]. С тех пор было опубликовано огромное количество научных работ с результатами исследований свойств различных средств оценки. Исчерпывающее введение в эту тему приведено в [393].
Объем литературы по нейронным сетям слишком велик (до настоящего времени опубликовано примерно 100 000 статей), чтобы всю ее можно было подробно рассмотреть в настоящем разделе. В [299], [300] приведен краткий обзор ранней истории этого направления, начиная с работы Мак-Каллока и Питтса [1017]. В сотрудничестве с Мак-Каллоком и Питтсом работал Норберт Винер, основатель кибернетики и теории управления [1589], который оказал значительное влияние на дальнейшую деятельность многих молодых исследователей, включая Марвина Минского. По-видимому, именно Минский был первым, кто разработал действующую нейронную сеть на основе аппаратных средств; это произошлов 1951 году (см. [1055,с. ix-x]). Между тем в Великобритании У. Росс Эшби (также один из основателей кибернетики; см. [42]), Алан Тьюринг, Грей Уолтер и другие основали клуб Ratio (клуб Разума) для “тех, кто был носителем идей Винера еще до появления книги Винера”. В книге Эшби Design for а Brain [43], [44] выдвинута идея, что интеллект можно создать с использованием гомеостатических устройств, реализующих соответствующие циклы обратной связи для достижения стабильного адаптивного поведения. Тьюринг [1519] написал исследовательский отчет с заглавием Intelligent Machinery, который начинается со слов “Я предлагаю исследовать вопрос о том, может ли машина проявлять интеллектуальное поведение” и продолжается в виде описания архитектуры рекуррентной нейронной сети, названной Тьюрингом “неорганизованными машинами В-типа”, и подхода к обучению этих машин. К сожалению, этот отчет оставался неопубликованным до 1969 года и его содержание почти полностью игнорировалось до недавнего времени.
Фрэнк Розенблатт [1302] изобрел современный “персептрон” и доказал теорему сходимости персептрона [1303], хотя его работы оставались в тени чисто математических исследований, выполненных вне контекста нейронных сетей [6], [1093]. Кроме того, некоторые ранние работы в области нейронных сетей были посвящены многослойным сетям, включая персептроны Гамба [517] и мадалины [1586]. В книге Learning Machines [1140] рассматриваются многие из этих ранних работ, а также другие интересные темы. В дальнейшем, в этот ранний период исследований персептронов, интерес к этой теме упал под влиянием книги Perceptrons [1054], авторы которой посетовали на отсутствие математической строгости в этой области (но сами авторы в последующем заявили, что они в своей книге просто объяснили причины этого падения интереса). В данной книге указано, что однослойные персептроны способны представить только линейно разделимые понятия, и отмечено отсутствие эффективных алгоритмов обучения для многослойных сетей.
Как свидетельство возрождения интереса к коннекционизму могут рассматриваться статьи в сборнике, выпущенном по материалам конференции в Сан-Диего в 1979 году [655]. Большое внимание исследователей привлекла двухтомная антология PDP (Parallel Distributed Processing — параллельная распределенная обработка) [1316] и короткая статья в журнале Nature [1317]; фактически количество статей по “нейронным сетям” за период между 1980-1984 и 1990-1994 гг. увеличилось в 200 раз. Анализ нейронных сетей с использованием физической теории магнитных спиновых стекол, приведенный в [26], упрочил связи между статистической механикой и теорией нейронных сетей, предоставляя последнему научному направлению не только полезные математические основы, но и научную респектабельность. Метод обратного распространения был изобретен довольно рано [201], но затем был забыт и снова открыт еще несколько раз [1175], [1579].
Машины поддерживающих векторов впервые были созданы в 1990-х годах [296], а теперь являются темой все более возрастающего количества литературных источников, включая такие учебники, как [309]. Было доказано, что эти машины могут стать очень широко применяемым и эффективным средством решения таких задач, как категоризация текста [738], исследования в области биоинформатики [194] и обработка естественного языка, в частности распознавание рукописных цифр [374]. К примерам связанных с ними методов, в которых также используется “фокус с ядерными функциями” для неявного представления экспоненциального пространства характеристик, относится персептрон с голосованием [283].
Тема вероятностной интерпретации нейронных сетей рассматривалась в нескольких источниках, включая [84] и [185]. Роль сигмоидальной функции описана в [745]. Метод байесовского обучения параметрам для нейронных сетей был предложен Маккеем [965], а его дальнейшее исследование проведено Нилом [1118]. Способность нейронных сетей представлять функции была исследована Цыбенко [316], [317], который показал, что двух скрытых слоев достаточно для представления любой функции, а одного скрытого слоя достаточно для представления любой непрерывной функции. Метод “оптимального повреждения мозга”, предназначенный для удаления бесполезных связей, изложен в [903], а в [1409] показано, как удалять ненужные элементы. Алгоритм заполнения мозаики, предназначенный для наращивания размеров структур, предложен в [1037]. В [904] приведен обзор целого ряда алгоритмов распознавания рукописных цифр. С тех пор были опубликованы сведения о достигнутых успехах в области уменьшения частоты ошибок в [98] с помощью алгоритма согласования с формой и в [374] — с помощью алгоритма для виртуальных поддерживающих векторов.
Проблемы сложности обучения нейронных сетей рассматривались исследователями, занимающимися теорией вычислительного обучения. Первые вычислительные результаты были получены Джаддом [753], который показал, что общая задача поиска множества весов, совместимых с множеством примеров, является NP-полной, даже при очень ограничительных предположениях. Некоторые из первых результатов, касающихся выборочной сложности, были получены Баумом и Хаусслером [82], которые показали, что количество примеров, требуемых для эффективного обучения, растет примерно пропорционально wlogW, где W— количество весов. С тех пор была разработана гораздо более совершенная теория [34], в том числе получен важный результат, показывающий, что репрезентативная способность сети зависит не только от количества весов, но и от их величины.
Наиболее широко применяемой разновидностью нейронных сетей из тех, которые не рассматривались в данной книге, является сеть ^ с радиальной базисной функцией, или сокращенно RBF (Radial Basis Function). В радиальной базисной функции объединяется взвешенная коллекция ядерных функций (разумеется, обычно гауссовых распределений) для осуществления функциональной аппроксимации. Обучение сетей RBF может проводиться в два этапа: вначале с помощью подхода на основе неконтролируемой кластеризации происходит определение в процессе обучения параметров гауссовых распределений (математических ожиданий
и дисперсий), как описано в разделе 20.3. На втором этапе определяются относительные веса гауссовых распределений. Они составляют систему линейных уравнений, которые, как известно, можно решить непосредственно. Поэтому два этапа обучения RBF предоставляют важное преимущество: первый этап является неконтролируемым, и поэтому для него не требуются размеченные обучающие данных, а второй этап, хотя и контролируемый, характеризуется высокой эффективностью. Подробные сведения приведены в [133].
В этой главе упоминались, но подробно не рассматривались рекуррентные сети. По-видимому, наиболее изученным классом рекуррентных сетей являются ^ сети Хопфилда [674]. В них используются двунаправленные связи с симметричными весами (т.е. элементы с Wl, j = Wj,i), все элементы являются одновременно входными и выходными, функция активации, д, представляет собой знаковую функцию, а уровни активации могут принимать только значения ±1. Сеть Хопфилда функционирует как ^ ассоциативная память: после обучения сети на множестве примеров новый стимул вызывает установление в сети образа активации, соответствующего тому примеру в обучающем множестве, который наиболее близко напоминает этот новый стимул. Например, если обучающее множество состоит из набора фотографий и новым стимулом является небольшой фрагмент одной из фотографий, то уровни активации сети воспроизводят фотографию, из которой был взят этот фрагмент. Следует отметить, что оригинальные фотографии не хранятся отдельно в сети; каждый вес представляет собой результат частичного кодирования всех фотографий. Одним из наиболее интересных теоретических результатов является то, что сети Хопфилда могут надежно хранить вплоть до 0,138 N обучающих примеров, где N— количество элементов в сети.
В ^ машинах Больцмана [657], [658] также используются симметричные веса, но предусматриваются скрытые элементы. Кроме того, в них применяется стохастическая функция активации, такая что вероятность появления на выходе 1 определяется некоторой функцией от общего взвешенного входа. Поэтому машины Больцмана подвержены переходам между состояниями, которые напоминают поиск с эмуляцией отжига (см. главу 4), применительно к конфигурации, которая наилучшим образом аппроксимирует обучающее множество. Как оказалось, машины Больцмана очень тесно связаны с частным случаем байесовских сетей, оценка параметров которых осуществляется с помощью алгоритма стохастического моделирования (см. раздел 14.5).
Первое приложение идей, лежащих в основе ядерных машин, было разработано Айзерманом и др. [11], но полная разработка теории этих машин под названием машин поддерживающих векторов была выполнена Владимиром Вапником и его коллегами [156], [1537]. Строгие введения в эту тематику приведены в [309] и [1364]; описание, более удобное для чтения, приведено в статье для журнала AI Magazine, написанной Кристианини и Щёлкопфом [308].
В материалах этой главы собраны вместе работы из области статистики, распознавания образов и нейронных сетей, поэтому излагаемые в ней сведения были освещены в литературе много раз многими способами. К хорошим учебникам по байесовской статистике относятся [101], [377] и [534]. В [629] приведено превосходное введение в методы статистического обучения. Классическим учебником по классификации образов в течение многих лет была книга [421], которая недавно была переиздана в обновленном виде [422]. Ведущими учебниками по нейронным сетям яв-
ляются [133] и [1290]. Область вычислительной неврологии рассматривается в [339]. Наиболее важной конференцией по нейронным сетям и относящимся к ним темам является ежегодная конференция NIPS (Neural Information Processing Conference), труды которой публикуются в виде серии Advances in Neural Information Processing Systems. Статьи по обучению байесовских сетей появляются также в трудах конференций Uncertainty in AI и Machine Learning, а также нескольких конференций по статистике. К числу журналов, посвященных нейронным сетям, относятся Neural Computation, Neural Networks и IEEE Transactions on Neural Networks.
Упражнения
Данные, которые использовались для графика, приведенного на рис. 20.1, можно рассматривать как сформированные с помощью гипотезы h5. Для каждой из остальных четырех гипотез сформируйте набор данных с длиной 100 и вычертите соответствующие графики для Р(hi| dT,..., 4п) и Р(2^+!=1 line\d1( ...,dmL Прокомментируйте полученные вами результаты.
Повторите упр. 20.1, но на этот раз нанесите на графики значения P(An.i=lime| Ьмдр) и PM)m+1=lime\ hML).
Предположим, что для Анны полезности вишневого и лимонного леденцов равны сА и 4, а для Боба эти полезности равны св и 4 (но после того как Анна развертывает какую-то конфету, Боб эту конфету не покупает). Предполагается, что если Боб любит лимонные леденцы гораздо больше чем Анна, то было бы разумным решением со стороны Анны продать Бобу свой пакет с конфетами после того, как она приобретет достаточную уверенность в наличии в этом пакете большого количества лимонных леденцов. С другой стороны, если Анна в процессе анализа содержимого пакета разворачивает слишком много конфет, стоимость пакета уменьшается, поскольку Боб не платит за развернутые конфеты. Обсудите задачу определения оптимальной точки, в которой Анна должна продавать свой пакет. Определите ожидаемую полезность этой оптимальной процедуры с учетом распределения априорных вероятностей, описанного в разделе 20.1.
Два статистика попали на прием к врачу, который сообщил им одинаковый прогноз: с вероятностью 40% расстройство их здоровья вызвано смертельным заболеванием А, а с вероятностью 60% оно вызвано тяжелым заболеванием в. К счастью, есть лекарства и от заболевания А, и от заболевания в, которые являются недорогими, эффективными на 100% и не вызывающими побочных эффектов. Этим статистикам предоставлена возможность выбрать для себя один из вариантов дальнейших действий — принимать одно из этих лекарств, оба эти лекарства или ни одного из этих лекарств. Как поступит первый статистик, который является убежденным сторонником байесовского подхода? А как поступит второй статистик, который всегда использует гипотезу с максимальным правдоподобием?
Врач провел определенные исследования и обнаружил, что заболевание В фактически протекает в двух вариантах (правостороннее заболевание в и ле-
востороннее заболевание в), которые являются равновероятными и одинаково хорошо излечиваются с помощью лекарства против заболевания в. Теперь количество гипотез стало равным трем; как поступят эти два статистика?
Объясните, как применить метод усиления, описанный в главе 18, для наивного байесовского обучения. Проверьте производительность результирующего алгоритма на задаче обучения с рестораном.
Рассмотрим т точек данных (x^y-j), где координаты у^ вырабатываются на основании координат xd в соответствии с моделью линейного гауссова распределения, приведенной в уравнении 20.5. Найдите значения 9г, 02 и о, которые максимизируют условное логарифмическое правдоподобие этих данных.
Рассмотрим модель зашумленного ИЛИ для лихорадки, описанную в разделе 14.3. Объясните, как применить обучение с учетом максимального правдоподобия для согласования параметров такой модели с множеством полных данных. {Подсказка. Используйте цепное правило для частичных производных.)
В данном упражнении исследуются свойства бета-распределения, которое определено в уравнении 20.6.
Выполнив интегрирование по отрезку [0,1], покажите, что константа нормализации для распределения beta [а, Ь] задается выражением а=Г(а+Ъ) /Г(а) Г(Ь), где Г(х) — ^ гамма-функция, определяемая выражением Г(х+1) =х-Г(х), а Г(1)=1 (для целого числа х выражение Г (х+1) =х!).
Покажите, что математическое ожидание равно а/ (а+Ъ).
Найдите моду (моды) — наиболее вероятное значение (значения) 6.
Опишите вид распределения beta [е, е] для очень малого значения е. Что происходит при обновлении такого распределения?
Рассмотрим произвольную байесовскую сеть, полный набор данных для этой сети и правдоподобие этого набора данных согласно этой сети. Дайте простое доказательство того, что правдоподобие данных не может уменьшиться после добавления новой связи к сети и повторного вычисления значений параметров максимального правдоподобия.
Рассмотрим применение алгоритма ЕМ для определения в процессе обучения параметров сети, приведенной на рис. 20.10, а, если даны истинные параметры в уравнении 20.7.
Объясните, почему алгоритм ЕМ не будет действовать, если в модели имеются только два атрибута, а не три.
Покажите расчеты для первой итерации алгоритма ЕМ, начиная с уравнения 20.8.
Что происходит, если применение алгоритма начинается с присваивания всем параметрам одинакового значения р? {Подсказка. Рекомендуется вначале провести эмпирическое исследование этого вопроса и только после этого выводить общий результат.)
Запишите выражение для логарифмического правдоподобия табличных данных о конфетах, приведенных в табл. 20.1, с учетом параметров, рас-
считайте частичные производные по отношению к каждому параметру и исследуйте характер фиксированной точки, достигнутой при выполнении упр. 20.10, в.
Постройте вручную нейронную сеть, которая вычисляет функцию XOR от двух входов. Обязательно укажите, какого рода элементы вы используйте.
Сконструируйте машину поддерживающих векторов, которая вычисляет функцию XOR. При этом для входов и выходов удобнее использовать значения 1 и -1 вместо 1 и 0. Поэтому некоторые примеры могут выглядеть как ( [-1,1] ,1) или ( [-1, -1] , -1). Обычно принято отображать входное значение х на пространство, состоящее из пяти размерностей: двух первоначальных размерностей, Ху и х2, и трех комбинаций размерностей, хт2, х22 и хтх2. Но для этого упражнения мы будем рассматривать только две размерности, Ху и хух2. Нарисуйте в этом пространстве четыре входных точки и разделитель с максимальной шириной края. Каковым является этот край? А теперь снова преобразуйте разделительную линию и нарисуйте ее в первоначальном евклидовом пространстве входов.
Простой персептрон не способен представить функцию XOR (или, вообще говоря, функцию четности от его входов). Опишите, что происходит с весами в четырехвходовом персептроне со ступенчатой функцией, начиная со всех весов, установленных равными 0.1, по мере поступления примеров функции четности.
Напомним, что, как было сказано в главе 18, существует 22П различных булевых функций от п входов. Какая часть функций из этого общего количества может быть представлена с помощью порогового персептрона?
й Рассмотрим приведенное в табл. 20.3 множество примеров, каждый из которых имеет шесть входов и один целевой выход.
Таблица 20.3. Примеры для упр. 20.15
Г11111110000000
1200011001101011
1311101001100011
1401001001011101
1500110110110010
1600010101101110
т11111101000000
Примените правило обучения персептрона к этим данным и покажите окончательные веса.
Примените правило обучения дерева решений и покажите результирующее дерево решений.
Прокомментируйте полученные вами результаты.
Начиная с уравнения 20.13, покажите, что dL/dW5=Errxa5.
Предположим, что имеется нейронная сеть с линейными функциями активации. Это означает, что выход каждого элемента определяется некоторой константой с, умноженной на взвешенную сумму его входов.
Предположим, что эта сеть имеет один скрытый слой. Для данного присваивания весам w запишите уравнения для значений элементов в выходном слое как функции от w и значений элементов входного слоя I без какого-либо явного упоминания в этих выходных данных о скрытом слое. Покажите, что существует сеть без скрытых элементов, которая вычисляет ту же функцию.
Повторите вычисления, описанные в упр. 20.17, а, но на этот раз применительно к сети с любым количеством скрытых слоев. Какой можно сделать вывод в отношении линейных функций активации?
(йз Реализуйте какую-то структуру данных для многослойных нейронных сетей с прямым распространением и не забудьте предусмотреть способ представления информации, необходимой как для прямого вычисления, так и для обратного распространения. Используя эту структуру данных, напишите функцию Neural-Network-Output, которая принимает на входе определения некоторого примера и сети, после чего вычисляет соответствующие выходные значения.
Предположим, что обучающее множество содержит только единственный пример, повторенный 100 раз. В 80 из 100 случаев единственным выходным значением является 1, а в остальных 20 случаях таковым является 0. Что предсказывает сеть с обратным распространением для данного примера, при условии, что по нему проведено обучение и достигнут глобальный оптимум? (Подсказка. Чтобы найти глобальный оптимум, необходимо дифференцировать функцию ошибки и приравнять полученное выражение к нулю.)
Сеть, приведенная на рис. 20.23, имеет четыре скрытых узла. Это количество узлов было выбрано фактически произвольно. Проведите систематические эксперименты, чтобы измерить кривые обучения для сетей с различным количеством скрытых узлов. Каковым является оптимальное количество? Было бы возможно использовать метод перекрестной проверки, чтобы найти наилучшую сеть еще до получения этих данных?
Рассмотрим задачу разделения N точек данных на положительные и отрицательные примеры с использованием линейного разделителя. Очевидно, что эту задачу всегда можно выполнить для количества точек №2 на линии с размерностью d =1, независимо от того, как размечены эти точки или где они находятся (если только эти две точки не находятся в одном и том же месте).
Покажите, что эту задачу всегда можно выполнить для количества точек №3 на плоскости с размерностью d=2, если только эти точки не являются коллинеарными.
Покажите, что эту задачу не всегда можно решить для количества точек N=4 на плоскости с размерностью d=2.
Покажите, что эту задачу не всегда можно решить для количества точек N=4 в пространстве с размерностью d=3, если только эти точки не являются копланарными.
Покажите, что эту задачу не всегда можно решить для количества точек №5 в пространстве с размерностью d=3.
Амбициозный студент решил доказать, что произвольно расположенные Nточек (но не №1 точка) являются линейно разделимыми в пространстве с размерностью N-1. Покажите, что из этого доказательства будет следовать, что VC-размерность (см. главу 18) линейных полупространств в пространствах с размерностью N-1 равна N.
21 Обучение
С ПОДКРЕПЛЕНИЕМ
В этой главе рассматривается вопрос о том, как агент может учиться на своих успехах и неудачах, учитывая полученные вознаграждения и наказания.
Введение
В главах 18 и 20 рассматривались методы обучения, позволяющие определять функции и вероятностные модели на основе примеров, а в этой главе будет описано, каким образом агенты могут определить в процессе обучения, что делать, особенно если нет учителя, сообщающего агенту, какое действие следует предпринять в тех или иных обстоятельствах.
Например, как известно, агент может обучиться игре в шахматы с помощью контролируемого обучения, в котором ему предъявляются примеры игровых ситуаций наряду с наилучшими ходами для этих ситуаций. Но если нет дружелюбного учителя, предоставляющего готовые примеры, то что может сделать агент? Опробуя случайно выбранные ходы, агент может в конечном итоге составить прогностическую модель своей среды, т.е. предсказать, как будет выглядеть доска после того, как он сделает данный конкретный ход, и даже как, скорее всего, ответит противник в такой ситуации. Но при этом возникает следующая проблема: (^= без какой-либо обратной связи, говорящей о том, какой ход является хорошим и какой плохим, агент не будет иметь оснований для принятия решения о том, какой ход следует сделать. Агент должен знать, что его выигрыш — это благоприятный исход, а проигрыш — неблагоприятный. Обратная связь такого рода называется вознаграждением, или подкреплением. В играх, подобных шахматам, подкрепление дается только в конце игры. В других вариантах среды вознаграждения могут поступать более часто. В настольном теннисе как вознаграждение может рассматриваться каждое выигранное очко, а при обучении новобранцев способам перемещения ползком достижением становится каждое движение вперед. В инфраструктуре для агентов, рассматриваемой в данной главе, вознаграждение считается частью результатов восприятия, но агент должен быть “настроен” на распознавание этой части как вознаграждения, а не про-
сто как еще одного вида сенсорных входных данных. Например, складывается впечатление, что животные настроены на распознавание боли и голода как отрицательных вознаграждений, а удовольствия и приема пищи — как положительных вознаграждений. Проблемы подкрепления тщательно исследовались специалистами в области психологии животных больше 60 лет.
Понятие вознаграждения было впервые представлено в главе 17, где оно использовалось для определения оптимальных стратегий в марковских процессах принятия решений (Markov Decision Process — MDP). Оптимальной является такая стратегия, которая максимизирует ожидаемое суммарное вознаграждение. Задача обучения с подкреплением состоит в том, чтобы обеспечить использование наблюдаемых вознаграждений для определения в процессе обучения оптимальной (или почти оптимальной) стратегии для данной среды. Но хотя агент, рассматриваемый в главе 17, имел полную модель среды и знал функцию вознаграждения, в данной главе предполагается отсутствие априорных знаний и о том и о другом. Представьте себе, что вы играете в новую игру, правил которой не знаете; примерно через сто ходов ваш противник объявляет: “Вы проиграли”. В этом состоит вся суть обучения с подкреплением.
Во многих сложных проблемных областях обучение с подкреплением является единственным осуществимым способом, с помощью которого можно провести обучение некоторой программы, чтобы она могла действовать с высокой производительностью. Например, в случае ведения игр для человека является очень трудной задачей предоставление точных и согласованных оценок большого количества позиций, что требуется для определения в процессе обучения функций оценки непосредственно из примеров. Вместо этого программе можно сообщать, когда она выиграла или проиграла, а сама программа может использовать такую информацию для определения с помощью обучения такой функции оценки, которая предоставляла бы достаточно точные оценки вероятности выигрыша из любой конкретной позиции. Аналогичным образом, чрезвычайно трудно запрограммировать агента так, чтобы он научился вести вертолет; но, предоставляя соответствующие отрицательные вознаграждения за столкновение, болтанку или отклонение от заданного курса, можно дать агенту возможность научиться летать на вертолете самостоятельно.
Обучение с подкреплением может рассматриваться как задача, охватывающая всю тематику искусственного интеллекта: агента помещают в какую-то среду и обязывают его обучиться успешно действовать в ней. Поэтому, чтобы объем этой главы не вышел за пределы разумного, в ней будут рассматриваться только простые варианты среды и простые проекты агента. По большей части предполагается, что среда является полностью наблюдаемой, поэтому информация о текущем состоянии поступает с результатами каждого восприятия. С другой стороны, считается, что агент не знает, по каким принципам действует среда или какими являются результаты его действий, поэтому допускается наличие вероятностных результатов действий. В этой главе речь пойдет о трех перечисленных ниже проектах агентов, которые были впервые представлены в главе 2.
Агент, действующий с учетом полезности, определяет с помощью обучения функцию полезности состояний и использует ее для выбора действий, которые максимизируют ожидаемую полезность результата.
Агент, действующий по принципу ^ Q-обучения, определяет с помощью обучения функцию ^ “действие—значение”, или Q-функцию, получая сведения
об ожидаемой полезности выполнения данного конкретного действия в данном конкретном состоянии.
Рефлексный агент определяет с помощью обучения стратегию, которая непосредственно отображает состояния в действия.
Агент, действующий с учетом полезности, для принятия решений должен также иметь модель среды, поскольку он должен знать, в какие состояния приведут его выполненные им действия. Например, для того чтобы программа игры в нарды могла использовать функцию оценки для нард, она должна иметь информацию о том, каковыми являются допустимые ходы и как они влияют на позицию в игре. Это — единственный способ, позволяющий применить функцию полезности к результирующим состояниям. Агент, действующий по принципу Q-обучения, с другой стороны, может сравнивать значения, характеризующие доступные ему варианты действий, без необходимости знать их результаты, поэтому ему не требуется модель среды. Тем не менее агенты, действующие по принципу Q-обучения, не могут прогнозировать будущую ситуацию, поскольку не имеют информации о том, к чему приведут их действия; это может серьезно ограничить способность таких агентов к обучению, как будет описано ниже.
Изложение материала этой главы начинается в разделе 21.2 с описания ^ пассивного обучения, в котором стратегия агента остается неизменной, а задача состоит в том, чтобы определить с помощью обучения полезности состояний (или пар “состояние- действие”); для этого может также потребоваться определение с помощью обучения модели среды. В разделе 21.3 рассматривается ^ активное обучение, в ходе которого агент должен также определить, что следует делать. Принципиальной проблемой является ^ исследование среды: агент должен проводить в своей среде максимально возможное количество экспериментов, для того чтобы определить, как следует в ней действовать. В разделе 21.4 показано, что агент может использовать индуктивное обучение, чтобы как можно быстрее обучиться на своем опыте. В разделе 21.5 рассматриваются методы определения с помощью обучения непосредственных представлений стратегий в рефлексных агентах. Для освоения материала данной главы крайне важно понимание тематики марковских процессов принятия решений (см. главу 17).
Пассивное обучение с подкреплением
Для того чтобы упростить изложение, начнем с описания случая пассивного обучающегося агента, в котором используется представление на основе состояний в полностью наблюдаемой среде. При пассивном обучении стратегия агента л является неизменной; это означает, что в состоянии s он всегда выполняет действие л (s). Цель агента состоит в том, чтобы определить с помощью обучения, насколько успешной является эта стратегия, т.е. определить с помощью обучения функцию полезности (/(s). В этом разделе в качестве примера будет использоваться мир 4x3, представленный в главе 17. На рис. 21.1 для этого мира показаны стратегия и соответствующие полезности. Очевидно, что задача пассивного обучения аналогична задаче оценки стратегии, которая является частью алгоритма итерации по стратегиям, описанного в разделе 17.3. Основное различие состоит в том, что пассивный обу-
чающийся агент не знает модели перехода т (s, а, s1 ), которая определяет вероятность достижения состояния s' из состояния s после выполнения действия а; он также не знает функцию вознаграждения R(s), которая задает вознаграждение для каждого состояния.
Рис. 21.1. Описание рассматриваемой среды: а) стратегия к для мира 4x3; оказалось, что эта стратегия является оптимальной при вознаграждениях R(s) =-0.04 в нетерминальных состояниях и при отсутствии обесценивания (а); полезности состояний в мире 4x3 с учетом стратегии к (б)Рис. 21.1. Описание рассматриваемой среды: а) стратегия к для мира 4x3; оказалось, что эта стратегия является оптимальной при вознаграждениях R(s) =-0.04 в нетерминальных состояниях и при отсутствии обесценивания (а); полезности состояний в мире 4x3 с учетом стратегии к (б)30,8120,8680,9181 +1 120,7620,6601 -1 110,7050,6550,6110,38830,8120,8680,9181 +1 120,7620,6601 -1 110,7050,6550,6110,38812341234
Рис. 21.1. Описание рассматриваемой среды: а) стратегия к для мира 4x3; оказалось, что эта стратегия является оптимальной при вознаграждениях R(s) =-0.04 в нетерминальных состояниях и при отсутствии обесценивания (а); полезности состояний в мире 4x3 с учетом стратегии к (б)
Рис. 21.1. Описание рассматриваемой среды: а) стратегия к для мира 4x3; оказалось, что эта стратегия является оптимальной при вознаграждениях R(s) =-0.04 в нетерминальных состояниях и при отсутствии обесценивания (а); полезности состояний в мире 4x3 с учетом стратегии к (б)
3
0,812
0,868
0,918
1 +1 1
2
0,762
0,660
1 -1 1
1
0,705
0,655
0,611
0,388
3
0,812
0,868
0,918
1 +1 1
2
0,762
0,660
1 -1 1
1
0,705
0,655
0,611
0,388
1234
1234
Агент выполняет в данной среде ряд ^ попыток, используя свою стратегию к. При осуществлении каждой попытки агент начинает с состояния (1,1) и испытывает некоторую последовательность переходов между состояниями до тех пор, пока не достигнет одного из терминальных состояний, (4,2) или (4,3). В результатах восприятий ему сообщается и текущее состояние, и вознаграждение, полученное в этом состоянии. Типичные попытки могут выглядеть примерно так:
- .04“^ (1,2) - .04“^ (1,3) - .04“> ( 1 / 2 ) - ,04—> (1,3) -.04—> (2,3) - .04-> (3,3) - .04-> ( 4,3 ) +1
04—> (1,2 )-.04—> (1,3 )-.04—> (2,3 )-.04—> (3,3 )-.04—> (3,2 )-.04—> (3,3 )-.04—> (4,3 )+i (1,1) - .04-> (2,1) - .04—> (3,1) - .04—> (3,2) - .04—> ( 4,2 ) -1
Обратите внимание на то, что результаты восприятия каждого состояния сопровождаются нижним индексом с указанием полученного вознаграждения. Цель состоит в том, чтобы использовать эту информацию о вознаграждении для определения с помощью обучения ожидаемой полезности if (s), связанной с каждым нетерминальным состоянием s. Определяемая полезность должна представлять собой ожидаемую сумму (обесцениваемых) вознаграждений, полученных, если агент придерживается стратегии к. Как и в уравнении 17.3, это соотношение записывается следующим образом:
lf(s) = Еlf(s) = Е_t = 0_t = 0yL ^(St) I K,So = SyL ^(St) I K,So = S(21.1)(21.1)
lf(s) = Е
lf(s) = Е
_t = 0
_t = 0
yL ^(St) I K,So = S
yL ^(St) I K,So = S
(21.1)
(21.1)
Мы будем включать коэффициент обесценивания у во все уравнения, приведенные в данной главе, но для мира 4x3 принято использовать значение у=1.
Непосредственная оценка полезности
Простой метод ^ непосредственной оценки полезности был изобретен в конце 1950-х годов в области ^адаптивной теории управления Видроу и Хоффом [1587]. Идея этого метода состоит в том, что полезностью данного конкретного состояния является ожидаемое суммарное вознаграждение, связанное с действиями, выполняемыми, начиная с этого состояния, а каждая попытка представляет собой выборку этого значения для каждого посещенного состояния. Например, первая попытка из трех приведенных выше предоставляет одну выборку с суммарным вознаграждением 0.72 для состояния (1,1), две выборки со значениями 0.76 и 0.84 для состояния (1,2), две выборки со значениями 0.80 и 0.88 для состояния (1,3) и т.д. Таким образом, в конце каждой последовательности алгоритм вычисляет наблюдаемое будущее вознаграждение для каждого состояния и обновляет соответствующим образом оценку полезности для этого состояния путем ведения текущего среднего значения для каждого состояния в таблице. В пределе, после выполнения бесконечного количества попыток, среднее по выборкам сходится к значению истинного ожидания, приведенному в уравнении 21.1.
Очевидно, что непосредственная оценка полезности представляет собой один из видов контролируемого обучения, в котором каждый пример задает состояние в качестве входных данных, а наблюдаемое будущее вознаграждение — в качестве выходных. Это означает, что данный метод позволяет свести обучение с подкреплением к стандартной задаче индуктивного обучения, которая рассматривалась в главе 18. В разделе 21.4 описано использование более мощных видов представлений для функции полезности, таких как нейронные сети. Методы обучения для этих представлений могут применяться непосредственно к наблюдаемым данным.
Метод непосредственной оценки полезности позволяет успешно свести задачу обучения с подкреплением к задаче индуктивного обучения, о которой уже многое известно. Но, к сожалению, этот метод не позволяет воспользоваться очень важным источником информации — в нем не учитывается тот факт, что полезности состояний не являются независимыми! Дело в том, что (^= полезность каждого состояния равна сумме его собственного вознаграждения и ожидаемой полезности его состояний- преемников. Это означает, что значения полезности подчиняются уравнениям Беллмана для данной конкретной стратегии (см. также уравнение 17.10):
(21.2)(21.2)^(s) = R(s) + У ^ T(s,n(s) , S ') ^(s’)
(21.2)
(21.2)
S 1
Поскольку в методе непосредственной оценки полезности игнорируются связи между состояниями, он не позволяет воспользоваться дополнительными возможностями для обучения. Например, во второй из трех попыток, приведенных выше, достигается состояние (3,2), которое еще не было до сих пор посещено агентом. После следующего перехода агент достигает состояния (3,3), которое, как известно из первой попытки, имеет высокую полезность. Уравнение Беллмана позволяет сразу же определить, что состояние (3,2) также, по-видимому, будет иметь высокую по-
лезность, поскольку оно ведет к состоянию (3,3), но метод непосредственной оценки полезности не позволяет ничего определить с помощью обучения до конца этой попытки. В более широком контексте метод непосредственной оценки полезности можно рассматривать как поиск в пространстве гипотез для и, которое имеет размеры намного большие, чем необходимо, поскольку включает также много функций, которые нарушают уравнения Беллмана. По этой причине данный алгоритм часто сходится очень медленно.
Адаптивное динамическое программирование
Для того чтобы можно было воспользоваться преимуществами наличия информации об ограничениях между состояниями, агент должен определить с помощью обучения, как связаны эти состояния. Агент, действующий по принципу адаптивного динамического программирования (или сокращенно ADP — Adaptive Dynamic Programming), функционирует путем определения с помощью обучения модели перехода в этой среде по мере выполнения своих действий и находит решение в соответствующем марковском процессе принятия решений, используя метод динамического программирования. Для пассивного обучающегося агента такой подход означает, что он должен подставлять полученную с помощью обучения модель перехода T(s,n(s) , s' ) и наблюдаемые вознаграждения Ris) в уравнения Беллмана 21.2 для вычисления полезностей состояний. Как было отмечено при обсуждении в главе 17 принципа итерации по стратегиям, эти уравнения являются линейными (для них не требуется максимизация), поэтому они могут быть решены с помощью любого пакета линейной алгебры. Еще один вариант состоит в том, что может быть принят подход, основанный на принципе модифицированной итерации по стратегиям (см. с. 831), в котором используется упрощенный процесс итерации по значениям для обновления оценок полезностей после каждого изменения в модели, определяемой с помощью обучения. Поскольку эта модель после каждого наблюдения подвергается только незначительным изменениям, в процессе итерации по значениям в качестве начальных значений могут использоваться предыдущие оценки полезностей, а сами вычисления с помощью этого метода должны сходиться очень быстро.
Сам процесс определения модели с помощью обучения осуществляется просто, поскольку среда полностью наблюдаема. Это означает, что данная задача обучения представляет собой задачу контролируемого обучения, в которой входными данными являются пары “состояние-действие”, а выходными — результирующие состояния. В простейшем случае модель перехода можно представить как таблицу вероятностей и следить за тем, насколько часто возникает каждый результат действия, оценивая вероятность перехода ТIs, a, s' ) поданным о частоте, с которой достигается состояние s * при выполнении действия а в состоянии s. Например, в трех трассировках попыток, приведенных на с. 1013, действие Right в состоянии (1,3) выполняется три раза, и двумя из трех результирующих состояний становится состояние (2,3), поэтому вероятность перехода Т( (1,3) , Right, (2,3) ) оценивается как 2 / 3.
Полная программа агента для пассивного агента ADP приведена в листинге 21.1. Производительность этой программы в мире 4x3 показана на рис. 21.2. Судя по тому, насколько быстро улучшаются полученные им оценки значений, агент ADP действует настолько успешно, насколько это возможно, учитывая его способность определять с помощью обучения модель перехода. В этом смысле данный проект агента может служить эталоном, с которым можно будет сравнивать производительность других алгоритмов обучения с подкреплением. Тем не менее в больших пространствах состояний такой подход становится не вполне осуществимым. Например, в нардах для его использования потребуется решить приблизительно 10 уравнений с 1050 неизвестными.
Листинг 21.1. Алгоритм агента для пассивного обучения с подкреплением, основанный на адаптивном динамическом программировании. Для упрощения кода было принято предположение, что каждый результат восприятия можно разделить на информацию о состоянии и сигнал о вознаграждении
function Passive-ADP-Agent(percept) returns действие a
inputs: percept, результаты восприятия, обозначающие текущее состояние s' и сигнал вознаграждения г'
static: л, зафиксированная стратегия
mdp, марковский процесс принятия решений с моделью Т, вознаграждениями К, коэффициентом обесценивания у U, таблица значений полезностей, первоначально пустая NSa, таблица частот пар "состояние-действие", первоначально содержащая нули
NSas', таблица частот троек "состояние-действие-состояние", первоначально содержащая нули
s, а, предыдущие состояние и действие, первоначально пустые if состояние s' является новым then do
[/[s'] <- г* ; R[s'] <- г' if состояние s не пусто then do увеличить значения NsaVs, а] и Nsas' (s, a, s'] for each t, такого что значение Nsas' [s, a, t] является ненулевым do
TVs, a, t] «-Nsas'O, a, t] / NsaVs, a]
U <— Value-Determination (71, U, mdp)
if Terminal?[s1] then s, a <— пустые значения else s, a <— s' , л [s'] return a
и / (2,3) =0.92. Итак, если будет постоянно происходить этот переход, то следует учитывать, что указанные полезности будут подчиняться следующему уравнению: /(1,3)=-0.04 + /(2,3)
Количество попытокКоличество попытока)а)Рис. 21.2. Кривые пассивного обучения ADP для мира 4x3, полученные при оптимальной стратегии, которая показана на рис. 21.1: оценки полезности для избранного подмножества состояний, полученные как функции от количества попыток (а). Обратите внимание на то, что примерно при 78-й попытке происходят значительные изменения; именно тогда агент впервые попадает в терминальное состояние с полезностью -1, соответствующее квадрату (4,2); среднеквадратичная ошибка в оценке для U (1,1), усредненная по 20 прогонам, состоящим из 100 попыток каждый (б)Рис. 21.2. Кривые пассивного обучения ADP для мира 4x3, полученные при оптимальной стратегии, которая показана на рис. 21.1: оценки полезности для избранного подмножества состояний, полученные как функции от количества попыток (а). Обратите внимание на то, что примерно при 78-й попытке происходят значительные изменения; именно тогда агент впервые попадает в терминальное состояние с полезностью -1, соответствующее квадрату (4,2); среднеквадратичная ошибка в оценке для U (1,1), усредненная по 20 прогонам, состоящим из 100 попыток каждый (б)
Количество попыток
Количество попыток
а)
а)
Рис. 21.2. Кривые пассивного обучения ADP для мира 4x3, полученные при оптимальной стратегии, которая показана на рис. 21.1: оценки полезности для избранного подмножества состояний, полученные как функции от количества попыток (а). Обратите внимание на то, что примерно при 78-й попытке происходят значительные изменения; именно тогда агент впервые попадает в терминальное состояние с полезностью -1, соответствующее квадрату (4,2); среднеквадратичная ошибка в оценке для U (1,1), усредненная по 20 прогонам, состоящим из 100 попыток каждый (б)
Рис. 21.2. Кривые пассивного обучения ADP для мира 4x3, полученные при оптимальной стратегии, которая показана на рис. 21.1: оценки полезности для избранного подмножества состояний, полученные как функции от количества попыток (а). Обратите внимание на то, что примерно при 78-й попытке происходят значительные изменения; именно тогда агент впервые попадает в терминальное состояние с полезностью -1, соответствующее квадрату (4,2); среднеквадратичная ошибка в оценке для U (1,1), усредненная по 20 прогонам, состоящим из 100 попыток каждый (б)
поэтому значение /(1,3) будет равно 0.88. Таким образом, текущая оценка этой полезности, равная 0.84, может оказаться немного заниженной и должна быть увеличена. Более общий вывод состоит в том, что если происходит переход из состояния s в состояние s', то к значению полезности / (s) применяется следующее обновление:
(21.3)(21.3)/(s) <- /(s) + akRks^ + у /(s') - /(я))
(21.3)
(21.3)
где а — параметр скорости обучения. Поскольку в этом правиле обновления используется разность между полезностями последовательных состояний, соответствующее уравнение часто называют уравнением ^ временной разности, или сокращенно TD (Temporal Difference).
Основная идея всех методов временной разности состоит в том, что вначале определяются условия, выполняемые локально, когда оценки полезностей являются правильными, а затем составляется уравнение обновления, в котором оценки переносятся в это идеальное уравнение “равновесия”. В случае пассивного обучения равновесие задается уравнением 21.2. Теперь уравнение 21.3 по сути вынуждает агента достичь равновесия, заданного в уравнении 21.2, но с учетом некоторых нюансов. Прежде всего следует отметить, что данное обновление касается только наблюдаемого преемника s', тогда как фактические условия равновесия касаются всех возможных следующих состояний. Можно было бы предположить, что это вызовет необоснованно большие изменения в значении /(s) при возникновении очень редких переходов, но фактически, поскольку эти редкие переходы действительно случаются крайне редко, среднее значение / (я) сходится к правильному значению.
Более того, если в качестве коэффициента а вместо фиксированного параметра будет применяться функция со значением, уменьшающимся по мере увеличения количества случаев посещения некоторого состояния, то само значение U(s) будет сходиться к правильному значению. Эти рассуждения позволяют составить программу агента, приведенную в листинге 21.2. На рис. 21.3 показана производительность пассивного агента TD в мире 4x3. Обучение этого агента происходит менее быстро по сравнению с агентом ADP, и он показывает более значительную изменчивость, но сам алгоритм агента гораздо проще и требует меньше вычислений в расчете на каждое наблюдение. Обратите внимание на то, что ^ алгоритм TD не требует применения модели для осуществления предусмотренных в нем обновлений. Информацию о связях между соседними состояниями поставляет сама среда в форме наблюдаемых переходов.
Листинг 21.2. Алгоритм агента для пассивного обучения с подкреплением, который позволяет определить с помощью обучения оценки полезностей на основе временных разностей
function Passive-TD-Agent(percept) returns действие a
inputs: percept, результаты восприятия, обозначающие текущее состояние s’ и сигнал вознаграждения г'
static: л, зафиксированная стратегия
U, таблица значений полезностей, первоначально пустая Ns, таблица частот состояний, первоначально содержащая нули s, а, г, предыдущее состояние, действие и вознаграждение, первоначально пустые
if состояние s’ является новым then [/[s'] <— г' if состояние s не пусто then do увеличить значение Ns[s]
C7[s] <- L7[s] + a(lNslsl }) (г + у Uis’ ] - U[s] ) if Terminal? [s1 ] then s, a, r <— пустые значения else s, a, r <— s', n[s’], r' return a
Подход на основе ADP и подход на основе TD фактически тесно связаны. В обоих этих алгоритмах предпринимаются попытки внести локальные корректировки в оценки полезностей, для того чтобы обеспечить “согласование” каждого состояния с его преемниками. Одно из различий между ними состоит в том, что в алгоритме TD состояние корректируется для согласования с его наблюдаемым преемником (уравнение 21.3), а в алгоритме ADP состояние корректируется для согласования со всеми преемниками, которые могут быть получены с учетом весов их вероятностей (уравнение 21.2). Это различие исчезает, когда результаты корректировок TD усредняются по большому количеству переходов, поскольку частота появления каждого преемника в множестве переходов приблизительно пропорциональна его вероятности. Более важное различие состоит в том, что в алгоритме TD выполняется отдельная корректировка в расчете на каждый наблюдаемый переход, а в алгоритме ADP выполняется столько корректировок, сколько требуется для восстановления согла-
выполняется столько корректировок, сколько требуется для восстановления согласованности между оценками полезностей и и моделью среды т. Хотя наблюдаемый переход вносит в т только локальное изменение, его результаты могут потребовать распространения по всем полезностям и. Таким образом, алгоритм TD может рассматриваться как грубое, но эффективное первое приближение алгоритма ADP.
а)а)б)б)Рис. 21.3. Кривые обучения с помощью алгоритма TD для мира 4x3: оценки полезности для избранного подмножества состояний, полученные как функции от количества попыток (а); среднеквадратичная ошибка в оценке для и (1,1), усредненная по 20 прогонам, состоящим из 500 попыток каждый (б). Показаны результаты только для первых 100 попыток, чтобы можно было провести сравнение с рис. 21.2Рис. 21.3. Кривые обучения с помощью алгоритма TD для мира 4x3: оценки полезности для избранного подмножества состояний, полученные как функции от количества попыток (а); среднеквадратичная ошибка в оценке для и (1,1), усредненная по 20 прогонам, состоящим из 500 попыток каждый (б). Показаны результаты только для первых 100 попыток, чтобы можно было провести сравнение с рис. 21.2
а)
а)
б)
б)
Рис. 21.3. Кривые обучения с помощью алгоритма TD для мира 4x3: оценки полезности для избранного подмножества состояний, полученные как функции от количества попыток (а); среднеквадратичная ошибка в оценке для и (1,1), усредненная по 20 прогонам, состоящим из 500 попыток каждый (б). Показаны результаты только для первых 100 попыток, чтобы можно было провести сравнение с рис. 21.2
Рис. 21.3. Кривые обучения с помощью алгоритма TD для мира 4x3: оценки полезности для избранного подмножества состояний, полученные как функции от количества попыток (а); среднеквадратичная ошибка в оценке для и (1,1), усредненная по 20 прогонам, состоящим из 500 попыток каждый (б). Показаны результаты только для первых 100 попыток, чтобы можно было провести сравнение с рис. 21.2
Каждая корректировка, внесенная алгоритмом ADP, с точки зрения пользователя алгоритма TD может рассматриваться как результат “псевдоэксперимента”, полученный путем моделирования в текущей модели среды. Подход, предусмотренный в алгоритме TD, можно дополнить в целях использования модели среды для выработки результатов нескольких псевдоэкспериментов, иначе говоря, переходов, возможность осуществления которых агент TD может допустить согласно его текущей модели. В ответ на каждый наблюдаемый переход агент TD может вырабатывать большое количество воображаемых переходов. Благодаря этому результирующие оценки полезностей TD будут все больше и больше аппроксимировать соответствующие оценки ADP, разумеется, за счет увеличения продолжительности времени вычислений.
Аналогичным образом могут создаваться все более эффективные версии алгоритма ADP путем непосредственной аппроксимации алгоритмов для итерации по значениям или итерации по стратегиям. Напомним, что полная итерация по значениям может быть трудновыполнимой, когда количество состояний велико. Однако многие этапы корректировки являются чрезвычайно малыми. Одним из возможных подходов, применимых для быстрой выработки достаточно качественных ответов, является ограничение количества корректировок, внесенных после каждого наблюдаемого перехода. Можно также использовать какую-то эвристику для ранжирования возможных корректировок, с тем чтобы в дальнейшем осуществлять только наиболее значимые из них. Эвристика, предусматривающая ^ выметание с учетом приоритетов, позволяет предпочесть вариант с внесением корректировок в состояния, возможные преемники которых уже подвергались большим корректировкам
в их собственных оценках полезностей. Приближенные алгоритмы ADP, в которых используются подобные эвристики, обычно обеспечивают обучение примерно с таким же быстродействием, как и полные алгоритмы ADP, с точки зрения количества обучающих последовательностей, но могут оказаться на несколько порядков величины более эффективными с точки зрения объема вычислений (см. упр. 21.3.) Это дает возможность применять такие алгоритмы для обработки пространств состояний, намного превышающих по размерам те, которые являются приемлемыми для полного алгоритма ADP. Приближенные алгоритмы ADP имеют еще одно дополнительное преимущество: на ранних этапах обучения в новой среде модель среды т часто далека от правильной, поэтому нет смысла слишком точно вычислять функцию полезности для согласования с ней. Приближенный алгоритм позволяет использовать минимальную величину корректировки, которая уменьшается по мере того, как модель среды становится все более точной. Это позволяет устранить очень продолжительные итерации по значениям, которые могут возникать на ранних этапах обучения из-за больших изменений в модели.
Активное обучение с подкреплением
Пассивный обучающийся агент руководствуется постоянно заданной стратегией, которая определяет его поведение, а активный агент должен сам принимать решение о том, какие действия следует предпринять. Начнем с описания агента, действующего с помощью адаптивного динамического программирования, и рассмотрим, какие изменения необходимо внести в его проект, чтобы он мог функционировать с учетом этой новой степени свободы.
Прежде всего агенту потребуется определить с помощью обучения полную модель с вероятностями результатов для всех действий, а не просто модель для заданной стратегии. Для этой цели превосходно подходит простой механизм обучения, используемый в алгоритме Passive-ADP-Agent. Затем необходимо принять в расчет тот факт, что агент должен осуществлять выбор из целого ряда действий. Полезности, которые ему потребуются для обучения, определяются оптимальной стратегией; они подчиняются уравнениям Беллмана, приведенным на с. 824, которые мы еще раз приведем ниже для удобства.
(21.4)(21.4)U(s)=J?(s) + у max ^ ^ T(s, a, s' ) L7(s')
(21.4)
(21.4)
s *
Эти уравнения могут быть решены для получения функции полезности и с помощью алгоритмов итерации по значениям или итерации по стратегиям, приведенных в главе 17. Последняя задача состоит в определении того, что делать на каждом этапе. Получив функцию полезности и, оптимальную для модели, определяемой с помощью обучения, агент может извлечь информацию об оптимальном действии, составляя одношаговый прогноз для максимизации ожидаемой полезности; еще один вариант состоит в том, что если используется итерация по стратегиям, то оптимальная стратегия уже известна, поэтому агент должен просто выполнить действие, рекомендуемое согласно оптимальной стратегии. Но действительно ли он должен выполнять именно это действие?
Исследование среды
На рис. 21.4 показаны результаты одной последовательности попыток для агента ADP, который следует рекомендациям по выбору оптимальной стратегии для модели, определяемой с помощью обучения, на каждом этапе. Как оказалось, агент не находит с помощью обучения истинные полезности или истинную оптимальную стратегию! Вместо этого происходит то, что после 39-й попытки агент находит стратегию, позволяющую достичь вознаграждения +1 вдоль нижнего маршрута, проходящего через квадраты (2,1), (3,1), (3,2) и (3,3) (рис. 21.4). После проведения экспериментов с небольшими вариантами, начиная от 276-й попытки и дальше, агент постоянно придерживается этой стратегии, так и не определив с помощью обучения полезности других состояний и не найдя оптимальный маршрут через квадраты (1,2), (1,3) и (2,3). Авторы называют такого агента, действующего с помощью жадного алгоритма, просто ^ жадным агентом. Повторные эксперименты показали, что поиски жадного агента очень редко сходятся в пределе к оптимальной стратегии для данной среды, а иногда сходятся к таким стратегиям, которые являются действительно устрашающими по своей неэффективности.
Как могло оказаться, что выбор оптимального действия приводит к неоптимальным результатам? Ответ состоит в том, что модель, определяемая с помощью обучения, не является такой же, как истинная среда; поэтому то, что оптимально в модели, определяемой с помощью обучения, может оказаться неоптимальным в истинной среде. К сожалению, агент не имеет информации о том, какова истинная среда, поэтому не может вычислить оптимальное действие для истинной среды. Так что же делать?
В проекте жадного агента не учтено то, что действия не только предоставляют вознаграждения в соответствии с моделью, определяемой в настоящее время с помощью обучения, но и вносят вклад в определение с помощью обучения самой истинной модели, влияя на полученные результаты восприятия. Совершенствуя эту модель, агент сможет получать большие вознаграждения не сразу же, а в будущем. Поэтому агент должен искать компромисс между ^ потреблением полученных результатов для максимизации своего вознаграждения (что отражается в его текущих оценках полезностей) и ^ исследованием среды для максимизации своего долговременного благосостояния. Занимаясь исключительно потреблением полученных благ, агент рискует застрять в одной колее, а занимаясь исключительно исследованием для повышения уровня своих знаний, агент не получит пользы, если так и не внедрит эти знания на практике. В реальном мире человеку постоянно приходится решать, стоит ли продолжать беззаботное существование или нужно окунуться в неизвестность в надежде найти новые и лучшие условия жизни. Но чем большими знаниями он обладает, тем меньше нуждается в дальнейших исследованиях.
Можно ли выработать более точные рекомендации по сравнению с этими общими рассуждениями? Существует ли оптимальный способ организации исследования среды? Как оказалось, эти вопросы глубоко изучались в той области статистической теории принятий решений, которая касается так называемых ^ задач с п-рукими бандитами, — так принято называть игорные автоматы, управляемые с помощью рукояток (см. врезку).
а)
Рис. 21.4. Производительность агента ADP, действующего с помощью жадного алгоритма, который осуществляет действие, рекомендованное согласно оптимальной стратегии для модели, определяемой с помощью обучения: среднеквадратичная ошибка в оценках полезностей, усредненная по девяти нетерминальным квадратам (а); неоптимальная стратегия, к которой в пределе сходится поиск стратегии, выполняемый агентом с помощью жадного алгоритма, в данной конкретной последовательности попыток (б)
Исследование среды и n-рукие бандиты
В Лас-Вегасе одноруким бандитом называют игорный автомат определенного типа, в который игрок может вложить монету, потянуть за рукоятку и забрать выигрыш (если только таковой действительно появится). Существует также разновидность этого автомата с п рукоятками, называемая ^ n-руким бандитом. Игрок должен выбрать, какую рукоятку следует потянуть на себя после вкладывания каждой следующей монеты, — ту, которая когда-то дала наибольший выигрыш, а может быть, ту, которую он еще не пытался использовать?
Задача с n-руким бандитом — это формальная модель реальных задач во многих жизненно важных областях, таких как принятие решения о выделении годового бюджета на исследования и разработки по искусственному интеллекту. Каждая рукоятка соответствует определенному действию (такому как выделение 20 миллионов долларов на подготовку новых учебников по искусственному интеллекту), а вознаграждение за подтягивание к себе такой рукоятки соответствует прибыли, полученной от выполнения соответствующего действия (в данном случае — просто колоссальной). Исследование среды, будь то исследование перспектив нового научного направления или зондирование нового товарного рынка, является рискованным, дорогостоящим и связано с неопределенными вознаграждениями; с другой стороны, полный отказ от проведения исследований означает, что не удастся обнаружить новые сферы деятельности, которые могут оказаться прибыльными.
Чтобы правильно сформулировать задачу с n-руким бандитом, необходимо точно определить, что подразумевается под оптимальным поведением. Большинство определений, приведенных в литературе, основано на предположении, что цель состоит в максимизации ожидаемого суммарного вознаграждения, полученного в течение всего срока существования агента. В этих опреде-
лениях требуется, чтобы ожидаемое вознаграждение оценивалось по всем возможным мирам, в которых может оказаться агент, а также по возможным результатам каждой последовательности действий в любом конкретном мире.
В данном случае “мир” определяется моделью перехода T(s,a, s' ). Таким образом, для того чтобы действовать оптимальным образом, агент должен знать распределение априорных вероятностей по всем возможным моделям. Возникающие в конечном итоге задачи оптимизации обычно являются крайне трудно разрешимыми.
В некоторых случаях (например, когда вознаграждение, получаемое от игры на каждом автомате, является независимым и используются обесцениваемые вознаграждения) существует возможность рассчитать индекс Гиттинса для каждого игорного автомата [561]. Этот индекс представляет собой функцию, параметрами которой являются только количество игр, проведенных на игорном автомате, и сумма полученного выигрыша. Индекс для каждого автомата показывает, насколько оправданы дополнительные затраты денег на продолжение игры с учетом комбинации ожидаемой прибыли и ожидаемой стоимости информации. Выбор автомата с наибольшим значением индекса позволяет найти оптимальную стратегию исследования среды. К сожалению, до сих пор не было обнаружено ни одного метода, позволяющего распространить понятие индексов Гиттинса на проблематику задач последовательного принятия решений.
Теорию n-руких бандитов можно использовать для обоснования приемлемости стратегии отбора в генетических алгоритмах (см. главу 4). Если в задаче с n-руким бандитом каждая рукоятка рассматривается как возможная строка генов, а вкладывание монеты для подтягивания одной рукоятки — как воспроизведение этих генов, то генетические алгоритмы должны обеспечить оптимальное вложение монет в игорный автомат с учетом соответствующего множества предположений о независимости.
Хотя задачи с n-рукими бандитами чрезвычайно трудно поддаются точному решению для получения оптимального метода исследования среды, тем не менее возможно предложить приемлемую схему, которая в конечном итоге приводит к оптимальному поведению со стороны агента. Формально любая такая схема должна быть жадной в пределе бесконечного исследования; это свойство сокращенно обозначается как ^ GLIE (Greedy in the Limit of Infinite Exploration). Схема GLIE должна предусматривать опробование каждого действия в каждом состоянии путем осуществления неограниченного количества попыток такого действия для предотвращения появления конечной вероятности того, что будет пропущено какое-то оптимальное действие из-за крайне неудачного стечения обстоятельств. Агент ADP, в котором используется такая схема, должен в конечном итоге определить с помощью обучения истинную модель среды. Кроме того, схема GLIE должна в конечном итоге стать жадной, для того чтобы действия агента стали оптимальными по отношению к определенной с помощью обучения (и поэтому истинной) модели.
Предложено несколько схем GLIE; в одной из простейших из этих схем предусматривается, что агент должен в течение 1/t части времени выбирать случайное действие, а в течение остального времени придерживаться жадной стратегии. Хотя такая схема в конечном итоге сходится к оптимальной стратегии, весь этот процесс
может оказаться чрезвычайно замедленным. Более обоснованный подход предусматривает присваивание определенных весов тем действиям, которые агент не опробовал очень часто, стараясь вместе с тем избегать действий, которые считаются имеющими низкую полезность. Такой подход может быть реализован путем модификации уравнения ограничения 21.4 таким образом, чтобы в нем присваивалась более высокая оценка полезности относительно мало исследованным парам “состояние—действие”. По сути это сводится к определению оптимистического распределения априорных вероятностей по возможным вариантам среды и вынуждает агента на первых порах вести себя так, как если бы повсеместно были разбросаны замечательные вознаграждения. Допустим, что для обозначения оптимистической оценки полезности состояния s (т.е. ожидаемого будущего вознаграждения) используется запись С/- (s), и предположим, что N(a, s) — количество попыток опробования действия а в состоянии s. Предположим также, что в обучающемся агенте ADP используется метод итерации по значениям; в таком случае необходимо переписать уравнение обновления (т.е. уравнение 17.6), чтобы включить в него оптимистическую оценку. Именно такая цель достигается с помощью следующего уравнения:
^ 'T(s, a, s') [/(s’), N(a,s) < s'^ 'T(s, a, s') [/(s’), N(a,s) < s'(21.5)(21.5)U*(s) <- K(s)
^ 'T(s, a, s') [/(s’), N(a,s) < s'
^ 'T(s, a, s') [/(s’), N(a,s) < s'
(21.5)
(21.5)
+ y max a
где f (и, n) называется ^ функцией исследования. Эта функция определяет компромисс между жадностью (предпочтениями, отданными высоким значениям и) и любопытством (предпочтениями, отданными низким значениям п, характеризующим действия, которые еще не были опробованы достаточно часто). Функция f (и, п) должна увеличиваться в зависимости от и и уменьшаться в зависимости от п. Безусловно, что существует много возможных функций, которые соответствуют этим условиям. Одним из особенно простых определений такой функции является следующее:
_ R+ если л < 2Ve
(ц,л) - u в ПрОТИВНОМ случае
где R^ — оптимистическая оценка наилучшего возможного вознаграждения, которое может быть получено в любом состоянии; Ne — постоянный параметр. Результатом применения такой функции становится то, что агент пытается проверить каждую пару “состояние—действие” по меньшей мepe^e раз.
Тот факт, что в правой части уравнения 21.5 присутствует величина [Т, а не и, очень важен. Может вполне оказаться так, что по мере развития процесса исследования в большом количестве попыток будут опробованы состояния и действия, находящиеся недалеко от начального состояния. Если бы использовалась более пессимистическая оценка полезности, и, то агент вскоре стал бы не склонным проводить дальнейшее исследование среды. А применение оценки [/ означает, что выгоды от исследования среды распространяются в обратном направлении от границ неисследованных регионов, поэтому получают больший вес действия, ведущие к неисследованным регионам, а не просто действия, которые сами по себе остаются малоизученными. Эффект использования такой исследовательской стратегии наглядно показан на рис. 21.5, который демонстрирует более быструю сходимость к оптимальной производительности в отличие от жадного подхода. Способ действий, очень близкий к оптималь-
Количество попытокКоличество попытока)а)ному, обнаруживается всего лишь после 18 попыток. Обратите внимание на то, что сами оценки полезности не сходятся так же быстро. Это связано с тем, что агент довольно рано прекращает исследование частей пространства состояний, не предоставляющих вознаграждения, и в дальнейшем посещает их только “по случаю”. Но благодаря такому подходу агент приобретает идеальное понимание того, что не следует задумываться о точных значениях полезностей состояний, которые, как ему известно, являются нежелательными и которых можно избежать.
Количество попыток
Количество попыток
а)
а)
Среднеквадратичная ошибка -
Убыточность стратегии -
20406080100
Количество попыток
б)
Рис. 21.5. Производительность агента ADP, проводящего исследование среды с использованием параметров R+=2 и Ne=5: оценки изменения полезностей для избранных состояний во времени (а); среднеквадратичная ошибка в значениях полезностей и связанная с ней убыточность стратегии (б)
Определение функции “действие-стоимость” с помощью обучения
Теперь, после разработки алгоритма активного агента ADP, рассмотрим, как сконструировать активного агента, обучающегося по методу временной разности. Наиболее очевидным отличием от пассивного варианта является то, что агенту больше не предоставлена заданная стратегия, поэтому для определения с помощью обучения функции полезности и агенту потребуется определить с помощью обучения некоторую модель, чтобы иметь возможность выбрать с учетом значения и некоторое действие, выполнив прогнозирование на один шаг вперед. Задача приобретения модели для агента TD идентична такой же задаче для агента ADP. А что можно сказать о самом правиле обновления TD? Возможно, что следующее утверждение на первый взгляд покажется удивительным, но правило обновления 21.3 остается неизменным. Такая ситуация может показаться странной по следующей причине: предположим, что агент делает шаг, который обычно приводит в приемлемое место назначения, но из-за наличия недетерминированности в самой среде в конечном итоге агент оказывается в катастрофическом состоянии. Правило обновления TD позволяет отнестись к этой ситуации так же серьезно, как если бы полученным итогом был нормальный результат действия, тогда как можно было предположить, что агент не должен слишком сильно об этом беспокоиться, поскольку такой итог возник лишь из-за стечения обстоятельств. Безусловно, такой маловероятный результат в большом множестве обучающих последовательностей может возникать
достаточно редко, поэтому можно надеяться, что в долговременной перспективе его последствия получат вес, пропорциональный их вероятности. Еще раз отметим следующее — можно доказать, что алгоритм TD сходится к тем же значениям, что и ADP, по мере того как количество обучающих последовательностей стремится к бесконечности.
Есть также альтернативный метод TD, называемый Q-обучением, в котором предусматривается определение с помощью обучения некоторого представления “действие-стоимость” вместо определения полезностей. Для обозначения стоимости выполнения действия а в состоянии s будет использоваться запись Q(a, s). Отметим, что Q-значения непосредственно связаны со значениями полезностей следующим образом:
U (s) = max Q(а,s) (21.6) а
На первый взгляд может показаться, что Q-функции представляют собой лишь еще один способ хранения информации о полезностях, но они обладают очень важным свойством: ^ агенту TD, который определяет Q-функцию с помощью обучения, не требуется модель ни для обучения, ни для выбора действия. По этой причине Q-обучение называют ^ безмодельным методом. Как и в случае полезностей, можно записать следующее уравнение для ограничений, которое должно соблюдаться в точке равновесия, когда Q-значения являются правильными:
Qka, s)Qka, s)= ^(s)= ^(s)s *s *max Qka',s' ^ a'max Qka',s' ^ a'(21.7)(21.7)
Qka, s)
Qka, s)
= ^(s)
= ^(s)
s *
s *
max Qka',s' ^ a'
max Qka',s' ^ a'
(21.7)
(21.7)
Как и в случае обучающегося агента ADP, это уравнение может непосредственно использоваться в качестве уравнения обновления для процесса итерации, в котором вычисляются точные Q-значения при наличии оцениваемой модели. Но для этого требуется, чтобы с помощью обучения осуществлялось также определение модели, поскольку в уравнении используется вероятность Tks, a, s' V С другой стороны, в подходе на основе временной разности модель не требуется. Уравнение обновления для Q-обучения по методу TD, которое вычисляется каждый раз, когда в состоянии s, ведущем к состоянию s', выполняется действие а, является следующим:
Q(azs) <- Q(a,s) + a(J?(s) + у max Qka' , s') - Q(a,s)) (21.8)
a1
Полный проект агента для исследующего среду Q-обучающегося агента, в котором используется метод TD, приведен в листинге 21.3. Обратите внимание на то, что в нем используется точно такая же функция исследования f, которая была предусмотрена для исследующего среду агента ADP, поэтому возникает необходимость вести статистические данные о выполненных действиях (таблицу Kf). Если бы применялась более простая исследовательская стратегия (скажем, выбор действий случайным образом в некоторой части этапов, притом что эта часть уменьшается со временем), то можно было бы отказаться от ведения этих статистических данных.
Такой Q-обучающийся агент определяет с помощью обучения оптимальную стратегию для мира 4x3, но достигает этой цели с гораздо меньшей скоростью по сравнению с агентом ADP. Это связано с тем, что метод TD не вынуждает агента добиваться согласованности значений во всей модели. В связи с этим сравнением возникает общий вопрос:
что лучше — определять с помощью обучения модель и функцию полезности или функцию “действие-значение” без модели? Иными словами, в чем состоит наилучший способ представления функции агента? Это —фундаментальный вопрос искусственного интеллекта. Как было указано в главе 1, традиционно одной из ключевых характерных особенностей многих исследований по искусственному интеллекту была (часто не выраженная явно) приверженность подходу, основанному на знаниях. Такой подход сводится к предположению, что наилучший способ задания функции агента состоит в формировании представления некоторых аспектов среды, в которой находится агент.
Листинг 21.3. Проводящий исследование среды Q-обучающийся агент. Это — активный ученик, который определяет с помощью обучения значение 0( a, s) каждого действия в каждой ситуации. В нем используется такая же исследовательская функция f, как и в проводящем исследование среды агенте ADP, но исключается необходимость определять с помощью обучения модель перехода, поскольку Q-значение любого состояния может быть непосредственно связано с соответствующими значениями его соседних состояний
function Q-Learning-Agent (percept) returns действие a
inputs: percept, результаты восприятия, обозначающие текущее состояние s' и сигнал вознаграждения г'
static: Q, таблица значений действий, индексированная по состояниям и действиям
Nsa, таблица частот пар "состояние-действие" s, а, г, предыдущие состояние, действие и вознаграждение, первоначально пустые
if состояние s не пусто then do
увеличить значение Nsals, а]
Q[a, s] <- Q[a, s] + d(NsaVs, a] ) (r + у max Q[a' , s' ] - Q[a, s] ) a'
if Terminal?[s'] then s, a, r <— пустое значение
else s, a, r s', argmax f(Q[a' , s' ] ,Nsala' , s' ] ) , r'
a' return a
Некоторые исследователи, и принадлежащие, и не принадлежащие к сообществу специалистов по искусственному интеллекту, выступили с заявлениями, что доступность методов, не требующих применения модели, таких как Q-обучение, означает, что подход, основанный на знаниях, не является необходимым. Тем не менее пока нет почти никаких оснований, позволяющих судить об обоснованности этих заявлений, кроме интуиции. А интуиция авторов в размышлениях о том, какой подход является наиболее перспективным, подсказывает, что по мере усложнения среды преимущества подхода, основанного на знаниях, становятся все более очевидными. Это обнаруживается даже в играх, таких как шахматы, шашки и нарды (см. следующий раздел), где усилия по определению с помощью обучения функции оценки на основе модели увенчались большим успехом, чем методы Q-обучения.
Обобщение в обучении с подкреплением
До сих пор в этой главе предполагалось, что функции полезности и Q-функции, определяемые агентами с помощью обучения, представлены в табличной форме
с одним выходным значением для каждого входного кортежа. Такой подход полностью себя оправдывает в небольших пространствах состояний, но время достижения сходимости и (в случае ADP) затраты времени на каждую итерацию быстро возрастают по мере увеличения размеров пространства. При использовании тщательно управляемых, приближенных методов ADP иногда удается справиться с задачами по обработке 10 000 или большего количества состояний. Этого достаточно для двухмерных вариантов среды, подобных лабиринтам, но более реальные миры далеко выходят за эти пределы. Шахматы и нарды представляют собой крошечные подмножества реального мира, но даже их пространства состояний содержат примерно от 1050 до 10120 состояний. Даже само предположение о том, что нужно было бы посетить все эти состояния, для того чтобы узнать с помощью обучения, как играть в такую игру, является абсурдным!
Один из способов справиться с этими задачами состоит в использовании средств функциональной аппроксимации; такая рекомендация просто означает, что для функции следует применять представления любого рода, отличные от таблиц. Такое представление рассматривается как аппроксимированное, поскольку может оказаться, что истинная функция полезности или Q-функция не может быть точно представлена в выбранной форме. Например, в главе 6 была описана функция оценки для шахмат, представленная в виде взвешенной линейной функции от множества характеристик (или базисных функций) flf..., fn:
L7e(s)=0ifi(s) + 02f2(s) + ... + 0nfn(s)
Алгоритм обучения с подкреплением позволяет определить с помощью обучения такие значения параметров 6=61,..., 6П, что функция оценки и9 аппроксимирует истинную функцию полезности. Вместо использования, скажем, 10120 значений в таблице, такой аппроксиматор функции характеризуется, допустим, п=2 0 параметрами, а это просто колоссальное сжатие. В частности, хотя никто не знает истинную функцию полезности для шахмат, никто и не считает, что ее можно точно представить с помощью 20 чисел. Но если эта аппроксимация является достаточно качественной, агент все равно приобретает возможность достичь поразительных успехов в шахматах.
Функциональная аппроксимация может дать возможность представить функции полезности для очень больших пространств состояний, но ее основное преимущество состоит не в этом. ^ Сжатие, достигнутое с помощью аппроксиматора функции, позволяет обучающемуся агенту делать обобщения, распространяющиеся с тех состояний, которые он уже посетил, на состояния, которые он еще не посетил. Это означает, что наиболее важным аспектом функциональной аппроксимации является не то, что она требует меньше пространства, а то, что она обеспечивает индуктивное обобщение по входным состояниям. Чтобы дать читателю представление о возможностях
этого подхода, укажем, что путем исследования только одного состояния из каждой группы по 1044 возможных состояний в игре в нарды можно определить с помощью обучения функцию полезности, позволяющую программе играть не хуже любого игрока-человека [1499].
Оборотной стороной этого подхода, безусловно, является то, что с ним связана такая проблема: невозможность найти в выбранном пространстве гипотез какую-либо функцию, аппроксимирующую истинную функцию полезности достаточно хорошо. Как и во всем научном направлении индуктивного обучения, необходимо найти компромисс между размером пространства гипотез и потребностью во времени для определения с помощью обучения требуемой функции. С увеличением пространства гипотез растет вероятность того, что может быть найдена хорошая аппроксимация, но это означает, что сходимость также, скорее всего, будет достигаться более медленно.
Начнем с простейшего случая, в котором предусматривается непосредственная оценка полезности (см. раздел 21.2). При использовании функциональной аппроксимации определение такой оценки представляет собой пример контролируемого обучения. Например, предположим, что полезности для мира 4x3 представлены с использованием простой линейной функции. Характеристиками квадратов являются их координаты х и у, поэтому получим следующее соотношение:
Ue(xzy) = 00 + 01 X + 02 У (21.9)
Таким образом, если (0О/ 01х 02) = (0.5 z 0.2,0.1), то %(1 z 1) =0.8. По результатам некоторой совокупности попыток будет получено множество выборочных значений UQ (х, у), после чего можно найти соответствие, наилучшее с точки зрения минимизации квадратичных ошибок, с помощью стандартной линейной регрессии (см. главу 20).
Применительно к обучению с подкреплением больше смысла имеет использование алгоритма оперативного обучения, который обновляет параметры после каждой попытки. Предположим, что осуществляется некоторая попытка, и суммарное вознаграждение, полученное начиная с квадрата (1,1), составляет 0.4. Такой результат наводит на мысль, что значение UQ (1,1), составляющее в настоящее время 0.8, слишком велико и должно быть уменьшено. Как следует откорректировать параметры, чтобы добиться такого уменьшения? Как и в случае с обучением нейронной сети, запишем функцию ошибки и вычислим ее градиент по отношению к параметрам. Если Uj (s) — наблюдаемое суммарное вознаграждение, полученное от состояния s и дальше, вплоть до j-й попытки, то ошибка определяется как (половина) квадратов разностей прогнозируемой общей суммы и фактической общей суммы: Е^ (s) = (ие (s) - Uj (s) )2 / 2. Скорость изменения ошибки по отношению к каждому параметру 6i равна d£j/d6i, поэтому, чтобы изменить значение параметра в направлении уменьшения ошибки, необходимо вычислить следующее выражение:
dE^s)- duels)
0i <- 0i - ОС^ ' = 0i + a(uj(s)-[76(s))-^—(21.10)
Это выражение называется ^ правилом Видроу-Хоффа, или ^ дельта-правилом для оперативного вычисления по методу наименьших квадратов. Применительно к линейному аппроксиматору функции Ue Is) в уравнении 21.9 получаем три простых правила обновления:
0о <-90+a(uj(s)-a6(s))
9i <-9i+a(uj (s)-UQ(s))x
92 <-92+a(uj(s)-a6(s))y
Эти правила можно применить к примеру, в котором CJe(l,l) равно 0.8, a Uj (1,1) равно 0.4. Все значения Оо, 6г и 62 уменьшаются на коэффициент 0.4а, который уменьшает ошибку, относящуюся к квадрату (1,1). Обратите внимание на то, что изменение значений 0£ приводит также к изменению значений и9 для всех прочих состояний! Именно это подразумевалось в приведенном выше утверждении, что функциональная аппроксимация позволяет агенту, проводящему обучение с подкреплением, обобщать свой опыт.
Мы рассчитываем на то, что агент будет проводить обучение быстрее, если он использует какой-то аппроксиматор функции, при условии, что пространство гипотез не слишком велико, но включает некоторые функции, характеризующиеся достаточно приемлемым соответствием истинной функции полезности. В упр. 21.7 предлагается оценить производительность метода непосредственной оценки полезности, как с функциональной аппроксимацией, так и без нее. В мире 4x3 действительно достигается заметное, однако не столь существенное увеличение производительности, прежде всего потому, что это пространство состояний очень мало. Достигнутое увеличение производительности становится намного более значительным в мире 10x10 с вознаграждением +1 в квадрате (10,10). Этот мир хорошо приспособлен для линейной функции полезности, поскольку истинная функция полезности является гладкой и почти линейной (см. упр. 21.10). А если вознаграждение +1 будет помещено в квадрат (5,5), то истинная функция полезности будет больше напоминать по своей форме пирамиду, и попытка применения аппроксиматора функции, приведенного в уравнении 21.9, окончится крахом. Но не все потеряно! Напомним, что для линейной функциональной аппроксимации важно, чтобы функция линейно зависела от параметров. А сами характеристики могут представлять собой произвольные нелинейные функции от переменных состояния. Поэтому можно включить такой терм, как Sз=^Пx-Xg^^ измеряющий расстояние до цели.
Эти идеи можно применить столь же успешно к агентам, осуществляющим обучение по методу временной разности. Для этого достаточно откорректировать параметры, чтобы попытаться уменьшить временную разность между последовательными состояниями. Новые версии уравнений для метода TD и метода Q-обучения (21.3 и 21.8) приведены ниже. Уравнение для полезностей является следующим:
„„--9a0(s)
9i <- 9i + a[K(s) + Y^(s’) - U^sH (21.11)
А для Q-значений используется следующее уравнение:
Л Л-dQ6(a,s)
9i <- 9i + a [K(s) + YmaxQ6(a', s') - Q0(a,s)] — (21.12)
a *1
Можно показать, что эти правила обновления сходятся к ближайшей возможной аппроксимации истинной функции, если аппроксиматор функции линейно зависит
функции, задаваемые с помощью нейронных сетей) больше ничего нельзя гарантировать. Параметры могут увеличиваться до бесконечности и в некоторых очень простых случаях, даже несмотря на то, что в пространстве гипотез существуют приемлемые решения. Разработаны более сложные алгоритмы, позволяющие избежать этих проблем, но в настоящее время вся область обучения с подкреплением на основе общих аппроксиматоров функций продолжает оставаться тонким искусством.
Функциональная аппроксимация может также оказаться очень полезной при определении с помощью обучения модели среды. Напомним, что задача определения с помощью обучения модели для наблюдаемой среды представляет собой задачу контролируемого обучения, поскольку каждый следующий результат восприятия предоставляет информацию о результирующем состоянии. При этом может использоваться любой из методов контролируемого обучения, описанный в главе 18, с соответствующими поправками с учетом того факта, что необходимо определить с помощью прогноза полное описание состояния, а не просто булеву классификацию или единственное реальное значение. Например, если состояние определяется с помощью п булевых переменных, то необходимо найти с помощью обучения п булевых функций для прогнозирования всех переменных. А в случае частично наблюдаемой среды задача обучения становится гораздо более сложной. Если известно, каковы скрытые переменные и какими причинными отношениями они связаны друг с другом и с наблюдаемыми переменными, то можно зафиксировать структуру динамической байесовской сети и воспользоваться алгоритмом ЕМ для определения с помощью обучения ее параметров, как было описано в главе 20. А задачи выявления скрытых переменных и определения структуры модели с помощью обучения все еще остаются открытыми.
Теперь обратимся к примерам крупномасштабных приложений обучения с подкреплением. На основании этих примеров будет показано, что в случае использования функции полезности (следовательно, некоторой модели) модель обычно считается заданной. Например, при определении с помощью обучения функции оценки для нард обычно предполагается, что допустимые ходы и их результаты известны заранее.
Приложения методов обучения к ведению игр
Первое реальное приложение метода обучения с подкреплением оказалось также первой практически применимой программой из всех возможных типов таких программ; речь идет о программе игры в шашки, написанной Артуром Самюэлом [1349], [1350]. Самюэл впервые использовал для оценки позиций взвешенную линейную функцию, в которой одновременно применялось до 16 термов. В его программе обновление весов осуществлялось на основе некоторой версии уравнения 21.11. Тем не менее методы, применяемые в его программе, имели определенные существенные отличия от современных методов. Первое отличие состояло в том, что для обновления весов использовалась разность между значениями для текущего состояния и зарезервированным значением, сформированным путем полного опережающего просмотра в дереве поиска. Такой подход оказался очень успешным, поскольку он равносилен подходу, в котором пространство состояний рассматривается с разными степенями детализации. Второе отличие состояло в том, что в программе Самюэла не использовались какие-либо наблюдаемые вознаграждения! Это означает, что значения терминальных состояний игнорировались. Таким образом, сущест-
вовала реальная возможность, что вычисления в программе не будут сходиться, или по крайней мере сходиться к стратегии, позволяющей выиграть, а не проиграть. Но автор программы сумел избежать подобного неблагоприятного развития событий, соблюдая такое требование, что вес материального преимущества должен всегда быть положительным. Замечательно то, что этого оказалось достаточно, чтобы всегда направлять программу в область пространства весов, соответствующую успешной игре в шашки.
Возможности методов обучения с подкреплением особенно наглядно показала система TD-Gammon Герри Тесауро [1499]. В одной из более ранних работ [1501] Тесауро попытался определить с помощью обучения некоторое представление функции Q(a, s) в виде нейронной сети непосредственно на примерах ходов, которым были присвоены относительные значения экспертом-человеком. Но, как оказалось, этот подход требовал исключительно высоких трудозатрат со стороны привлеченного эксперта. Применение такого подхода привело к созданию программы под названием Neurogammon, которая оказалась сильнее, чем другие программы игры в нарды, существовавшие в то время, но не выдерживала соревнования с опытными игроками в нарды. Проект TD-Gammon стал попыткой обучения программы исключительно в игре с самой собой. Единственный сигнал вознаграждения предоставлялся в конце каждой игры. Функция оценки была представлена в виде полносвязной нейронной сети с единственным скрытым слоем, содержащим 40 узлов. Программа TD-Gammon сумела в результате обучения достичь значительно более высокого уровня игры по сравнению с Neurogammon путем повторного применения уравнения 21.11, даже несмотря на то, что входное представление содержало только грубые оценки позиции на доске, без вычисленных характеристик. Для обучения программы потребовалось проведение около 200 000 учебных игр и две недели машинного времени. Хотя такое количество игр может показаться очень большим, оно фактически составляет лишь исчезающе малую долю пространства состояний. После того как к входному представлению были добавлены предварительно рассчитанные характеристики с применением сети, включающей 80 скрытых элементов, в результате 300 000 учебных игр удалось достичь уровня игры, сравнимого с уровнем трех ведущих людей-игроков во всем мире. Кит Вулси, ведущий игрок и аналитик, сказал: “У меня не было малейшего повода, чтобы усомниться в том, что эта программа оценивает позицию гораздо лучше по сравнению со мной”.
Применение к управлению роботами
Постановка знаменитой задачи поиска равновесия системы ^тележка-шест, известной также под названием задачи ^ обратного маятника, показана на рис. 21.6. Задача состоит в том, чтобы обеспечить управление положением тележки в направлении оси х таким образом, чтобы шест стоял примерно вертикально (0 ~ л/2), а сама тележка оставалась в пределах длины пути, как показано на этом рисунке. Такой с виду простой задаче посвящено свыше двух тысяч статей по обучению с подкреплением и теории управления. Задача с тележкой и шестом отличается от описанных выше задач тем, что переменные состояния х, 0, х, и 0 являются непрерывными. С другой стороны, действия обычно остаются дискретными: таковыми являются рывки тележки влево или вправо в так называемом режиме ^ релейного управления.
Рис. 21.6. Постановка задачи уравновешивания длинного шеста, установленного на движущейся тележке. Контроллер, измеряющий значения х, 9, хи 9, рывками двигает тележку влево или вправо
Одна из первых работ по обучению механической системы решению этой задачи была выполнена Мичи и Чамберсом [1046]. Разработанный ими алгоритм Boxes оказался способным поддерживать равновесие шеста больше одного часа после всего лишь 30 пробных попыток. Более того, в отличие от многих разработанных в дальнейшем систем, алгоритм Boxes был реализован с помощью реальной тележки и шеста, а не эмулятора. На первых порах в этом алгоритме применялась дискретизация четырехмерного пространства состояний с разбивкой на гиперкубы, называемые разработчиками boxes; отсюда произошло название алгоритма. После ввода алгоритма в действие выполнялись учебные попытки, продолжавшиеся до тех пор, пока не падал шест или тележка не достигала конца пути. Отрицательное подкрепление связывалось с заключительным действием в конечном гиперкубе, а затем распространялось в обратном направлении через всю последовательность действий. В дальнейшем было обнаружено, что применяемый способ дискретизации становится причиной возникновения некоторых проблем, когда вся эта экспериментальная установка инициализировалась в позиции, отличной от той, которая применялась при обучении (что свидетельствовало о недостаточно качественном обобщении). Лучшего обобщения и более быстрого обучения можно добиться, используя алгоритм, который адаптивно фрагментирует пространство состояний согласно наблюдаемому изменению в вознаграждении. В наши дни считается тривиальной задача уравновешивания трех обратных маятников, что значительно превосходит возможности большинства людей.
Поиск СТРАТЕГИИ
Последний подход к решению задач обучения с подкреплением, который рассматривается в этой главе, носит название ^ поиска стратегии. В определенных отношениях метод, основанный на поиске стратегии, является самым простым из всех методов, рассматриваемых в данной главе; его идея состоит в том, что необходимо
продолжать корректировать стратегию до тех пор, пока связанная с ней производительность увеличивается, а после этого останавливаться.
(21.13)(21.13)Начнем с анализа самих стратегий. Напомним, что стратегией л называется функция, которая отображает состояния на действия. Нас прежде всего интересуют параметризованные представления л, которые имеют намного меньше параметров по сравнению с количеством состояний в пространстве состояний (как и в предыдущем разделе). Например, можно представить стратегию л в виде коллекции параметризованных Q-функций, по одной для каждого действия, и каждый раз предпринимать действие с наивысшим прогнозируемым значением:
(21.13)
(21.13)
л (s) = max Qe (а / 5) а
Каждая Q-функция может представлять собой линейную функцию от параметров 0, как показано в уравнении 21.9, или может быть и нелинейной функцией, например, представленной в виде нейронной сети. В таком случае поиск стратегии сводится к корректировке параметров 0 в целях улучшения стратегии. Следует отметить, что если стратегия представлена с помощью Q-функций, то поиск стратегии приводит к процессу определения Q-функций с помощью обучения. ^ Этот процесс не следует рассматривать как Q-обучение! При Q-обучении с помощью функциональной аппроксимации алгоритм находит такое значение 0, что функция Эе становится “близкой” к функции Q* — оптимальной Q-функции. При поиске стратегии, с другой стороны, отыскивается значение 0, которое приводит к достижению высокой производительности; найденные значения могут отличаться весьма существенно. Еще одним примером, четко иллюстрирующим это различие, является случай, в котором л(з) вычисляется, допустим, с помощью опережающего поиска на глубину 10 с приближенной функцией полезности Э0. Значение 0, позволяющее обеспечить качественное ведение игры, может быть получено задолго до того, как удастся получить приближение Эе, напоминающее истинную функцию полезности.
Одним из недостатков представления стратегий в том виде, как показано в уравнении 21.13, является то, что в случае дискретных действий стратегия не является непрерывной функцией своих параметров. Это означает, что существуют такие значения 0, при которых бесконечно малые изменения 0 вызывают резкое переключение стратегии с одного действия на другое. Вследствие этого могут также происходить не являющиеся непрерывными изменения значения стратегии, в результате чего поиск на основе градиента становится затруднительным. По этой причине в методах поиска стратегии часто используется ^ стохастическое представление стратегии Ле (s, а), которое задает вероятность выбора действия а в состоянии s. Одним из широко применяемых представлений такого типа является ^ функция softmax:
Jtets, a) =exp(Q6(a, s) )Jtets, a) =exp(Q6(a, s) )/ ^ ехр(50(а' , s) ) a */ ^ ехр(50(а' , s) ) a *
Jtets, a) =exp(Q6(a, s) )
Jtets, a) =exp(Q6(a, s) )
/ ^ ехр(50(а' , s) ) a *
/ ^ ехр(50(а' , s) ) a *
Функция softmax становится почти детерминированной, если одно действие намного лучше по сравнению с другими, но она всегда позволяет получить дифференцируемую функцию от 0, поэтому ценность стратегии (которая связана непрерывной зависимостью с вероятностями выбора действий) определяется дифференцируемой функцией 0.
Теперь рассмотрим методы улучшения стратегии. Начнем с простейшего случая — детерминированной стратегии и детерминированной среды. В этом случае задача вычисления стратегии становится тривиальной — просто выполняется эта стратегия и регистрируются накопленные вознаграждения; полученные данные определяют ^ ценность стратегии р (0). В таком случае улучшение стратегии представляет собой стандартную задачу оптимизации, как описано в главе 4. В частности, можно проследить за вектором ^ градиента стратегии Уер(0), при условии, что значение р(0) является дифференцируемым. Другой вариант состоит в том, что можно проследовать за эмпирическим градиентом путем восхождения к вершине, т.е. вычисления изменений в стратегии в ответ на небольшие приращения в значениях каждого параметра. При соблюдении обычных предосторожностей такой процесс сходится к локальному оптимуму в пространстве стратегий.
Если же среда или стратегия является стохастической, задача становится более сложной. Предположим, что предпринимается попытка применить метод восхождения к вершине, для чего требуется сравнить р(0) и р(0+Д0) при некотором небольшом значении Д0. Проблема состоит в том, что суммарное вознаграждение при каждой попытке может существенно изменяться, поэтому оценки значения стратегии на основе небольшого количества попыток могут оказаться совершенно ненадежными, а еще более ненадежными становятся результаты, полученные при попытке сравнить две такие оценки. Одно из решений состоит в том, чтобы предпринять много попыток, измеряя дисперсию выборок и используя ее для определения того, достаточно ли много было сделано попыток, чтобы получить надежные данные о направлении улучшения для р (0). К сожалению, такой подход является практически не применимым во многих реальных задачах, когда каждая попытка может оказаться дорогостоящей, требующей больших затрат времени, и, возможно, даже опасной.
УеР (0) -Ve^ Ле (So. a) R (а)УеР (0) -Ve^ Ле (So. a) R (а)В случае стохастической стратегии Tte(s,a) существует возможность получить несмещенную оценку для градиента 0, Уер (0), соответствующего параметрам 0, непосредственно по результатам попыток, выполненных при таких значениях параметра 0. Для упрощения задачи выведем формулу такой оценки для простого случая непоследовательной среды, в которой вознаграждение предоставляется непосредственно после осуществления действия в начальном состоянии s0. В таком случае значение стратегии является просто ожидаемым значением вознаграждения, поэтому имеет место следующее:
УеР (0) -Ve^ Ле (So. a) R (а)
УеР (0) -Ve^ Ле (So. a) R (а)
(Уе^ So, а) R а^
а а
Теперь можно применить простой пример, позволяющий аппроксимировать результаты этого суммирования с помощью выборок, сформированных на основании распределения вероятностей, определенного стратегией 7Ce(s0,a). Предположим,
что общее количество попыток равно N, а действием, предпринятым в j-й попытке, является aje В таком случае получим следующее:
N
VeP(0)=^7ie(s0/a)VeP(0)=^7ie(s0/a)(У0л9(50/ а) )К(а) _ АХ^ (Уе^е (So, a-j) )K(aj)7ie(s0,a)N/ , 7te(s0,aj)
VeP(0)=^7ie(s0/a)
VeP(0)=^7ie(s0/a)
aj=l
Поэтому истинный градиент значения стратегии аппроксимируется суммой термов, включающей градиент вероятности выбора действия при каждой попытке. Для последовательного случая это соотношение можно обобщить до такого соотношения для каждого посещенного состояния s:
N
VeP(O) = ^УVeP(O) = ^У(Ve7ie(szaj) )Fj (s)719(5, aj)
VeP(O) = ^У
VeP(O) = ^У
j=l
где aj — действие, выполненное в состоянии s при j-й попытке; J^j (s) — суммарное вознаграждение, полученное, начиная от состояния s и дальше, при j-й попытке. Полученный в результате алгоритм называется Reinforce [1597]; обычно он является гораздо более эффективным по сравнению с восхождением к вершине, при котором используется большое количество попыток в расчете на каждое значение 0. Тем не менее он все еще действует гораздо медленнее, чем абсолютно необходимо.
Рассмотрим следующее задание: даны две программы игры в очко; необходимо определить, какая из них лучше. Один из способов выполнения этого задания состоит в организации игры каждой программы против стандартной программы, “сдающей карты”, в течение определенного количества раздач, с последующим сравнением выигрышей этих программ. Но этот подход связан с определенными проблемами, поскольку, как уже было сказано, выигрыш каждой программы изменяется в широких пределах в зависимости от того, получала ли она после каждой раздачи хорошие или плохие карты. Очевидным решением является заблаговременная выработка определенного количества раздач и (^= множества карт, выдаваемых на руки. Благодаря этому устраняется ошибка измерения, связанная с различиями в полученных картах. Именно эта идея лежит в основе алгоритма Pegasus [1134]. Такой алгоритм является применимым в таких проблемных областях, для которых предусмотрен эмулятор, позволяющий повторно вырабатывать “случайные” результаты действий. Алгоритм функционирует по принципу заблаговременного формирования N последовательностей случайных чисел, каждая из которых может использоваться для прогона одного варианта опробования любой стратегии. Поиск стратегии осуществляется путем оценки каждой потенциальной стратегии с помощью одного и того же множества случайных последовательностей для определения результатов действия. Можно показать, что количество случайных последовательностей, требуемых для обеспечения качественной оценки значения любой стратегии, зависит только от сложности пространства стратегий, а не от сложности соответствующей проблемной области. Алгоритм Pegasus использовался для разработки эффективных стратегий в нескольких проблемных областях, включая автономный полет вертолета (рис. 21.7).
Рис. 21.7. Наложение изображений автономно управляемого вертолета, выполняющего очень сложный маневр “нос в круге”. Вертолет совершает полет под управлением стратегии, разработанной алгоритмом поиска стратегии Pegasus. Модель эмулятора была разработана путем наблюдений за результатами различных управляющих манипуляций реального вертолета; после этого алгоритм в течение одной ночи выполнял прогон на этой модели эмулятора. Был разработан целый ряд контроллеров для различных маневров. Во всех случаях достигнутая производительность была намного выше по сравнению с производительностью опытного пилота-человека, использующего дистанционное управление (фотография приведена с разрешения Эндрю Энджи (Andrew Ng))
Резюме
В данной главе рассматривалась задача обучения с подкреплением, решение которой позволяет агенту добиться успеха в неизвестной среде, пользуясь только полученными им результатами восприятия, а изредка также вознаграждениями. Обучение с подкреплением может рассматриваться как микроскопическая модель всей проблематики искусственного интеллекта, но для решения этой задачи применяется целый ряд упрощений, позволяющих быстрее добиться успеха. Основные идеи, изложенные в этой главе, перечислены ниже.
Характер информации, которая должна быть получена в результате обучения, зависит от общего проекта агента. В данной главе рассматривались три основных проекта: проект, основанный на модели, в котором используется модель Ти функция полезности и; проект без модели, в котором применяется функция “действие-значение”, или Q-функция, и рефлексный проект, в котором используется стратегия к.
Для определения полезностей с помощью обучения могут использоваться три перечисленных ниже подхода.
При непосредственной оценке полезности применяется суммарное прогнозируемое наблюдаемое вознаграждение для заданного состояния в качестве
прямого свидетельства, позволяющего определить полезность данного состояния с помощью обучения.
В адаптивном динамическом программировании (Adaptive Dynamic Programming — ADP) с помощью обучения определяются модель и функция вознаграждения на основании наблюдений, а затем используется итерация по значениям или по стратегиям для получения полезностей или выявления оптимальной стратегии. В методе ADP обеспечивается оптимальное использование локальных ограничений, налагаемых на полезности состояний под влиянием структуры отношений соседства в рассматриваемой среде.
В методах временной разности (Temporal Difference — TD) обновляются оценки полезности для их согласования с состояниями-преемниками. Подход, основанный на использовании этих методов, может рассматриваться как простая аппроксимация подхода ADP, в котором не требуется модель для процесса обучения. Однако применение определенной в процессе обучения модели для выработки псевдорезультатов опытов способствует ускорению обучения.
Определение с помощью обучения функций “действие-значение”, или Q-функций, может быть организовано на основе подхода ADP или TD. При использовании метода TD в процессе Q-обучения не требуется модель ни на этапе обучения, ни на этапе выбора действия. Это позволяет упростить задачу обучения, но в принципе может привести к ограничению способности проводить обучение в сложных вариантах среды, поскольку агент не сможет моделировать результаты применения возможных стратегий.
Если от обучающегося агента требуется, чтобы он выбирал действия, пока еще продолжается обучение, то агенту приходится искать компромисс между оцениваемым значением этих действий и перспективами определения с помощью обучения новой полезной информации. Задача поиска точного решения такой проблемы исследования является неосуществимой, но некоторые простые эвристики позволяют добиться приемлемых результатов.
Если пространство состояний велико, то в алгоритмах обучения с подкреплением необходимо использовать приближенное функциональное представление для обобщения сведений о состояниях. Для обновления параметров таких представлений, как нейронные сети, можно непосредственно использовать информацию о временной разности.
Методы поиска стратегии применяются непосредственно к представлению стратегии в попытке улучшить ее с учетом наблюдаемой производительности. Изменчивость производительности в стохастической проблемной области представляет собой серьезную проблему; в случае моделируемых проблемных областей эту сложность можно преодолеть, заранее формируя случайные выборки.
Обучение с подкреплением позволяет избавиться от необходимости разрабатывать вручную стратегии управления, поэтому продолжает оставаться одной из наиболее активных областей исследований машинного обучения. Особенно ценными могут стать приложения этих подходов в робототехнике; для этого потребуются методы обеспечения действий в непрерывных, многомер-
ных, частично наблюдаемых вариантах среды, в которых успешное поведение может складываться из тысяч или даже миллионов примитивных действий.
Библиографические и исторические заметки
Подход, основанный на обучении с подкреплением, предложил Тьюринг [1519], [1520], но он не был убежден в его общей эффективности и писал, что “использование наказаний и вознаграждений в лучшем случае может составлять лишь часть процесса обучения”. По-видимому, одним из первых успешных исследований по машинному обучению была работа Артура Самюэла [1349]. Хотя эта работа не была основана на теоретическом фундаменте и имела целый ряд недостатков, она содержала большинство современных идей в области обучения с подкреплением, включая применение временной разности и функциональной аппроксимации. Примерно в то же время исследователи в области теории адаптивного управления Видроу и Хофф [1587], опираясь на работу Хебба [638], занимались обучением простых сетей с помощью дельта-правила. (Долго существовавшие неправильные представления о том, что обучение с подкреплением является частью проблематики нейронных сетей, могло быть вызвано тем, что связь между этими научными областями установилась так рано.) Как метод обучения с подкреплением на основе аппроксиматора функции может также рассматриваться работа Мичи и Чамберса [1046], посвященная системе “тележка-шест”. Психологические исследования в области обучения с подкреплением начались гораздо раньше; хороший обзор по этой теме приведен в [653]. Непосредственные свидетельства того, как осуществляется обучение с подкреплением у животных, были получены в исследованиях поведения пчел, связанного с добычей пищи; достоверно обнаружен нейронный аналог структуры передачи сигнала вознаграждения в виде крупного нейронного образования, связывающего рецепторы органов взятия нектара непосредственно с двигательной корой [1070]. Исследования, в которых используется регистрация активности отдельной клетки, показали, что допаминовая система в мозгу приматов реализует нечто напоминающее обучение на основе стоимостной функции [1369].
Связь между обучением с подкреплением и марковскими процессами принятия решений была впервые отмечена в [1580], но разработка методов обучения с подкреплением в рамках искусственного интеллекта началась с исследований, проводимых в Массачусетсском университете в начале 1980-х годов [76]. Хороший исторический обзор подготовлен Саттоном [1477]. Уравнение 21.3, приведенное в этой главе, представляет собой частный случай общего алгоритма TD(X) Саттона при Л=0. В алгоритме TD(X) обновляются значения всех состояний в последовательности, ведущей вплоть до каждого перехода, на величину, которая уменьшается в зависимости от Хг для состояний, отстоящих на t шагов в прошлое. Алгоритм TD(1) идентичен правилу Видроу-Хоффа, или дельта-правилу. Бойян [162], опираясь на [170], доказал, что в алгоритме TD(X) и связанных с ним алгоритмах результаты, полученные опытным путем, используются неэффективно; по сути они представляют собой алгоритмы оперативной регрессии, которые сходятся гораздо медленнее, чем алгоритмы автономной регрессии. Предложенный Бойяном алгоритм LSTD(X) представляет собой оперативный алгоритм, позволяющий достичь таких же результатов, как и алгоритм автономной регрессии.
Применение сочетания метода обучения на основе временной разности с методом формирования моделируемых результатов опытов с помощью модели было предложено в архитектуре Саттона Dyna [1479]. Идея выметания с учетом приоритетов была предложена независимо Муром и Аткесоном [1077], а также Пенгом и Уильямсом [1203]. Метод Q-обучения был разработан в докторской диссертации Уоткинса [1558].
Задачи с n-рукими бандитами, которые моделируют задачу исследования непоследовательных решений, были глубоко проанализированы в [116]. Оптимальные стратегии исследования для нескольких постановок задач могут быть получены с помощью метода, называемого индексами Гиттинса [561]. Целый ряд методов исследования, применимых для решения задач последовательного принятия решений, обсуждается в [74]. В [171] и [785] описаны алгоритмы, позволяющие исследовать неизвестные варианты среды и гарантирующие сходимость к стратегиям, близким к оптимальным, за полиномиальное время.
Истоки идей по применению функциональной аппроксимации в обучении с подкреплением можно найти в работах Самюэла, который использовал линейные и нелинейные функции оценки, а также методы выбора характеристик для уменьшения пространства характеристик. В дальнейшем были разработаны такие методы, как ^ СМАС (Cerebellar Model Articulation Controller) [12], который по сути сводится к использованию суммы перекрывающихся локальных ядерных функций, и ассоциативные нейронные сети [75]. В настоящее время в качестве аппроксиматоров функций наиболее широко используются нейронные сети. Наиболее известным приложением является программа TD-Gammon [1499], [1500], которая описывалась в данной главе. Одной из существенных проблем, возникающих при использовании обучающихся по методу TD агентов, основанных на нейронной сети, является то, что они, как правило, забывают полученные раньше результаты опытов, особенно касающиеся тех частей пространства состояний, которых они стали избегать после приобретения достаточной компетентности. Этот недостаток может приводить к катастрофическому отказу, если снова возникают подобные обстоятельства. Такую проблему позволяет устранить функциональная аппроксимация с помощью обучения на основе экземпляра (instance-based learning) [477], [1159].
Тема, касающаяся сходимости алгоритмов обучения с подкреплением, в которых применяется функциональная аппроксимация, требует чрезвычайно формального освещения. В случае использования аппроксиматоров линейных функций результаты обучения по методу TD неизменно улучшались [338], [1477], [1515], но было показано, что при использовании нелинейных функций обнаруживаются некоторые примеры отсутствия сходимости (для ознакомления с этой темой см. [1515]). В [1172] описан новый тип алгоритма обучения с подкреплением, который сходится при использовании любой формы аппроксиматора функции, при условии, что для наблюдаемых данных может быть найдена аппроксимация с наилучшим соответствием.
Методы поиска стратегии вышли на передний план под влиянием исследований Уильямса [1597], который разработал семейство алгоритмов Reinforce. Дальнейшие исследования, описанные в [86], [981] и [1478], позволили усилить и обобщить результаты достижения сходимости в методе поиска стратегии. Алгоритм Pegasus был предложен Энджи и Джорданом [1134], но аналогичные методы изложены в докторской диссертации Ван Роя [1535]. Как упоминалось в этой главе, производительность стохастической стратегии представляет собой непрерывную функцию от ее
параметров, что способствует применению методов поиска с учетом градиента. Это — не единственное преимущество указанных методов; в [721] доказано, что стохастические стратегии обычно функционируют в частично наблюдаемых вариантах среды лучше, чем детерминированные стратегии, если те и другие ограничиваются действиями, основанными на текущих результатах восприятия. (Одна из причин этого состоит в том, что стохастическая стратегия с меньшей вероятностью “заходит в тупик”, встретив какое-то невидимое препятствие.) Кроме того, в главе 17 было указано, что оптимальные стратегии в частично наблюдаемых задачах MDP представляют собой детерминированные функции от доверительного состояния, а не от текущих результатов восприятия, поэтому можно рассчитывать на получение еще лучших результатов с помощью слежения за доверительным состоянием с использованием методов фильтрации, приведенных в главе 15. К сожалению, пространство доверительных состояний является многомерным и непрерывным, и еще не разработаны эффективные алгоритмы обучения с подкреплением на основе доверительных состояний.
Реальные варианты среды также характеризуются невероятной сложностью сточки зрения количества примитивных действий, требуемых для достижения значимых вознаграждений. Например, роботу, играющему в футбол, могут потребоваться сотни тысяч отдельных движений ног для того, чтобы забить мяч. Одним из широко применяемых методов, который первоначально использовался при обучении животных, является так называемый метод ^ формирования вознаграждения (reward shaping). Он предусматривает предоставление агенту дополнительных вознаграждений за то, что он “добивается успехов”. Что касается футбола, то такие вознаграждения могут предоставляться за удар по мячу или за отправку мяча в сторону ворот. Подобные вознаграждения позволяют существенно повысить скорость обучения, асам способ их предоставления является очень простым, но существует опасность того, что агент обучится максимизации таких псевдовознаграждений и не будет стремиться к истинным вознаграждениям; например, многочисленных контактов с мячом можно добиться, стоя рядом с мячом и “совершая колебательные движения”. В [1133] показано, что агент все равно будет искать с помощью обучения оптимальную стратегию, при условии, что псевдовознаграждение F(s, a, s’ ) удовлетворяет соотношению F(s, a, s’ ) =уФ(Б’ ) -Ф(з), где Ф — произвольная функция от состояния. Функцию Ф можно составить таким образом, чтобы она отражала все желательные аспекты состояния, такие как достижение подцелей или уменьшение расстояния до целевого состояния.
Выработку сложных вариантов поведения можно также обеспечить с помощью методов ^ иерархического обучения с подкреплением, которые представляют собой попытку решать задачи на нескольких уровнях абстракции, во многом аналогично методам планирования HTN, описанным в главе 12. Например, цель “забить мяч” можно разделить на подцели “овладеть мячом”, “приближаясь к воротам, обвести противников” и “ударить по воротам”, а каждая из этих подцелей может быть дополнительно разделена на двигательные варианты поведения еще более низкого уровня. Фундаментальный результат в этой области получен Форестьером и Варайя [481], которые доказали, что варианты поведения низкого уровня с произвольной сложностью можно рассматривать как примитивные действия (хотя и учитывая при этом то, что они могут потребовать разного количества времени) с точки зрения вариантов поведения более высокого уровня, в которых они вызываются. В современ-
ных подходах [32], [397], [1177], [1478] эти результаты используются для создания методов, позволяющих предоставить агенту ^ частичную программу, которая ограничивает поведение агента так, чтобы оно имело конкретную иерархическую структуру. После этого применяется обучение с подкреплением, чтобы агент определил наилучший вариант поведения, совместимый с этой частичной программой. Сочетание методов функциональной аппроксимации, формирования вознаграждения и иерархического обучения с подкреплением может стать основой успешного подхода к решению крупномасштабных задач.
Хорошим исходным пунктом для дальнейшего изучения литературы по этой теме может служить обзор [759]. В книге Саттона и Барто [1480], двух основоположников этой области, изложение сосредоточено на архитектурах и алгоритмах, а также показано, как методы обучения с подкреплением подпитываются идеями в области обучения, планирования и осуществления действий. В немного более формальной работе [121] приведено строгое изложение основ теории динамического программирования и стохастической сходимости. Статьи по обучению с подкреплением часто публикуются в журналах Machine Learning и Journal of Machine Learning Research, а также в материалах конференций International Conferences on Machine Learning и семинаров Neural Information Processing Systems.
Упражнения
(§S Реализуйте пассивного обучающегося агента, действующего в простой среде, такой как мир 4x3. Для случая первоначально неизвестной модели среды сравните производительность обучения с помощью алгоритмов непосредственной оценки полезности, TD и ADP. Проведите сравнение оптимальной стратегии и некоторых случайно выбранных стратегий. Применительно к какой из них быстрее всего сходятся оценки полезности? Что происходит при увеличении размеров среды? (Опробуйте варианты среды с препятствиями и без препятствий.)
В главе 17 была определена правильная стратегия для некоторой задачи MDP как стратегия, позволяющая достичь терминального состояния. Покажите, что для пассивного агента ADP возможна такая ситуация, что он найдет с помощью обучения модель перехода, для которой его стратегия л является неправильной, даже если л правильна для истинной задачи MDP; при использовании таких моделей этап определения значения может окончиться неудачей, если у=1. Покажите, что такая проблема не может возникнуть, если этап определения значения применяется к модели, создаваемой с помощью обучения, только в конце каждой попытки.
Начиная с проекта пассивного агента ADP, модифицируйте его так, чтобы в нем использовался приближенный алгоритм ADP, как описано в настоящей главе. Выполните это задание за два описанных ниже этапа.
Реализуйте приоритетную очередь для внесения корректировок в оценки полезностей. После корректировки данных для некоторого состояния все его предшественники также становятся кандидатами на проведение корректировки и должны быть внесены в очередь. Очередь инициализирует-
ся с учетом состояния, из которого произошел самый последний переход. Предусмотрите возможность использования только фиксированного количества корректировок.
Проведите эксперименты с использованием различных эвристик для упорядочения приоритетной очереди, исследуя их влияние на скорость обучения и продолжительность вычислений.
В методе непосредственной оценки полезности, описанном в разделе 21.2, используются различимые терминальные состояния для обозначения конца каждой попытки. Как можно модифицировать этот метод для применения в вариантах среды с обесцениваемыми вознаграждениями и без терминальных состояний?
Как можно использовать алгоритм определения значения для вычисления ожидаемых потерь, испытываемых агентом, который применяет заданное множество оценок полезностей и и оцениваемую модель М, по сравнению с агентом, использующим правильные значения?
Приспособьте мир пылесоса (см. главу 2) для обучения с подкреплением, включив в него вознаграждения за то, что пылесос собирает каждый фрагмент мусора, отправляется в свой исходный квадрат и отключается. Сделайте этот мир доступным, предоставив агенту соответствующие результаты восприятия. После этого проведите эксперименты с различными агентами, действующими на основе обучения с подкреплением. Является ли функциональная аппроксимация обязательным условием успеха? Какого рода аппроксиматор может применяться в этом приложении?
(Й) Реализуйте проект агента, исследующего свою среду и действующего на основе обучения с подкреплением, в котором используются непосредственные оценки полезностей. Подготовьте две версии — с табличным представлением и с применением аппроксиматора функции, показанного в уравнении 21.9. Сравните их производительность в трех вариантах среды, описанных ниже.
Мир 4x3, описанный в данной главе.
Мир 10x10 без препятствий и с вознаграждением +1 в квадрате (10,10).
Мир 10x10 без препятствий и с вознаграждением +1 в квадрате (5,5).
Запишите уравнения обновления параметров для метода обучения TD со следующим условием:
С7(х,у)=0о + 01Х + 02у + 03л/(х-хд)2 + (у-уд)2
Составьте список применимых характеристик для стохастических миров с решетками (обобщений мира 4x3), которые содержат множество препятствий и множество терминальных состояний с вознаграждением -1 или +1.
Вычислите истинную функцию полезности и наилучшую линейную аппроксимацию в точках х и у (как описано в уравнении 21.9) для перечисленных ниже вариантов среды.
Мир 10x10 с единственным терминальным состоянием +1 в квадрате (10,10).
Как и в упр. 21.10, а, но с дополнительным терминальным состоянием -1 в квадрате (10,1).
Как и в упр. 21.10, б, но с дополнительными препятствиями в 10 квадратах, выбранных случайным образом.
Как и в упр. 21.10, б, но с размещением стены, простирающейся от квадрата (5,2) до квадрата (5,9).
Как и в упр. 21.10, а, но с терминальным состоянием в квадрате (5,5).
Действия представляют собой детерминированные движения в четырех направлениях. В каждом случае сравните результаты с использованием трехмерных графиков. Для каждой среды предложите дополнительные характеристики (кроме х и у), которые позволили бы улучшить эту аппроксимацию, и продемонстрируйте полученные результаты.
(Й) Дополните стандартную среду ведения игры (см. главу 6) для включения в нее сигнала вознаграждения. Поместите в эту среду два агента, действующих на основе обучения с подкреплением (они, безусловно, могут иметь общую программу агента), и вынудите их играть друг против друга. Примените обобщенное правило обновления TD (уравнение 21.11) для обновления функции оценки. Вам может потребоваться вначале применить простую функцию оценки с линейными весами и простую игру, такую как крестики-нолики.
(Й) Реализуйте алгоритмы Reinforce и Pegasus и примените их к миру 4x3, используя выбранное вами семейство стратегий. Прокомментируйте полученные результаты.
Ш Исследуйте проблему применения идей обучения с подкреплением для моделирования поведения людей и животных.
Ш Может ли обучение с подкреплением служить подходящей абстрактной моделью для эволюции? Какая связь существует (и существует ли она вообще) между жестко закрепленными сигналами вознаграждения и эволюционной пригодностью?
Часть VII
Общение, восприятие И ОСУЩЕСТВЛЕНИЕ ДЕЙСТВИЙ
10461100113911791046110011391179Общение
1046
1100
1139
1179
1046
1100
1139
1179
Вероятностная обработка лингвистической информации Восприятие
Вероятностная обработка лингвистической информации
22 Общение
В данной главе показано, почему агентам может потребоваться обмен сообщениями, несущими информацию, и как они могут это сделать.
В роще среди саванны в Национальном парке Амбосели у подножья горы Килиманджаро царит полумрак. Группа мартышек-верветок сосредоточенно добывает пищу, и вдруг одна из них издает громкий лающий звук. Остальные члены группы распознают этот звук как предупреждение о появлении леопарда (в отличие от короткого кашля, используемого для предупреждения о появлении орлов, или стрекотания, обозначающего присутствие змей) и быстро взбираются на деревья. Верветка успешно выполнила акт общения с группой.
^ Общение — это целенаправленный обмен информацией, осуществляемый путем предъявления и восприятия ^ знаков, которые выбраны из совместно используемой системы знаков, принятых в соответствии с некоторым соглашением. Большинство животных используют знаки для представления важных сообщений: указание о наличии пищи, предупреждение о появлении хищника, требование приблизиться, требование удалиться, призыв к спариванию. В частично наблюдаемом мире общение может помочь агентам действовать более успешно, поскольку они получают возможность усваивать информацию, полученную другими с помощью наблюдения или логического вывода.
Отличием людей от животных является то, что они пользуются сложной системой обмена структурированными сообщениями, известной как ^ язык, которая позволяет людям передавать друг другу большую часть того, что им стало известно о мире. Хотя шимпанзе, дельфины и другие млекопитающие показали наличие у них словарей, состоящих из сотен знаков, и обнаружили определенные способности связывать их в цепочки, только люди способны надежно общаться с помощью неограниченного количества качественно различных сообщений.
Безусловно, существуют и другие атрибуты, которые можно рассматривать как уникальные особенности людей: больше ни один вид живых существ не носит одежду, не создает произведения изобразительного искусства и не смотрит телевизор по три часа в день. Но когда Тьюринг предложил свой тест (см. раздел 1.1), он прежде всего исходил из способности владеть языком, поскольку язык тесно связан с мышлением. В настоящей главе приведено объяснение того, как действует общающийся агент, и дано описание небольшого подмножества английского языка.
Общение как действие
Одним из действий, доступных для любого агента, является выработка языковых сообщений. Такой процесс называется ^ речевым актом. В этом термине понятие “речь” используется в таком же смысле, как и в выражении “речь идет о том-то”, а не означает просто “произнесение слов”, поэтому речевыми актами считаются любые действия, позволяющие составить и передать некоторое сообщение, например, с использованием электронной почты, сигнальных флажков или жестов. В естественном языке нет нейтрального слова для обозначения агента, вырабатывающего языковое сообщение с помощью средств, имеющихся в его распоряжении, поэтому в данной главе для описания любых возможных способов общения будут использоваться в качестве универсальных такие термины, как ^ отправитель речевого сообщения, ^ получатель речевого сообщения и ^ фрагмент речи. Кроме того, для обозначения знака любого рода, который принято использовать в общении, будет служить термин ^ слово.
Но по каким причинам агенту приходится заботиться о том, чтобы произвести речевой акт, когда он мог бы просто выполнить “обычное” действие? Как было показано в главе 12, агенты в мультиагентной среде могут использовать общение для выработки совместных планов. Например, группа агентов, исследующих мир вампу- са вместе, приобретает значительные преимущества (общие и индивидуальные), получая возможность выполнять описанные ниже действия.
Запрашивать других агентов о конкретных особенностях мира, в котором они существуют. Это действие обычно осуществляется путем постановки вопросов: “Ты где-то слышал запах вампуса?”
Информировать друг друга об этом мире. Такая задача осуществляется путем составления описательных предложений: “Здесь, в квадрате [3,4], чувствуется ветерок”. Еще одним способом информирования является ответ на вопрос.
Требовать от других агентов выполнения действий: “Пожалуйста, помоги мне отнести золото”. Иногда считается более вежливым ^ непрямой речевой акт (требование в форме утверждения или вопроса): “Я охотно воспользовался бы чьей-то помощью, когда нужно будет отнести этот груз”. Агент, обладающий властью, может давать команды (“Альфа — направо, Браво и Чарли — налево”), а агент, обладающий силой, может высказать угрозу (“Отдай мне золото, иначе...”). Речевые акты такого рода, вместе взятые, называются директивами.
Подтверждать согласие на выполнение требования: “Хорошо”.
Предлагать варианты или выражать готовность участвовать в плане: “Я застрелю вампуса; вы заберете золото”.
Все речевые акты воздействуют на мир, заставляя колебаться молекулы воздуха (или оказывая эквивалентное воздействие на какой-то другой носитель информации); благодаря этому они изменяют мыслительное состояние и в конечном итоге будущие действия других агентов. Следствием речевых актов некоторых типов становится передача информации получателю в расчете на то, что эта информация повлияет должным образом на принятие решений получателем. Другие типы речевых актов нацелены более непосредственно на выполнение получателем каких-то действий. Еще один класс речевых актов, ^ декларативные речевые акты, по-видимому,
оказывает более прямое воздействие на мир, как в случае произнесения слов: “Объявляю вас мужем и женой” или “Выпала тройка, и ваша игра окончена”. Безусловно, этот эффект достигается путем создания или подтверждения сложной сети мыслительных состояний среди участвующих агентов: вступление в брак и выход из игры — это состояния, обусловленные главным образом соблюдением некоторого соглашения, а не “физическими” свойствами мира.
Задача общающегося агента состоит в принятии решения в отношении того, когда потребуется речевой акт того или иного рода и какой речевой акт из всех возможных актов будет правильным. Проблема понимания воспринятых речевых актов в большей степени подобна другим проблемам ^ понимания, таким как понимание смысла изображений или диагностирование заболеваний. Нам предъявляется множество неоднозначных входных сигналов, а исходя из него мы должны восстановить картину событий, чтобы определить, какое состояние мира могло привести к созданию этих входных данных. Но поскольку речь — это запланированное действие, то ее понимание связано также с распознаванием плана.
Основные понятия языка
^ Формальный язык определяется как (возможно бесконечное) множество строк. Каждая строка представляет собой конкатенацию ^ терминальных символов, иногда называемых словами. Например, в языке логики первого порядка терминальные символы включают л и Р, типичной строкой является “Р л Q”, а строка “Р Q л” не считается элементом этого языка. Формальные языки, такие как логика первого порядка и Java, имеют строгие математические определения. В этом они отличаются от ^ естественных языков, таких как китайский, датский и английский, которые не имеют строгого определения, но совместно используются сообществом говорящих на них людей. Но в этой главе будет предпринята попытка трактовать естественные языки так, как если бы они были формальными языками, хотя авторы признают, что эта попытка провести между ними аналогию не будет идеальной.
^ Грамматика — это конечное множество правил, которое определяет язык. Формальные языки всегда имеют официально утвержденную грамматику, описанную в руководствах или учебниках. Естественные языки не имеют официально утвержденной грамматики, но лингвисты стремятся раскрыть свойства языка в процессе научного исследования, а затем узаконить свои открытия в грамматике. До сих пор еще ни одному лингвисту не удалось добиться в этом полного успеха. Следует отметить, что лингвисты — это ученые, пытающиеся дать определение естественному языку в том виде, в каком он есть. Но некоторые специалисты берут также на себя роль распространителей норм грамматики и пытаются диктовать, каким должен быть язык. Они создают правила, подобные тому, что “нельзя применять инфинитив с отделенной частицей” (split infinitive), а эти правила иногда публикуются в руководствах по языковому стилю, но оказывают очень малое влияние на то, как фактически используется язык.
И в формальных, и в естественных языках с каждой допустимой строкой связан смысл, или семантика. Например, в языке арифметики может быть предусмотрено правило, указывающее, что если “X” и “У” — выражения, то “Х+У” — также выражение, а его семантикой является сумма X и У. В естественных языках важно также понимать ^ прагматику строки — фактический смысл строки, как речи, высказан-
ной в данной конкретной ситуации. Смысл заложен не только в самих словах, но и в интерпретации этих слов в сложившихся обстоятельствах.
Большинство формальных систем представления грамматических правил основано на идее ^ структуры словосочетаний, согласно которой строки состоят из подстрок, называемых словосочетаниями, которые относятся к различным категориям. Например, словосочетания “the wumpus”, “the king” и “the agent in the corner” представляют собой примеры категории ^ именного словосочетания, или сокращенно NP (Noun Phrase). Есть две причины, по которым целесообразно классифицировать словосочетания именно таким образом. Во-первых, словосочетания обычно соответствуют естественным семантическим элементам, из которых можно конструировать смысл фрагмента; например, именные словосочетания указывают на объекты в рассматриваемом мире. Во-вторых, классификация словосочетаний позволяет описывать строки, допустимые в данном языке. В частности, можно утверждать, что любое из именных словосочетаний может комбинироваться с ^ глагольным словосочетанием (или сокращенно VP — Verb Phrase), таким как “is dead” (мертв), для формирования словосочетания, относящегося к категории ^предложения (или сокращенно S — Sentence). Без таких вспомогательных понятий, как именное словосочетание и глагольное словосочетание, было бы трудно объяснить, почему строка, состоящая из слов “the wumpus is dead”, представляет собой предложение, a “wumpus the dead is” — нет.
Такие имена категорий, как NP, VP и S, называются ^ нетерминальными символами. В формальных грамматиках нетерминальные символы определяются с использованием правил подстановки. Авторы приняли в качестве системы обозначений для правил подстановки форму Бэкуса-Наура (Backus-Naur Form — BNF), которая описана в приложении Б на с. 1297. В этой системе обозначений смысл приведенного ниже правила состоит в том, что конструкция S может состоять из любой конструкции NP, за которой следует любая конструкция VP;
S —> NP VP
Порождающая способность
Грамматические формальные системы можно классифицировать по их порождающей способности — по тому множеству языков, которое они позволяют представить. Ноам Хомский [251] описал четыре класса грамматических формальных систем, которые различаются только по форме правил подстановки. Эти классы можно расположить в виде иерархии, в которой каждый класс может использоваться для описания всех языков, которые могут быть описаны с помощью менее мощного класса, а также некоторых дополнительных языков. Ниже приведен список классов этой иерархии, в котором вначале приведен наиболее мощный класс.
^ Рекурсивно перечислимые грамматики имеют неограниченные правила; по обе стороны правил подстановки может находиться любое количество терминальных и нетерминальных символов, как в правиле А В -> С. Эти грамматики по своей выразительной мощи эквивалентны машинам Тьюринга.
^ Контекстно-зависимые грамматики ограничены лишь тем, что в правой части правил должно находиться по меньшей мере столько же символов, сколько и в левой части. Определение “контекстно-зависимый” связано с
тем фактом, что в правиле, подобном A S в -> А X в, указано, что вместо символа S может быть выполнена подстановка символа X в контексте предшествующего символа А и следующего символа В. Контекстнозависимые грамматики способны представлять такие языки, как а^с11 (последовательность из п копий а, за которой следует такое же количество копий Ь, а затем с).
В М контекстно-свободных грамматиках (или сокращенно ^ CFG — Context-Free Grammar) левая часть каждого правила состоит из одного нетерминального символа. Таким образом, каждое правило обеспечивает подстановку вместо нетерминального символа правой части правила в любом контексте. Грамматики CFG широко применяются для описания естественных языков и представления в виде программ грамматик формальных языков, хотя теперь широко признано, что некоторые естественные языки включают конструкции, которые не являются контекстно-свободными [1242]. Контекстно-свободные грамматики позволяют представить язык апЬп, но не а^с11.
Регулярные грамматики представляют собой наиболее ограниченный класс. Каждое правило имеет один нетерминальный символ в левой части и терминальный символ, за которым может следовать или не следовать нетерминальный символ, в правой части. Регулярные грамматики эквивалентны по своей выразительной мощи конечным автоматам. Они плохо приспособлены для определения языков программирования, поскольку не позволяют представить такие конструкции, как сбалансированные открывающие и закрывающие скобки (один из вариантов языка апкГ). Самое большее, что они позволяют представить, — это язык а*Ь\ последовательность, состоящую из любого количества символов а, за которым следует любое количество символов Ь.
Грамматики, расположенные выше в этой иерархии, имеют большую выразительную мощь, но алгоритмы для работы с ними являются менее эффективными. Вплоть до середины 1980-х годов усилия лингвистов были в основном сосредоточены на контекстно-свободных и контекстно-зависимых языках. Но в дальнейшем стали шире применяться регулярные грамматики, что было вызвано необходимостью очень быстро обрабатывать мегабайты и гигабайты текста в оперативном режиме, даже за счет менее полного анализа. Как сказал Фернандо Перейра: “Чем старше я становлюсь, тем ниже спускаюсь по иерархии Хомского”. Чтобы узнать, что он имел в виду, сравните его книгу, которая вышла в 1980 году [1208], с книгой, выпущенной в 2002 году [1069].
Составные этапы общения
Типичный эпизод общения, в котором отправитель сообщения S желает проинформировать получателя сообщения Н об истинности высказывания Рс использованием слов W, состоит из семи описанных ниже процессов.
^ Намерение. В какой-то момент времени отправитель S решает, что есть некоторое высказывание Р, которое следует сообщить получателю н. В качестве
примера предположим, что отправитель хочет дать знать получателю о том, что вампуса больше нет в живых.
^ Выработка. Отправитель составляет план преобразования высказывания Р во фрагмент речи, обеспечивающий высокую вероятность того, что получатель после восприятия этого фрагмента речи в текущей ситуации сможет восстановить логическим путем смысл высказывания Р (или чего-то близкого к нему). Предположим, что отправитель способен составить предложение из слов “The wumpus is dead”, и обозначим эти слова как W.
^ Синтез. Отправитель производит физическую реализацию W’ слов W. Это может выражаться в нанесении чернил на бумагу, создании колебаний воздуха или воздействии на какой-то другой носитель информации. На рис. 22.1 показано, что агент синтезирует строку звуков W', записанную в фонетическом алфавите, который определен на с. 1: ^thaxwahmpaxsihzdehdV’. Слова сливаются друг с другом; это типично для быстро произносимой речи.
Рис. 22.1. Семь процессов, связанных с общением, которые показаны на примере предложения “The wumpus is dead” (Бампус мертв)
^ Восприятие. Получатель н воспринимает физическую реализацию W* как W21 и расшифровывает ее в виде слов ^2. Если носитель информации предназначен для передачи звуковой речи, такой этап восприятия называется распознаванием речи, а если носитель информации обеспечивает создание двухмерных отображений знаков, такой этап называется оптическим распознаванием символов. Оба эти способа распознавания в 1990-х годах перешли из
области действий, непостижимых по своей сложности, в сферу повседневного использования, в основном благодаря повышению вычислительной мощи настольных компьютеров.
^ Анализ. Получатель н приходит к логическому выводу, что слова w2 имеют возможные толкования Plz..., рп. Авторы подразделяют анализ на три основные части: синтаксическая интерпретация (или синтаксический анализ), семантическая интерпретация и прагматическая интерпретация. ^ Синтаксический анализ — это процесс построения ^ дерева синтаксического анализа для входной строки (см. рис. 22.1). Внутренние узлы дерева синтаксического анализа представляют словосочетания, а листовые узлы — слова. ^ Семантическая интерпретация — это процесс извлечения смысла фрагмента речи как выражения в некотором языке представления. На рис. 22.1 показаны две возможные семантические интерпретации: то, что вампуса нет в живых, и то, что он полностью обессилел (в английском языке слово “dead” может иметь в разговорной речи и этот смысл). Фрагменты речи с несколькими возможными интерпретациями называются неоднозначными. В ^ прагматической интерпретации учитывается тот факт, что одни и те же слова могут иметь разный смысл в разных ситуациях. Синтаксическая интерпретация может рассматриваться как функция от одного параметра (строки), а прагматическая интерпретация — как функция от фрагмента речи и контекста, или ситуации, в которой эта строка была сформирована. В этом примере прагматическая интерпретация сводится к выполнению двух действий: замене константы Now константой S3, которая обозначает текущую ситуацию, и замене константы Wumpus константой Wumpusls которая обозначает того единственного вампуса, который, как известно, находится в этой пещере. Вообще говоря, прагматическая интерпретация способна внести гораздо больший вклад в окончательное толкование фрагмента речи; представьте себе, как изменяется смысл фразы “Pm looking at the diamond”, когда ее произносит ювелир (“Я разглядываю бриллиант”) или игрок в бейсбол (“Я смотрю на площадку для игры в бейсбол”). В разделе 22.7 будет показано, что прагматическая интерпретация позволяет толковать словосочетание “It is dead” как означающее, что вампус мертв, если мы находимся в той ситуации, в которой существование вампуса для нас многое значит.
^ Устранение неоднозначности. Получатель н приходит к выводу, что отправитель S намеревался донести до него смысл высказывания Pi (где в идеале Pi=P). Большинство отправителей сообщений не намерены придавать неоднозначный смысл своим речам, но большинство фрагментов речи имеет несколько допустимых интерпретаций. Тем не менее общение возможно благодаря тому, что получатель берет на себя труд по выяснению того, каковой именно является интерпретация, которую отправитель по всей вероятности хотел до него донести. Обратите внимание на то, что здесь впервые в этой главе авторы употребили слово вероятность, поскольку устранение неоднозначности — это основной процесс в общении, в котором интенсивно используется формирование рассуждений в условиях неопределенности. В результате анализа вырабатываются возможные интерпретации; если будет обнаружено больше одной интерпретации, то на этапе устранения неоднозначности должен быть сделан выбор тс "hy. которая является наилучшей.
^ Усвоение. Получатель н решает, что нужно поверить (или не поверить) в истинность высказывания Pi. Совершенно наивный агент может верить всему, что он слышит, но более развитый агент трактует речевой акт как свидетельство в пользу истинности высказывания Pi, а не как ее подтверждение.
Совмещение всех этих этапов позволяет создать программу агента, приведенную в листинге 22.1. В данном случае агент действует как ведомый робот, которым может командовать ведущий агент. При каждом акте общения ведомый отвечает на вопрос или выполняет команду, если ведущий выдал эту команду, а также принимает на веру все утверждения, высказанные ведущим. Кроме того, он комментирует (однократно) текущую ситуацию, если не имеет никаких срочных дел, которые должен был бы сделать, а также планирует свои собственные действия, если его оставляют в покое. Типичный диалог между ведущим и ведомым приведен в табл. 22.1.
Таблица 22.1. Типичный диалог между ведущим и ведомым
Ведомый роботВедущий агент
I feel a breeze. (Я чувствую ветерок.)Go to [1,2]. (Отправляйся в квадрат [1,2].)
Nothing is here. (Здесь ничего нет.)Go north. (Иди на север.)
I feel a breeze and I smell a stench and I see a Grab the gold. (Хватай золото.) glitter. (Я чувствую ветерок, и я ощущаю неприятный запах, и я вижу блеск.)
Листинг 22.1. Общающийся агент, который принимает команды, вопросы и утверждения. Этот агент способен также описывать текущее состояние или выполнять “обычные” действия, не связанные с речевым актом, если в данных обстоятельствах не о чем говорить
function Naive-Communicating-Agent (percept) returns действие action static: KB, база знаний
state, текущее состояние среды
action, последнее по времени действие, первоначально пустое
state <— Update-State(state, action, percept)
words <— Speech-Part (percept)
semantics <— Disambiguate (Pragmatics (Semantics (Parse (words) )) ) if words = None и действием action не является Say
then /* Описать состояние */
return Say(Generate-Description(state))
else if Type[semantics] = Command then /* Подчиниться команде */ return Contents[semantics]
else if Type[semantics] = Question then /* Ответить на вопрос */ answer <— Ask(KB, semantics) return Say(Generate-Description(answer))
else if Type[semantics] = Statement
then /* Принять на веру утверждение */
Tell(КВ, Contents[semantics])
/* Если программа дошла до этой точки, выполнить "обычное" действие */
return First(Planner(КВ, state))
Формальная грамматикадля подмножества АНГЛИЙСКОГО ЯЗЫКА
В данном разделе будет определена формальная грамматика для небольшого подмножества английского языка, которая пригодна для составления утверждений о мире вампуса. Мы будем называть этот язык £0. В следующих разделах £0 будет усовершенствован с той целью, чтобы он стал немного ближе к настоящему английскому языку. Авторы едва ли когда-либо предложат полную грамматику для английского языка, даже только по той причине, что вряд ли найдутся два человека, полностью согласные в том, каким должен быть настоящий английский язык.
Словарь языка 50
Вначале определим ^ словарь, или список допустимых слов. Эти слова группируются по категориям или частям речи, которые знакомы всем пользователям толковых словарей: существительные, местоимения и имена собственные обозначают предметы, глаголы обозначают события, прилагательные модифицируют существительные, а наречия модифицируют глаголы. Категориями, которые, возможно, менее знакомы некоторым читателям, являются артикли (такие как “the”), предлоги (например, “in”) и союзы (наподобие “and”). В листинге 22.2 приведен небольшой словарь.
Листинг 22.2. Словарь языка £0
Noun —» stench | breeze | glitter | nothing | agent | wumpus | pit | pits | gold | east | ...
Verb —>is | see | smell | shoot |feel |stinks
| go | grab | carry | kill| turn| ...
Adjective -»right | left | east | dead| back| smelly|
Adverb —» here | there | nearby | ahead
| right | left | east | south | back | ...
Pronoun —» me | you | I | it | ...
Name —» John | Mary | Boston | Aristotle | ...
Article —» the | a | an | ...
Preposition —> to | in | on | near | ...
Conjunction —» and | or | but | ...
Digit -»0|l|2|3|4|5|6|7|8|9
Почти каждая из категорий оканчивается многоточием (...) для указания на то, что в этой категории есть и другие слова. Но следует отметить, что слова показаны не все по двум различным причинам. Что касается существительных, глаголов, прилагательных и наречий, то перечислить их полностью невозможно в принципе. Дело в том, что не только существуют десятки тысяч элементов каждого класса, но и постоянно добавляются все новые и новые, например, такие, как “MP3” или “anime”. Эти четыре категории называются ^ открытыми классами. Другие категории (местоимения, артикли, предлоги и союзы) называются ^ закрытыми классами. Они включают небольшое количество слов (от нескольких слов до нескольких десятков слов), которые можно
в принципе перечислить полностью. Состав закрытых классов изменяется на протяжении столетий, а не месяцев. Например, местоимения “thee” и “thou” широко использовались в английском языке в XVII веке, затем в XIX веке их частота пошла на убыль, а в наши дни они встречаются только в поэзии и в некоторых диалектах.
Грамматика языка 50
На следующем этапе необходимо обеспечить объединение слов в словосочетания. Мы будем использовать пять нетерминальных символов для определения словосочетаний различных типов: предложение (Sentence— S), именное словосочетание (Noun Phrase — №), глагольное словосочетание (Verb Phrase — VP), предложное словосочетание (Prepositional Phrase— РР) и относительное предложение (Relative Clause — Pel Clause). Грамматика языка £0 приведена в листинге 22.3, где для каждого правила подстановки показан пример. Грамматика £0 вырабатывает допустимые английские предложения, например, такие, как показаны ниже.
John is in the pit
The wumpus that stinks is in [2,2]
Mary is in Boston and John stinks
Листинг 22.3. Грамматика языка £0 с примерами словосочетаний, иллюстрирующих каждое правило
S -> NP VP
I + feel a breeze
| S Conjunction S
I feel a breeze + and +
I smell a wumpus
NP —» Pronoun
I
| Name
John
| Noun
pits
| Article Noun
the + wumpus
| Digit Digit
3 4
| NP PP
the wumpus + to the east
| NP RelClause
the wumpus + that is smelly
VP -» Verb
stinks
| VP NP
feel + a breeze
| VP Adjective
is + smelly
| VP PP
turn + to the east
| VP Adverb
go + ahead
PP —» Preposition NP
to + the east
RelClause —» that VP
that + is smelly
К сожалению, эта грамматика не только производит приемлемые предложения, но и допускает ^ перепроизводство, т.е. производит предложения, которые не являются грамотными, такие как “Me go Boston” и “I smell pit gold wumpus nothing east”. Кроме того, эта грамматика допускает ^ недопроизводство — она отвергает многие
правильные английские предложения, такие как “I think the wumpus is smelly”. (Еще одним недостатком этой грамматики является то, что она не обеспечивает запись первого слова предложения с прописной буквы или добавление точки в конце. Это связано с тем, что данная грамматика предназначена в основном для устной, а не письменной речи.)
Синтаксический анализ (синтаксический разбор)
Выше в этой главе уже было дано определение синтаксического анализа как процесса поиска дерева синтаксического анализа для данной конкретной входной строки. Это означает, что вызов функции синтаксического анализа Parse, такой как
Parse("the wumpus is dead", 5o, S)
должен привести к получению дерева синтаксического анализа с корнем S, листьями которого являются слова “the wumpus is dead”, а внутренними узлами — нетерминальные символы грамматики £0- Такое дерево показано на рис. 22.1. В виде линейного текста это дерево может быть записано следующим образом:
[S: [NP: [Article: the] [Noun: wumpus]]
[VP: [Verb: is][Adjective: dead]]]
t^* Синтаксический анализ может рассматриваться как процесс поиска дерева синтаксического анализа. Существуют два крайне противоположных способа задания соответствующего пространства поиска (а также множество промежуточных вариантов таких способов). Во-первых, можно начать с символа S и искать дерево, листьями которого являются соответствующие слова. Такой способ называется ^ нисходящим синтаксическим анализом (поскольку символ S изображается в верхней части рисунка, на котором показано дерево, повернутое корнем вверх). Во-вторых, можно начать со слов и выполнять поиск дерева с корнем S. Такой метод называется ^ восходящим синтаксическим анализом. Нисходящий синтаксический анализ может быть точно определен как задача поиска в соответствии с приведенным ниже описанием.
Начальное состояние представляет собой дерево синтаксического анализа, состоящее из корня S и неизвестных дочерних узлов: [S: ?]. Вообще говоря, каждое состояние в пространстве поиска также представляет собой дерево синтаксического анализа.
Функция определения преемника выбирает в дереве самый левый узел с неизвестными дочерними узлами. Затем в грамматике осуществляется поиск правил, которые имеют корневую метку узла, находящегося в левой части. Для каждого такого правила создается состояние-преемник, в котором символ ? заменяется списком, соответствующим правой части правила. Например, в грамматике £0 имеются два правила для S, поэтому дерево [S: ?] должно быть заменено следующими двумя преемниками:
[S: [S: ?] VConjunction: ?][S: ?]]
[S: VNP: ?] [ VP: ?] ]
Второй из этих преемников имеет семь преемников, по одному для каждого правила подстановки NP.
В проверке цели проверяется, какие листья дерева синтаксического анализа точно соответствуют входной строке, без неизвестных и неохваченных входных данных.
Одна существенная проблема при нисходящем синтаксическом анализе возникает, когда приходится сталкиваться с так называемыми леворекурсивными правилами, т.е. правилами в форме х-^х.... При поиске в глубину применение такого правила может привести к тому, что замена X на [ X: X... ] будет осуществляться в бесконечном цикле. А при поиске в ширину можно будет успешно найти варианты синтаксического анализа для допустимых предложений, но при наличии недопустимого предложения может возникнуть такая ситуация, что программа не сможет выйти из бесконечного пространства поиска.
Ниже приведено описание восходящего синтаксического анализа как задачи поиска.
Начальным состоянием является список слов во входной строке, где каждое из слов рассматривается как дерево синтаксического анализа только с одним листовым узлом, например [the,wumpus, is,dead]. Вообще говоря, каждое состояние в пространстве поиска представляет собой список деревьев синтаксического анализа.
С помощью функции определения преемника выполняется поиск в каждой позиции i списка деревьев и в каждой правой части правила грамматики. Если подпоследовательность списка деревьев, начинающаяся с i, согласуется с правой частью, то эта подпоследовательность заменяется новым деревом, категорией которого является левая часть правила, а дочерними узлами — эта подпоследовательность. Под “согласованием” подразумевается, что категория узла является такой же, как и элемент в правой части. Например, правило Art idе—>the согласуется с подпоследовательностью, состоящей из первого узла в списке [the,wumpus, is, dead], поэтому состоянием-преемником становится [ lArtide: the] , wvmrpus, is, dead].
В проверке цели проверяется наличие состояния, представляющего собой единственное дерево с корнем S.
Пример восходящего синтаксического анализа приведен в табл. 22.2.
И нисходящий, и восходящий синтаксический анализ может оказаться неэффективным из-за того, что отдельные этапы синтаксического анализа различных сочетаний могут комбинироваться самыми разными способами. И в той и в другой процедуре могут возникать непроизводительные затраты времени, связанные с поиском в тех частях пространства состояний, которые не позволяют получить требуемый результат. При нисходящем синтаксическом анализе иногда создаются промежуточные узлы, которые так и не удастся связать со словами, а при восходящем синтаксическом анализе создаются частичные фрагменты синтаксического анализа слов, которые невозможно преобразовать в корневой узел S.
Таблица 22.2. Трассировка восходящего синтаксического анализа строки “The wumpus is dead”. Работа начинается со списка узлов, состоящего из отдельных слов. После этого происходит замена подпоследовательностей, соответствующих правой части правила, новым узлом, корнем которого является левая часть правила. Например, в третьей строке показано, как узлы Article и Noun заменяются узлом NP, для которого эти два узла являются дочерними. Нисходящий синтаксический анализ приводит к выработке аналогичной трассировки, но в противоположном направлении
Этап
Список узлов
Подпоследовательность
Правило
Init
the wumpus is dead
the
Article —> the
2
Articlewumpus is dead
wumpus
Noun —> wumpus
3
Article Noun is dead
Article Noun
NP —> Article Noun
4
NP is dead
is
Verb-^ is
5
NP Verb dead
dead
Adjective —» dead
6
NP Verb Adjective
Verb
VP-^ Verb
7
NP VP Adj ective
VP Adjective
VP—» VP Adjective
8
NPVP
NPVP
S—»NPVP
Goal
S
Но даже если бы существовала идеальная эвристическая функция, позволяющая осуществлять поиск без ненужных отступлений, эти алгоритмы все равно были бы неэффективными, поскольку для некоторых предложений количество деревьев синтаксического анализа измеряется экспоненциальной зависимостью. В следующем подразделе показано, как найти выход из этой ситуации.
Эффективный синтаксический анализ
Рассмотрим два приведенных ниже предложения.
Have the students in section 2 of Computer Science 101 take the exam. Have the students in section 2 of Computer Science 101 taken the exam?
Даже несмотря на то, что первые 10 слов в этих предложениях совпадают, они имеют очень сильно отличающиеся друг от друга деревья синтаксического анализа, поскольку первое из них представляет собой команду, а второе — вопрос. При использовании алгоритма синтаксического анализа, действующего слева направо, пришлось бы принять предположение о том, является ли первое слово частью предложения, представляющего собой команду или вопрос, но нельзя было бы подтвердить правильность этого предположения по меньшей мере до обработки одиннадцатого слова, “take” или “taken”. Если предположение, принятое в этом алгоритме, оказывается неправильным, то приходится осуществлять полный возврат вплоть до первого слова. Такого рода возврат является неизбежным, но для повышения эффективности алгоритма синтаксического анализа следует предотвратить повторный анализ словосочетания “the students in section 2 of Computer Science 101” как NP после каждого возврата.
В этом разделе будет разработан алгоритм синтаксического анализа, в котором исключен указанный источник неэффективности. В его основе лежит идея, представляющая собой пример динамического программирования — ^ после проведения анализа каждой подстроки сохранять результаты, чтобы не нужно было проводить ее
повторный анализ в дальнейшем. Например, обнаружив, что словосочетание “the students in section 2 of Computer Science 101” относится к типу №, можно зарегистрировать этот результат в структуре данных, известной под названием ^ диаграммы. Алгоритмы, поддерживающие эти функции, называются диаграммными синтаксическими анализаторами. Поскольку в данном случае мы имеем дело с контекстносвободными грамматиками, то любое словосочетание, обнаруженное в контексте одной ветви пространства поиска, вполне может применяться и в любой другой ветви пространства поиска.
Диаграмма для последовательности из п строк включает в себя п+1 ^ вершину и целый ряд ^ ребер, которые соединяют вершины. На рис. 22.2 показана диаграмма с шестью вершинами (обозначенными кружками) и тремя ребрами (обозначенными линиями). Например, ребро со следующей меткой:
[О, 5, S -» NP VP •]
означает, что словосочетание NP, за которым следует VP, объединяются, составляя узел S, который охватывает строку от вершины 0 до вершины 5. Символ • в обозначении ребра отделяет то, что было найдено до тех пор, от того, что осталось найти. Ребра с символами • в конце называются полными ребрами. Например, следующее ребро:
[О, 2, S -» NP • VP]
указывает, что словосочетание NP охватывает строку от вершины 0 до вершины 2 (первые два слова) и что если бы мы смогли найти словосочетание VP, чтобы продолжить это ребро, то получили бы словосочетание S. Ребра, подобные этому, в которых точка не достигла конца, называются неполными ребрами, и принято говорить, что для этого ребра требуется найти словосочетание VP.
[G,5S-+NPVP*]
Рис. 22.2. Часть диаграммы, соответствующей предложению “The agent feels a breeze ” (Агент чувствует ветерок). Показаны все шесть вершин, но только три из тех ребер, которые требуются для полного синтаксического анализа
Алгоритм диаграммного синтаксического анализатора показан в листинге 22.4. Его основная идея такова, что в нем объединяются лучшие свойства нисходящего и восходящего синтаксического анализа. Процедура Predictor выполняет нисходящий анализ; она создает записи в диаграмме, которые указывают, какие символы желательно найти и в каких местах. Процедура Scanner — это процедура восходящего анализа, которая начинает работу со слов, но использует любое слово только для продления существующей записи в диаграмме. По аналогии с ней процедура
Extender формирует составляющие дерева синтаксического анализа в направлении снизу вверх, но только для продления существующей записи в диаграмме.
Листинг 22.4. Алгоритм диаграммного синтаксического анализатора, где S — начальный символ, S' — новый нетерминальный символ, a chart [ j] — список ребер, которые оканчивается в вершине j. Словосочетания, обозначенные греческими буквами, согласуются с некоторой строкой, имеющей длину от нуля и больше символов
function Chart-Parse(words, grammar) returns диаграмма chart
chart <— массив [0...Length (words) ] пустых списков
Add-Edge([0,0,S' -» • S] )
for i <- from 0 to Length(words) do
Scanner(I, words[i] ) return chart
procedure Add-Edge(edge)
/* Добавить ребро к диаграмме и проверить, позволяет ли оно продлить или предсказать другое ребро */
if ребро edge не находится в диаграмме chart[End(edge) ] then добавить ребро edge к диаграмме chart[End(edge)] if ребро edge не содержит ничего после точки
then Extender(edge) else Predictor(edge)
procedure Scanner(j, word)
/★ Для каждого ребра, ожидающего в данный момент появления слова заданной категории, выполнить продление этого ребра */
for each [i, j, A —> a • В 0] in chart [j] do if слово word относится к категории В then
Add-Edge ([ i, j+1, A —> a В • 0] )
procedure Predictor([i,j,A -» a • В 0] )
/* Добавить к диаграмме любые правила для В, которые могут помочь продлить это ребро */
for each (В —> у) in Rewri tes-For (В, grammar) do
Add-Edge([j,j,В -> • у])
procedure Extender(Vj.к,В —> у •])
/* Проверить, какие ребра могут быть продлены с помощью этого ребра */
ев <— ребро, которое является входным для этой процедуры
for each [i,j,A -> а • В' 0] in chart IjA do
if В = В' then
Add-Edge([i,к,A —> a eB • 0])
Для запуска всего алгоритма воспользуемся таким приемом: добавим к диаграмме ребро [0,0, S' —> • В], где S— начальный символ грамматики, aS' — новый символ, который был только что предложен. Вызов процедуры Add-Edge вынуждает процедуру Predictor ввести ребра, соответствующие правилам, применение которых может привести к получению В, т.е. [В —» NP VP]. Затем осуществляется
поиск первой составляющей этого правила, NP, и добавление правил, соответствующих каждому способу получения какого-то подходящего словосочетания NP. В конечном итоге процедура предсказателя Predictor добавляет в режиме нисходящего синтаксического анализа все возможные ребра, которые могут использоваться в процессе создания окончательного словосочетания S.
После завершения работы предсказателя применительно к словосочетанию S' алгоритм входит в цикл, в котором вызывается процедура Scanner для каждого слова в предложении. Если слово, находящееся в позиции j, является членом такой категории В, которая отыскивается для некоторого ребра в позиции j, то данное ребро продлевается, а слово отмечается как экземпляр категории в. Обратите внимание на то, что каждый вызов процедуры Scanner приводит к рекурсивному вызову процедур Predictor и Extender, в результате чего происходит чередование нисходящей и восходящей обработки.
Другой компонент восходящей обработки, процедура Extender, принимает на входе некоторое полное ребро с левой частью в и использует его для продления любого неполного правила в диаграмме, которая оканчивается там, где начинается полное ребро, если для этого неполного правила требуется категория в.
На рис. 22.3 и в табл. 22.3 показаны диаграмма и трассировка процесса синтаксического анализа с помощью этого алгоритма предложения “I feel it” (которое является положительным ответом на вопрос “Do you feel a breeze?” — “Вы чувствуете ветерок?”). В этой диаграмме зарегистрированы тринадцать ребер (обозначенных метками от а до т), включая пять полных ребер (показанных над вершинами диаграммы) и восемь неполных ребер (показанных под вершинами). Обратите внимание на то, как действуют в цикле процедуры предсказания Predictor, сканирования Scanner и продления Extender. Например, в процедуре предсказания используется тот факт, что для ребра а должен быть выполнен поиск словосочетания S, чтобы можно было разрешить сделать предсказание о том, что должно появиться словосочетание NP (ребро Ь), а затем словосочетание Pronoun (ребро с). После этого процедура сканирования распознает, что в нужном месте находится словосочетание Pronoun (ребро d), а процедура продления объединяет неполное ребро Ь с полным ребром сЗдля получения нового ребра, е.
c.NP/Pronoun
Рис. 22.3. Диаграмма синтаксического анализа предложения “о I 1 feel 2 it з’\ Запись m:S означает, что ребро т имеет словосочетание S в левой части правила, а запись f г VP/Verb означает, что ребро f имеет словосочетание VP в левой части, но для него требуется также выполнить поиск словосочетания Verb. В этой диаграмме имеется пять полных ребер, показанных над вершинами, и восемь неполных ребер, показанных под вершинами
Таблица 22.3. Трассировка процесса синтаксического анализа предложения “0 I х feel 2 it 3”. Для каждого ребра от а до я показано, какая процедура используется для вывода этого ребра из других ребер, уже имеющихся в диаграмме. Некоторые ребра были исключены в целях сокращения объема таблицы
Ребро
Процедура
Этап вывода
а
Initializer
([0,0, S*^.5])
b
Predictor(ti)
([0,0, 54*NP ГР])
с
Predictor(Z>)
([0,0, NP-^ • Pronoun])
d
Scanner(c)
([0,1, NP-y Pronoun •])
е
Extender^,df)
([0,1, S —> NP • VP])
f
Predictor(e)
([1,1, VP-^* Verb])
g
Predictor(e)
([1,1, VP->*VPNP])
h
Scanner(/)
([1,2, VP-> Verb*])
i
Extender^,/?)
([1,2, VP-> VP*NP])
j
Predictor(g)
([2,2, NP-^» • Pronoun])
k
Scanner(/)
([2,3, NP -^ Pronoun •])
1
Extender(/,A:)
([1,3, VP-^ VPNP*])
m
Extender(e,/)
ДОЗ, S—> NP VP •])
Этот алгоритм диаграммного синтаксического анализатора позволяет предотвратить формирование большого класса ребер, которые пришлось бы исследовать при использовании простой восходящей процедуры. Рассмотрим предложение: “The ride the horse gave was wild” (Скачка, на которую пустилась эта лошадь, была дикой). Процедура восходящего синтаксического анализа отметила бы словосочетание “ride the horse” (скакать на лошади) как VP, а затем отбросила бы все дерево синтаксического анализа, обнаружив, что такой вариант анализа не складывается в общее словосочетание S. Но в языке £0 не разрешается, чтобы словосочетание VP следовало за словом “the”, поэтому данный алгоритм диаграммного синтаксического анализатора никогда не предсказал бы наличие в этой точке словосочетания VP и поэтому избежал бы напрасного расходования времени на формирование здесь составляющей VP. Алгоритмы, которые действуют слева направо и предотвращают формирование таких невозможных составляющих, называются синтаксическими анализаторами по ^ левому углу, поскольку они формируют дерево синтаксического анализа, начинающееся с начального символа грамматики и продолжающееся вниз к самому левому слову предложения (к левому углу). Ребро добавляется к диаграмме, только если оно может послужить для продления этого дерева синтаксического анализа (соответствующий пример приведен на рис. 22.4).
Рис. 22.4. Алгоритм синтаксического анализа по левому углу позволяет предотвратить предсказание словосочетания VP, начинающегося со слова “ride”, но предсказывает словосочетание VP, начинающееся со слова “was”, поскольку в данной грамматике допускается наличие словосочетания VP, которое следует за NP. Треугольник, показанный над словами “the horse gave” (на которую пустилась эта лошадь), означает, что для этих слов был сделан синтаксический анализ, который показал, что они представляют собой относительное предложение RelClause, но дополнительные промежуточные составляющие этого синтаксического анализа не показаны
Этот диаграммный синтаксический анализатор характеризуется только полиномиальными затратами времени и пространства. Он требует O(kn2) пространства для хранения ребер, где п — количество слов в предложении, а к — константа, которая зависит от грамматики. Если алгоритм не может продолжать дальнейшее формирование ребер, он останавливается, поэтому известно, что работа данного алгоритма всегда завершается (даже при наличии леворекурсивных правил). В действительно-
сти он требует времени О (п3) даже в наихудшем случае, а это — самые лучшие показатели, которые могут быть достигнуты при использовании контекстно-свободных грамматик. Узким местом алгоритма Chart-Parse является процедура Extender, которая должна предпринять попытку продления каждого из О(п) неполных ребер, оканчивающихся в позиции j, с помощью каждого из О(п) полных ребер, начинающихся с позиции j, для каждого из п+1 различных значений j. Перемножая эти числа, получаем значение О(п3). Полученные результаты довольно парадоксальны — как может алгоритм с затратами времени О(п3) возвратить ответ, в котором может содержаться экспоненциальное количество деревьев синтаксического анализа? Рассмотрим один пример; следующее предложение:
Fall leaves fall and spring leaves spring
является неоднозначным, поскольку в нем каждое слово (кроме “and”) может быть либо существительным, либо глаголом, a “fall” и “spring” могут быть также прилагательными. В целом этому предложению могут соответствовать четыре приведенных ниже варианта синтаксического анализа.
[S: [S: VNP: Fall leaves] fall] [S: [S: VNP: Fall leaves] fall] [S: [S: Fall [VP: leaves fall]] [S: [S: Fall [VP: leaves fall]][S: [S: VNP: Fall leaves] fall] [S: [S: VNP: Fall leaves] fall] [S: [S: Fall [VP: leaves fall]] [S: [S: Fall [VP: leaves fall]]and [S: VNP: spring leaves] spring] and [S: spring [VP: leaves spring]] and [S: VNP: spring leaves] spring] and [S: spring [VP: leaves spring]]and [S: VNP: spring leaves] spring] and [S: spring [VP: leaves spring]] and [S: VNP: spring leaves] spring] and [S: spring [VP: leaves spring]]
[S: [S: VNP: Fall leaves] fall] [S: [S: VNP: Fall leaves] fall] [S: [S: Fall [VP: leaves fall]] [S: [S: Fall [VP: leaves fall]]
[S: [S: VNP: Fall leaves] fall] [S: [S: VNP: Fall leaves] fall] [S: [S: Fall [VP: leaves fall]] [S: [S: Fall [VP: leaves fall]]
and [S: VNP: spring leaves] spring] and [S: spring [VP: leaves spring]] and [S: VNP: spring leaves] spring] and [S: spring [VP: leaves spring]]
and [S: VNP: spring leaves] spring] and [S: spring [VP: leaves spring]] and [S: VNP: spring leaves] spring] and [S: spring [VP: leaves spring]]
Если имеется n неоднозначных сочетающихся друг с другом фрагментов предложения, то может быть предусмотрено 2П способа выбора вариантов синтаксического анализа для этих фрагментов предложения. Как избежать экспоненциального роста затрат времени на обработку при использовании данного алгоритма диаграммного синтаксического анализатора? По сути на этот вопрос можно дать два ответа. Первый ответ состоит в том, что сам алгоритм Chart-Parse фактически представляет собой не синтаксический анализатор, а распознаватель. Если в диаграмме имеется полное ребро в форме [ 0, n, S -> а • ], это означает, что какое-то словосочетание S распознано. Восстановление дерева синтаксического анализа из информации, заданной в этом ребре, не рассматривается как часть функций алгоритма ChartParse, но может быть выполнено с его помощью. Обратите внимание на то, что в последней операции процедуры Extender строка а формируется как список ребер ев, а не просто как список имен категорий. Поэтому, чтобы преобразовать ребро в дерево синтаксического анализа, достаточно выполнить рекурсивный просмотр составляющих ребер, преобразовав каждое ребро [i,j,X -> а •] в дерево [X: а]. Такой процесс является несложным, но позволяет получить только одно дерево синтаксического анализа.
Второй ответ состоит в том, что если требуются все возможные варианты синтаксического анализа, то придется глубже разобраться в этой диаграмме. Во время преобразования ребра Vi.j.X —> а •] в дерево [X: а] можно будет проверить, есть ли какие-либо другие ребра в форме [i, j ,Х -э Р •]. Если они имеются, то эти
ребра должны сформировать дополнительные варианты синтаксического анализа. Определив все эти варианты, необходимо будет продумать вопрос, что с ними делать. Можно просто перечислить все варианты, а это означает, что указанный выше парадокс будет разрешен и потребуется экспоненциальное количество времени для составления списка всех вариантов синтаксического анализа. Еще один подход может состоять в том, чтобы еще немного продолжить эту работу и представить варианты синтаксического анализа в виде структуры, называемой ^ упакованным лесом, который выглядит примерно так:
VNP: Fall leaves] [VP: fall]
[S: [S: { №. Fall][VP: leaves fall]) ] and
VNP: spring leaves][VP: spring]
^* ( VNP: spring][VP: leaves spring]) ^
Идея этого способа представления состоит в том, что каждый узел дерева синтаксического анализа может быть либо обычным узлом дерева, либо множеством узлов дерева. Это позволяет возвратить из программы некоторое представление экспоненциального количества вариантов синтаксического анализа за счет полиномиальных затрат пространства и времени. Безусловно, если п=2, то разницы между 2П и 2п нет, но при больших значениях п такое представление обеспечивает значительную экономию. К сожалению, этот простой подход на основе упакованного леса не позволяет учесть все О(п!) вариантов неоднозначности, касающиеся того, как могут быть связаны между собой различные составляющие. Максвелл и Каплан [1002] показали, что некоторый более сложный способ представления, основанный на принципах систем поддержки истинности, позволяет упаковывать деревья еще плотнее.
Расширенные грамматики
Как было показано в разделе 22.2, простая грамматика для языка £0 производит предложение “I smell a stench” (Я чувствую неприятный запах) и много других предложений на английском языке. К сожалению, она производит также много словосочетаний, не являющихся предложениями, таких как “Me smell a stench”. Для предотвращения этой проблемы в этой грамматике нужно было бы учесть, что слово “те” не является допустимым словосочетанием NP при его использовании в качестве подлежащего некоторого предложения. Как говорят лингвисты, местоимение “I” находится в именительном падеже, а “те” — в объектном падеже. После того как учтено наличие падежа, становится очевидно, что грамматика 80 не является контекстносвободной, поскольку нельзя утверждать, что любое словосочетание NP эквивалентно любому другому независимо от контекста. Этот недостаток можно исправить, введя новые категории, такие как NPS и NPO, для обозначения именных словосочетаний в именительном и объектном падеже соответственно. Для этого также потребуется разделить категорию местоимений Pronoun на две категории — Pronouns (которая включает “I”) и Ргопоип0 (которая включает “те”). В верхней части лис-
тинга 22.5 показана полная грамматика BNF, подготовленная с учетом соглашения о падеже; мы будем называть полученный в результате язык 8г. Обратите внимание на то, что пришлось продублировать все правила NP, введя одно правило для NPS, а другое — для МР0.
Листинг 22.5. Варианты представления грамматики. В верхней части показана грамматика BNF для языка £i, в котором учитываются именительный и объектный падежи в именных словосочетаниях и поэтому не допускается такое существенное перепроизводство, как в языке 80. Части грамматики, идентичные грамматике 80, были исключены. В нижней части показана грамматика определенных выражений (Definite Clause Grammar — DCG) языка £i
S -> NPS VP | ...
NPs—>Pronouns|Name| Noun |...
NPq—>Pronouno|Name| Noun |...
VP -> VP NPo | ...
PP —> Preposition NP0
Pronouns —> I | you | he | she | it | ...
Pronoun0 —> me | you | him | her | it | ...
S —> NPк Subjective) VP | ...
NPkcase) —» Pronoun (case) | Name | Noun | ...
VP -» VP NPkObjective) | ...
PP —> Preposition NP кObjective)
Pronoun к Subjective)—» I | you | he | she | it | ...
Pronoun (Objective) —> me | you | him | her | it | ...
находиться в объектном падеже. Правило для NP принимает в качестве параметра некоторую переменную, case. Назначение этой конструкции состоит в том, что словосочетание NP может иметь любой падеж, но если вместо этого словосочетания NP подставляется местоимение Pronoun, то последнее должно иметь такой же падеж. Применение переменных, позволяющее исключить необходимость принятия решения, когда различие, определяемое переменной, не имеет значения, способствует тому, что не приходится увеличивать размер множества правил в экспоненциальной зависимости от количества рассматриваемых характеристик.
Используемая для такого дополнения формальная система называется ^ грамматикой определенных выражений, или сокращенно DCG (Definite Clause Grammar), поскольку каждое правило этой грамматики можно интерпретировать как определенное выражение в хорновской логике. Вначале мы покажем, как можно интерпретировать в качестве определенного выражения обычные, нерасширенные правила. Мы будем рассматривать каждый символ с обозначением категории как предикат, заданный на строках, поэтому выражение №(s) принимает истинное значение, если строка s образует некоторое словосочетание NP. Следующее правило CFG:
S -» NP VP
является сокращенным обозначением для следующего определенного выражения:
2VP(si) л VP(s2) => S(si+s2)
Здесь Si+s2 обозначает конкатенацию двух строк, поэтому данное правило говорит о том, что если строка sT представляет собой словосочетание NP, а строка s2 — словосочетание VP, то их конкатенация представляет собой словосочетание S; это означает, что данная интерпретация точно соответствует тому, как мы уже интерпретировали это правило CFG. Важно отметить, что ^ грамматика определенных выражений позволяет рассматривать синтаксический анализ как логический вывод. Такой подход открывает возможность рассуждать о языках и строках с помощью многих разных способов. Например, он означает, что восходящий синтаксический анализ можно осуществлять с помощью прямого логического вывода, а нисходящий синтаксический анализ — с помощью обратного логического вывода. Как будет показано ниже, это также означает, что одна и та же грамматика может использоваться и для синтаксического анализа, и для производства новых предложений.
Но самым важным преимуществом подхода на основе DCG является то, что он дает возможность дополнять символы категорий вспомогательными параметрами, отличными от обычных строковых параметров. Например, следующее правило:
NP(easel —> Pronoun(case)
является сокращенным обозначение для такого определенного выражения:
Pronoun(case, si) => NP^case, si)
Это правило гласит, что если строка Si представляет собой местоимение Pronoun с падежом, указанным переменной case, то зг также представляет собой словосочетание NP с тем же падежом. Вообще говоря, символ категории может быть
дополнен любым количеством формальных параметров, а сами формальные параметры могут заменяться фактическими параметрами, подлежащими унификации, как в обычном логическом выводе с использованием хорновских выражений.
Но за такое удобство приходится платить: в распоряжение составителя грамматики передается все мощь системы автоматического доказательства теорем, поэтому приходится отказываться от гарантированного выполнения синтаксического анализа за время О(п3); задача синтаксического анализа грамматики с расширениями может оказаться NP-трудной или даже неразрешимой, в зависимости от этих расширений.
Для того чтобы обеспечить применение грамматики DCG, необходимо воспользоваться еще несколькими приемами; например, требуется способ задания терминальных символов, кроме того, было бы удобно иметь возможность не вводить автоматический строковый параметр. Учтя все эти пожелания, авторы решили, что нужно задать грамматику определенных выражений как описано ниже.
Запись X -> Y Z ... должна быть преобразована в запись y(si) л Z(s2) л ... => Х(5!+52 + ...) .
Запись X —> Y | Z | ... должна быть преобразована в запись Y(s) v Z(s) v ... => X^s).
В том и в другом приведенном выше правиле любой нетерминальный символ У может быть дополнен одним или несколькими параметрами. Каждый параметр может представлять собой переменную, константу или функцию от некоторых параметров. После перевода в форму определенного выражения эти параметры должны предшествовать строковому параметру (например, терм NP( case) переводится в форму NP{ case, s^).
Запись (Р(...) } может появляться в правой части правила и буквально переводится в Р(...). Это позволяет составителю грамматики вставлять проверку для терма Р (...) без необходимости добавления автоматического строкового параметра.
Запись X —» word переводится как X ( [ word] ).
Проблему согласования подлежащего и глагольного сказуемого также можно решить с помощью дополнений, но мы отложим эту задачу до упр. 22.2. Вместо этого решим более сложную задачу, такую как субкатегоризация глагола.
Субкатегоризация глагола
Грамматика ^ является более совершенной по сравнению £0, но все еще допускает перепроизводство. Один из ее недостатков состоит в том, какой способ применяется для соединения глагольных словосочетаний с другими словосочетаниями. Требуется, чтобы считались приемлемыми глагольными словосочетаниями только такие группы слов, как “give me the gold” (отдай мне золото) и “go to [1,2]” (отправляйся в квадрат [1,2]). Все эти словосочетания входят в состав языка 51? но, к сожалению, порождаются также словосочетания “go me the gold” и “give to [1,2]”. Язык £2 позволяет устранить подобные словосочетания VP путем явного указания на то, какие словосочетания могут следовать за теми или иными глаголами. Список с такой информацией называется списком ^ субкатегоризации для глагола. Идея этого подхода состоит в том, что категория Verb подразделяется на субкатегории —
на ту, в которой глаголы не имеют объекта, в которой глаголы могут иметь один объект, и т.д.
Для реализации этой идеи для каждого глагола предусматривается ^ список субкатегоризации, в котором перечислены ^ дополнения глагола. Дополнением называется обязательное словосочетание, которое следует за глаголом в глагольном словосочетании. Поэтому в словосочетании “Give the gold to me” словосочетания NP “the gold” и PP “to me” являются дополнениями глагола “give”. Для записи такого списка применяется следующая форма:
Verbi [NP, PP] ) -» give | hand | ...
Допустимо, чтобы глагол имел несколько различных субкатегоризаций, точно так же, как и слово может принадлежать к нескольким разным категориям. В действительности и глагол “give” имеет список субкатегоризации [NP, NP], как в словосочетании “Give me the gold”. Такую ситуацию можно рассматривать как еще одну разновидность неоднозначности, требующей устранения. В табл. 22.4 приведены некоторые примеры глаголов и их списков субкатегоризации (или сокращенно субкатегоризаций).
Таблица 22.4. Примеры глаголов с их списками субкатегоризации
ГлаголСписок субкатегоризации
Пример глагольного словосочетания
give[NP, PP]
[NP, NP]
smell[7VP]
[Adjective]
[PP]
is[Adjective]
[PP]
[NP]
died[]
believe[5]
give the gold in 3 3 to me give me the gold smell a wumpus smell awful
smell like a wumpus
is smelly
is in 2 2
is a pit died believe the wumpus is dead
Для того чтобы включить механизм суб категоризации глагола в грамматику, необходимо выполнить три этапа. На первом этапе требуется дополнить категорию VP так, чтобы она принимала параметр субкатегоризации, VP(subcat), который обозначает список дополнений, необходимых для формирования полного словосочетания VP. Например, глагол “give” можно преобразовать в полное словосочетание VP, добавив субкатегоризацию [№, РР], словосочетание “give the gold” можно сделать полным, добавив субкатегоризацию [ РР], а словосочетание “give the gold to me” уже является полным словосочетанием VP, поэтому его список суб категоризации представляет собой пустой список, [ ]. На основании этих рассуждений можно составить следующие правила для словосочетания VP:
VP(subcat) —> Verb (subcat)
| VP(subcat + [W] ) NP( Objective) I VP(subcat + (Adjective)) Adjective | VP(subcat + [PP] ) PP
Последнюю строку этих правил можно прочитать таким образом: “Словосочетание VP с заданным списком субкатегоризации subcat можно сформировать на основе вложенного словосочетания VP, за которым следует РР, при условии, что вложенное VP имеет список субкатегоризации, который начинается с элементов списка subcat и заканчивается символом РР”. Например, выражение VP( [ ] ) формируется с помощью VP( [ РР] ), за которым следует РР. А первая строка этих правил говорит о том, что словосочетание VP со списком субкатегоризации subcat может быть сформировано с помощью категории Verb с тем же самым списком субкатегоризации. В частности, выражение VP( [№] ) можно сформировать с помощью Verb( [№] ). Одним из примеров такого глагола является “grab”, поэтому словосочетание “grab the gold” (хватай золото) обозначается как VP( [ ] ).
На втором этапе необходимо изменить правило для S так, чтобы в нем требовалось глагольное словосочетание, имеющее при себе все свои дополнения и поэтому сопровождаемое списком субкатегоризации [ ]. Это означает, что словосочетание “I grab the gold” (Я хватаю золото) представляет собой допустимое предложение, а “You give” — нет. Таким образом, вводится в действие следующее новое правило:
S —» NP(Subjective) VP([])
которое можно прочитать так: “Предложение может состоять из словосочетания NP в именительном падеже, за которым следует словосочетание VP, имеющее пустой список субкатегоризации”. На рис. 22.5 показано дерево синтаксического анализа, полученное с помощью этой грамматики.
Рис. 22.5. Дерево синтаксического анализа предложения “You give те the gold”, на примере которого показана субкатегоризация глагола и глагольного словосочетания
На третьем этапе должно быть учтено то, что глагольные словосочетания (и другие словосочетания), кроме дополнений, могут также иметь ^ приложения, или отглагольные дополнения, представляющие собой словосочетания, которые не связаны с отдельным глаголом, а, скорее, могут появляться в любом глагольном словосочетании. К приложениям относятся словосочетания, представляющие время и место, поскольку почти любое действие или событие может быть связано с определенным временем или местом. Например, приложениями являются наречие “now” в словосочетании “I smell a wumpus now” (Сейчас я чувствую запах вампуса) и предложное словосочетание РР “on Tuesday” в предложении “give me the gold on Tuesday” (Отдай мне золото во вторник). Ниже приведены два правила, которые допускают включение предложного и обстоятельственного дополнения в любое глагольное словосочетание VP.
VP(subcat) —> VP(subcat) РР
| VP (subcat) Adverb
Порождающая мощь расширенных грамматик
Каждое расширенное правило представляет собой ^ схему правила, заменяющую собой множество правил, по одному для каждой возможной комбинации значений расширенных составляющих. Порождающая способность расширенных грамматик зависит от количества таких комбинаций. Если их количество является конечным, то расширенная грамматика эквивалентна контекстно-свободной грамматике: схема правила может быть заменена отдельными контекстно-свободными правилами. Если же количество значений бесконечно, то расширенные грамматики могут представлять языки, отличные от контекстно-свободных. Например, контекстнозависимый язык а11 У с11 может быть пред ставлен следующим образом:
S(n) -» А(п) В(п) С(п)
А(1)—»аА(п+1)—>аА(п)
В(1)-»bВ(п+1)->bВ(п)
С(1)->сС(п+1)-»сС(п)
Семантическая интерпретация
До сих пор в данной главе рассматривался только синтаксический анализ языка. В этом разделе обратимся к семантике — извлечению смысла фрагментов речи. В данной главе в качестве языка представления используется логика первого порядка, поэтому семантическая интерпретация представляет собой процесс связывания с некоторым словосочетанием некоторого выражения логики первого порядка. Интуитивно ясно, что смысл словосочетания “the wumpus” — это образ большого, мохнатого животного, который может быть представлен в логике в виде логического терма Wumpus^ а смыслом словосочетания “the wumpus is dead” является логическое выражение Dead (Wumpus^ . В этом разделе такие интуитивные представления будут определены более точно. Начнем с простого примера — с правила для описания позиций в решетке:
NP —> Digit Digit
Дополним данное правило, добавив к каждой составляющей параметр, который представляет семантику этой составляющей. Будет получено следующее:
NP([x,y]) —> Digit(x) Digit(y)
Это правило гласит, что строка, состоящая из цифры с семантикой х, за которой следует еще одна цифра с семантикой у, образует словосочетание NP с семантикой [х,у], которое представляет собой применяемое нами обозначение квадрата в решетке — в мире вампуса.
Обратите внимание на то, что семантика всего словосочетания NP в основном формируется на основе семантики составляющих частей. Мы уже сталкивались с подобной идеей ^ композиционной семантики и раньше: в логике смысл выражения PaQ определяется значениями Р, Q и а, а в арифметике смысл выражения х+у определяется значениями х, у и +. В листинге 22.6 показано, как можно воспользоваться системой обозначений DCG, чтобы дополнить грамматику арифметических выражений с семантикой, а на рис. 22.6 показано дерево синтаксического анализа выражения 3+ (4-5-2) согласно этой грамматике. Корнем данного дерева синтаксического анализа является выражение Ехр (5), семантической интерпретацией которого становится 5.
Листинг 22.6. Грамматика арифметических выражений, расширенная с учетом семантики. Каждая переменная xi представляет семантику одной из составляющих. Обратите внимание на использование обозначения операции проверки {test} для определения логических предикатов, которые должны быть удовлетворены, но не являются составляющими
Sxp(x) —> Exp(xi) Operator (op) Ехр(х2) {х=Арр1у (op, Xi, х2) } Ехр(х) -> (Ехр(х)) Ехр(х) —> Number (х) Number (х) —> Digit (х)
Number (х) —> Number (Xi) Digit (Х2) {х=10 х xi+x2)
Digit (х) -»х{0<х<9}
Opera tor (х) —> х (х Е { + , -, х}}
Семантика небольшой части английского языка
Теперь мы готовы записать семантические дополнения для небольшой части английского языка. Начнем с определения того, какие семантические представления желательно связать с теми или иными словосочетаниями. Рассмотрим простой пример предложения “John loves Магу” (Джон любит Мэри). Словосочетание NP “John” должно иметь в качестве его семантической интерпретации логический терм John, а все предложение в целом должно иметь в качестве своей интерпретации логическое высказывание Loves (John, Mary). Эти определения пока не вызывают затруднений. Сложности возникают при анализе глагольного словосочетания VP “loves Магу”. Семантическая интерпретация этого словосочетания не является ни логическим термом, ни полным логическим высказыванием. Интуитивно ясно, что слова “loves Магу” представляют собой описание, которое может относиться или не относиться к конкретному лицу (в данном случае оно относится к Джону). Это означает, что словосочетание “loves Магу” представляет собой предикат, который позволяет получить полное логическое высказывание после его объединения с термом,
представляющим некоторое лицо (то лицо, которое выражает любовь). Используя A-обозначение (см. с. 351), можно представить словосочетание “loves Магу” как следующий предикат:
Ах Loves (х, Магу)
Рис. 22.6. Дерево синтаксического анализа с семантическими интерпретациями для строки “3+ (4-^-2) ”
Теперь необходимо сформулировать правило, которое означает следующее: “Словосочетание NP с семантикой obj, за которым следует словосочетание VP с семантикой rel, составляют высказывание, семантика которого является результатом применения rel к obj”:
S(rel(obj)) -» NP(obj) VP(rel)
Это правило сообщает, что семантической интерпретацией предложения “John loves Магу” является следующая:
(Ах Loves (х, Mary) ) (John)
которая эквивалентна выражению Loves (John, Mary).
Остальная часть семантики непосредственно следует из соглашений, принятых нами до сих пор. Поскольку словосочетания VP представлены как предикаты, желательно придерживаться единообразия и представить глаголы так же, как предикаты. Глагол “loves” будет представлен в виде Ху Хх Loves (х,у), т.е. в виде предиката, который после подстановки параметра Mary возвращает предикат Ах Loves (х, Mary).
В правиле VP -> Verb NP предикат, представляющий собой семантическую интерпретацию глагола, применяется к объекту, который является семантической интерпретацией словосочетания NP, для получения семантической интерпретации всего словосочетания VP. В конечном итоге будет получена грамматика, которая показана в листинге 22.7, и дерево синтаксического анализа, приведенное на рис. 22.7.
Листинг 22.7. Грамматика, которая позволяет вывести дерево синтаксического анализа и семантическую интерпретацию для предложения “John loves Магу” (и трех других предложений). Каждая категория дополняется единственным параметром, представляющим семантику
Sкгel кobj)) —> NP(obj) VPкrel)
VP кrel к obj) ) —» Verb (rel) NP ( obj)
NP к obj) —> Name (obj)
Name к John') —> John
Name к Mary) —» Mary
Verb(Xx Xy Loves kx, y) ) —> loves
JohnlovesMary
Puc. 22.7. Дерево синтаксического анализа с семантическими интерпретациями для строки “John loves Mary”
Время события и времена глаголов
Теперь предположим, что необходимо учесть различие между предложениями “John loves Магу” (Джон любит Мэри) и “John loved Магу” (Джон любил Мэри). В английском языке для обозначения относительного времени события используются времена глаголов (прошедшее, настоящее и будущее). Один из удобных вариантов состоит в применении для представления времени событий системы обозначений исчисления событий, описанной в разделе 10.3. В исчислении событий эти два предложения имеют следующие интерпретации:
е Е Loves k John, Mary) л DuringkNow, е)
е Е Loves к John, Mary) л After kNow, e)
В соответствии с таким подходом два грамматических правила для слов “loves” и “loved” должны быть такими:
VerbkXx Ху е е Loves kJohn, Mary) л During kNow, e) ) —> loves
Verb(Xx Ху e e Loveskx, у) л After kNow, e) ) —> loved
He считая этого изменения, все остальные способы представления грамматики остаются теми же самыми, и это — обнадеживающий факт; он говорит о том, что мы на правильном пути, поскольку смогли так легко справиться со сложностями, подобными временам глаголов (хотя фактически мы лишь коснулись поверхности проблемы создания полной грамматики для представления времени событий и вре-
мен глаголов). Используя этот успех в качестве стимулятора, приступим к изучению гораздо более сложной проблемы представления.
Введение кванторов
Рассмотрим предложение: “Every agent smells a wumpus” (Каждый агент чувствует запах вампуса). Это предложение фактически неоднозначно; основной его смысл состоит в том, что даже если вампусы будут встречаться разным агентам, все они сумеют почувствовать их запах, а еще один вариант смысловой трактовки этого предложения состоит в том, что существует единственный вампус, запах которого чувствует каждый агент. Эти две интерпретации могут быть представлены следующим образом:
Va а Е Agents =>
3w w Е Wumpuses л Эе е Е Smell^a, w) л During(Now, е)
Яiv w Е Wumpuses Х/а а е Agents =>
Зе е Е Smell (a, w1) л During(Now, е)
На время отложим анализ этой проблемы неоднозначности и рассмотрим только первую интерпретацию. Попытаемся проанализировать ее композиционно, подразделяя все предложение на компоненты VP и NP следующим образом:
Every agent 2VP(Va а Е Agents => Р)
smells a wumpus VP(3w w E Wumpuses л
Эе (e E Smell(a, w) л During(Now,e))
При этом сразу же возникают две сложности. Первая проблема состоит в том, что семантика всего предложения кажется определяемой семантикой словосочетания NP, притом что семантика словосочетания VP заполняет только часть Р. Это означает, что семантику всего предложения невозможно сформировать с помощью конструкции rel (obj). Но это можно сделать с помощью конструкции obj (rel), которая выглядит немного странно (по крайней мере на первый взгляд). Вторая проблема состоит в том, что необходимо получить переменную а как параметр отношения Smell. Иными словами, семантика предложения формируется путем вставки семантики словосочетания VP в правильный слот параметра словосочетания NP, и наряду с этим вставки переменной а из словосочетания NP в правильный слот параметра семантики словосочетания VP. Создается такое впечатление, что требуются две функциональные композиции, поэтому вся эта задала обещает стать довольно сложной. Но вся сложность обусловлена тем фактом, что семантическая структура этого предложения значительно отличается от синтаксической структуры.
Для предотвращения подобной путаницы во многих современных грамматиках принят другой подход. В них определена некоторая ^ промежуточная форма, которая служит в качестве посредника между синтаксисом и семантикой. Эта промежуточная форма имеет два ключевых свойства. Во-первых, она структурно аналогична синтаксису предложения и поэтому может быть легко сконструирована с помощью композиционных средств. Во-вторых, она содержит достаточно информации для того, чтобы ее можно было перевести в обычное высказывание логики первого порядка. Поскольку эта форма занимает положение между синтаксической и логиче-
ской формами, ее называют ^ квазилогической формой11. В данном разделе будет использоваться квазилогическая форма, которая включает все средства логики первого порядка и дополнена лямбда-выражениями и одной новой конструкцией, которую мы будем называть ^ квантифицированным термом. Квантифицированный терм, имеющий семантическую интерпретацию словосочетания “every agent” (каждый агент), записывается следующим образом:
[Va а Е Agents!
Эта конструкция выглядит как логическое высказывание, но используется таким же образом, как и логический терм. Интерпретация предложения “Every agent smells a wumpus” в квазилогической форме выглядит следующим образом:
Зе (е Е Smell ( [Va а Е Agents), [3w w Е Wumpuses] ) л During (Now, e) )
При создании грамматики, позволяющей производить квазилогическую форму, можно оставить неизменными многие полученные ранее правила. Правило для £все еще создает семантику предложения S со значением rel (obj). Но некоторые правила действительно изменяются; например, грамматическое правило для артикля “а” выглядит таким образом:
Article (3) —> а
а правило применения артикля в сочетании с существительным является таковым:
NP([дх sem(x)]) —> Article(q) Noun(sem)
Это правило говорит о том, что семантика именного словосочетания NP выражается термом с квантором q, где квантор обозначен артиклем, включает новую переменную х и выражается высказыванием, сформированным путем применения семантики данного имени к переменной х. Другие правила для словосочетания NP являются аналогичными. В табл. 22.5 приведены семантические типы и примеры форм для каждой синтаксической категории при использовании подхода на основе квазилогической формы. На рис. 22.8 показано дерево синтаксического анализа предложения “every agent smells a wumpus” с использованием этого подхода, а в листинге 22.8 показана полная грамматика.
Таблица 22.5. Таблица, в которой показан тип выражения в квазилогической форме для каждой синтаксической категории. Запись t —> г обозначает функцию, которая принимает параметр типа t и возвращает результат типа г. Например, семантическим типом для категории Preposition является object2 -> sentence, а это означает, что семантика предлога представляет собой функцию, которая после ее применения к двум логическим объектам позволяет получить логическое высказывание
Категория
Семантический тип
Пример
Квазилогическая форма
S
sentence
I sleep.
Зе e E Sleep(Speaker) л During(Now, e)
NP
object
a dog
[3d Dog(d)]
РР
object2 —> sentence
in [2,2]
Xx In (x, [ 2,2 ] )
RelClause
object —> sentence
that sees me Xx Зе e E Sees (x, Speaker) a
During(Now, е)
11 Некоторые квазилогические формы имеют третье свойство, с помощью которого они приобретают возможность кратко представлять неоднозначности, представимые в логической форме только с помощью длинной дизъюнкции.
Окончание табл. 22.5
Категория
Семантический тип
Пример
Квазилогическая форма
VP
object*1 —> sentence
sees me
Xx Зе e ESees(x, Speaker) a During(Now, e)
Adjective
object —» sentence
smelly
Xx Smelly(x)
Adverb
event —* sentence
today
Xe During(e, Today)
Article
quantifi er
the
3!
Conjunction
sentence2 —> sentence
and
Xp,q (p a q)
Dig! t
object
7
Noun
object —» sentence
wumpus
Xx x E Wumpuses
Preposition
object2 —> sentence
in
Xx Xy In(x, y)
Pronoun
object
I
Speaker
Verb
object** —> sentence
eats
Xy Xx Be e E Eats (x, y) a During(Now, e)
Рис. 22.8. Дерево синтаксического анализа предложения “Every agent smells а wumpus”, на котором показана и синтаксическая структура, и семантические интерпретации
Листинг 22.8. Грамматика с семантикой в квазилогической форме
S (rel (obj) ) —> ЯР (obj) VP (г el)
S(conj (semi, sem2) ) —» S(semi) Conjunct!on (conj) S(sem2)
NP(sem) —> Pronoun(sem)
NP(sem) —> Name (sem)
NP([qx sem(x)]) —> Article(q) Noun(sem)
NP([qx obj л rel(x)]) —> NP( Iqx obj]) PP(rel)
NP([qx obj a rel(x)]) —> NP( Vqx obj]) RelClause(rel)
NP{ [semi, sem2] ) —> Digit (semi) Digit (sem2)
VP (sem) —> Verb {sem)
VP{rel{obj)) -> VP(rel) NP{obj)
VP (semi (sem2) —> VP (semi) Adjecti ve (sem2) VP(semi (sem2) ) —> VP (semi) PP(sem2)
Rei Cl a use (sem) —> that VP (sem)
РР{кх{ге1 {x, obj) }) -» Preposi tion (rel) NP{obj)
Теперь необходимо преобразовать квазилогическую форму в форму логики первого порядка путем превращения термов с кванторами в настоящие термы. Такая задача может быть решена с помощью простого правила— для каждого терма Iqx Р{х) ] с квантором q в квазилогической форме (Quasi-Logical Form — QLF) этот терм с квантором заменить переменной х, а форму QLF заменить выражением qx Р{х) op QLF, где ор представляет собой операцию =>, если q— квантор V, и операцию л, если q — квантор 3 или 31. Например, предложение “Every dog has a day” (У каждой собаки бывает праздник) имеет следующую квазилогическую форму:
Зе{ (е G Has к [Vd d G Dogs] , [За a G Days] ,Now) ) }
В этой форме не указано, какой из двух термов с кванторами должен выйти на передний план, поэтому фактически имеются две возможные логические интерпретации:
Vd d G Dogs => За a G Days л 3e{e G Has {d, a, Now) }
3a a G Days л Vd d G Dogs => 3e{e G Has (d, a, Now) }
Первая интерпретация говорит о том, что у каждой собаки бывает свой собственный незабываемый день, а вторая может рассматриваться так, что есть особый день, общий для всех собак. Выбор той или иной интерпретации — это задача этапа устранения неоднозначности. Часто бывает так, что упорядочение термов с кванторами слева направо соответствует упорядочению слева направо самих кванторов, но могут оказывать свое влияние и другие факторы. Преимуществом квазилогической формы является то, что она в сжатом виде представляет все возможности, а ее недостаток состоит в том, что она не помогает сделать выбор между этими возможностями. Для решения такой задачи требуется полная мощь средств устранения неоднозначности, в которых используются все источники свидетельств.
Прагматическая интерпретация
Выше было показано, как агент может воспринять строку слов и воспользоваться грамматикой для вывода множества возможных семантических интерпретаций. А в этом разделе будет рассматриваться проблема создания полной интерпретации путем добавления контекстно-зависимой информации о текущей ситуации к каждой потенциальной интерпретации.
Наиболее явная потребность в прагматической информации возникает при распознавании смысла ^ указательных словосочетаний, представляющих собой словосочетания, которые относятся непосредственно к текущей ситуации. Например,
1Лава 22. Общение
в предложении “I am in Boston today” (Я сегодня нахожусь в Бостоне) интерпретации указательных словосочетаний “I” и “today” зависят от того, кто и когда произнес это предложение. Мы представляем указательные словосочетания с помощью “констант” (таких как Speaker), а фактически они являются флюентными словосочетаниями, т.е. зависят от ситуации. Получатель, который воспринимает речевой акт, должен также воспринять информацию о том, кем является отправитель, и использовать эту информацию для определения смысла указательных словосочетаний. Например, получатель может обладать такими знаниями, что Т( (Speaker^ Agents) , Now).
Такая команда, как “go to [2,2]”, неявно указывает на получателя. До сих пор в рассматриваемой нами грамматике для 5были определены только повествовательные предложения. Но эту грамматику можно легко дополнить, чтобы она охватывала также команды.
Команда может быть сформирована из словосочетания VP, в котором в качестве подлежащего неявно указан получатель. Необходимо отличать команды от утверждений, поэтому изменим правила для S, чтобы включить обозначение типа речевого акта в состав квазилогической формы следующим образом:
Sк Statement к Speaker, relkobj))) —> NPkobj) VPkrel)
Sк Command к Speaker, relк Hearer))) —> VPkrel)
Поэтому квазилогическая форма для команды “Go to [2,2]” принимает следующий вид:
Commandk^e е Е GokHearer, [2,2]))
Применение грамматик DCG для производства языковых конструкций
До сих пор в этой главе изложение было в основном сосредоточено на синтаксическом анализе языка, а не на его производстве. Но тема производства языковых конструкций является не менее интересной. Для выбора правильного фрагмента речи, позволяющего выразить некоторое высказывание, приходится использовать во многом такие же средства, как и при синтаксическом анализе фрагмента речи.
Напомним, что DCG — это система логического программирования, определяющая ограничения, которыми связаны между собой некоторая строка и вариант
синтаксического анализа этой строки. Как известно, определение в формате логического программирования предиката Append может использоваться и для выяснения того, что в выражении Append ( [ 1,2 ] , [ 3 ] , х) задано значение х=[1,2,3],и для составления списков значений х и у, после подстановки которых выражение Append (х, у, [1,2,3]) становится истинным. Аналогичным образом можно записать определение предложения S, которое может применяться двумя способами — для синтаксического анализа, с целью поиска ответа на запрос S(sem, \_John, Loves, Магу] ) и получения s ет= Loves (John, Mary), и для производства синтаксической конструкции путем выдачи запроса S( Loves (John, Mary) , words) и получения words= V John, Loves, Mary]. Можно также проверить грамматику, введя запрос S(sem, words) и получив ответ в виде потока пар Vsem, words], которые производятся с помощью этой грамматики. .
Такой подход является вполне применимым в отношении простых грамматик, описанных в этой главе, но может стать более затруднительным при распространении его масштабов на более крупные грамматики. При этом важную роль играет то, какая стратегия поиска используется в машине логического вывода; в частности, применение стратегии поиска в глубину может привести к возникновению бесконечных циклов. Аналогичные предосторожности необходимо принимать, определяя точные детали семантической формы. Может оказаться, что в данной конкретной грамматике не предусмотрен способ выражения логической формы X л У для некоторого значения X и у, но есть возможность выразить У л X; такая ситуация свидетельствует о том, что требуется некоторый способ создания канонического представления семантических форм или нужно дополнить процедуру унификации так, чтобы можно было унифицировать выражение X л Ус выражением У л X.
Если в центре внимания находится задача производства синтаксических конструкций, то, как правило, используются более сложные модели производства, которые отличаются от грамматик синтаксического анализа и обеспечивают больший контроль над тем, как именно выражаются компоненты семантики. Одним из подходов, который упрощает задачу переноса центра сосредоточения усилий на наиболее важные части семантической формы, является применение системной грамматики.
Неоднозначность и устранение неоднозначности
В некоторых случаях получатели явно замечают противоречивость некоторого речевого фрагмента. Примеры подобного рода, взятые из заголовков газет, приведены в табл. 22.6.
Но чаще всего воспринимаемый нами язык кажется непротиворечивым. Поэтому, когда исследователи впервые приступили к решению задачи по использованию компьютеров для анализа языка в 1960-х годах, они были весьма удивлены, узнав о том, что ^ почти любой фрагмент речи обладает высокой степенью неоднозначности, даже если альтернативные его интерпретации не являются очевидными для говорящего на родном языке. Система, в которой определен большой объем грамматических правил и крупный словарь, может найти тысячи интерпретаций для предложения, которое внешне кажется совершенно обычным. Рассмотрим предложение “The batter hit the ball”, которое на первый взгляд имеет непротиворечивую интерпретацию,
согласно которой игрок в бейсбол ударил по бейсбольному мячу. Но будет получена совсем другая интерпретация, если смысл, который также мог быть выражен в предыдущем предложении, высказан так: “The mad scientist unleashed a tidal wave of cake mix towards the ballroom” (Сумасшедший ученый выпустил в танцевальный зал приливную волну смеси для кекса). Этот пример основан на понятии ^ лексической неоднозначности, которое описывает такую ситуацию, что одно слово может иметь больше одного смысла. Лексическая неоднозначность является весьма распространенной; слово “back” может быть наречием (“go back” — иди назад), прилагательным (“back door” — задняя дверь), существительным (“the back of the room” — задняя часть комнаты) или глаголом (“back up your files” — создавай резервные копии своих файлов). Слово “Jack” может представлять собой имя собственное, существительное (игральная карта, шестиконечная металлическая фишка для игры, морской флаг, рыба, самец обезьяны, разъем или устройство для поднятия тяжелых предметов) или глагол (поднимать домкратом автомобиль, охотиться с прожектором или сильно бить по бейсбольному мячу).
Таблица 22.6. Примеры речевых фрагментов, допускающих противоречивое толкование
Заголовок англоязычной газеты
Подразумеваемое толкование
Не подразумеваемое толкование
Squad helps dog bite victim
Бригада помогает жертве собачьего укуса
Бригада помогает собаке укусить жертву
Helicopter powered by human
В воздухе вертолет, движимый
Движителем для вертолета
flies
мускульной силой человека
служили человеческие мухи
Once-sagging cloth diaper
Пошатнувшиеся котировки
Пошатнувшиеся котировки
industry saved by full dumps
акций производителей матерчатых пеленок спасены благодаря появлению полностью впитывающих изделий
акций производителей матерчатых пеленок спасены благодаря полному демпингу
Portable toilet bombed; police
Взорван портативный туалет; у
Взорван портативный туалет;
have nothing to go on
полиции нет никаких зацепок
полиции нечего предложить взамен
British left waffles on Falkland
Британцы прекратили болтов
Британцы оставили вафли на
Islands
ню о Фолклендских островах
Фолклендских островах
Teacher strikes idle kids
Учитель избивает ленивых детей
Из-за забастовок учителей дети начинают лениться
Milk drinkers are turning
Любители молока переходят
Любителей молока превра
to powder
на порошковое
щают в порошок
Drunk gets nine months in
В деле со скрипкой пьяного
Пьяного посадили на девять
violin case
посадили на девять месяцев
месяцев в футляр от скрипки
^ Синтаксическая неоднозначность (называемая также структурной неоднозначностью) может возникать вместе с лексической неоднозначностью или без нее. Например, строка “I smelled a wumpus in [2,2]” имеет два варианта синтаксического анализа; в одном из них предложное словосочетание “in [2,2]” модифицирует существительное (Я почувствовал запах вампуса, находящегося в квадрате [2,2]), а в другом модифицирует глагол (Находясь в квадрате [2,2], я почувствовал запах вампуса). Синтаксическая неоднозначность приводит к ^ семантической неоднозначности, поскольку один вариант синтаксического анализа означает, что в квадрате [2,2] находится вампус, а другой — что в квадрате [2,2] чувствуется его запах. В данном слу-
чае принятие неправильной интерпретации за истинную может оказаться смертельно опасной ошибкой.
Семантическая неоднозначность может обнаруживаться даже в словосочетаниях, не имеющих лексической или синтаксической неоднозначности. Например, именное словосочетание “cat person” может относиться к тому, кто любит представителей семейства кошачьих или является одним из ведущих артистов в фильме “Attack of the Cat People”. Словосочетание “coast road” может означать дорогу, которая тянется вдоль морского побережья или ведет к нему.
Наконец, неоднозначность может быть вызвана путаницей между буквальным и переносным значениями. Фигуры речи являются важным элементом поэзии, но на удивление часто встречаются также и в повседневной речи. ^ Метонимия — это риторический оборот, в котором один объект используется для обозначения другого. Например, услышав слова: “Chrysler announced a new model” (Компания Крайслер объявила о выпуске новой модели), мы не интерпретируем их как утверждение, что компании могут говорить, поскольку под этими словами подразумевается, что объявление сделано представителем этой компании по связям с общественностью. Метонимия встречается часто и интерпретируется получателями-людьми в основном подсознательно. К сожалению, грамматика, представленная в данной главе, в своем непосредственном виде не позволяет так легко справиться с этой ситуацией. Чтобы учесть семантику метонимии должным образом, необходимо ввести целый новый уровень средств устранения неоднозначности. Для этого требуется предусмотреть два объекта для семантической интерпретации каждого словосочетания в предложении — один для обозначения объекта, на который буквально ссылается это словосочетание (“Chrysler”), а второе — для метонимической ссылки (представитель компании по связям с общественностью). После этого необходимо сформулировать утверждение, что эти два объекта связаны некоторым отношением. В том варианте грамматики, который использовался до сих пор, словосочетание “Chrysler announced” интерпретировалось бы так:
Зх, е х = Chrysler л е Е Аппоипсе(х') л After (Now, е)
Теперь необходимо преобразовать это высказывание в следующее:
Вт,х,е х = Chrysler л е Е Аппоипсе(т') л After (Now, е) л Metопушу (т, х)
В нем говорится о том, что имеется одна сущность х, равная Chrysler, и другая сущность т, которая объявляет новости от имени компании, и эти две сущности связаны метонимическим отношением. На следующем этапе следует определить, какого рода метонимические отношения могут возникать в предложении. Простейшим случаем является тот, в котором метонимия вообще отсутствует, — буквально указанный объект х и метонимический объект т являются идентичными:
\/т,х (т = х) => Metonymy (т, х)
В примере с компанией Chrysler приемлемым обобщением является то, что название компании может использоваться вместо имени представителя этой компании по связям с общественностью:
\/т,х х Е Organizations л Spokesperson (т, х) => Metonymy(т, х)
Другие варианты метонимии могут предусматривать указание имени автора вместо его работ (“I read Shakespeare” — Я читал Шекспира) или, в более общей форме, указание названия компании-производителя вместо ее продукта (“I drive a Honda” — Я вожу Хонду), а также указание части вместо целого (“The Red Sox need a strong arm” — Для Рэд Соке нужна твердая рука). Некоторые варианты метонимии, такие как “The ham sandwich on Table 4 wants another beer” (Тот бутерброд с ветчиной за четвертым столиком требует еще одно пиво), являются продуктом более поздних изменений в языке и интерпретируются применительно к ситуации.
Правила, описанные в данном разделе, позволяют составить объяснение для предложения “Chrysler announced a new model”, но за самим этим объяснением не следует логический вывод. Для подготовки потенциальных объяснений необходимо использовать средства формирования вероятностных или немонотонных рассуждений.
^ Метафора — это фигура речи, в которой словосочетание с одним буквальным значением используется в качестве указания по аналогии на другое значение. Большинство людей считают, что метафора — это инструмент, используемый поэтами, который не играет большой роли в повседневном общении. Тем не менее целый ряд метафор применяется настолько широко, что мы даже не воспринимаем их как таковые. Одной из таких метафор является представление о том, что “чем больше, тем выше”. Эта метафора позволяет нам говорить о том, что цены растут, повышаются или взмывают вверх, что температура понижается или падает, что чье-то доверие к кому-то рухнуло или что популярность какой-то знаменитости резко подскочила или пошла на убыль.
Существуют два способа, позволяющих учесть наличие подобных метафор. Один из них состоит в том, чтобы включить все знания о метафоре в словарь — добавить новые толкования слов “расти”, “падать”, “повышаться” и т.д., чтобы описать их как относящиеся к количествам любого масштаба, а не только к высоте. Этот подход является приемлемым для многих приложений, но не охватывает обобщающий характер метафоры, которая позволяет людям использовать новые варианты ее реализации, такие как “войти в штопор” или “достичь заоблачных высот”, без опасения быть непонятыми. Второй подход состоит в том, что нужно включить в грамматику явно заданные знания об общих метафорах и использовать их для интерпретации новых вариантов применения по мере обнаружения в речи. Например, предположим, что в системе имеется информация о метафоре “чем больше, тем выше”. Иными словами, система может определить, что логические выражения, ссылающиеся на точку шкалы высот, могут интерпретироваться как указывающие на соответствующие точки шкалы количеств. В таком случае выражение “sales are high” (объемы продаж высоки) получит буквальную интерпретацию по типу Al ti tude (Sales, High), а это выражение можно будет интерпретировать метафорически как Quanti tyk Sales, Much).
Устранение неоднозначности
Как было указано выше, <^=* устранение неоднозначности — это проблема определения диагноза. Намерение говорящего сообщить информацию становится ненаблюдаемой причиной появления слов в виде фрагмента речи, а задача получателя заключается в том, чтобы проделать эту работу в обратном направлении исходя из сказанных слов и знания ситуации, чтобы определить намерение говорящего с
наибольшей вероятностью. Иными словами, получатель находит решение для следующей задачи:
argmax Likelihood^intent | words, situation) intent
где Likelihood может представлять собой либо вероятность, либо любую другую числовую меру предпочтения. Предпочтение того или иного рода является необходимым, поскольку правила синтаксической и семантической интерпретации, отдельно взятые, не позволяют выявить уникальную правильную интерпретацию словосочетания или предложения. Поэтому данная работа делится на части: средства синтаксической и семантической интерпретация обеспечивают формирование множества потенциальных интерпретаций, а в процессе устранения неоднозначности среди них выбирается наилучшая.
Обратите внимание на то, что выше было указано на намерение исполнителя речевого акта, а не просто на фактическое высказывание, провозглашаемое говорящим. Например, услышав от политика слова: “I am not a crook”, можно формально назначить вероятность только 50%, что эти слова соответствуют высказыванию о том, что данный политик — не преступник, и 99,999%— высказыванию, что говорящий — не кривой посох пастуха. Тем не менее все равно следует присвоить большую вероятность следующей интерпретации, поскольку скорее всего именно это и подразумевалось:
Assert (Speaker, —ДЗреакег Е Criminals))
Рассмотрим еще раз пример неоднозначного предложения: “I smelled a wumpus in [2,2]”. Одной из предпочтительных эвристик является правило ^ правой ассоциации, которое гласит, что во время принятия решения о том, где можно поместить в дереве синтаксического анализа словосочетание РР “in [2,2]”, следует предпочесть вариант с размещением его в самой правой существующей составляющей, а в данном случае таковой является словосочетание NP “a wumpus”. Безусловно, это — всего лишь эвристика; при обработке предложения “I smelled a wumpus with my nose” (Я почувствовал запах вампуса носом) эта эвристика будет перевешиваться тем фактом, что словосочетание NP “a wumpus with my nose” (вампус с моим носом) является маловероятным.
Устранение неоднозначности обеспечивается путем комбинирования свидетельств с использованием всех методов представления знаний и формирования рассуждений в условиях неопределенности, которые рассматривались до сих пор в настоящей книге. Все эти знания можно разбить на четыре описанных ниже модели.
Модель мира. Вероятность того, что некоторое высказывание является истинным в рассматриваемом мире.
Мыслительная модель. Вероятность того, что отправитель оформляет свое намерение сообщить о некотором факте получателю, при условии, что этот факт имел место. В таком подходе комбинируются модели того, в чем уверен отправитель, что думает отправитель о том, в чем уверен получатель, и т.д.
Языковая модель. Вероятность того, что будет выбрана определенная строка слов, при том условии, что отправитель имеет намерение сообщить определенный факт. Модели CFG и DCG, представленные в данной главе, имеют
булеву модель правдоподобия; в ней строка может иметь или не иметь определенную интерпретацию. В следующей главе рассматривается вероятностная версия грамматики CFG, позволяющая создать более информационно насыщенную языковую модель для устранения неоднозначности.
Акустическая модель. Вероятность того, что будет сформирована определенная последовательность звуков с учетом того, что отправитель выбрал данную конкретную строку слов. Задачи распознавания речи рассматриваются в разделе 15.6.
Понимание речи
^ Речь представляет собой языковой фрагмент произвольной длины, обычно превышающий по длине одно предложение. Как проявления речи рассматриваются учебники, романы, сообщения о погоде и разговоры. До сих пор в этой главе проблемы связной речи в основном игнорировались, поскольку язык проще изучать в лабораторных условиях, разделив речь на отдельные предложения. А в этом разделе предложения рассматриваются в их естественной среде обитания. Он в основном посвящен двум конкретным подзадачам — разрешение ссылок и изучение связной речи.
Разрешение ссылок
^ Разрешение ссылок представляет собой интерпретацию местоимения или определительного именного словосочетания, которое ссылается на некоторый объект в мире. Разрешение основано на знаниях о мире и на результатах анализа предыдущих фрагментов речи. Рассмотрим следующий отрывок текста:
Джон помахал официанту. Он заказал бутерброд с ветчиной.
Чтобы понять, что слово “он” во втором предложении относится к Джону, необходимо знать, что в первом предложении упоминаются два человека и что Джон играет роль клиента, поэтому заказ, скорее всего, должен сделать он, а не официант. Обычно разрешение ссылок сводится к выбору референта (адресата ссылки) из списка кандидатов, но иногда эта задача требует создания новых кандидатов. Рассмотрим следующий отрывок текста:
После того как Джон сделал предложение Маше, они нашли священника
и поженились. Чтобы отпраздновать медовый месяц, они отправились на Гавайи.
Здесь определительное именное словосочетание “медовый месяц” относится к тому, что лишь неявно следует из ситуации, в которой используется глагол “поженились”. Во втором предложении местоимение “они” указывает на группу людей, которая до сих пор еще не была явно обозначена как таковая — Джон и Маша (но не священник).
Выбор наилучшего референта представляет собой процесс устранения неоднозначности, в основе которого лежит использование сочетаний разнообразной синтаксической, семантической и прагматической информации. Некоторые намеки на правильные толкования заданы в форме ограничений. Например, местоимения должны быть согласованы в роде и числе со своими денотатами (словами, которые они заменяют): местоимение “он” может относиться к Джону, но не к Маше; местоимение “они” может относиться к группе, а не к отдельному лицу. Местоимения должны также подчиняться синтаксическим ограничениям, определяющим возвратные зависимости. Например, в предложении: “Он увидел его в зеркале” два местоимения должны ссылаться на разных людей, а в предложении: “Он увидел себя” местоимения должны ссылаться на одно и то же лицо. Существуют также ограничения, касающиеся семантической согласованности. Например, в предложении: “Он съел это” местоимение “он” должно ссылаться на то, что ест, а “это” — на то, что едят.
Некоторыми намеками могут служить предпочтения, которые не всегда соблюдаются. Например, если два смежных предложения имеют параллельную структуру, то предпочтительно иметь местоименные ссылки, в которых также соблюдается эта структура. Поэтому в следующем отрывке текста:
Маша прилетела в Сан-Франциско из Нью-Йорка.
Джон прилетел туда из Бостона.
мы предпочитаем такую трактовку, в которой местоимение “туда” ссылается на Сан-Франциско, поскольку оно играет такую же синтаксическую роль. Если же параллельная структура отсутствует, то подлежащие как денотаты получают предпочтение над дополнениями, поэтому в следующем отрывке текста:
Маша дала Салли указания по дому. Затем она ушла.
предпочтительным денотатом для местоимения “она” является “Маша”, подлежащее первого предложения. Еще один вариант предпочтения распространяется на сущность, которая в процессе речи выступает наиболее ярко. Рассмотрим следующую пару предложений, отдельно взятую:
Дана уронила чашку на тарелку. Она разбилась.
При этом возникает проблема: не ясно, что является референтом местоимения “она” — чашка или тарелка. Но в более широком контексте эта неоднозначность устраняется:
Дана очень любила синюю чашку. Эта чашка была подарена близким другом. К сожалению, однажды, накрывая на стол, Дана уронила чашку на тарелку. Она разбилась.
В данном случае фокусом внимания является чашка, и поэтому рассматривается как предпочтительный референт.
Был разработан целый ряд алгоритмов разрешения ссылок. Особенно замечательным является один из первых таких алгоритмов, разработанный Хоббсом [662], поскольку он позволил достичь необычно высокой в то время степени статистической достоверности. Хоббс использовал тексты трех разных жанров и сообщил о том, что с помощью этого алгоритма достигнута точность 92%. Условием проведения этих экспериментов должны были стать правильные результаты синтаксического анализа, выработанные синтаксическим анализатором; не имея такового в своем распоряжении, Хоббс составлял деревья синтаксического анализа вручную.
Алгоритм Хоббса действует на основе поиска: в нем осуществляется поиск в предложениях, начиная от текущего предложения и двигаясь в обратном направлении. Такой метод гарантирует, что в первую очередь будут рассматриваться последние по времени определенные кандидаты. Поиск в предложении осуществляется в ширину, слева направо. Это гарантирует, что подлежащие будут рассматриваться перед дополнениями. В алгоритме выбирается самый первый кандидат, который удовлетворяет описанным в этом абзаце ограничениям.
Структура связной речи
Откройте данную книгу на 10 случайно выбранных страницах и запишите на бумагу первое полное предложение с каждой страницы. Полученный текст обязательно будет несвязным. Аналогичным образом, если вы возьмете связный отрывок текста, состоящий из 10 предложений, после чего переставите эти предложения случайным образом, то получите несвязный текст. Такой эксперимент показывает, что предложения в речи на естественном языке весьма отличаются от высказываний в логике. В логике после ввода в базу знаний с помощью предиката Tell высказываний А, В и С в любом порядке будет получена конъюнкция А л В л С. А в естественном языке играет роль порядок предложений; в качестве примера можно указать, насколько отличаются следующие два ответа на просьбу показать дорогу: “Пройдите два квартала. Поверните направо” и “Поверните направо. Пройдите два квартала”.
Речь обладает структурой, возвышающейся над уровнем предложения. Эту структуру можно исследовать с помощью грамматики речи:
Segment (х) —> S(x)
Segment(CoherenceRelation(х, у) ) —> Segment^ Segmently^
Приведенные выше грамматические правила указывают, что речь состоит из отрывков, где каждый отрывок представляет собой либо предложение, либо группу предложений, а сами отрывки связаны ^ отношениями связности. В отрывке текста “Пройдите два квартала. Поверните направо” отношение связности состоит в том, что действие, указанное в первом предложении, создает предпосылки действия во втором предложении: получатель должен повернуть направо, только пройдя два квартала. Разные исследователи предложили различные варианты определения отношений связности; один из типичных перечней таких отношений приведен в табл. 22.7. Теперь рассмотрим приведенный ниже рассказ.
Вчера произошло забавное событие.
Джон отправился в модный ресторан.
Он заказал утку.
Счет составил почти 50 долларов.
Джон буквально испытал шок, обнаружив, что у него нет денег.
Он забыл кошелек дома.
Официант сказал, что можно заплатить позже.
Но он очень расстроился из-за своей забывчивости.
Таблица 22.7. Перечень отношений связности, взятый из [663]. Каждое отношение связывает два смежных фрагмента текста, Si и S2
Отношение связности
Описание
Пример
Примечание
Описание предпо-
Фрагмент текста Si от-
“I went outside. I drove to
Выход из дома
сылки или причины
ражает изменение со-
school” (Я вышел из до
неявно создает
стояния (которое может быть неявным), ставшее предпосылкой или причиной того, что описано во фрагменте текста s2
ма. Я поехал в школу.)
предпосылки для поездки в автомобиле
Объяснение — отно-
Фрагмент текста S2 опи-
“I was late for school. I
шение связности, об-
сывает предпосылку или
overslept” (Я опоздал в
ратное описанию предпосылки
причину того, чем вызвана ситуация, представленная во фрагменте текста Si, и тем самым служит для нее объяснением
школу. Я проспал.)
П одготовител ьное
Фрагмент текста Si опи-
“It was a dark and stormy
описание
сывает обстановку или предысторию для фрагмента текста S2
night. Rest of story” (Была темная и ветреная ночь. Остальная часть рассказа.)
Оценка
Из фрагмента текста s2 следует, что фрагмент текста Si является реализацией плана говорящего по его использованию в составе речевого акта
“A funny thing happened. Rest of story ” (Однажды произошло забавное событие. Остальная часть рассказа.)
Применение в каче
Фрагмент текста S2 пред
“This algorithm reverses а
стве примера
ставляет собой пример общего принципа, описанного во фрагменте текста Si
list. The input [A,B,C] is mapped to [С, B, A] ” (Этот алгоритм служит для обращения списка. Входные данные
[А, в, с] преобразуются В [С,В, А] .)
Обобщение
Фрагмент текста Si представляет собой пример общего принципа, описанного во фрагменте текста S2
“ [А, В, С] is mapped to [ С, В, А]. In general, the algorithm reverses a list” (Входные данные [А, В, С] преобразуются в [ С, В, А]. В общем этот алгоритм служит для обращения списка.)
Констатация того
Вывод на основании
“This paper is weak. On
факта, что ожидания
фрагмента текста S2 след
the other hand, it is
не оправдались
ствия -iP, отрицающего следствие Р, которое при обычных обстоятельствах должно было быть получено на основании фрагмента текста Si
interesting” (Эта статья слаба. С другой стороны, она представляет интерес.)
Здесь предложение 1 находится в положении отношения оценки для остальной части речи; предложение 1 представляет собой метакомментарий говорящего ко всему рассказу. Предложение 2 создает предпосылки предложения 3, а предложения 2 и 3, вместе взятые, указывают причину для предложения 4 с учетом того неявного промежуточного состояния, что Джон съел утку. Теперь предложения 2-4 становятся обоснованием остальной части рассказа. Предложение 6 служит объяснением предложения 5, в предложения 5 и 6 являются предпосылкой для 7. Следует подчеркнуть, что они являются предпосылкой, а не причиной, поскольку официант мог среагировать на эту ситуацию иначе. Предложения 5-7, вместе взятые, становятся причиной для предложения 8. В упр. 22.13 предлагается нарисовать дерево синтаксического анализа для этого рассказа.
Отношения связности позволяют связать речь в единое целое. Они служат для говорящего руководящими указаниями при принятии решения о том, что следует сказать и что оставить не выраженным явно, а также служат руководством для получателя при восстановлении информации о намерениях говорящего. Отношения связности могут служить в качестве фильтра при устранении неоднозначности предложений: предложения, отдельно взятые, могут оказаться неоднозначными, но большинство из этих неоднозначных интерпретаций перестают согласовываться друг с другом в связной речи.
До сих пор вопросы разрешения ссылок и структуры речи рассматривались раздельно. Но фактически эти два вопроса тесно переплетаются. Например, в теории Гроша и Сиднера [598] учитывается, на что направлено внимание говорящего и слушающего во время речи. В их теорию включено описание стека ^ пространств фокусов. Некоторые фрагменты речи вызывают сдвиг фокуса путем заталкивания или выталкивания элементов из стека. Например, в истории с рестораном предложение: “Джон отправился в модный ресторан” заталкивает в стек новый фокус внимания. В пределах данного фокуса отправитель может использовать определенное словосочетание NP, чтобы указать на “этого официанта” (а не просто на “какого-то официанта”). Если бы рассказ был продолжен словами: “Джон отправился домой”, то данное пространство фокусов было бы вытолкнуто из стека и в рассказе больше нельзя было бы указывать на официанта словами “этот официант” или “он”.
Индуктивный вывод грамматики
^ Индуктивный вывод грамматики представляет собой задачу определения с помощью обучения грамматики на основе данных. Очевидно, что попытка решить такую задачу вполне оправдана, поскольку практика показала, насколько сложно конструировать грамматику вручную, а в Internet можно бесплатно получить миллиарды готовых примеров фрагментов речи. Но такая задача является сложной, поскольку пространство возможных грамматик бесконечно, а проверка того, что данная конкретная грамматика производит необходимое множество предложений, требует больших вычислительных затрат.
Одной из интересных моделей является система Sequitur [1122]. Для нее не требуется никаких входных данных, кроме одного отрывка текста (который не требуется даже предварительно разбивать на предложения). Эта система формирует грамматику в очень специализированной форме — грамматику, которая производит лишь
единственную строку, а именно первоначальный текст. Иначе к анализу результатов этой системы можно подойти таким образом, что Sequitur в процессе обучения определяет лишь такой объем грамматических правил, который является достаточным для синтаксического анализа данного текста. Ниже приведена приемлемая разбивка с помощью скобок, обнаруженная этой системой для одного предложения из более крупного текста с информацией о новостях.
[Most Labour][sentiment [[would still][favor the] abolition]][[of [the House]][of Lords]]
В этом фрагменте правильно выделены такие составляющие, как словосочетание РР “of the House of Lords”, хотя и допущены отклонения от традиционного метода анализа, например артикль “the” включен в одну группу с предшествующим глаголом, а не со следующим существительным.
Система Sequitur основана на той идее, что “хорошая грамматика — компактная грамматика”. В частности, в ней принудительно применяются следующие два ограничения. Во-первых, ни одна пара смежных символов не должна появляться в грамматике больше одного раза. Если пара символов А в появляется в правой части нескольких правил, то эту пару следует заменить новым нетерминальным символом, назвать его, допустим, С и ввести правило С-^А в. Во-вторых, каждое правило должно использоваться по меньшей мере дважды. Если некоторый нетерминальный символ С появляется в грамматике только один раз, то необходимо удалить правило для С и заменить его единственное вхождение правой частью данного правила. Эти два ограничения применяются в процедуре жадного поиска, которая сканирует текст слева направо, инкрементно наращивая в ходе этого грамматику и налагая ограничения, как только появляется такая возможность. В табл. 22.8 показано, как действует этот алгоритм применительно к входному тексту “abcdbcabcd”. Алгоритм восстанавливает оптимально компактную грамматику для этого текста.
Таблица 22.8. Трассировка выполнения задания, в котором система Sequitur осуществляет индуктивный вывод грамматики для входного текста “abcdbcabcd”. Работа начинается с введения правила для S и добавления каждого символа к концу этого правила по очереди. После добавления шестого символа обнаруживается первое вхождение повторяющейся пары: Ьс. Поэтому оба вхождения Ьс заменяются новым нетерминальным символом А и вводится правило А—^Ьс. После добавления еще трех символов девятый символ вызывает еще одно повторение Ьс, поэтому такая пара снова заменяется символом А. Это приводит к появлению двух вхождений символов аА, поэтому они заменяются новым нетерминальным символом в. После добавления десятого и последнего терминального символа обнаруживаются два вхождения Bd, поэтому они заменяются новым нетерминальным символом С. Но теперь символ в появляется только один раз, в правой части правила С, поэтому в заменяется его расширением аА
Входные данные
Грамматика
Комментарии
1 а
S -^ а
2 ab
S —> ab
3 abc
S —> abc
4 abed
S —> abed
5 abedb
S —» abedb
6 abedbe
S —» abedbe
S —> aAdA; A —> be
be встречается дважды
Окончание табл. 22.8
Входные данныеГрамматика
Комментарии
7 abcdbcaд -> aAdAa; А -> be
8 abedbeabg _> aAdAab; Abe
9 abedbeabeg _> aAdAabc; A -> be
be встречается дважды
S —> aAdAaA; A —» be
S -> BdAB; A -» be; В —> aA
aA встречается дважды
10 abedbeabed g _> BdABd; A ^ be; В -> a A
Bd встречается дважды
S —> CAC; A —> be; В —> aA;
C -> Bd
S -> CAC; A -» be; C -> aAd
В встречается только один раз
В следующей главе будут описаны другие алгоритмы индуктивного вывода грамматики, которые могут применяться к вероятностным контекстно-свободным грамматикам. А теперь обратимся к проблеме определения с помощью обучения грамматики, которая дополнена семантикой. Поскольку расширенная грамматика представляет собой логическую программу, состоящую из хорновских выражений, то для этого могут применяться методы индуктивного логического программирования. Одной из программ индуктивного логического программирования (Inductive Logic Programming — ILP) является Chill [1640], которая на основании примеров определяет с помощью обучения грамматику и специализированный синтаксический анализатор для этой грамматики. Целевой проблемной областью являются запросы к базе данных на естественном языке. Обучающие примеры состоят из пар, в которые собраны строки из слов и соответствующих запросов, например, как показано ниже.
% Как называется столица штата с наибольшим количеством населения? What is the capital of the state with the largest population?
Answer^c, Capital's, с) л Largest Ip, State(s) л Population(s, p)))
Задача программы Chill состоит в том, чтобы определить с помощью обучения предикат Parse (words, query), который является совместимым с примерами и, можно надеяться, допускает приемлемое обобщение применительно к другим примерам. Непосредственное использование метода ILP для определения этого предиката с помощью обучения приводит к достижению слишком низкой производительности: полученный с помощью индуктивного вывода синтаксический анализатор имеет точность лишь приблизительно 20%. Но, к счастью, системы обучения с помощью ILP могут совершенствоваться путем введения дополнительных знаний. В данном случае большая часть предиката Parse была определена в виде логической программы и задача системы Chill свелась к тому, что нужно было осуществить логический вывод правил управления, которыми может руководствоваться синтаксический анализатор при выборе одного варианта синтаксического анализа перед другим. После введения этих дополнительных знаний система Chill достигла точности от 70 до 85% при решении различных задач обработки запросов к базе данных.
Резюме
Разработка способов понимания естественного языка является одним из наиболее важных направлений развития искусственного интеллекта. Это направление подпитывается идеями, взятыми из философии и лингвистики, а также обогащается методами логического и вероятностного представления знаний и формирования рассуждений. В отличие от других областей искусственного интеллекта, для понимания естественного языка требуется эмпирическое исследование фактического поведения людей, что, в свою очередь, представляет собой сложную и интересную задачу.
Агенты посылают друг другу сигналы, чтобы добиться определенных целей: проинформировать, предупредить, попросить помощь, поделиться знаниями или что-то пообещать. Отправка сигнала таким образом называется речевым актом. В конечном итоге все речевые акты представляют собой попытку заставить других агентов во что-то поверить или что-то сделать.
Язык состоит из принятых в соответствии с соглашениями знаков, которые несут в себе смысл. Многие животные используют знаки только в их непосредственном виде. А люди, по-видимому, являются единственной разновидностью животных, которая применяет грамматику для производства структурированных сообщений, характеризующихся неограниченным разнообразием.
Общение требует от говорящего выполнения трех этапов: достижение намерения донести некоторую идею, осуществляемое в уме производство цепочки слов и их физический синтез. После этого слушающий должен выполнить четыре этапа: восприятие, синтаксический анализ, устранение неоднозначности и усвоение смысла. Все варианты использования языка являются ситуационными; под этим подразумевается, что смысл фрагмента речи может зависеть от той ситуации, в которой он был произведен.
Полезными инструментальными средствами, позволяющими учитывать некоторые аспекты естественного языка, являются формальная теория языка и грамматики структуры словосочетаний (в частности, контекстно-свободные грамматики).
Синтаксический анализ предложений, выраженных на контекстно-свободном языке, может осуществляться за время О(п3) с помощью диаграммного синтаксического анализатора.
Чтобы можно было проще справиться с задачами согласования подлежащего и глагольного сказуемого, а также выбора падежа местоимения, удобно воспользоваться таким методом, как расширение грамматики. Применение необходимых расширений обеспечивается с помощью формальной системы, представляющей собой грамматику определенных выражений (Definite Clause Grammar — DCG). Грамматика DCG обеспечивает синтаксический анализ и семантическую интерпретацию (и даже производство) текста с помощью логического вывода.
С помощью расширенной грамматики может также осуществляться семантическая интерпретация. Одним из удобных посредников между деревьями синтаксического анализа и семантическими представлениями может стать квази- логическая форма.
Очень важной проблемой при понимании естественного языка является неоднозначность; большинство предложений имеют много возможных интерпретаций, но обычно подходящей является только одна из них. Устранение неоднозначности основано на знаниях о мире, о текущей ситуации и о нормативном использовании языка.
Большинство языков существуют в контексте множества предложений, а не только одного предложения. В основе исследования связных текстов лежит понятие речи. В этой главе описано, как можно разрешать местоименные ссылки, охватывающие несколько предложений, и показано, благодаря чему предложения соединяются в связные отрывки текста.
Метод индуктивного вывода грамматики позволяет определять с помощью обучения грамматику на основании примеров, хотя и существуют ограничения, касающиеся того, насколько успешно может быть обобщена эта грамматика.
Библиографические и исторические заметки
Наука о знаках и символах как элементах языка была названа ^ семиотикой Джоном Локком [941], хотя она не получила развития до XX столетия [353], [1198]. К новейшим обзорным исследованиям относятся [273] и [429].
Идея языка как действия была сформулирована в рамках философских исследований лингвистической направленности, проводимых в XX веке [49], [596], [1608], и особенно ярко отразилась в книге Speech Acts [1375]. Прародителем идеи речевых актов был Протагор (ок. 430 г. до н.э.), который определил четыре типа предложений: просьба, вопрос, ответ и приказ. Модель речевого акта, основанная на плане, была впервые предложена в [278]. Связь между языком и действием исследовалась с использованием распознавания плана для понимания рассказов Виленским [1591]. В [277] собраны более современные работы в этой области.
Как и семантические сети, контекстно-свободные грамматики (называемые также грамматиками структуры словосочетаний) представляют собой повторное изобретение метода, который был впервые использован древнеиндийскими филологами (особенно Панини, ок. 350 г. до н.э.), изучающими шастрический санскрит [716]. Они были повторно изобретены Ноамом Хомским [250] для анализа английского синтаксиса и независимо от него Джоном Бэкусом для анализа синтаксиса языка Algol-58. Наур [1116] расширил систему обозначений Бэкуса, и теперь его заслуги отмечены тем, что буква “N” в обозначении формы BNF, которое первоначально расшифровывалось как “Backus Normal Form” (нормальная форма Бэкуса), считается сокращением от его фамилии [58]. Одну из разновидностей расширенной грамматики, называемой ^ грамматикой атрибутов, которая удобна для представления языков программирования, предложил Кнут [808]. Грамматики определенных выражений были введены в научный обиход Колмерором [284], а в дальнейшем доработаны и популяризированы Перейрой и Уорреном [1208]. Язык программирования Prolog был разработан Аленом Колмерором специально для решения задачи синтаксического анализа французского языка. Колмерор фактически ввел в действие формальную систему, называемую грамматикой метаморфоз, которая превосходила по
своим возможностям грамматику определенных выражений, но вскоре после этого появилась более практичная грамматика DCG.
Было предпринято много попыток написания формальных грамматик естественных языков, как в “чистой” лингвистике, так и в вычислительной лингвистике. К машинно-ориентированным грамматикам такого типа относятся системы, разработанные в рамках проекта Linguistic String Project в Университете штата Нью-Йорк [1343] и проекта XTAG в Университете штата Пенсильвания [403]. Хорошим примером современной системы DCG может служить Core Language Engine [22]. Существует также несколько исчерпывающих, но неформальных грамматик английского языка [701], [735], [1015], [1261]. К хорошим учебникам по лингвистике относятся введение в синтаксис [1342] и учебники по семантике [249], [643]; [1016] в основном посвящена описанию логики и рассчитана на лингвистов.
С середины 1980-х годов наметилась тенденция к тому, что больше информации стали вводить в лексикон и меньше в грамматику. Первой крупной грамматической формальной системой, которая характеризовалась высокой степенью лексикализа- ции, была лексически-функциональная грамматика, или сокращенно LEG (Lexical- Functional Grammar) [183]. Доведение процесса лексикализации до предела приводит к созданию категориальной грамматики, в которой количество грамматических правил может стать крайне малым, например равным двум, или грамматики зависимостей [1033], в которой не существует словосочетаний, а есть только слова. В [1431] описан широко применяемый синтаксический анализатор, в котором используется грамматика зависимостей. Грамматика соединения деревьев, или сокращенно TAG (Tree-Adjoining Grammar) [749], строго говоря, не является лексической, но получила широкое распространение в своей лексикализованной форме [1356]. Интерес представляет общедоступный словарь Wordnet [462], состоящий примерно из 100 000 слов и словосочетаний, классифицированных по частям речи и связанных с помощью семантических отношений, таких как “синоним”, “антоним” и “часть-целое”.
Первые компьютеризированные алгоритмы синтаксического анализа были продемонстрированы в [1632]. Эффективные алгоритмы были разработаны в конце 1960-х годов, и с тех пор в них было введено лишь немного дополнений [587], [773], [1636]. Рассматриваемый в настоящей главе диаграммный синтаксический анализатор в большей степени соответствует описанному в [427]. Хороший общий обзор по этой теме приведен в книге Ахо и Ульмана [9], посвященной синтаксическому анализу и компиляции. В [1001] показано, как в обычной ситуации можно добиться высокой эффективности алгоритма диаграммного синтаксического анализа с дополнениями. В [256] рассматривается проблема устранения синтаксической неоднозначности.
Направление исследований по формальной семантической интерпретации естественных языков впервые возникло в рамках философии и формальной логики и особенно тесно связано с работой Альфреда Тарского [1490] по семантике формальных языков. Бар-Хиллел впервые проанализировал проблемы прагматики и высказал предположение, что они могут быть решены с помощью формальной логики. В частности, он ввел в лингвистику предложенный Ч. С. Пирсом [1198] термин “индексальный” (indexical), т.е. обладающий смыслом только в непосредственном контексте своего применения [68]. Очерк Ричарда Монтегю English as a formal language (Английский как формальный язык) [1071] представляет собой своего рода манифест сторонников логического анализа языка, но более доступными для восприятия являются [408] и [924]. Полный сборник трудов Монтегю вышел под редакцией Томасона
[1505]. В искусственном интеллекте традиции Монтегю продолжили Макаллестер и Гивен [1007], которые разработали много новых формальных методов.
Идея использования промежуточной, или квазилогической формы, для решения таких проблем, как определение области действия кванторов, впервые выдвинута Вудсом [1614] и в настоящее время применяется во многих современных системах [22], [714].
Первой системой NLP, предназначенной для решения реальной задачи, по- видимому, стала система формирования ответов на вопросы Baseball [590], которая выдавала ответы на вопросы, касающиеся базы данных со статистическими сведениями о бейсболе. Вскоре после этого была разработана система Вудса Lunar [1612], которая отвечала на вопросы об образцах лунного грунта, доставленного на Землю в рамках программы Аполлон. Роджер Шенк со своими студентами создал ряд программ [425], [1358], [1359], [1590], предназначенных для решения задачи понимания языка. Но при разработке этих программ основное внимание было сосредоточено не на языке как таковом, а, скорее, на представлении знаний и формировании рассуждений. К числу рассматриваемых проблем относилось представление стереотипных ситуаций [314], описание организации человеческой памяти [829], [1287], а также понимание планов и целей [1591].
Задачи производства текстов на естественном языке рассматривались с самых первых дней развития работ по машинному переводу, начиная с 1950-го года, но не были сформулированы в связи с потребностями выработки текста на одном языке (а не двух, как при переводе) до 1970-х годов. Характерными исследованиями в этом направлении являются работы, описанные в [571] и [1413]. Одной из первых полномасштабных систем производства текста явилась система Penman [80], основанная на системной грамматике [775]. В 1990-х годах появились две важные общедоступные системы выработки текста, KPML [79] и FUF [433]. К числу наиболее важных книг по производству текста относятся [690], [1029], [1183] и [1275].
Одной из самых ранних работ по устранению неоднозначности явилось исследование Уилкса [1596] по теории семантики предпочтений, в котором предпринимались попытки поиска интерпретаций, позволяющих свести к минимуму количество семантических аномалий. В [661] описана система аналогичного назначения, которая ближе к композиционной семантике, описанной в этой главе. В [666] представлена количественная инфраструктура для измерения качества синтаксической и семантической интерпретации. С тех пор получили более широкое распространение методы, основанные на использовании явной байесовской инфраструктуры [238], [1625]. В лингвистике получила распространение теория оптимальности (Linguistics) [761], основанная на идее формирования мягких ограничений, налагаемых на грамматику, что позволяет выполнять естественное ранжирование интерпретаций, а не использовать грамматику для производства всех возможных вариантов с равным рангом. В [1147] рассматриваются проблемы изучения многочисленных одновременных интерпретаций как метода, применяемого вместо выбора одной интерпретации с максимальным правдоподобием. Литературные критики [437], [663] выразили сомнение в том, удастся ли когда-либо решить проблему устранения или уменьшения неоднозначности.
Формальная модель метонимии представлена в [1150]. В [883] приведены соответствующие результаты анализа и описан каталог метафор, широко применяемых в английском языке. В [1160] представлен сборник статей по метафорам, а в [992] предложен вычислительный подход к интерпретации метафор.
Приведенная в этой главе трактовка разрешения ссылок основана на работе Хоббса [662]. Более сложная модель, предложенная в [888], основана на механизме присваивания количественных оценок. В опубликованных немного позже работах [529], [789] использовалось машинное обучение для настройки количественных параметров. Двумя превосходными обзорами проблематики разрешения ссылок являются книги [660] и [1067].
В изданной в 1758 году книге Дэвида Юма Enquiry Concerning the Human Understanding утверждалось, что речь становится связной благодаря действию “трех принципов связи между идеями, а именно: сходство, смежность во времени или пространстве, а также причина или результат”. С этого началась долгая история попыток определить отношения связности речи. Множество отношений, которое используется в данной главе, предложено Хоббсом [663]; в [974] представлено более широкое множество, которое включает готовность к принятию решения, свидетельство, обоснование, мотивацию, основание, следствие, предоставление возможностей, использование возможностей, переформулировку утверждения, условие, обстоятельство, причину, соглашение, предысторию и тезис-антитезис. Развитие этой модели привело к созданию теории риторической структуры (Rhetorical Structure Theory — RST), которая, по-видимому, является одной из наиболее перспективных современных теорий [975]. Некоторые примеры, приведенные в настоящей главе, заимствованы из книги, принадлежащей перу Эндрю Келера [756].
В [598] представлена теория связности речи, основанная на изучении сдвига фокуса внимания слушателя, а в [597] предложена близкая к ней теория, основанная на понятии сосредоточения внимания. В [750] собраны важные ранние работы по проблемам речи. Веббер представил модель взаимодействия ограничений синтаксиса и речи в том, что может быть высказано в любом моменте речи [1560], а также описал способ взаимодействия с содержимым речи времен глаголов [1561].
Первый важный результат по индуктивному выводу грамматики оказался отрицательным: Голд [569] показал, что нельзя надежно определить с помощью обучения правильный вариант контекстно-свободной грамматики по множеству строк, полученных с помощью этой грамматики. По сути, его идея состоит в том, что если дано множество строк sb s2, ..., sn, то правильная грамматика может либо оказаться всеобъемлющей (S -> word *), либо стать копией входных данных (S -> sT | s2 | ... | sn), либо занять какое-то промежуточное положение. Выдающие лингвисты, такие как Хомский [251], [252] и Пинкер [1211], [1213], использовали результат Голда для доказательства того, что должна существовать врожденная ^ универсальная грамматика, которой все дети владеют от рождения. При этом особый интерес представляет так называемый довод о бедности стимула (Poverty of the Stimulus), согласно которому дети не получают другой входной языковой информации, кроме положительных примеров: их родители и сверстники главным образом вырабатывают точные примеры используемого ими языка и очень редко исправляют ошибки. Таким образом, поскольку Голд доказал, что определение с помощью обучения контекстно-свободной грамматики на основании положительных примеров является невозможным, то дети уже обязаны “знать” эту грамматику и в процессе обучения языку просто настраивают некоторые параметры этой врожденной грамматики и учат словарь. Хотя эти доводы продолжают повторять многие лингвисты школы Хомского, они были опровергнуты некоторыми другими лингвистами [436], [1243] и большинством ученых, работающих в области компьютерных наук. Еще в 1969 году Хорнинг [679] показал, что с помощью такого
метода, как РАС-обучение, можно определить с помощью обучения вероятностную контекстно-свободную грамматику. С тех пор было проведено много убедительных эмпирических демонстраций успешного обучения на основании только положительных примеров, таких как работы в области ILP [1075] и [1101], а также замечательные докторские диссертации [350] и [1370]. С помощью обучения возможно также определить и другие грамматические формальные системы, такие как регулярные языки [386], [1157], регулярные древовидные языки [226] и конечные автоматы [1173].
Система Sequitur разработана Невилл-Маннингом и Уиттеном [1122]. Интересно отметить, что эти авторы, так же как и де Маркен, указали, что предложенные ими схемы индуктивного вывода грамматики представляют собой одновременно хорошие схемы сжатия. Этот результат соответствует принципу кодирования с минимальной длиной описания: из определения качественной грамматики следует, что она должна минимизировать сумму двух значений длины: длины грамматики и длины дерева синтаксического анализа текста.
К работам в области индуктивного логического программирования, относящимся к определению языка с помощью обучения, принадлежат система Chill [1640] и программа Муни и Калиффа [1076]; эти работы позволили определить правила для прошедшего времени глаголов лучше, чем до сих пор удавалось добиться с помощью нейронных сетей или систем деревьев решений. [315] представляет собой отредактированный сборник статей по определению с помощью обучения языка средствами логики.
Ассоциация ACL (Association for Computational Linguistics) проводит регулярные конференции и публикует журнал Computational Linguistics. Проводится также конференция International Conference on Computational Linguistics (COLING). Многие важные ранние статьи собраны в антологии Readings in Natural Language Processing [599]. В [321] основное внимание уделено описанию инструментальных средств, практически применимых для создания систем NLP. В [756] приведено исчерпывающее введение в эту область, [18] посвящена описанию работ, проведенных немного раньше. В [298] и [1207] приведен краткий обзор по синтаксической обработке с помощью различных реализаций на языке Prolog. Много полезных статей с описанием этой области приведено в книге Encyclopedia of AI; особого внимания заслуживают статьи “Computational Linguistics” и “Natural Language Understanding”.
Упражнения
Прочитайте следующий текст с описанием процедуры, состоящей из четырех этапов, чтобы понять его смысл, и запомните столько, сколько сможете. Достигнутые вами успехи будут оценены позже.
Эта процедура фактически весьма проста. Сначала нужно распределить вещи по разным группам. Конечно, для одного раза может оказаться достаточно одной стопки, в зависимости от того, сколько еще предстоит сделать. Если вам потребуется отправиться куда-то еще из-за нехватки необходимых средств, то в этом будет состоять следующий этап, а если нет, то вы уже достаточно хорошо подготовились. Набирая вещи, важно не переусердствовать. Это означает, что лучше сразу проделывать эту процедуру со слишком малым, чем со слишком большим
количеством вещей. Если прошло еще мало времени с начала процедуры, это может показаться неважным, но могут легко возникнуть осложнения. И в этом случае ошибки обходятся дорого. Сначала вся эта процедура будет казаться сложной. Однако вскоре она станет просто еще одним аспектом вашей жизни. Трудно представить себе, что в недалеком будущем исчезнет потребность в выполнении этой задачи, но об этом трудно судить со всей определенностью. После выполнения процедуры вещи нужно снова распределить по разным группам. Затем их можно разложить по соответствующим им местам. В конечном итоге они опять станут использованными и придется еще раз повторить весь цикл. Однако это занятие — часть повседневной жизни.
Используя систему обозначений DCG, напишите грамматику языка, который полностью аналогичен 8^ за исключением того, что требует соблюдения согласования между подлежащим и сказуемым предложения, поэтому не позволяет формировать такие предложения, как “I smells the wumpus”.
Дополните грамматику 8^ таким образом, чтобы в ней соблюдалось согласование артикля и существительного. Иными словами, обеспечьте, чтобы слово “agents” рассматривалось как словосочетание №, a “agent” и “an agents” — нет.
Опишите основные различия между языком Java (или любым другим языком программирования, с которым вы знакомы) и естественным языком, прокомментировав в каждом случае проблему “понимания”. Рассмотрите такие аспекты, как грамматика, синтаксис, семантика, прагматика, композициональ- ность, контекстная зависимость, лексическая неоднозначность, синтаксическая неоднозначность, разрешение ссылок (включая местоимения), фоновые знания, а самое главное, укажите, что означает “понимание” текста на том и другом языке.
Какие из приведенных ниже соображений послужили причинами для введения квазилогической формы?
Упрощение написания простых композиционных грамматических правил.
Расширение выразительности языка семантического представления.
Получение возможности представлять в краткой форме варианты неоднозначности в области определения кванторов (кроме всего прочего).
Упрощение задачи устранения семантической неоднозначности.
Определите, какая семантическая интерпретация была бы получена при синтаксическом анализе приведенных ниже предложений с помощью грамматики, описанной в данной главе.
It is a wumpus.
The wumpus is dead.
The wumpus is in [2,2].
Было бы целесообразно предусмотреть в качестве семантической интерпретации для предложения “It is a wumpus” просто Зх х g Wumpuses? Рассмотрите альтернативные предложения, такие как “It was a wumpus”.
Не просматривая повторно текст, приведенный в упр. 22.1, ответьте на перечисленные ниже вопросы.
Каковыми являются указанные четыре этапа?
Какой этап пропущен?
Каковыми являются “вещи”, упомянутые в тексте? г) Какого рода ошибка может оказаться дорогостоящей?
Лучше ли в данном случае проделать эту процедуру со слишком большим или слишком малым количеством вещей? Объясните, почему.
В этом упражнении речь идет о грамматиках для очень простых языков,
Напишите контекстно-свободную грамматику для языка апЬп.
Напишите контекстно-свободную грамматику для языка палиндромов — для множества всех строк, вторая половина которых представляет собой обращение первой половины.
Напишите контекстно-зависимую грамматику для языка дубликатов — для множества всех строк, вторая половина которых является такой же, как и первая половина.
Рассмотрите предложение “Someone walked slowly to the supermarket” (Некто медленно шел в супермаркет) и следующий словарь: Pronoun —> someone V —> walked Adv —» slowly Prep —> to Det —> the Noun —> supermarket
Какая из трех приведенных ниже грамматик в сочетании с этим словарем вы
рабатывает указанное предложение? Покажите соответствующее дерево
(деревья) синтаксического анализа.
А)В)С)
S -> NP VPS ^ NP VPS -> NP VP
NP —> PronounNP —> PronounNP —> Pronoun
NP —> Article Noun NP —> NounNP —> Article NP
VP —» VP PPNP —» Article NP VP —> Verb Adv
VP —> VP Adv AdvVP —> Verb VmodAdv —> Adv Adv
VP —» VerbVmod —> Adv Vmod Adv —> PP
PP —> Prep NPVmod —> AdvPP —> Prep NP
NP —> NounAdv —» PPNP —» Noun
PP —> Prep NP
Применив каждую из трех приведенных здесь грамматик, запишите три правильных и три неправильных английских предложения, сформированных с помощью этой грамматики. Каждое предложение должно иметь значительные отличия от другого, состоять не меньше чем из шести слов и быть основанным на полностью новом множестве словарных записей (которые вы должны определить). Предложите способы совершенствования каждой грамматики, предотвращающие выработку неправильных английских предложений.
Й Реализуйте версию алгоритма диаграммного синтаксического анализа, который возвращает упакованное дерево из всех ребер, охватывающих весь объем входных данных.
(ж) Реализуйте версию алгоритма диаграммного синтаксического анализа, который возвращает упакованное дерево для самого длинного крайнего левого ребра, а если это ребро не охватывает весь объем входных данных, продолжает синтаксический анализ с конца этого ребра. Покажите, почему требуется вызывать процедуру Predict перед продолжением синтаксического анализа. Окончательным результатом становится такой список упакованных деревьев, что этот список в целом охватывает входные данные.
(Составлено по материалам книги [77].) Данное упражнение относится к языку, получившему название Buf falon, который очень напоминает английский (или по меньшей мере его версию £0), если не считать того, что единственным словом в его словаре является buffalo, которое пишется со строчной буквы (и обозначает в данном контексте “стадо буйволов”, если рассматривается как существительное, а в позиции глагола означает “терроризировать”) или с прописной (и обозначает название города — Буффало). Ниже приведены два предложения на этом языке.
Buffalo buffalo buffalo Buffalo buffalo.
Buffalo Buffalo buffalo buffalo buffalo Buffalo buffalo.
Если вы не верите, что это действительно предложения, рассмотрите два английских предложения с соответствующей синтаксической структурой: Dallas cattle bewilder Denver cattle. (Стадо из Далласа терроризирует стадо из Денвера.) Chefs London critics admire cook French food. (Шеф-повара, которых обожают лондонские критики, готовят блюда французской кухни.)
Напишите грамматику для языка Buffalo11. Его лексическими категориями являются имя собственное с обозначением города, имя существительное во множественном числе и (переходный) глагол; кроме того, должно быть предусмотрено одно грамматическое правило для предложения, одно — для глагольного словосочетания и три — для именного словосочетания: существительное во множественном числе, именное словосочетание, которому предшествует в качестве модификатора название города, и именное словосочетание, за которым следует сокращенное относительное предложение. Сокращенным относительным предложением называется такое относительное предложение, в котором исключено относительное местоимение. Кроме того, относительное предложение состоит из субъектного именного словосочетания, за которым следует глагол без объекта. Примером сокращенного относительного предложения является “London critics admire” из приведенного выше примера. Рассчитайте количество возможных вариантов синтаксического анализа для языка Buffalo11 при п, не превышающем 10. Дополнительное указание. Карл де Маркен рассчитал, что количество предложений на языке Buffalo^ с длиной 200 (для грамматики, которую он использовал) равно 121 030 872 213 055 159 681 184 485. Как он это сделал?
Нарисуйте дерево синтаксического анализа речи для приведенного на с. 1087 рассказа о том, как Джон пообедал в модном ресторане. Воспользуйтесь двумя грамматическими правилами для фрагмента текста Segment, указав соответствующее значение отношения связности CoherenceRelation для каждого узла. (Результаты синтаксического анализа отдельных предложений показы-
вать не обязательно.) Теперь сделайте то же самое для выбранного вами фрагмента речи, состоящего из 5-10 предложений.
Мы забыли упомянуть, что текст, приведенный в упр. 22.1, должен быть озаглавлен “Стирка белья”. Еще раз прочитайте этот текст и ответьте на вопросы, приведенные в упр. 22.7. Удалось ли вам на этот раз лучше справиться с заданием? Бренсфорд и Джонсон [173] использовали этот текст в эксперименте, проводимом под лучшим контролем, и обнаружили, что для его понимания очень важен заголовок. Какие выводы вы можете сделать по проблеме совершенствования речи?
23 Вероятностная ОБРАБОТКА ЛИНГВИСТИЧЕСКОЙ ИНФОРМАЦИИ
В данной главе показано, как можно использовать простые языковые модели, прошедшие статистическое обучение, для обработки коллекций, состоящих из миллионов слов, а не просто отдельных предложений.
В главе 22 было показано, что агент может взаимодействовать с другим агентом (человеком или программой), используя фрагменты текста на естественном языке. Для полного извлечения смысла фрагментов речи необходимо проводить всесторонний синтаксический и семантический анализ фрагментов речи, а такая возможность возникает благодаря тому, что эти фрагменты речи невелики и относятся только к ограниченной проблемной области.
В данной главе рассматривается подход к обеспечению понимания языка, основанный на использовании ^ совокупностей текстов. Совокупностью текстов (corpus, во множественном числе — corpora) называется большая коллекция текстов, подобная тем миллиардам страниц, из которых состоит World Wide Web. Эти тексты написаны людьми и для людей, а задача программного обеспечения состоит в упрощении поиска нужной информации. В этом подходе предусматривается использование статистики и обучения для получения возможности воспользоваться содержимым совокупности, и в нем обычно применяются вероятностные языковые модели, обучение которых может проводиться с использованием существующих данных и которые проще по сравнению с дополненными грамматиками DCG, описанными в главе 22. При решении большинства подобных задач доступный объем данных превышает тот, который требуется для создания более простой языковой модели. В данной главе рассматриваются три конкретные задачи: информационный поиск (раздел 23.2), извлечение информации (раздел 23.3) и машинный перевод (раздел 23.4). Но вначале в ней представлен обзор вероятностных языковых моделей.
Вероятностные языковые модели
В главе 22 описана логическая модель языка; в ней для определения того, относится или не относится к некоторому языку данная строка, использовались грамматики CFG и DCG, а в данном разделе представлено несколько вероятностных моделей. Вероятностные модели имеют целый ряд преимуществ. Обучение этих моделей по имеющимся данным осуществляется очень просто: обучение сводится лишь к подсчету количества вариантов (с учетом определенных допусков на то, что из-за малого размера выборки могут возникать ошибки). Кроме того, эти модели являются более надежными (поскольку они способны принять любую строку, хотя и с низкой вероятностью); они отражают тот факт, что не все 100% говорящих на определенном языке согласны с тем, какие предложения фактически входят в состав языка; кроме того, такие модели могут использоваться для устранения неоднозначности, поскольку для выбора наиболее подходящей интерпретации могут применяться вероятностные законы.
^ Вероятностная языковая модель позволяет определить распределение вероятностей множества строк (которое может быть бесконечно большим). К примерам таких моделей, которые уже рассматривались в данной книге, относятся двух- и трехсловные языковые модели (или модели двух- и трехсловных сочетаний), применявшиеся при распознавании речи (раздел 15.6). В однословной модели (или модели однословных сочетаний) каждому слову в словаре присваивается вероятность P(wL В этой модели предполагается, что слова выбираются независимо, поэтому вероятность строки представляет собой произведение вероятностей входящих в нее слов и определяется выражением
П1 -P(^i) •
Ниже приведена последовательность из 20 слов, которая была сформирована случайным образом из слов в оригинале данной книги с помощью однословной модели.
logical are as are confusion a may right tries agent goal the was diesel more object then information-gathering search is
В двухсловной модели каждому слову присваивается вероятность P(ivi|ivi_1) с учетом предыдущего слова. Часть данных о вероятностях таких двухсловных сочетаний приведена в табл. 15.2. Приведенная ниже случайная последовательность слов сформирована с помощью модели двухсловных сочетаний по материалам оригинала данной книги.
planning purely diagnostic expert systems are very similar computational approach would be represented compactly using tic tac toe a predicate
Вообще говоря, в модели n-словных сочетаний учитываются предыдущие п-1 слов и присваивается вероятность Р (wi | ^-(п-!)...^-!). Приведенная ниже случайная последовательность сформирована с помощью модели трехсловных сочетаний по оригиналу данной книги.
planning and scheduling are integrated the success of naive bayes model is just a possible prior source by that time
Даже эти небольшие примеры позволяют понять, что модель трехсловных сочетаний превосходит модель двухсловных сочетаний (а последняя превосходит модель однословных сочетаний) как с точки зрения качества приближенного представления
текста на английском языке, так и с точки зрения успешной аппроксимации изложения темы в книге по искусственному интеллекту. Согласуются и сами модели: в модели трехсловных сочетаний строке, сформированной случайным образом, присваивается вероятность 10"10, в модели двухсловных сочетаний — вероятность 10‘29, а в модели однословных сочетаний — вероятность 10"59.
Но оригинал настоящей книги содержит всего лишь полмиллиона слов, поэтому в нем отсутствует достаточный объем данных для выработки качественной модели двухсловных сочетаний, не говоря уже о модели трехсловных сочетаний. Весь словарь оригинала данной книги включает примерно 15 тысяч различных слов, поэтому модель двухсловных сочетаний включает 150002 = 225 миллионов пар слов. Безусловно, что вероятность появления по меньшей мере 99,8% этих пар будет равна нулю, но сама модель не должна указывать на то, что появление любой из этих пар в тексте невозможно. Поэтому требуется определенный способ ^ сглаживания нулевых результатов фактического подсчета количества пар. Простейший способ выполнения этой задачи состоит в использовании так называемого способа ^ сглаживания с добавлением единицы: к результатам подсчета количества всех возможных двухсловных сочетаний добавляется единица. Поэтому, если количество слов в текстовой совокупности равно N, а количество возможных двухсловных сочетаний равно В, то каждому двухсловному сочетанию с фактическим количеством с присваивается оценка вероятности (с+1) / (№В). Такой метод позволяет устранить проблему п- словных сочетаний с нулевой вероятностью, но само предположение, что все результаты подсчета количества должны быть увеличены точно на единицу, является сомнительным и может привести к получению некачественных оценок.
Еще один подход состоит в использовании метода ^ сглаживания с линейной интерполяцией, в котором предусматривается объединение моделей трех-, двух- и однословных сочетаний с помощью линейной интерполяции. Оценка вероятности определяется по следующей формуле, с учетом того, что с3+С2+С!=1:
P(Wi | ^1-21^1-1) = Сз Р( Wi I Wi-2Wi-i) + С2 P(Wi | Wi-1) + Cl P(lVi)
Параметры с± могут быть заранее заданными или полученными путем обучения по алгоритму ЕМ. Существует возможность применения значений ci? независимых от количества n-словных сочетаний, с тем, чтобы можно было присвоить больший вес оценкам вероятностей, полученным на основании больших значений количества.
Один из методов оценки языковой модели состоит в следующем. Вначале текстовая совокупность разделяется на обучающую совокупность и контрольную совокупность. Затем определяются параметры модели с помощью обучающих данных. После этого выполняется расчет вероятности, присвоенной контрольной совокупности с помощью данной модели; чем выше эта вероятность, тем лучше. Одним из недостатков этого подхода является то, что вероятность Р( words) при наличии длинных строк становится весьма небольшой; такие малые числовые значения могут вызвать антипереполнение в арифметике с плавающей точкой или просто стать неудобными для чтения. Поэтому вместо вероятности может быть вычислен ^ показатель связности (perplexity) модели на контрольной строке слов words следующим образом:
Perplex! ty (words) = 2-log2(p(words) >/N
где N— количество слов words. Чем ниже показатель связности, тем лучше модель. Модель n-словных сочетаний, которая присваивает каждому слову вероятность 1/к,
имеет показатель связности к; показатель связности может рассматриваться как средний коэффициент ветвления.
В качестве примера того, для чего может использоваться модель n-словных сочетаний, рассмотрим задачу ^ сегментации — поиска границ между словами в тексте без пробелов. Решением этой задачи обычно приходится заниматься при обработке текстов на японском и китайском языках, в которых отсутствуют пробелы между словами, но авторы полагают, что для большинства читателей более удобным будет пример из английского. Приведенное ниже предложение действительно несложно прочитать любому, кто знает английский язык.
Itiseasytoreadwordswithoutspaces
На первый взгляд может показаться, что для решения такой задачи приходится пользоваться всеми знаниями в области синтаксиса, семантики и прагматики английского языка. Но ниже будет показано, что в данном предложении можно легко восстановить пробелы с использованием простой модели однословных сочетаний.
В одной и предыдущих глав было показано, что для решения задачи поиска наиболее вероятной последовательности прохождения через решетку вариантов выбора слова может использоваться уравнение Витерби (15.9). А в листинге 23.1 приведен вариант алгоритма Витерби, специально предназначенный для решения задачи сегментации. Этот алгоритм принимает в качестве входных данных распределение вероятностей однословных сочетаний, P^word^, и некоторую строку. Затем для каждой позиции i в данной строке это алгоритм сохраняет в переменной best [1] значение вероятности наиболее вероятной строки, которая охватывает участок от начала до позиции i. Кроме того, в этом алгоритме в переменной wordsVi ] сохраняется слово, оканчивающееся в позиции 1, которое получило наибольшую вероятность. После того как по методу динамического программирования будут сформированы массивы best и words, в алгоритме осуществляется обратный поиск через массив words для определения наилучшего пути. В данном случае при использовании модели однословных сочетаний, соответствующей оригиналу этой книги, наиболее приемлемая последовательность слов действительно принимает вид “It is easy to read words without spaces” с вероятностью IO"25. Сравнивая отдельные части этого предложения, можно обнаружить, что слово “easy” имеет вероятность однословного сочетания 2.6х10"4, а альтернативный вариант его прочтения, “е as у”, имеет намного более низкую вероятность, 9.8Х10"12, несмотря на тот факт, что слова (точнее, имена переменных) “е” и “у” довольно часто встречаются в уравнениях данной книги. Аналогичным образом, другая часть этого предложения характеризуется следующими данными:
Р("without”) = 0.0004
PCwith") = 0.005
PCout") = 0.0008
PCwith out") = 0.005 x 0.0008 = 0.000004
Листинг 23.1. Алгоритм сегментации строки на отдельные слова с помощью уравнения Витерби. Этот алгоритм восстанавливает наиболее вероятную сегментацию строки на слова после получения строки с удаленными пробелами
function Viterbi-Segmentation(text, P) returns последовательность наиболее подходящих слов sequence и значения вероятностей слов этой последовательности
inputs: text, строка символов с удаленными пробелами
Р, распределение вероятностей однословных сочетаний среди слов
п <— Length(text)
words <— пустой вектор длины п+1
best <— вектор длины п+1, первоначально полностью заполненный значениями 0.О
best[0] <—1.0
/* Заполнить векторы best и words с помощью средств динамического программирования */
for i = 0 to n do
for j = 0 to 2 — 1 do
word <— text [j:i] w <— Length (tvord) if P[ word] x bestVi - w] > best [2] then best [2] <— P[ word] x best [2 - w] words[2] <— word
P Теперь восстановить последовательность слов sequence */ sequence <— пустой список
2 <— n'
while 2 > 0 do
продвинуть вектор words[2] в начало последовательности sequence 2 <— 2 - Length(words[ 2 ] )
/* Последовательность наиболее подходящих слов, sequence, и значения вероятностей слов этой последовательности */
return sequence, best[2]
Поэтому слово “without” имеет в 100 раз более высокую вероятность, чем сочетание слов “with out”, согласно применяемой модели однословных сочетаний.
В данном разделе рассматривались модели n-элементных сочетаний, элементами которых являются слова, но широкое применение находят также модели n-элементных сочетаний, применяемые к другим элементам текста, таким как символы или части речи.
Вероятностные контекстно-свободные грамматики
В моделях n-элементных сочетаний используются статистические данные о совместном появлении элементов в текстовой совокупности, но эти модели не позволяют учитывать грамматические связи на расстояниях, превышающих п. В качестве альтернативной языковой модели может служить ^ вероятностная контекстносвободная грамматика, или PCFG (Probabilistic Context-Free Grammar), которая представляет собой такую грамматику CFG, где каждое правило подстановки имеет связанную с ним вероятность. Сумма вероятностей по всем правилам с одной и той же левой частью равна 1. Грамматика PCFG для части грамматики языка £0 приведена в листинге 23.2.
Листинг 23.2. Вероятностная контекстно-свободная грамматика (PCFG) и словарь для части грамматики языка £0. Числа в квадратных скобках показывают вероятность того, что вместо символа в левой части правила будет выполнена подстановка правой части соответствующего правила
S NP VP [1.00]
NP —> Pronoun [0.10]
| Name [0.10]
| Noun [0.20]
| Article Noun [0.50]
| NP PP [0.10]
VP -» Verb [0.60]
| VP NP [0.20]
| VP PP [0.20]
PP —> Proposition NP [1.00]
Noun —» breeze [0.10] | wumpus [0.15] | agent [0.05] | ...
Verb -» sees [0.15] | smells [0.10] | goes [0.25] | ...
Pronoun —> me [0.05] | you [0.10] | I [0.25] | it [0.20] | ...
Article —> the [0.30] | a [0.35] | every [0.05] |
Proposition —> to [0.30] | in [0.25] | on [0.05] | ...
В модели PCFG вероятность строки, P (words), представляет собой сумму вероятностей деревьев синтаксического анализа этой строки. А вероятность данного конкретного дерева представляет собой произведение вероятностей всех правил, на основании которых сформированы узлы этого дерева. На рис. 23.1 показано, как вычислить вероятность некоторого предложения. Такую вероятность можно вычислить, применяя синтаксический анализатор диаграмм CFG для перечисления возможных вариантов синтаксического анализа, а затем складывая полученные вероятности. Но если нас интересует только наиболее вероятный вариант синтаксического анализа, то перебор всех маловероятных вариантов представляет собой бесполезную трату времени. Для эффективного поиска наиболее вероятного варианта синтаксического анализа может использоваться одна из разновидностей алгоритма Витерби или же какой-то метод поиска по первому наилучшему совпадению (такой как А*).
ArticleNounVerb
10,0510,1510,10
Everywumpussmells
Puc. 23.1. Дерево синтаксического анализа для предложения “Every wumpus smells”, в котором показаны вероятности каждого поддерева. Вероятность всего дерева в целом равна 1.0x0.5x0. 05x0.15x0.60x0.10=0. 000225.
Поскольку это дерево является единственным вариантом синтаксического анализа данного предложения, указанное число представляет собой также вероятность этого предложения
Недостатком грамматик PCFG является то, что они — контекстно-свободные. Это означает, что различие между P("eat a banana"), “съешь банан”, и Р( "eat a bandanna"), “съешь цветной платок”, зависит только от соотношения вероятностей Р( "banana") и Р( "bandanna"), а не от вероятностей возникновения отношений между глаголом “eat” и соответствующими объектами. Для того чтобы можно было учитывать связи такого рода, нам потребуется контекстнозависимая модель определенного типа наподобие лексикализованной грамматики PCFG, в которой определенную роль в оценке вероятности соответствующего словосочетания может играть голова этого словосочетания. При наличии достаточного объема обучающих данных может быть получено правило для VP —> VP NP, обусловленное наличием головы входящего в него словосочетания VP ("eat") и головы словосочетания NP (’’banana”). Таким образом, лексикализованные грамматики PCFG позволяют учитывать некоторые ограничения на совместное вхождение элементов в моделях n-элементных сочетаний, наряду с грамматическими ограничениями моделей CFG.
Еще один недостаток состоит в том, что грамматики PCFG обнаруживают слишком заметное предпочтение по отношению к более коротким предложениям. В такой текстовой совокупности, как архив журнала Wall Street Journal, средняя длина предложения составляет около 25 слов. Но обычно грамматика PCFG в конечном итоге присваивает гораздо более высокую вероятность таким правилам, как S—>NP VP, NP-^Pronoun и VP-^Verb. Это означает, что грамматика PCFG присваивает весьма высокую вероятность многим коротким предложениям, таким как “Не slept” (Он спал), тогда как в указанном журнале с большей вероятностью встречаются предложения наподобие следующего: “It has been reported by a reliable government source that the allegation that he slept is credible” (Из надежного правительственного источника поступило сообщение, согласно которому заявление о том, что он спал, заслуживает доверия). Создается впечатление, что словосочетания в этом журнале не являются контекстно-свободными; вместо этого его авторы оценивают допустимую ожидаемую длину предложения и используют полученную оценку в качестве мягкого глобального ограничения на структуру составляемых ими предложений. Такой подход к написанию текста трудно отразить в грамматике PCFG.
Определение с помощью обучения вероятностей для грамматики PCFG
При создании любой грамматики PCFG приходится преодолевать все сложности, связанные с формированием грамматики CFG, и наряду с этим решать проблему задания вероятностей для каждого правила. Такие обстоятельства наводят на мысль, что может оказаться более приемлемым подход, предусматривающий определение грамматики по имеющимся данным с помощью обучения, чем подход, основанный на инженерии знаний. Как и в случае распознавания речи, могут применяться данные двух типов — прошедшие и не прошедшие синтаксический анализ. Задача намного упрощается, если данные уже преобразованы в деревья с помощью синтаксического анализа лингвистами (или по меньшей мере носителями соответствующего естественного языка, прошедшими специальное обучение). Создание подобной тек-
стовой совокупности требует больших капиталовложений, и в настоящее время самые крупные из таких совокупностей содержат “всего лишь” около миллиона слов. А если имеется некоторая совокупность деревьев, то появляется возможность создать грамматику PCFG путем подсчета (и сглаживания). Для этого достаточно просмотреть все узлы, в которых корневым является каждый нетерминальный символ, и создать правило для каждой отдельной комбинации дочерних элементов в этих узлах. Например, если какой-то символ NP появляется 100 тысяч раз и имеется 20 тысяч экземпляров NP со списком дочерних элементов №, РР], то создается правило
NP -» NP РР [0.20]
Если же текст не подвергнут синтаксическому анализу, то задача значительно усложняется. Это прежде всего связано с тем, что фактически приходится сталкиваться с двумя разными проблемами — определение с помощью обучения структуры грамматических правил и определение с помощью обучения вероятностей, связанных с каждым правилом (с аналогичным различием приходится сталкиваться при определении с помощью обучения параметров нейронных или байесовских сетей).
На данный момент примем предположение, что структура правил известна и предпринимается лишь попытка определить вероятности с помощью обучения. Для этого может использоваться подход на основе алгоритма ожидания-максимизации (expectation-maximization — ЕМ), как и при обучении моделей НММ. В процессе обучения мы будем пытаться определить такие параметры, как вероятности правил. Скрытыми переменными являются деревья синтаксического анализа, поскольку неизвестно, действительно ли строка слов ^...wj сформирована с помощью правила X—нх. На этапе Е оценивается вероятность того, что каждая подпоследовательность сформирована с помощью каждого отдельного правила. Затем на этапе м оценивается вероятность каждого правила. Весь этот процесс вычисления может осуществляться в режиме динамического программирования с помощью алгоритма, называемого ^ внутренним—внешним алгоритмом, по аналогии с прямым-обратным алгоритмом, применяемым для моделей НММ.
На первый взгляд причины продуктивного функционирования внутреннего- внешнего алгоритма кажутся непостижимыми, поскольку он позволяет успешно сформировать логическим путем грамматику на основании текста, не прошедшего синтаксический анализ. Но этот алгоритм имеет несколько недостатков. Во-первых, он действует медленно; этот алгоритм характеризуется временнь/ми затратами O(n3t3), где п — количество слов в предложении; t — количество нетерминальных символов. Во-вторых, пространство вероятностных присваиваний очень велико и практика показала, что при использовании этого алгоритма приходится сталкиваться с серьезной проблемой, связанной с тем, что он не выходит из локальных максимумов. Вместо него могут быть опробованы такие альтернативные варианты, как эмуляция отжига, за счет еще большего увеличения объема вычислений. В-третьих, варианты синтаксического анализа, присвоенные с помощью полученных в результате грамматик, часто трудно понять, а лингвисты находят их неудовлетворительными. В результате этого задача комбинирования знаний, представленных с помощью способов, приемлемых для человека, с данными, которые получены с помощью автоматизированного индуктивного логического вывода, становится затруднительной.
Определение с помощью обучения структуры правил для грамматики PCFG
Теперь предположим, что структура грамматических правил неизвестна. В таком случае сразу же возникает проблема, связанная с тем, что пространство возможных множеств правил является бесконечным, поэтому неизвестно, какое количество правил необходимо предусмотреть и какую длину должно иметь каждое правило. Один из способов решения этой проблемы состоит в том, чтобы организовать составление грамматики с помощью обучения в ^ нормальной форме Хомского; это означает, что каждое правило должно находиться в одной из следующих двух форм:
X —> У Z
X -> t
где X, У и Z — нетерминальные символы; t — терминальный символ. В виде грамматики в нормальной форме Хомского, которая распознает точно такой же язык, может быть представлена любая контекстно-свободная грамматика. В таком случае появляется возможность принять произвольное ограничение, согласно которому количество нетерминальных символов будет равно п, и тем самым будет получено n3+nv правил, где v— количество терминальных символов. Но практика показала, что такой подход является эффективным только применительно к небольшим грамматикам. Предложен также альтернативный подход, называемый ^ слиянием байесовских моделей, аналогичный подходу с применением модели Sequitur (раздел 22.8). В этом подходе предусматривается формирование на первом этапе локальных моделей (грамматик) для каждого предложения, а затем использование минимальной длины описания для слияния моделей.
Информационный поиск
^ Информационный поиск — это задача поиска документов, отвечающих потребностям пользователя в информации. Наиболее широко известными примерами систем информационного поиска являются поисковые машины World Wide Web. Пользователь Web может ввести в приглашении поисковой машины такой запрос, как [Al book], и получить список подходящих страниц. В данном разделе показано, как создаются подобные системы. Для систем информационного поиска (называемых сокращенно системами ИП) применяются перечисленные ниже характеристики.
Определение коллекции документов. В каждой системе должно быть принято определенное решение о том, что рассматривается в ней как документ — отдельный абзац, страница или многостраничный текст.
Способ формулировки ^ запроса на ^ языке запросов. Запрос указывает, какая информация требуется пользователю. Язык запросов может предусматривать лишь возможность составления списка слов, такого как [AI book], или может позволять задавать сочетание слов, которые должны быть расположены близко друг от друга, как в запросе [ “AI book" ]; он может содержать логические операторы, как в запросе [AI AND book]; а также включать операторы, отличные от логических, как в запросе [Ai NEAR book] или [AI book SITE:www.aaai.org].
^ Результирующий набор. Таковым является подмножество документов, которые система информационного поиска определяет как ^ релевантные данному запросу. Под словом релевантный подразумевается вероятно полезный (согласно конкретным информационным потребностям, сформулированным в запросе) для того лица, которое сформулировало запрос.
Способ ^ представления результирующего набора. Он может быть настолько простым, как ранжированный список названий документов, или настолько сложным, как вращающаяся цветная карта результирующего набора, спроектированная на трехмерное пространство.
После чтения предыдущей главы могло сложиться впечатление, что систему информационного поиска возможно создать, преобразовав с помощью синтаксического анализа коллекцию документов в базу знаний, состоящую из логических высказываний, после чего в ней будет выполняться синтаксический анализ каждого запроса и поиск ответа в базе знаний с помощью предиката Ask. Но, к сожалению, еще никому не удалось создать крупномасштабную систему информационного поиска таким образом. Дело в том, что составить словарь и грамматику, которые охватывают большую коллекцию документов, слишком сложно, поэтому во всех системах информационного поиска используются более простые языковые модели.
Самые ранние системы информационного поиска действовали на основе булевой модели ключевых слов. Каждое слово в коллекции документов рассматривалось как булева характеристика, которая является истинной применительно к данному документу, если соответствующее слово встречается в документе, и ложной в противном случае. Поэтому характеристика “поиск” является истинной для текущей главы, но ложной для главы 15. В таком случае язык запросов представляет собой язык булевых выражений, заданных на характеристиках. Документ считается релевантным, только если соответствующее выражение принимает истинное значение. Например, запрос [информация AND поиск] принимает истинное значение для текущей главы и ложное для главы 15.
Преимуществом такой модели является то, что ее несложно описать и реализовать. Но она имеет некоторые недостатки. Во-первых, степень релевантности документа измеряется одним битом, поэтому отсутствуют руководящие данные, на основании которых можно было бы упорядочить релевантные документы для презентации. Во- вторых, булевы выражения могут оказаться непривычными для пользователей, не являющихся программистами или логиками. В-третьих, задача формулировки подходящего запроса может оказаться сложной даже для квалифицированного пользователя. Предположим, что предпринимается попытка выполнить запрос [информация AND поиск AND модели AND оптимизация], что приводит к получению пустого результирующего набора. После этого осуществляется попытка выполнить запрос [информация OR поиск OR модели OR оптимизация], но если он возвращает слишком большой объем результатов, то нелегко определить, какую попытку следует предпринять после этого.
В большинстве систем информационного поиска используются модели, основанные на статистических сведениях о количестве слов (а иногда и другие характеристики низкого уровня). В этой главе будет описана вероятностная инфраструктура, которая хорошо согласуется с описанными ранее языковыми моделями. Основная идея состоит в том, что после формулировки некоторого запроса требуется
найти документы, которые с наибольшей вероятностью будут релевантными по отношению к нему. Иными словами, необходимо вычислить следующее значение вероятности:
P(R=true|D,Q)
где D — документ; Q — запрос; R — булева случайная переменная, обозначающая релевантность. После получения этого значения можно применить принцип ранжирования вероятностей, который указывает, что если результирующий набор должен быть представлен в виде упорядоченного списка, это следует сделать в порядке уменьшения вероятности релевантности.
Существует несколько способов декомпозиции совместного распределения Р (R= true | D, Q). В настоящей главе будет описан подход, известный под названием языкового моделирования, в котором предусматривается получение оценки языковой модели для каждого документа, а затем вычисление для каждого запроса вероятности этого запроса с учетом языковой модели документа. Используя г для обозначения выражения R^true, можно перезаписать приведенное выше определение вероятности следующим образом:
(согласно правилу Байеса) (согласно цепному правилу) (согласно правилу Байеса, для фиксированного D)(согласно правилу Байеса) (согласно цепному правилу) (согласно правилу Байеса, для фиксированного D)P(r\D,Q) = P(D,Q|r) P(r)/P(D,Q}
(согласно правилу Байеса) (согласно цепному правилу) (согласно правилу Байеса, для фиксированного D)
(согласно правилу Байеса) (согласно цепному правилу) (согласно правилу Байеса, для фиксированного D)
= P(Q|D,r) P(L>|r) P(r) /P(D,Q)
= aP(QlD,r)P(r\D)/P(D,Q)
Как уже было сказано, может быть предпринята попытка максимизировать значение P(r\D, Q), но равным образом можно максимизировать отношение вероятностей P(r | D, Q) / РН г | D, Q). Это означает, что ранжирование документов может осуществляться на основе следующей оценки:
P(r\D,Q) = P(Q|D,r) P(r|D) P(-ir|P,Q) " P(Q|D,-ir) P(-ir|D)
Преимущество такого подхода состоит в том, что из процедуры вычисления устраняется терм P(D, Q). Теперь примем предположение, что в случае нерелевантных документов каждый документ является независимым по отношению к запросу. Иными словами, если какой-то документ нерелевантен по отношению к запросу, то получение информации о существовании этого документа не позволит определить, в чем состоит сам запрос. Это предположение может быть выражено с помощью такой формулы:
P(D, QHr) = P(D\-^ P(Q|-ir)
На основании этого предположения получим следующее:
P(r|D,Q) % P(r|D)
, = Р ( О Г, г) XН
P(->r|P,Q)1 РЬф)
Коэффициент P(r | D) / Р (-и? | D) измеряет независимую от запроса вероятность того, что документ является релевантным. Таким образом, этот коэффициент представляет собой меру качества документа; некоторые документы с большей вероятностью будут релевантными по отношению к любому запросу, поскольку сами эти документы имеют изначально высокое качество. Применительно к статьям для академических журналов качество можно оценить на основании количества упоминаний об этих статьях в других источниках, а для оценки Web-страниц можно использовать
количество гиперссылок на ту или иную страницу. В каждом из этих случаев можно присвоить больший вес адресатам ссылок, характеризующимся высоким качеством. Одним из факторов оценки релевантности документа, независимой от запроса, может также служить продолжительность существования этого документа.
Первый коэффициент, P(Q|D,r), представляет собой вероятность запроса с учетом релевантного документа. Для оценки этой вероятности необходимо выбрать языковую модель, описывающую то, как связаны запросы с релевантными документами. Один из широко распространенных подходов состоит в том, что документы представляются с помощью модели однословных сочетаний. В проблематике информационного поиска она известна также под названием модели ^ мультимножества слов, поскольку в ней учитывается только частота появления каждого слова в документе, а не их порядок. При использовании такой модели следующие (очень короткие) примеры документов рассматриваются как идентичные: “man bites dog” (человек кусает собаку) и “dog bites man” (собака кусает человека). Очевидно, что эти документы имеют разный смысл, но верно также то, что оба они являются релевантными по отношению к запросам о собаках и укусах. Теперь, чтобы рассчитать вероятность запроса при наличии релевантного документа, достаточно просто перемножить вероятности слов в запросе, руководствуясь моделью однословных сочетаний данного документа. В этом и состоит наивная байесовская модель данного запроса. Используя Qj для обозначения j-ro слова в запросе, получим следующее:
P(O|D,r) = И P(Qj|D,r) j
Это соотношение позволяет ввести такое упрощение:
P(r|D,Q)ГТX _?1£М_
P(-ir|P,C)11Р^1 'Г^ p(-,r\D)
j
Наконец, мы получили возможность применить эти математические модели к некоторому примеру. В табл. 23.1 приведены статистические данные по количеству однословных сочетаний применительно к словам в запросе [Bayes information retrieval model], выполняемом на коллекции документов, состоящей из пяти отдельных глав оригинала настоящей книги. Предполагается, что эти главы имеют одинаковое качество, поэтому требуется лишь вычислить вероятность запроса применительно к данному документу, для каждого документа. Такая процедура выполнена дважды, причем в первый раз использовалось выражение оценки несглажен- ного максимального правдоподобия D^ а во второй раз — модель Di' со сглаживанием путем добавления единицы. Можно было бы предположить, что текущая глава должна получить наивысший ранг применительно к этому запросу, и в действительности были получены такие данные при использовании в каждой модели.
Преимуществом сглаженной модели является то, что она менее восприимчива к шуму и позволяет присвоить ненулевую вероятность релевантности документу, не содержащему все слова запроса. А преимуществом несглаженной модели является то, что она позволяет проще выполнить вычисления применительно к коллекциям с многочисленными документами, поскольку после создания индекса, где указано, в каких документах упоминается каждое слово, появляется возможность быстро формировать результирующий набор путем применения операции пересечения
к этим спискам, после чего остается вычислить P(Q\D^ только для документов, входящих в полученное пересечение, а не для каждого документа.
Таблица 23.1. Вероятностная модель информационного поиска для запроса [Bayes information retrieval model], применяемого к коллекции документов, состоящей из пяти глав оригинала настоящей книги. В этой таблице указано количество слов, относящееся к каждой паре “документ- слово”, и общее количество слов ^для каждого документа. Используются две модели документа (Di — это несглаженная модель однословных сочетаний для i-ro документа; Di' — та же модель со сглаживанием путем добавления единицы) и вычисляется вероятность запроса применительно к каждому документу для обеих моделей. Очевидно, что текущая глава (глава 23) имеет наивысшие показатели при использовании любой модели, поскольку в ней появление искомых слов имеет в 200 раз более высокую вероятность по сравнению с любой другой главой
Слова
Запрос
Глава 1
Глава 13
Глава 15
Глава 22
Глава 23
Bayes
1
5
32
38
0
7
information
1
15
18
8
12
39
retrieval
1
1
1
0
0
17
model
1
9
7
160
9
63
N
4
14680
10941
18186
16397
12574
P(2|Di,r)
1.5xl0~14
2.8X10'13
0
0
1.2X10'11
P(Q\DT’ ,r)
4 . IxlO"14
7 . OxiO"13
5.2X10"13
1.7X10'15
1.5xl0~n
Сравнительный анализ систем информационного поиска
Важная проблема состоит в том, как оценить показатели работы рассматриваемой системы информационного поиска. Проведем эксперимент, в котором системе предъявляется ряд запросов, а результирующие наборы оцениваются с учетом суждений людей о релевантности полученных результатов. По традиции при такой оценке применяются два критерия: полнота выборки и точность. Сформулируем определения этих критериев с помощью примера. Предположим, что некоторая система информационного поиска возвратила результирующий набор, относящийся к одному запросу, применительно к которому известно, какие документы являются и не являются релевантными, из совокупности в 100 документов. Количество документов в каждой категории приведено в табл. 23.2.
Таблица 23.2. Количество документов в каждой категории
В результирующем наборе
Не в результирующем наборе
Релевантный
30
20
Не релевантный
10
40
Показатель ^ точности измеряет долю документов в результирующем наборе, которые действительно являются релевантными. В данном примере точность составляет 30/(30+10)=0,75. Относительное количество ложных положительных оценок равно 1-0,75=0,25. Показатель ^ полноты выборки измеряет долю всех релевантных документов в коллекции, которые находятся в результирующем наборе. В данном примере полнота выборки составляет 30/(30+20)=0,60. Относительное количество ложных отрицательных оценок равно 1-0,60=0,40. Вычисление показателя полноты выборки в очень большой коллекции документов, такой как World Wide Web, стано-
вится сложным, поскольку отсутствует удобный способ проверки каждой страницы в Web на релевантность. Самое лучшее решение, которое может быть принято в данном случае, состоит в том, чтобы оценивать полноту выборки путем исследования определенной части документов или совсем игнорировать показатель полноты выборки и оценивать коллекцию документов только по показателю точности.
В некоторых системах может происходить потеря точности из-за увеличения полноты выборки. В крайнем случае в системе, которая возвращает в составе результирующего набора каждый документ из коллекции документов, гарантированно достигается полнота выборки, равная 100%, но точность становится низкой. Еще один вариант состоит в том, что система может возвращать единственный документ и показывать низкую полноту выборки, но достигать высокой вероятности получения 100%-ной точности. Один из способов достижения компромисса между точностью и полнотой выборки состоит в использовании ^ кривой ROC. Аббревиатура “ROC” сокращенно обозначает показатель “рабочая характеристика приемника” (receiver operating characteristic), который требует дополнительных пояснений. Он представляет собой график, на котором относительное количество ложных отрицательных оценок измеряется по оси у, а относительное количество ложно положительных оценок измеряется по оси х, что позволяет находить различные точки компромиссов. Площадь под этой кривой представляет собой суммарную оценку эффективности системы информационного поиска.
Показатели полноты выборки и точности были определены в то время, когда задачи информационного поиска решались главным образом библиотекарями, которые были заинтересованы в получении исчерпывающих, научно обоснованных результатов. В настоящее время большинство запросов (количество которых измеряется сотнями миллионов в сутки) выполняется пользователями Internet, которых в меньшей степени интересует исчерпывающая полнота ответов и требуется лишь немедленно найти ответ. Для таких пользователей одним из наиболее приемлемых критериев является средний ^ обратный ранг первого релевантного результата. Это означает, что если первый результат, полученный системой, является релевантным, он получает применительно к данному запросу оценку 1, а если первые два результата не релевантны, а третий является таковым, он получает оценку 1/3. Еще одним критерием служит ^ время ожидания ответа, который позволяет измерить продолжительность времени, требуемую для поиска желаемого ответа на поставленный пользователем вопрос. Этот показатель лучше оценивает те характеристики систем информационного поиска, которые действительно хотелось бы точно измерить, но обладает одним недостатком, связанным с тем, что для проведения каждого нового эксперимента приходится привлекать новую партию испытуемых субъектов — людей.
Совершенствование информационного поиска
В модели однословных сочетаний все слова рассматриваются как полностью независимые, но носителям языка известно, что некоторые слова обладают определенными связями, например, слово “couch” (кушетка) тесно связано со словами “couches” и “sofa”. Во многих системах информационного поиска предпринимаются попытки учитывать подобные корреляции.
Например, если запрос сформулирован как [couch], то исключение из результирующего набора таких документов, в которых упоминаются слова “COUCH” или
“couches”, но не “couch”, было бы неправильным. В большинстве систем информационного поиска используются средства ^ приведения к нижнему регистру, с помощью которых слово “COUCH” преобразуется в “couch”, а во многих дополнительно применяется алгоритм ^ выделения основы, позволяющий преобразовать слово “couches” в основную форму “couch”. Применение указанных средств обычно позволяет добиться небольшого увеличения полноты выборки (для английского языка такое увеличение составляет порядка 2%). Но использование таких средств может привести к снижению точности. Например, после преобразования слова “stocking” в “stock” с помощью выделения основы обычно снижается точность применительно к запросам, относящимся либо к чулочно-носочным изделиям, либо к финансовым инструментам, хотя и может увеличить полноту выборки применительно к запросам о ведении домашнего хозяйства. Алгоритмы выделения основы, действующие с помощью фиксированных правил (например, правил, предусматривающих удаление суффикса “-ing”), не позволяют предотвратить возникновение этой проблемы, но новейшие алгоритмы, действующие на базе словаря (в которых суффикс “-ing” не удаляется, если слово с этим суффиксом имеется в словаре), позволяют решить эту проблему. Применение средств выделения основы в английском языке не позволяет добиться существенных результатов, но играет более важную роль в других языках. Например, в тексте на немецком языке нередко можно встретить слова наподобие “Lebensversicherungsgesellschaftsangestellter” (служащий компании страхования жизни). В таких языках, как финский, турецкий, инупик и юпик, имеются рекурсивные морфологические правила, которые позволяют в принципе составлять слова неограниченной длины.
Следующий этап состоит в том, что в системе предусматривается распознавание ^ синонимов, например, таких, как “sofa” и “couch”. Как и при использовании средств выделения основы, это позволяет добиться небольшого увеличения полноты выборки, но при непродуманном использовании этих средств возникает опасность снижения точности. Пользователи, желающие получить информацию о футболисте Тиме Коуче (Tim Couch), вряд ли хотели бы погрузиться в бесконечные объемы сведений о кушетках и диванах. Проблема состоит в том, что “языки не терпят абсолютной синонимии, так же как природа не терпит вакуума” [312]. Это означает, что при появлении в языке двух слов, соответствующих одному и тому же понятию, люди, говорящие на этом языке, совместными усилиями уточняют толкование таких слов для устранения путаницы.
Во многих системах информационного поиска в определенной степени используются двухсловные сочетания, но полная вероятностная модель двухсловных сочетаний реализована лишь в немногих системах. Кроме того, для исправления опечаток как в документах, так и в запросах могут использоваться процедуры ^ коррекции орфографических ошибок.
В качестве последнего усовершенствования можно указать, что повышение качества функционирования системы информационного поиска достигается также с помощью использования ^ метаданных — данных, внешних по отношению к тексту самого документа. К примерам таких данных относятся ключевые слова, подготовленные разработчиком документа, и гипертекстовые ссылки между документами.
Способы представления результирующих наборов
В соответствии с принципом вероятностного ранжирования должен быть получен результирующий набор и представлен пользователю в виде списка, отсортированного с учетом вероятности релевантности. Такой способ представления имеет смысл, если пользователь заинтересован в поиске всех релевантных документов, проведенном настолько быстро, насколько это возможно. Но он оказывается не совсем приемлемым, поскольку в нем не учитывается полезность. Например, если в коллекции имеются две копии наиболее релевантного документа, то после просмотра первой копии полезность второй, имеющей такую же релевантность, становится равной нулю. Во многих системах информационного поиска имеются механизмы, позволяющие исключать результаты, которые слишком подобны ранее полученным результатам.
Один из наиболее мощных способов повышения производительности системы информационного поиска состоит в обеспечении возможности использовать ^ отзывы, касающиеся релевантности. В этих отзывах пользователь указывает, какие документы из первоначального результирующего набора являются релевантными. После этого система может представить второй результирующий набор документов с документами, подобными указанным.
Еще один подход состоит в том, что результирующий набор представляется в виде размеченного дерева, а не упорядоченного списка. С помощью средств ^ классификации документов эти результаты оформляются в виде заранее определенной таксономии тем. Например, коллекция новостных сообщений может классифицироваться на “World News” (Зарубежные новости), “Local News” (Местные новости), “Business” (Новости экономики), “Entertainment” (Новости культуры) и “Sports” (Новости спорта). А при использовании средств ^ кластеризации документов дерево категорий создается для каждого результирующего набора с нуля. Методы классификации являются приемлемыми, если количество тем в коллекции невелико, а методы кластеризации в большей степени подходят для более широких коллекций, таких как World Wide Web. И в том и в другом случае после выполнения запроса пользователя результирующий набор предъявляется ему в виде папок, составленных по категориям.
Классификация — это задача контролируемого обучения, поэтому для ее решения может применяться любой из методов, описанных в главе 18. Один из широко используемых подходов состоит в формировании деревьев решений. После подготовки обучающего множества документов, обозначенных правильными категориями, может быть сформировано единственное дерево решений, листьям которого поставлены в соответствие документы, принадлежащие к той или иной категории. Такой подход полностью себя оправдывает, если имеется лишь несколько категорий, но при наличии более крупных множеств категорий приходится формировать по одному дереву решений для каждой категории, притом что листья этого дерева обозначают документ как принадлежащий или не принадлежащий к данной категории. Обычно характеристиками, проверяемыми в каждом узле, являются отдельные слова. Например, в одном из узлов дерева решений для категории “Sports” может быть предусмотрена проверка наличия слова “basketball”. Для классификации текстов были опробованы такие средства, как усиленные деревья решений, наивные байесовские модели и машины поддерживающих векторов; во многих случаях точность при использовании булевой классификации находилась в пределах 90-98%.
Кластеризация относится к типу задач неконтролируемого обучения. В разделе 20.3 было показано, как может использоваться алгоритм ЕМ для улучшения начальной оценки кластеризации на основе сочетания гауссовых моделей. Задача кластеризации документов является более сложной, поскольку неизвестно, было ли выполнено формирование данных с помощью правильной гауссовой модели, а также в связи с тем, что приходится действовать в условиях пространства поиска, имеющего намного больше размерностей. Для решения этой задачи был разработан целый ряд подходов.
В методе ^ агломеративной кластеризации создается дерево кластеров путем выполнения полной обработки совокупности вплоть до отдельных документов. Отсечение ветвей этого дерева для получения меньшего количества категорий может быть выполнено на любом уровне, но такая операция рассматривается как выходящая за рамки самого алгоритма. На первом этапе каждый документ рассматривается как отдельный кластер. После этого отыскиваются два кластера, наиболее близкие друг к другу согласно определенному критерию расстояния, и эти два кластера сливаются в один. Такой процесс повторяется до тех пор, пока не остается только один кластер. Критерием расстояния между двумя документами является некоторый критерий, измеряющий совпадение слов в этих документах. Например, документ может быть представлен как вектор количества слов, а само расстояние определено как евклидово расстояние между двумя векторами. Критерием расстояния между двумя кластерами может служить расстояние до середины кластера или может учитываться среднее расстояние между элементами кластеров. Метод агломеративной кластеризации требует затрат времени, пропорциональных О (п2), где п — количество документов.
В методе ^ кластеризации по к средним создается плоское множество, состоящее точно из к категорий. Этот метод действует, как описано ниже.
Случайным образом осуществляется выборка к документов для представления к категорий.
Каждый документ обозначается как принадлежащий к ближайшей категории.
Вычисляется среднее каждого кластера и используются к средних для представления новых значений к категорий.
Этапы 2) и 3) повторяются до тех пор, пока алгоритм не сходится.
Для метода кластеризации по к средним требуются затраты времени, пропорциональные О(п), в чем состоит одно из его преимуществ над агломеративной кластеризацией. Но в литературе часто приходится встречать сообщение о том, что этот метод является менее точным по сравнению с агломеративной кластеризацией, хотя некоторые исследователи сообщают, что он позволяет добиться почти таких же высоких показателей [1460].
Но независимо от применяемого алгоритма кластеризации требуется решить еще одну задачу, прежде чем результаты кластеризации можно будет использовать для представления результирующего набора, — найти удобный способ описания кластера. При использовании метода классификации имена категорий уже определены (например, “Earnings” — доходы), но при кластеризации имена категорий приходится изобретать заново. Один из способов выполнения этой задачи состоит в подборе списка слов, которые являются представительными для этого кластера. Еще один вариант состоит в применении названий одного или нескольких документов, близких к центру кластера.
Создание систем информационного поиска
До сих пор в этой главе было приведено описание работы систем информационного поиска в общих чертах, но не показано, как добиться эффективного функционирования этих систем для того, чтобы машины поиска Web могли возвращать искомые результаты обработки коллекции, состоящей из многих миллиардов страниц, за десятые доли секунды. Двумя основными структурами данных любой системы информационного поиска являются лексикон, содержащий списки всех слов в рассматриваемой коллекции документов, и инвертированный индекс, в котором перечислены все места, где каждое слово встречается в коллекции документов.
Лексиконом называется структура данных, которая поддерживает одну важную операцию: после получения определенного слова она возвращает данные о том, в каком месте инвертированного индекса хранятся экземпляры этого слова. В некоторых версиях систем информационного поиска эта структура возвращает также данные об общем количестве документов, содержащих искомое слово. Лексикон должен быть реализован с использованием хэш-таблицы или аналогичной структуры данных, которая обеспечивает быстрое выполнение этой операции поиска. Иногда в лексикон не включают ряд широко распространенных слов, имеющих малое информационное содержание. Эти слова, называемыми ^ запретными словами (“the”, “of”, “to”, “be”, “а” и т.д.), только занимают место в индексе, но не увеличивают ценность результата. Единственным резонным основанием для включения их в лексикон может служить вариант, в котором лексикон используется для поддержки фразовых запросов, — индекс, содержащий запретные слова, необходим для эффективной выборки результатов для таких запросов, как “to be or not to be”.
^ Инвертированный индекс, подобно индексу (предметному указателю), приведенному в конце данной книги, состоит из множества ^ списков позиций — обозначений тех мест, где встречается каждое слово. Применительно к булевой модели ключевых слов список позиций представляет собой список документов. А список позиций, применяемый в модели однословных сочетаний, представляет собой список пар (документ, количество). Для обеспечения поддержки фразового поиска список позиций должен также включать обозначения позиций в каждом документе, где встречается каждое слово.
Если запрос состоит из одного слова (а такая ситуация встречается в 26% случаев, согласно [1411]), его обработка происходит очень быстро. Для этого выполняется единственная операция поиска в лексиконе для получения адреса списка позиций, а затем создается пустая очередь по приоритету. В дальнейшем происходит обработка списка позиций одновременно по одному документу и проверка количества экземпляров искомого слова в документе. Если очередь по приоритету имеет меньше, чем R элементов (где R — размер желаемого результирующего набора), то пара (документ, количество) добавляется к очереди. В противном случае, если количество экземпляров искомого слова больше по сравнению с соответствующими данными элемента с наименьшими показателями в очереди по приоритету, этот элемент
с наименьшими показателями удаляется из очереди и добавляется новая пара (документ, количество). Таким образом, поиск ответа на запрос требует затрат времени, пропорциональных 0(//+^1од^), где н— количество документов в списке позиций. Если запрос состоит из п слов, требуется выполнить слияние п списков позиций, для чего требуется затраты времени, равные О^пН+кУодЮ .
В данной главе теоретический обзор средств информационного поиска представлен с использованием вероятностной модели, поскольку эта модель основана на идеях, уже описанных при изложении других тем в настоящей книге. Но в системах информационного поиска, фактически применяемых на практике, чаще всего используется другой подход, называемый ^ моделью векторного пространства. Эта модель основана на таком же подходе с использованием мультимножества слов, как и вероятностная модель. Каждый документ представлен в виде вектора частот однословных сочетаний. Запрос также представляется полностью аналогичным образом; например, запрос [Bayes information retrieval model] представляется в виде вектора:
[0,..., 1,0,..., 1,0,..., 1, О1,0,...]
Применяемая здесь идея состоит в том, что существует по одному измерению для каждого слова в коллекции документов, а запрос получает оценку 0 по каждому измерению, кроме тех четырех, которые фактически присутствуют в запросе. Релевантные документы отбираются путем поиска среди векторов документов именно тех векторов, которые являются ближайшими соседями по отношению к вектору запроса в векторном пространстве. Одним из критериев подобия служит точечное произведение между вектором запроса и вектором документа; чем больше это произведение, тем ближе два вектора. С точки зрения алгебры указанные вычисления обеспечивают получение высоких оценок теми словами, которые часто появляются и в документе, и в запросе. А с точки зрения геометрии точечное произведение между двумя векторами равно косинусу угла между этими векторами; максимизация косинуса угла между двумя векторами (находящимися в одном и том же квадранте) равносильна уменьшению этого угла до нуля.
Это краткое описание далеко не исчерпывает всю проблематику модели векторного пространства. На практике эта модель была развита до такой степени, чтобы в ней можно было учесть целый ряд дополнительных средств, уточнений, исправлений и дополнений. Основная идея ранжирования документов по их подобию в векторном пространстве позволяет внести новые понятия в систему числового ранжирования. Некоторые специалисты утверждают, что вероятностная модель позволила бы выполнять аналогичные манипуляции более научно обоснованным способом, но исследователи в области информационного поиска вряд ли согласятся перейти на другой инструментарий до тех пор, пока не убедятся в явных преимуществах другой модели с точки зрения производительности.
Для того чтобы получить представление о том, с какими масштабами применения средств индексации приходится сталкиваться при решении типичной задачи информационного поиска, рассмотрим стандартную совокупность документов из коллекции TREC (Text REtrieval Conference), состоящую из 750 тысяч документов с общим объемом в 2 Гбайт текста. Лексикон этой коллекции содержит приблизительно 500 тысяч слов, к которым применены операции выделения основы и приведения к нижнему регистру; для хранения этих слов требуется объем памяти от 7 до 10 Мбайт. Инвертированный индекс с парами (документ, количество) занимает 324
Мбайт, хотя и остается возможность применить методы сжатия для сокращения этого объема до 83 Мбайт. Методы сжатия позволяют экономить пространство за счет небольшого увеличения потребностей в обработке. Но если сжатие позволяет держать весь индекс в памяти, а не хранить его на диске, то появляется возможность добиться существенного общего прироста производительности. Для поддержки фразовых запросов требуется увеличение этого объема примерно до 1200 Мбайт не в сжатом виде или до 600 Мбайт со сжатием. Машины поиска Web действуют в масштабах, превышающих примерно в 3000 раз указанные выше. При этом многие из описанных здесь проблем остаются теми же, а поскольку задача оперирования с терабайтами данных в одном компьютере практически не осуществима, индекс разделяется на к сегментов и каждой сегмент сохраняется на отдельном компьютере. Запрос передается параллельно на все компьютеры, а затем к результирующих наборов сливаются в один результирующий набор, который предъявляется пользователю. Кроме того, машины поиска Web вынуждены справляться с тысячами запросов, поступающих в секунду, поэтому для них требуется п копий к компьютеров. Со временем значения к и п продолжают возрастать.
Извлечение информации
^ Извлечением информации называется процесс создания записей базы данных путем просмотра текста и выявления экземпляров конкретного класса объектов или событий, а также связей между этими объектами и событиями. Может быть предпринята попытка применить такой процесс для извлечения данных об адресах из Web-страниц и внесения в базу данных информации об улице, городе, штате и почтовом коде или извлечения сведений о происходящих штормах из сообщений о погоде и внесения в базу данных информации о температуре, скорости ветра и количестве осадков. Системы извлечения информации занимают промежуточное положение между системами информационного поиска и полными синтаксическими анализаторами текста, поскольку к ним предъявляются более высокие требования, чем просто преобразование документа в мультимножество слов, но меньшие требования по сравнению с полным анализом каждого предложения.
Простейшим типом системы извлечения информации является система, основанная на атрибутах, поскольку в ней предполагается, что весь текст относится к одному объекту и задача состоит в извлечении атрибутов этого объекта. Например, в разделе 10.5 упоминалась задача извлечения из текста “17in SXGA Monitor for only $249.99” отношений базы данных, определяемых следующим выражением:
Вт т Е СотриterMonitors л Sizekm, Inches(17)) л Price(т, $(249.99)) л Resolution(т, 1280x1024)
Определенная часть этой информации может обрабатываться с помощью ^ регулярных выражений, которые определяют регулярную грамматику, заданную на одной строке текста. Регулярные выражения используются в командах Unix, таких как grep, в языках программирования, таких как Perl, и в текстовых процессорах, таких как Microsoft Word. Подробные сведения о грамматике, применяемой в том или ином инструментальном средстве, в значительной степени различаются, поэтому их лучше всего узнать из соответствующего справочного руководства, но в
табл. 23.3 показано, как сформировать регулярное выражение для выделения данных о ценах в долларах, и продемонстрировано применение общих подвыражений.
Таблица 23.3. Примеры применения регулярных выражений
Регулярное выражение
Результат применения
[0-9]
Согласуется с любой цифрой от 0 до 9
[0-9]+
Согласуется с одной или большим количеством цифр
.[0-9][0-9]
Согласуется с конструкцией, состоящей из точки, за которой следуют две цифры
(. [0-9] [0-9])?
Согласуется с конструкцией, состоящей из точки, за которой следуют две цифры, или с пустой строкой
$[0-9]+(. [0-9] [0-9])?
Согласуется со строкой $249.99, или $1.23, или $1000000, или ...
Системы извлечения информации на основе атрибутов могут быть созданы в виде ряда регулярных выражений, по одному для каждого атрибута. Если регулярное выражение согласуется с текстом один и только один раз, то существует возможность извлечь часть текста, определяющую значение соответствующего атрибута. Если соответствия не найдены, то больше ничего нельзя сделать, а если регулярное выражение согласуется с текстом в нескольких местах, то нужно применить процесс осуществления выбора между этими согласованиями. Одна из возможных стратегий состоит в том, чтобы для каждого атрибута было предусмотрено несколько регулярных выражений, упорядоченных по приоритетам. Поэтому, например, регулярное выражение с наивысшим приоритетом для выделения цены может предусматривать применение строки “our price: ”, за которой сразу же следует знак доллара “$”; если же эта строка не будет обнаружена, можно сразу же перейти к использованию менее надежного регулярного выражения. Еще одна стратегия состоит в том, чтобы найти все согласования и применить определенный способ выбора между ними. Например, можно взять самую низкую цену, которая находится в пределах 50% от самой высокой цены. Это позволить обрабатывать тексты, подобные следующему: “List price $99.00, special sale price $78.00, shipping $3.00”.
На более высоком этапе развития по сравнению с системами извлечения информации на основе атрибутов находятся системы извлечения информации на основе отношений, или реляционные системы, которые позволяют учитывать наличие в тексте информации о более чем одном объекте и отношениях между ними. Таким образом, при обнаружении такими системами текста “$249.99” они должны определить не только цену, но и объект, имеющий эту цену. Типичной системой извлечения информации на основе отношений является система FASTUS, которая применяется для обработки новостных сообщений о корпоративных слияниях и приобретениях. Эта система способна прочитать следующее сообщение:
Bridgestone Sports Со. said Friday it has set up a joint venture in Taiwan with a local concern and a Japanese trading house to produce golf clubs to be shipped to Japan.
и сформировать примерно такую запись базы данных:
е Е Jointventures л Productке, "golf clubs") л Dateke, "Friday") л Entityke, "Bridgestone Sports Co") л Entityke, "a local concern") л Entityke, "a Japanese trading house")
Реляционные системы извлечения информации часто создаются на основе каскадных преобразователей с конечными автоматами. Это означает, что они состоят из ряда конечных автоматов (Finite-State Automaton — FSA), где каждый автомат принимает текст в качестве входных данных, преобразует этот текст в другой формат и передает его следующему автомату. Такой способ обработки является осуществимым, поскольку каждый конечный автомат действует достаточно эффективно, а при совместном использовании они приобретают способность извлекать необходимую информацию. Типичной системой такого типа является FASTUS, которая состоит из конечных автоматов, выполняющих описанные ниже пять этапов обработки.
Разбиение на лексемы.
Обработка сложных слов.
Обработка базовых групп.
Обработка сложных фраз.
Слияние структур.
Первым этапом обработки системы FASTUS является разбиение на лексемы, в котором поток символов сегментируется на лексемы (слова, числа и знаки препинания). Применительно к тексту на английском языке разбиение на лексемы может быть выполнено довольно просто; для этого достаточно лишь следить за разделяющими символы пробелами или знаками препинания. А применительно к тексту на японском языке для разбиения на лексемы требуется вначале выполнить сегментацию, используя нечто вроде алгоритма сегментации Витерби (см. листинг 23.1). Некоторые средства разбиения на лексемы позволяют также обрабатывать такие языки разметки, как HTML, SGML и XML.
На втором этапе обрабатываются сложные слова, включая такие словосочетания, как “set up” (настройка) и “joint venture” (совместное предприятие), а также имена собственные, такие как “Prime Minister Tony Blair” и “Bridgestone Sports Со.”. Сложные слова распознаются с использованием сочетания лексических элементов и грамматических правил конечного автомата. Например, название компании может быть распознано с помощью следующего правила:
CapitalizedWord+("Company"|"Co"|"Inc"|"Ltd")
Эти правила необходимо составлять с учетом всех предосторожностей и проверять на полноту и точность. Одна из коммерческих систем распознала словосочетание “Intel Chairman Andy Grove” (Председатель правления Intel Энди Гроув) как обозначение местности, а не имя лица, применив правило в следующей форме:
Capi tali zedWord+ ("Grove" | "Forest" | "Village" |...)
На третьем этапе выполняется обработка базовых групп; под этим подразумеваются именные и глагольные группы. Общая идея состоит в том, чтобы объединить на этом этапе слова в такие элементы, которые можно будет легко обрабатывать на последующих этапах. Именная группа состоит из заглавного существительного, за которым следуют необязательные определители и другие модификаторы. Поскольку именная группа не включает всех сложных конструкций, предусмотренных для именного словосочетания NP в грамматике £1? не требуются рекурсивные правила контекстно-свободной грамматики — достаточно только использовать правила регу-
лярной грамматики, допустимые для конечных автоматов. Глагольная группа состоит из глагола и присоединенных к нему вспомогательных частиц и наречий, но без прямого и косвенного объекта и пропозициональных предложений. Предложение* приведенное выше в качестве примера, может быть преобразовано на этом этапе
в следующую конструкцию:NG: Bridgestone Sports Со.VG: said. NG: FridayNG: itVG: had set upNG: a joint venturePR: inNG: TaiwanPR: withв следующую конструкцию:NG: Bridgestone Sports Со.VG: said. NG: FridayNG: itVG: had set upNG: a joint venturePR: inNG: TaiwanPR: withNG: a local concernCJ: andNG: a Japanese trading houseVG: to produceNG: golf clubsVG: to be shippedPR: toNG: JapanNG: a local concernCJ: andNG: a Japanese trading houseVG: to produceNG: golf clubsVG: to be shippedPR: toNG: Japan
в следующую конструкцию:
NG: Bridgestone Sports Со.
VG: said
. NG: Friday
NG: it
VG: had set up
NG: a joint venture
PR: in
NG: Taiwan
PR: with
в следующую конструкцию:
NG: Bridgestone Sports Со.
VG: said
. NG: Friday
NG: it
VG: had set up
NG: a joint venture
PR: in
NG: Taiwan
PR: with
NG: a local concern
CJ: and
NG: a Japanese trading house
VG: to produce
NG: golf clubs
VG: to be shipped
PR: to
NG: Japan
NG: a local concern
CJ: and
NG: a Japanese trading house
VG: to produce
NG: golf clubs
VG: to be shipped
PR: to
NG: Japan
где NG обозначает именную группу; VG— глагольную группу; PR— предлог, С J — союз.
На четвертом этапе базовые группы объединяются в сложные фразы. И в этом случае цель состоит в том, чтобы применяемые правила могли быть реализованы с помощью конечного автомата и допускали быструю обработку, а полученный результат сводился к непротиворечивым (или почти непротиворечивым) выходным фразам. В правиле комбинирования одного из типов учитываются события, типичные для рассматриваемой проблемной области. Например, следующее правило отражает один из способов описания процесса формирования совместного предприятия:
Company+SetUp Jointventure ("with" Company*')?
Этот этап является первым из каскада этапов, в которых полученные выходные данные помещаются в шаблон базы данных, а также выводятся в выходной поток.
На последнем этапе происходит слияние структур, которые были сформированы на предыдущем этапе. Если в следующем предложении сказано: “The joint venture will start production in January” (Это совместное предприятие начнет выпускать продукцию в январе), то на данном этапе будет отмечено, что в двух ссылках на совместное предприятие (“joint venture”) упоминается один и тот же объект, и они будут объединены в одну ссылку.
Вообще говоря, средства извлечения информации действуют успешно применительно к ограниченной проблемной области, в которой возможно заранее определить, какие темы будут обсуждаться и в каких терминах будет проходить это обсуждение. Такие средства показали свою применимость для целого ряда проблемных областей, но они не способны заменить полномасштабную обработку текста на естественном языке.
Машинный перевод
Машинным переводом называется автоматический перевод текста с одного естественного языка (исходного) на другой (целевой). Практика показала, что этот процесс может применяться для выполнения целого ряда задач, включая перечисленные ниже.
. Грубый перевод, цель которого состоит в том, чтобы только определить смысл отрывка текста. В нем допускается наличие грамматически неправильных и неуклюжих предложений, при условии, что смысл этих предложений ясен. Например, в ходе Web-серфинга пользователю часто достаточно получить грубый перевод Web-страницы на иностранном языке. Иногда лицо, владеющее только родным языком, может успешно выполнить последующее редактирование результатов перевода без необходимости читать источник. Такого рода перевод с помощью машины позволяет сэкономить деньги, поскольку тем, кто занимается редактированием текста, полученного с помощью машинного перевода, можно платить меньше, чем тем, кто непосредственно переводит с иностранного языка.
. Перевод источников с ограниченной тематикой, в котором тема и формат исходного текста строго ограничены. Одним из наиболее удачных примеров является система Taum-Meteo, которая переводит сообщения о погоде с английского языка на французский. Ее работа основана на том, что язык, используемый в сообщениях о погоде, является в высшей степени стилизованным и формализованным.
. Перевод с предварительным редактированием, в котором исходный документ заранее редактируется перед машинным переводом людьми для того, чтобы он соответствовал ограниченному подмножеству английского или любого другого языка оригинала. Такой подход является особенно экономически эффективным, если есть необходимость перевести один документ на много языков, как в случае распространения юридических документов в Европейском экономическом сообществе или в случае тиражирования инструкций компаниями, которые продают один и тот же продукт во многие страны. Ограниченные языки иногда называют “Caterpillar English” (английским языком Caterpillar), поскольку впервые попытку оформлять свои инструкции в такой форме предприняла корпорация Caterpillar. Компания Xerox определила язык для своих инструкций по техническому обслуживанию, который является достаточно простым для того, чтобы его можно было перевести с помощью машины на языки всех стран, с которыми компания Xerox имеет деловые связи. Дополнительным преимуществом оказалось то, что оригинальные английские инструкции также стали более понятными.
. Литературный перевод, в котором сохраняются все нюансы исходного текста. В настоящее время эта задача выходит за рамки возможностей машинного перевода.
В качестве примера грубого перевода в табл. 23.4 приведен первый абзац из оригинала данной главы, переведенный на итальянский язык, затем снова на английский с помощью службы перевода Systran.
Задача перевода является сложной, поскольку, вообще говоря, для ее решения требуется глубокое понимание текста, а для этого, в свою очередь, необходимо глубокое понимание ситуации, о которой идет речь. Это утверждение является справедливым применительно даже к очень простым текстам, в частности даже к “текстам”, состоящим из одного слова. Рассмотрим слово “Open” на двери магазина. Оно со-
общает, что в данный момент магазин принимает покупателей. Теперь предположим, что такое же слово “Open” написано на большом плакате рядом с вновь открытым магазином. Оно означает, что магазин уже работает, но люди, прочитавшие это сообщение, не почувствуют себя обманутыми, узнав, что магазин закрыли на ночь, а плакат оставили висеть на стенде. Дело в том, что в этих двух сообщениях одно и то же слово использовалось для передачи разных смысловых значений. С другой стороны, в тех магазинах, где с покупателями общаются на немецком языке, на дверях принято вешать табличку “Offen”, а на соответствующих плакатах, сообщающих об открытии нового магазина, писать слова “Neu Eroffnet”.
Таблица 23.4. Результаты двух последовательных применений средств грубого машинного перевода текста первого абзаца из оригинала настоящей главы
Текст на итальянском языкеТекст на английском языке
In capitolo 22 abbiamo visto come un agente potrebbe comunicare con un altro agente (essere umano о software) che usando le espressioni in un linguaggio reciprocamente accordato. Completare sintattico e 1'analisi semantica delle espressioni ё necessaria da estrarre il significato completo del utterances ed ё possibile регсНё le espressioni sono corte e limitate ad un settore limitatoIn capitolo 22 abbiamo visto come un agente potrebbe comunicare con un altro agente (essere umano о software) che usando le espressioni in un linguaggio reciprocamente accordato. Completare sintattico e 1'analisi semantica delle espressioni ё necessaria da estrarre il significato completo del utterances ed ё possibile регсНё le espressioni sono corte e limitate ad un settore limitatoIn chapter 22 we have seen as an agent could communicate with an other agent (to be human or software) that using the expressions in a language mutual come to an agreement. Complete syntactic and the semantic analysis of the expressions is necessary to extract the complete meant one of the utterances and is possible because the expressions short and are limited to a dominionIn chapter 22 we have seen as an agent could communicate with an other agent (to be human or software) that using the expressions in a language mutual come to an agreement. Complete syntactic and the semantic analysis of the expressions is necessary to extract the complete meant one of the utterances and is possible because the expressions short and are limited to a dominion
In capitolo 22 abbiamo visto come un agente potrebbe comunicare con un altro agente (essere umano о software) che usando le espressioni in un linguaggio reciprocamente accordato. Completare sintattico e 1'analisi semantica delle espressioni ё necessaria da estrarre il significato completo del utterances ed ё possibile регсНё le espressioni sono corte e limitate ad un settore limitato
In capitolo 22 abbiamo visto come un agente potrebbe comunicare con un altro agente (essere umano о software) che usando le espressioni in un linguaggio reciprocamente accordato. Completare sintattico e 1'analisi semantica delle espressioni ё necessaria da estrarre il significato completo del utterances ed ё possibile регсНё le espressioni sono corte e limitate ad un settore limitato
In chapter 22 we have seen as an agent could communicate with an other agent (to be human or software) that using the expressions in a language mutual come to an agreement. Complete syntactic and the semantic analysis of the expressions is necessary to extract the complete meant one of the utterances and is possible because the expressions short and are limited to a dominion
In chapter 22 we have seen as an agent could communicate with an other agent (to be human or software) that using the expressions in a language mutual come to an agreement. Complete syntactic and the semantic analysis of the expressions is necessary to extract the complete meant one of the utterances and is possible because the expressions short and are limited to a dominion
Проблема состоит в том, что в различных языках мир подразделяется на категории по-разному. Например, французское слово “doux” охватывает широкий диапазон смысловых значений, приблизительно соответствующих английским словам “soft”, “sweet” и “gentle”. Аналогичным образом, английское слово “hard” охватывает практически все области применения немецкого слова “hart” (физически стойкий, жесткий), а также области использования слова “schwierig” (трудный). Немецкий глагол “heilen” охватывает все области применения английского существительного “cure” в медицине, а также области применения английского глагола “heal” в качестве транзитивного и нетранзитивного в обычном языке. Поэтому задача представления смысла предложения для перевода сложнее по сравнению с той ситуацией, когда эта задача решается в целях понимания смысла предложения на одном языке. В системе синтаксического анализа текста на одном языке могут использоваться предикаты наподобие Open (х), а в случае перевода язык представления должен обеспечивать проведение более тонких различий, например, с учетом того, что предикат Ореп± (х) должен представлять смысл надписи “Offen”, а Ореп2 (х) — смысл надписи “Neu Eroffnet”. Язык представления, в котором учитываются все различия, необходимые для представления целого ряда языков, называется промежуточным языком.
Чтобы выполнить беглый перевод, переводчик (человек или машина) должен прочитать первоначальный текст, понять тему, к которой он относится, и составить соответствующий текст на целевом языке, достаточно качественно описывающий ту же или аналогичную тему. При этом часто приходится брать на себя определенную ответственность. Например, английское слово “you”, обращенное к отдельному лицу, может быть переведено на французский язык либо как формальное обращение “vous”, либо как неформальное “tu”. Дело в том, что просто не существует способа, позволяющего перевести обращение “you” на французский язык, не приняв вместе с
тем решения о том, должно ли это обращение быть формальным или неформальным. Переводчики (и машины, и люди) иногда испытывают затруднения, принимая подобные решения.
Системы машинного перевода
Системы машинного перевода различаются по тому признаку, на каком уровне в них осуществляется анализ текста. В некоторых системах предпринимается попытка полностью проанализировать входной текст вплоть до получения представления на промежуточном языке (как было сделано в главе 22), а затем сформировать из этого представления предложения на целевом языке. Такая задача является сложной, поскольку она включает в качестве подзадачи проблему полного понимания языка, а к этому добавляются все сложности, связанные с применение промежуточного языка. К тому же такой подход является ненадежным, поскольку в случае неудачного завершения анализа не формируются также выходные данные. А его преимуществом является то, что нет таких частей системы, функционирование которых основано на знании одновременно двух языков. Это означает, что может быть создана система с промежуточным языком, позволяющая переводить тексты с одного из п языков на другой за счет трудозатрат, пропорциональных О (п), а не О (п2).
Другие системы основаны на так называемом методе ^ передачи. В них имеется база данных, состоящая из правил перевода (или примеров), а перевод осуществляется непосредственно путем согласования текста с правилами (или примерами). Передача может осуществляться на лексическом, синтаксическом или семантическом уровне. Например, строго синтаксическое правило преобразует английское словосочетание VAdjective Noun] (adjective — имя прилагательное, noun — имя существительное) во французское словосочетание VNoun Adjective]. А, допустим, смешанное синтаксическое и лексическое правило устанавливает соответствие между французским выражением [Si "et puis" S2] и английским [Si "and then" S2]. Передача, выполняемая с непосредственным преобразованием одного предложения в другое, известна под названием метода ^ перевода с помощью памяти, поскольку она основана на запоминании большого множества пар (английский, французский). Метод передачи является надежным, поскольку он всегда обеспечивает выработку пусть даже каких-то выходных данных и при этом по меньшей мере хотя бы часть полученных слов обязательно оказывается правильной. На рис. 23.2 схематически показаны различные уровни передачи.
Статистический машинный перевод
В начале 1960-х годов широко распространилось мнение, что компьютеры вскоре смогут без особых проблем переводить с одного естественного языка на другой, в соответствии с тем, что в проекте Тьюринга удалось добиться успешного “перевода” закодированных сообщений на немецком языке в немецкий текст, доступный для восприятия. Но к 1966 году стало ясно, что для беглого перевода требуется понимание смысла сообщений, а для взлома кода — нет.
В последнее десятилетие наметилась тенденция к использованию систем машинного перевода, основанных на статистическом анализе. Безусловно, можно добиться выигрыша благодаря применению статистических данных и четкой вероятностной
модели того, в чем состоит качественный анализ или передача текста, на любом из этапов, показанных на рис. 23.2. Но под понятием “статистического машинного перевода” подразумевается общий подход к решению проблемы перевода, который основан на поиске наиболее вероятного перевода предложения с использованием данных, полученных из двуязычной совокупности текстов. В качестве примера двуязычной совокупности текстов можно назвать ^ парламентские отчеты, которые представляют собой протоколы дебатов в парламенте. Двуязычные парламентские отчеты издаются в Канаде, Гонконге и других странах; официальные документы Европейского экономического сообщества издаются на 11 языках; а Организация объединенных наций публикует документы на нескольких языках. Как оказалось, эти материалы представляют собой бесценные ресурсы для статистического машинного перевода.
Рис. 23.2. Схематическое изображение вариантов организации систем машинного перевода. Схема начинается с английского текста, показанного в левой нижней части. Система с промежуточным языком следует по сплошным линиям, выполняя синтаксический анализ английского текста и преобразуя его вначале в синтаксическую форму, затем в семантическую форму представления и в форму представления на промежуточном языке, после этого выполняет этапы преобразования в семантическую, синтаксическую и лексическую форму на французском языке. В системе на основе передачи в качестве сокращенных путей используются пунктирные линии. В различных системах передача осуществляется на разных уровнях, причем в некоторых системах она происходит одновременно на нескольких уровнях
Проблему перевода английского предложения Е, скажем, во французское предложение F можно представить в виде следующего уравнения, предусматривающего применение правила Байеса:
argmax P(F|F) = argmax Р(Е|F)P(F)/Р(Е)
FF
= argmax P(F|F)P(F)
F
Это правило указывает, что мы должны рассмотреть все возможные французские предложения F и выбрать из них то, которое максимизирует произведение P(F| F) P(F). Коэффициент P(F) можно проигнорировать, поскольку он является одинаковым для любого F. Коэффициент P(F) представляет собой ^ языковую модель для французского языка; он указывает, насколько велика вероятность появления данного конкретного предложения во французском тексте. Вероятность Р(Е\ F) представляет собой ^ модель перевода; она указывает, насколько велика вероятность того, что некоторое английское предложение будет использоваться в качестве перевода, если дано определенное французское предложение.
Внимательного читателя, безусловно, заинтересует вопрос о том, чего мы добьемся, определив вероятность P(F| F) в терминах P(F| F). В других областях применения правила Байеса такая перестановка термов в выражениях для условной вероятности была сделана в связи с тем, что мы стремились перейти к использованию причинной модели. Например, для вычисления вероятности наличия определенных симптомов при определенном заболевании, Р( Disease | Symptoms), применялась причинная модель Р( Symptoms | Disease). В отличие от этого при переводе с одного языка на другой ни одно из направлений перевода не характеризуется большей причинной зависимостью, чем другое. В данном случае правило Байеса применяется в связи с тем, что мы, по-видимому, сможем легко определить с помощью обучения языковую модель P(F), которая является более точной по сравнению с моделью перевода P(F| F) (а также более точной по сравнению с непосредственно полученной оценкой Р (F | Е)). По сути такой подход позволяет разделить задачу на две части — вначале применить модель перевода P(F|F) для поиска подходящих французских предложений, в которых упоминаются те же понятия, что и в английском предложении (но это не обязательно должны быть французские предложения, полностью адекватные английскому предложению); затем воспользоваться языковой моделью P(F) (для которой имеются намного лучшие оценки вероятностей), чтобы выбрать наиболее подходящий вариант перевода.
В качестве языковой модели P^F) может использоваться любая модель, позволяющая присвоить предложению определенное значение вероятности. При наличии очень большой совокупности текстов можно оценить P(F) непосредственно путем подсчета количества случаев появления каждого предложения в этой совокупности текстов. Например, если с помощью Web будет собрано 100 миллионов французских предложений и обнаружено, что предложение “Clique ici” (Щелкните здесь) появляется 50 тысяч раз, то Р("Clique ici") равно 0,0005. Но даже при наличии 100 миллионов примеров количество экземпляров большинства возможных предложений будет равно нулю. Поэтому мы будем использовать знакомую языковую модель двухсловных сочетаний, в которой вероятность французского предложения, состоящего из слов fi... fn, может быть представлена следующим образом:
п
P(fl...fn) = П P(fi|fi-1) i=l
Для этого необходимо знать вероятности двухсловных сочетаний, такие как Р( "Eiffel" | "tour") =. 02. Эти данные позволяют учитывать только самые локальные проявления синтаксических связей, в которых слово зависит лишь от предыдущего слова. Но этого часто достаточно для грубого перевода.
Задача выбора модели перевода, Р(Е\ F), является более сложной. С одной стороны, отсутствует готовая коллекция пар предложений (английский, французский), с помощью которой можно было бы проводить обучение. С другой стороны, такая модель сложнее, поскольку в ней рассматривается перекрестное произведение предложений, а не просто отдельные предложения. Начнем с одной чрезмерно упрощенной модели перевода и постепенно усовершенствуем ее до такого уровня, чтобы она напоминала известную разработку IBM Model 3 [196], которая все еще может показаться чрезмерно упрощенной, но обнаружила свою способность вырабатывать приемлемые варианты перевода примерно в половине случаев.
Рассматриваемая чрезмерно упрощенная модель перевода основана на таком принципе: “Чтобы перевести предложение, просто переведите каждое слово отдельно, независимо от другого, в порядке слева направо”. Это — модель выбора однословного сочетания. Она позволяет легко вычислить вероятность перевода:
п
P(E|F) = P(Ei|Fi) i=l
В некоторых случаях эта модель действует безукоризненно. Например, рассмотрим следующую конструкцию:
Р("the dog"|"le chien") = Р("the"|"le")хр("dog"|"chien")
При любом обоснованном подборе вариантов значений вероятностей выражение “the dog” (собака) будет служить наиболее правдоподобным переводом выражения “1е chien”. Но в большинстве случаев прямолинейные попытки применения этой модели оканчиваются неудачей. Одна из проблема связана с порядком слов. Английское слово “dog” соответствует французскому слову “chien”, а понятие, обозначаемое в английском языке словом “brown” (коричневый), во французском языке обозначается словом “brun”. Однако словосочетание “brown dog” переводится как “chien brun”. Еще одна проблема состоит в том, что словесные обороты не связаны друг с другом в форме взаимно однозначного соответствия. Английское слово “home” часто переводят с помощью выражения “й la maison”, поэтому имеет место соответствие “один к трем” (или три к одному, при противоположном направлении перевода). Невзирая на наличие указанных проблем, разработчики модели IBM Model 3 приняли за основу жесткий
подход, по сути базирующийся на модели однословных сочетаний, но ввели несколько дополнений для компенсации ее недостатков.
Для того чтобы можно было учесть тот факт, что некоторые слова не допускают перевода один к одному, в эту модель было введено понятие ^ фертильности (fertility — плодовитость) слова. Слово с фертильностью п копируется п раз, после чего каждая из этих п копий переводится независимо. Модель содержит параметры, которые показывают значение P(Fertility=n\ word) для каждого французского слова. Для перевода выражения “a la maison” как выражения “home” в этой модели необходимо выбрать фертильность 0 для “й” и “1а” и фертильность 1 для “maison”, азатем применить модель перевода однословных сочетаний, чтобы перевести “maison” как “home”. Такой подход кажется достаточно приемлемым, поскольку “а” и “1а”, будучи словами с низким информационным содержанием, могут быть на полном основании заменены в процессе перевода пустой строкой. Но применение такого метода для перевода в другом направлении становится более сомнительным. Слову “home” должна быть назначена фертильность 3, что приведет к его преобразованию в “home home home”. Тогда первое слово “home” должно быть переведено как “а”, второе как “1а” и третье как “maison”. Но с точки зрения этой модели перевода выражение “й la maison” должно иметь точно такую же вероятность, как “maison la а” (в этом и состоит та часть данного подхода, которая может быть поставлена под сомнение.) Дело в том, что выбор того или иного варианта должен осуществляться на уровне языковой модели. Может показаться, что было бы более целесообразным применение непосредственного перевода слова “home” как выражения “a la maison” вместо использования косвенного варианта с преобразованием в “home home home”, но для этого потребовалось бы больше параметров и их было бы труднее получить из доступной совокупности текстов.
В последней части этой модели перевода предусмотрена перестановка слов в правильные позиции. Такая перестановка осуществляется с помощью модели смещений, в которой указано, как следует перемещать слова из их первоначальных позиций в окончательные позиции. Например, при переводе “chien brun” как “brown dog” слово “brown” получает смещение +1 (оно сдвигается на одну позицию вправо), а слово “dog” получает смещение -1. На первый взгляд может показаться, что смещение должно быть зависимым от слова, например, такие прилагательные, как “brown”, как правило, должны иметь положительное смещение, поскольку во французском языке прилагательные обычно стоят после существительных. Но разработчики модели IBM Model 3 решили, что для реализации подхода, в котором смещения зависят от слова, потребуется слишком много параметров, поэтому смещение должно быть независимым от слова и зависимым только от положения внутри предложения, а также от длины предложений на обоих языках. Это означает, что в этой модели осуществляется оценка следующих параметров:
Р( Offset=o | Posi tion-p, EngLen=m, FrLen=n)
Таким образом, для определения смещения слова “brown” в выражении “brown dog” с помощью базы данных определяется значение Р( Offset 11,2,2), что может, например, привести к получению значения +1 с вероятностью 0,3 и 0 с вероятностью 0,7. Но такая модель смещений кажется еще более сомнительной, особенно тем, кто, например, пытался составить надпись из букв с магнитами на своем холодильнике и понял, что это намного сложнее, чем высказать то же самое с помощью
обычной речи. Вскоре будет показано, что такое решение было принято разработчиками не потому, что оно основано на качественной модели языка, а в связи с тем, что обеспечивает эффективное использование имеющихся данных. Так или иначе модель смещения наглядно показывает, что модель перевода среднего качества может быть значительно улучшена с помощью высококачественной языковой модели для французского языка. Ниже приведен пример, показывающий все этапы перевода одного предложения.
Исходный французский текст:
Модель фертильности:
Le
1
chien brun
n‘
1
est pas alle
a la 0 0
maison 1
1
1
10
1
Трансформированный
французский текст:
Le
chien
brun
n1
est
alle
maison
Модель выбора слов:
The
dog
brown
not
did
go
home
Модель смещений:
0
+1
-1
+1
-1
0
0
Целевой английский текст:
The
brown
dog
did
not
go
home
Теперь нам известно, как рассчитать вероятность P(f| Е) для любой пары предложений (французский, английский). Но в действительности перед нами стоит задача, получив некоторое английское предложение, найти французское предложение, которое максимизирует эту вероятность. Для этого недостаточно просто перебирать предложения, поскольку если предположить, что количество слов во французском языке равно 105, то существует 105п предложений длины п, а также много вариантов каждого из этих предложений. И даже если будут рассматриваться только 10 наиболее часто встречающихся вариантов дословного перевода для каждого слова и учитываться лишь смещения 0 или ±1, все равно будет получено около 2п/210п предложений, а это означает, что может быть выполнен их полный перевод при п=5, но не при п=10. Поэтому вместо перебора необходимо осуществлять поиск наилучшего решения. Практика показала, что эффективным является поиск на основе алгоритма А*; см. [545].
Определение с помощью обучения вероятностей для машинного перевода
Выше была кратко описана модель для Р ( f| Е), которая предусматривает применение четырех перечисленных ниже множеств параметров.
Языковая модель. Р (word^ | word^).
Модель фертильности. Р(Fertility^n | word^ .
Модель выбора слова. Р (wordE | word^ .
Модель смещения. PkOffset=o\pos, lenE, 1еп^ .
Но даже при использовании скромного словаря, состоящего из 1000 слов, для этой модели требуются миллионы параметров. Очевидно, что необходимо обеспечить определение этих параметров с помощью обучения на основе данных. Предположим, что единственными доступными данными является двуязычная совокупность текстов. Ниже описан способ использования этих данных.
Сегментация на предложения. Единицей перевода является предложение, поэтому нам потребуется разбить совокупность текстов на предложения. Надежным показателем конца предложения является точка, но в таком фрагменте
текста, как “Dr. J. R. Smith of Rodeo Dr. arrived.”, признаком конца предложения является только последняя точка. Сегментация на предложения может быть выполнена с точностью около 98%.
Оценка языковой модели для французского языка Pkword^ | word^ . Рассматривая только французскую половину совокупности текстов, подсчитать частоты пар слов и выполнить выравнивание, чтобы получить оценку Pkword^ | word^ . Например, может быть получено значение Р( "Eiffel" | "tour") =.02.
Выравнивание предложений. Для каждого предложения в английской версии определить, какое предложение (предложения) соответствует ему во французской версии. Обычно следующее предложение в английском тексте соответствует следующему предложению во французском тексте в форме согласования “один к одному”, но иногда возникают другие варианты: одно предложение на одном из языков может быть разбито на два, что приводит к согласованию “два к одному”, или может быть изменен на противоположный порядок следования двух предложений, а это приведет к согласованию “два к двум”. Выравнивание предложений (“один к одному”, “один к двум” или “два к двум” и т.д.) может быть обеспечено только на основании сравнения длины предложений с точностью в пределах от 90 до 99% с использованием одного из вариантов алгоритма сегментации Витерби (см. листинг 23.1). С применением отметок, общих для обоих языков, таких как числа или имена собственные, а также слов, которые, как известно, имеют в двуязычном словаре однозначный перевод, можно добиться еще лучшего выравнивания.
Теперь можно приступить к оценке параметров модели перевода. Такую задачу можно решить, приняв довольно слабое начальное предположение, а затем постепенно его улучшая, как описано ниже.
Оценка начальной модели фертильности PkFertili ty=n | wordF). Найдя французское предложение длины т, которое выравнивается с английским предложением длины п, будем рассматривать его как свидетельство того, что каждое французское слово имеет фертильность п/т. Рассмотрим все свидетельства во всех предложениях, чтобы получить распределение вероятностей фертильности для каждого слова.
Оценка начальной модели выбора слова PkwordE\ wordF). Рассмотрим все французские предложения, которые содержат, скажем, слова “brun”. Слова, которые появляются наиболее часто в английских предложениях, выравниваемых с этими предложениями, являются наиболее вероятными буквальными переводами слова “brun”.
Оценка начальной модели смещения Р( Offset=o \pos, lenE, lenF). Теперь, после получения модели выбора слова, воспользуемся ею, чтобы получить оценку модели смещения. Для каждого английского предложения длины п, которая выравнивается с французским предложением длины т, проанализировать каждое французское слово в предложении (в позиции 1) и каждое английское слово в предложении (в позиции j), которое является наиболее вероятным вариантом выбора для французского слова, и рассматривать его как свидетельство для вероятности PkOffset=i-j \i,ntm).
Усовершенствование всех оценок. Воспользоваться алгоритмом ЕМ (expectationmaximization — ожидание-максимизация), чтобы усовершенствовать оценки. Скрытой переменной является ^ вектор выравнивания слов между парами предложений, выровненными по предложениям. Этот вектор указывает для каждого английского слова позицию соответствующего французского слова во французском предложении. Например, может быть получено следующее: Исходный французский текст: Le chien brun n' est pas alls a la maison Целевой английский текст:The brown dog did notgohome
Вектор выравнивания слов:13254710
Вначале с использованием текущих оценок параметров создадим вектор выравнивания слов для каждой пары предложений. Это позволит нам получать лучшие оценки. Модель фертильности оценивается путем подсчета того, сколько раз один из элементов вектора выравнивания слов указывает на несколько слов или на нулевое количество слов. После этого в модели выбора слов могут рассматриваться только те слова, которые выровнены друг с другом, а не все слова в предложения, тогда как в модели смещений может рассматриваться каждая позиция в предложении для определения того, насколько часто она смещается в соответствии с вектором выравнивания слов. К сожалению, точно не известно, каковым является правильное выравнивание, а количество вариантов выравнивания слишком велико для того, чтобы перебрать их все. Поэтому мы вынуждены осуществлять поиск выравниваний с высокой вероятностью и взвешивать их по их вероятностям, собирая свидетельства для новых оценок параметров. Это все, что требуется для алгоритма ЕМ. На основании начальных параметров вычисляются выравнивания, а с помощью выравниваний уточняются оценки параметров. Такая процедура повторяется до полной сходимости.
Резюме
Основные положения, изложенные в этой главы, перечислены ниже.
Вероятностные языковые модели, основанные на n-элементных сочетаниях, позволяют получить весьма значительный объем информации о языке.
Контекстно-свободные грамматики (Context-Free Grammar — CFG) могут быть расширены до вероятностных контекстно-свободных грамматик, которые позволяют проще определять их параметры с помощью обучения из имеющихся данных, а также легче решать задачу устранения неоднозначности.
В системах информационного поиска используется очень простая языковая модель, основанная на обработке мультимножеств слов, но даже эта модель позволяет достичь высоких показателей полноты и точности на очень больших совокупностях текстов.
В системах извлечения информации используется более сложная модель, которая включает простейшие синтаксические и семантические конструкции. Для реализации таких систем часто применяются каскады конечных автоматов.
В практически применяемых системах машинного перевода используется целый ряд методов, начиная от полного синтаксического и семантического анализа и заканчивая статистическими методами, основанными на учете частот слов.
При формировании статистической языковой системы лучше всего опереться на модель, позволяющую эффективно использовать имеющиеся данные, даже если эта модель кажется чрезмерно упрощенной.
Библиографические и исторические заметки
Подход с применением моделей n-буквенных сочетаний для моделирования языка был предложен Марковым [983]. Клод Шеннон [1394] впервые создал модели n-словных сочетаний английского языка. Хомский [250], [251] указал на ограничения моделей на основе конечных автоматов по сравнению с моделями на основе контекстно-свободных грамматик и пришел к заключению: “Вероятностные модели не позволяют каким-то образом добиться лучшего понимания некоторых основных проблем синтаксической структуры”. Это утверждение справедливо, но в нем игнорируется тот факт, что вероятностные модели обеспечивают лучшее понимание некоторых других основных проблем, а именно тех проблем, которые не могут быть решены с помощью контекстно-свободных грамматик. Замечания, сделанные Хомским, оказали неблагоприятный эффект, выразившийся в том, что в течение двух десятилетий многие исследователи избегали использования статистических моделей. Положение изменилось лишь после того, как указанные модели снова вышли на передний план и стали применяться при распознавании речи [730].
Метод сглаживания с добавлением единицы был предложен Джеффри [728], а метод сглаживания с удалением путем интерполяции разработан Елинеком и Мерсером [732], которые использовали этот метод для распознавания речи. В число других методов входят сглаживание Виттена-Белла [1605] и сглаживание Гуда- Тьюринга [257]. Последний метод также широко применяется при решении задач биоинформатики. Проблематика биостатистических и вероятностных задач NLP постепенно сближается, поскольку в каждой из этих областей приходится иметь дело с длинными структурированными последовательностями, выбранными из алфавита непосредственных составляющих.
Простые модели n-буквенных и n-словных сочетаний не являются единственными возможными вероятностными моделями. В [136] описана вероятностная модель текста, называемая скрытым распределением Дирихле, в которой документ рассматривается как комбинация тем, а каждая из тем характеризуется собственным распределением слов. Эта модель может рассматриваться как дополнение и уточнение модели скрытой семантической индексации Дирвестера [376] (см. также [1169]); кроме того, она тесно связана с моделью сочетания многочисленных причин [1345].
В вероятностных контекстно-свободных грамматиках (Probabilistic Context-Free Grammar — PCFG) устранены все недостатки вероятностных моделей, отмеченные Хомским, и они показали свои преимущества над обычными контекстносвободными грамматиками. Грамматики PCFG были исследованы Бутом [151] и Са- ломаа [1346]. В [729] представлен алгоритм декодирования стека, представляющий собой один из вариантов алгоритма поиска Витерби, который может использоваться для определения наиболее вероятной версии синтаксического анализа с помощью грамматики PCFG. В [63] представлен внешний-внутренний алгоритм, а в [889] описаны области его применения и ограничения. В [236] и [804] обсуждаются проблемы синтаксического анализа с помощью грамматик в виде банка деревьев.
В [1467] показано, как определять с помощью обучения грамматические правила на основе слияния байесовских моделей. Другие алгоритмы для грамматик PCFG представлены в [235] и [980]. В [282] приведен обзор результатов, полученных в этой области, и даны пояснения к одной из наиболее успешных программ статистического синтаксического анализа.
К сожалению, грамматики PCFG при выполнении самых различных задач показывают более низкую производительность по сравнению с простыми п-элементными моделями, поскольку грамматики PCFG не позволяют представить информацию, связанную с отдельными словами. Для устранения этого недостатка некоторые авторы [281], [237], [713] предложили варианты ^ лексикализованных вероятностных грамматик, в которых совместно используются контекстно-свободные грамматики и статистические данные, касающиеся отдельных слов.
Первой попыткой собрать сбалансированную совокупность текстов для эмпирической лингвистики явилось создание коллекции Brown Corpus [493]. Эта совокупность состояла примерно из миллиона слов с отметками, обозначающими части речи. Первоначально эта коллекция хранилась на 100 тысячах перфокарт. Банк деревьев синтаксического анализа Пенна [982] представляет собой коллекцию, состоящую примерно из 1,6 миллиона слов текста, для которого вручную выполнен синтаксический анализ с преобразованием в деревья. Эта коллекция помещается на компактдиске. В издании British National Corpus [905] данная коллекция была расширена до 100 миллионов слов. В World Wide Web хранится свыше триллиона слов больше чем на 10 миллионах серверов.
В последнее время растет интерес к области информационного поиска, обусловленный широким применением поиска в Internet. В [1296] приведен обзор ранних работ в этой области и представлен принцип ранжирования вероятностей. В [980] дано краткое введение в проблематику информационного поиска в контексте статистических подходов к решению задач NLP. В [59] приведен обзор общего назначения, заменивший более старые классические работы [492] и [1347]. Книга Managing Gigabytes [1606] посвящена решению именно той задачи, о которой говорит ее название, — описанию того, как можно эффективно индексировать, применять сжатие и выполнять запросы применительно к совокупности текстов гигабайтовых размеров. В рамках конференции TREC, организованной Национальным институтом стандартов и технологии (National Institute of Standards and Technology — NIST) при правительстве Соединенных Штатов, проводятся ежегодные соревнования между системами информационного поиска и публикуются труды с описанием достигнутых результатов. За первые семь лет таких соревнований производительность участвующих в них программ выросла примерно в два раза.
Наиболее широко применяемой моделью для информационного поиска является модель векторного пространства Салтона [1348]. В первые годы развития этой области указанная работа Салтона была фактически самой влиятельной. Имеются также две альтернативные вероятностные модели. Модель, представленная в этой книге, основана на [1225]. В ней моделируется совместное распределение вероятностей P(D, 5) в терминах Р(Q| D). В другой модели [985], [1297] используется вероятность P(D| Q). В [879] показано, что обе эти модели основаны на одном и том же совместном распределении вероятностей, но от выбора модели зависит то, какие методы должны применяться для определения параметров с помощью обучения. Описание,
приведенное в данной главе, основано на обеих этих моделях. В [1522] приведено сравнение различных моделей информационного поиска.
В [187] описана реализация машины поиска для World Wide Web, включая алгоритм PageRank, в основе которого лежит независимый от запроса критерий качества документа, базирующийся на анализе Web-ссылок. В [805] описано, как находить авторитетные источники информации в Web с использованием анализа ссылок. В [1411] приведены результаты исследования журнала с данными о миллиарде поисковых операций, выполненных в Web. В [864] приведен обзор литературы по исправлению орфографических ошибок. В [1230] описан классический алгоритм выделения основы с помощью правил, а в [860] описан вариант, в котором применяется словарь.
В [980] приведен хороший обзор проблематики классификации и кластеризации документов. В [738] используются теория статистического обучения и теория машин векторов поддержки для теоретического анализа ситуаций, в которых классификация должна быть успешной. В [37] приведены данные о том, что при классификации новостных сообщений агентства Reuters, относящихся к категории “Earnings” (Доходы), была достигнута точность 96%. В [824] приведены данные о том, что при использовании наивного байесовского классификатора достигается точность вплоть до 95%, а при использовании байесовского классификатора, в котором учитываются некоторые зависимости между характеристиками, — вплоть до 98,6%. В [922] приведен обзор результатов, достигнутых за сорок лет применения наивных байесовских моделей для классификации и поиска в тексте.
Последние достижения в этой области публикуются в журнале Information Retrieval и в трудах ежегодной конференции SIGIR.
Одними из первых программ извлечения информации являются Gus [143] и Frump [380]. В основе некоторых проектов современных систем извлечения информации лежат работы в области семантических грамматик, проводившиеся в 1970-х и 1980-х годах. Например, в интерфейсе системы резервирования авиабилетов с семантической грамматикой используются такие категории, как Location (место нахождения) и FlyTo (место назначения), а не NP и VP. Описание результатов реализации одной из систем, основанных на семантических грамматиках, приведено в [130].
Новейшие результаты исследований по извлечению информации пропагандируются на ежегодных конференциях MUC (Message Understanding Conference), спонсором которых выступает правительство США. Система FASTUS была разработана Хоббсом и др. [664]; в сборнике статей, в котором впервые была опубликована информация об этой системе [1299], можно найти информацию и о других системах, в которых используются модели конечных автоматов.
В 1930-м году Петр Троянский (Petr Troyanskii) подал заявку на патент, в котором была сформулирована идея “машины перевода”, но в то время еще не существовали компьютеры, позволяющие реализовать эту идею. В марте 1947 года Уоррен Вивер (Warren Weaver), сотрудник Фонда Рокфеллера, написал Норберту Винеру письмо, в котором указал, что решение задачи машинного перевода вполне возможно. Опираясь на работы в области криптографии и теории информации, Вивер писал: “Когда я рассматриваю статью, написанную на русском языке, я говорю себе: «Она фактически написана на английском языке, но закодирована странными символами. Теперь я приступаю к ее декодированию»”. В течение следующего десятилетия все сообщество специалистов в этой области предпринимало упорные попытки декодирования текстов на иностранном языке таким способом. Компания IBM про-
демонстрировала соответствующую зачаточную систему в 1954 году. Энтузиазм, характерный для этого периода, показан в [69] и [942]. Последующее разочарование в возможностях машинного перевода описано Линдсеем [935], указавшим также на некоторые препятствия, связанные с необходимостью обеспечения взаимодействия синтаксиса и семантики, а также с потребностью в наличии знаний о мире, с которыми сталкивается машинный перевод. Правительство США выразило недовольство полным отсутствием прогресса в этой области и сформулировало свое заключение в одном из отчетов, который известен как отчет ALPAC [21]: “Нет ни ближайших, ни обозримых перспектив создания практически применимых систем машинного перевода”. Однако работы в ограниченном объеме продолжались, и в ВВС США в 1970 году была развернута система Systran, которая была взята на вооружение Европейским экономическим сообществом в 1976 году. В том же 1976 году была развернута система перевода сообщений о погоде Taum-Meteo [1255]. К началу 1980-х годов возможности компьютеров возросли до такой степени, что выводы отчета ALPAC потеряли свою актуальность. В [1548] приведены сведения о некоторых новейших приложениях машинного перевода, основанных на системе Wordnet. Учебное введение в эту область приведено в [710].
Первые предложения по использованию статистического машинного перевода были сделаны в заметках Уоррена Вивера, опубликованных в 1947 году, но возможность практического применения этих методов появилась только в 1980-х годах. Описание этой тематики, приведенное в данной главе, основано на работе Брауна и его коллег из компании IBM [195], [196]. Эти труды весьма насыщены математической символикой, поэтому прилагаемый к ним учебник Кевина Найта [806] воспринимается как глоток свежего воздуха. В более современных исследованиях по статистическому машинному переводу наблюдается отказ от модели двухсловных сочетаний в пользу моделей, которые включают некоторые синтаксические конструкции [1627]. Первые работы в области сегментации предложений были выполнены Палмером и Херстом [1166]. Задача выравнивания двуязычных предложений рассматривается в [1042].
Есть две превосходные книги по вероятностной обработке лингвистической информации: книга [235] является краткой и точной, а книга [980] — всеобъемлющей и современной. С состоянием работ по созданию практических методов обработки лингвистической информации можно ознакомиться по материалам проводимой один раз в два года конференции Applied Natural Language Processing (ANLP) и конференции Empirical Methods in Natural Language Processing (EMNLP), а также по публикациям в журнале Natural Language Engineering. Организация SIGIR финансирует выпуск информационного бюллетеня и проведение ежегодной конференции по информационному поиску.
Упражнения
(зВ (Адаптировано из [756].) В этом упражнении предлагается разработать классификатор для выявления авторства: при наличии некоторого текста этот классификатор должен попытаться определить, какой из двух возможных авторов написал этот текст. Получите образцы текста двух различных авторов. Разделите их на обучающие и контрольные множества. После этого определи-
те с помощью обучения параметры модели однословных сочетаний для каждого автора по обучающему множеству. Наконец, для каждого контрольного множества рассчитайте его вероятность в соответствии с каждой моделью однословных сочетаний и присвойте эту вероятность наиболее вероятной модели. Оцените точность этого метода. Можете ли вы повысить его точность с помощью дополнительных характеристик? Эта подобласть лингвистики называется ^ стилометрией; к числу достижений в этой области относится идентификация автора “Заметок федералиста” (Federalist Papers) [1091] и некоторых произведений Шекспира, авторская принадлежность которых некогда оспаривалось [486].
(^) В этом упражнении исследуется качество моделей n-элементных сочетаний, характерных для некоторого языка. Найдите или создайте моноязыковую совокупность, состоящую примерно из 100 тысяч слов. Сегментируйте ее на слова и вычислите частоту каждого слова. Каково количество присутствующих в ней различных слов? Начертите график зависимости частоты слов от их ранга (первое, второе, третье...) с логарифмической шкалой по горизонтали и по вертикали. Кроме того, подсчитайте частоты двухсловных сочетаний (два подряд идущих слова) и трехсловных сочетаний (три подряд идущих слова). Воспользуйтесь этими частотами для генерации языка: на основании моделей одно-, двух- и трехсловных сочетаний последовательно сформируйте образцы текста из 100 слов, выполняя выбор случайным образом в соответствии со значениями частот. Сравните три сформированных текста с фактически имеющимся текстом на рассматриваемом языке. Наконец, рассчитайте показатель связности каждой модели.
й В этом упражнении рассматривается задача распознавания нежелательной электронной почты (спама). Спамом принято называть незатребованные объемистые коммерческие сообщения, поступающие по электронной почте. Утомительную задачу разборки спама приходится решать многим пользователям, поэтому создание надежного способа его устранения явилось бы большим достижением. Создайте две совокупности текстов — состоящую из почтовых сообщений, представляющих собой спам, и состоящую из обычных почтовых сообщений. Исследуйте каждую совокупность и определите, какие характеристики, скорее всего, окажутся применимыми для классификации: однословные сочетания, двухсловные сочетания, длина сообщений, отправитель, время получения и т.д. Затем проведите обучение алгоритма классификации (дерева решений, наивной байесовской модели или какого-то другого выбранного вами алгоритма) на обучающем множестве и определите его точность на контрольном множестве.
Создайте контрольное множество из пяти запросов и предъявите эти запросы трем основным машинам поиска Web. Оцените каждую из них по показателю точности для 1, 3 и 10 возвращенных документов и по среднему обратному рангу. Попытайтесь объяснить обнаруженные различия.
Попытайтесь определить, в какой из машин поиска, рассматриваемых в предыдущем упражнении, используются методы приведения к нижнему регистру, выделения основы, выявления синонимов и исправления орфографических ошибок.
Оцените, какой объем памяти является необходимым для индекса к совокупности Web-страниц, состоящей из миллиарда страниц. Укажите, какие предположения были вами приняты.
(^) Напишите регулярное выражение или короткую программу для извлечения названий компаний. Проверьте ее на совокупности, состоящей из деловых новостных сообщений. Определите полноту и точность полученных результатов.
Выберите пять предложений и передайте их в оперативную службу перевода. Переведите их с английского на другой язык, а затем снова на английский. Оцените, насколько полученные при этом предложения являются грамматически правильными и сохранившими смысл. Повторите этот процесс; будут ли во второй итерации получены худшие результаты или такие же результаты? Влияет ли на качество результатов выбор промежуточного языка?
Соберите некоторые примеры выражений с указанием времени, таких как “two o'clock”, “midnight” и “12:46”. Кроме того, подготовьте некоторые примеры, являющиеся грамматически неправильными, такие как “thirteen o'clock” или “half past two fifteen”. Напишите грамматику для языка выражений с указанием времени.
(Адаптировано из [806].) В модели машинного перевода IBM Model 3 предполагается, что после того как с помощью модели выбора слов будет подготовлен список слов, а с помощью модели смещения будут подготовлены возможные перестановки слов, можно будет применить языковую модель для выбора наилучшей перестановки. Данное упражнение посвящено исследованию того, насколько обоснованным является указанное предположение. Попытайтесь переставить слова в приведенных ниже предложениях, подготовленных с помощью модели IBM Model 3, в правильном порядке.
have programming a seen never I language better
loves John mary
is the communication exchange of intentional information brought by about the production perception of and signs from drawn a of system signs conventional shared
С какими предложениями вам удалось справиться? Знания какого типа пришлось вам для этого привлечь? Проведите обучение модели двухсловных сочетаний с помощью обучающей совокупности и воспользуйтесь этой моделью для поиска перестановок некоторых предложений из контрольной совокупности с наибольшей вероятностью. Определите точность этой модели.
Согласно данным англо-французского словаря, переводом для слова “hear” является глагол “entendre”. Но если проводится обучение модели IBM Model 3 по отчетам канадского парламента, то наиболее вероятным переводом для слова “hear” становится “Bravo”. Объясните, почему такое происходит, и оцените, каким может быть распределение фертильности для слова “hear”. (Подсказка. Вам может потребоваться ознакомиться с каким-то текстом парламентского отчета. Попробуйте выполнить поиск в Web с помощью запроса [Hansard hear].)
24 Восприятие
В данной главе речь идет о том, как ввести в компьютер исходные, необработанные данные, полученные из реального мира.
^ Восприятие предоставляет агентам информацию о мире, в котором они обитают. Восприятие осуществляется с помощью ^ датчиков. Датчиком может быть любое устройство, позволяющее зафиксировать состояние какого-то аспекта среды и передать полученные данные в качестве входных в программу агента. Датчик может быть настолько простым, как однобитовый детектор, который лишь определяет, разомкнут или замкнут выключатель, или настолько сложным, как сетчатка человеческого глаза, которая содержит больше ста миллионов фоточувствительных элементов. В данной главе наше внимание будет сосредоточено на зрении, поскольку оно намного превосходит по информативности все остальные чувства, когда приходится сталкиваться с проявлениями физического мира.
Введение
В распоряжении искусственных агентов имеется целый ряд сенсорных модальностей. К числу тех из них, которые являются общими и для людей, и для роботов, относятся зрение, слух и осязание. Проблема слухового восприятия, по крайней мере, в той части, которая касается восприятия речи, рассматривалась в разделе 15.6. Осязание, или тактильное восприятие, будет рассматриваться в главе 25, где речь идет о его использовании в сложнейших манипуляциях, выполняемых роботами, а остальная часть настоящей главы будет посвящена зрению. Некоторые роботы способны воспринимать модальности, не доступные людям, не пользующимся специальными приспособлениями, такие как радиоволны, инфракрасные лучи, сигналы глобальной системы навигации и определения положения (Global Positioning System — GPS) и другие беспроводные сигналы. Некоторые роботы осуществляют активное восприятие; это означает, что они посылают такие импульсные сигналы, как радарные или ультразвуковые, и принимают отражение этих импульсов от среды.
Существуют два способа, с помощью которых агент может использовать полученные им результаты восприятия. В подходе, основанном на извлечении характеристик, агенты распознают какое-то небольшое количество характеристик в полученных ими сенсорных входных данных и передают эти данные непосредственно в свою
программу агента, которая может вырабатывать команды по осуществлению действий, представляющих собой реакцию на изменение этих характеристик, или применять эти данные в сочетании с другой информацией. По таком принципу действовал агент в мире вампуса, оборудованный пятью датчиками, каждый из которых извлекал информацию об одной однобитовой характеристике. Кроме того, недавно стало известно, что в нервной системе мухи извлекаются данные о характеристиках из оптического потока и эти данные направляются прямо на мускулы, которые помогают мухе управлять своим движением в воздухе, что дает ей возможность быстро реагировать и изменять направление полета в течение 30 миллисекунд.
Альтернативным этому подходу является подход на основе модели, в котором сенсорные стимулы используются для реконструкции модели мира. При этом подходе работа начинается с функции f, которая отображает состояние мира Wна стимулы S, создаваемые этим миром:
S=f (ЙЛ)
Функция f определена в физике и в оптике, а также достаточно хорошо изучена. Задача выработки стимулов Sc использованием функции f и данных о реальном или воображаемом мире W решается в области ^ компьютерной графики. Задача машинного зрения в определенном смысле является обратной задаче компьютерной графики — в ней предпринимается попытка вычислить W с помощью f и S по следующей формуле:
^r^S)
К сожалению, функция f не имеет приемлемой обратной функции. Прежде всего, мы не можем заглянуть за угол, поэтому не имеем возможности восстановить все аспекты мира из полученных зрительных стимулов. Более того, даже наблюдаемая часть мира представляется как чрезвычайно неоднозначная — без дополнительной информации нельзя сказать, содержит ли стимул S изображение игрушечного ящера Годзилла, ломающего шестидесятисантиметровый макет здания, или в нем представлен настоящий монстр, разрушающий здание высотой шестьдесят метров. Некоторые из подобных проблем можно решить, составив распределение вероятностей по мирам, а не пытаясь найти уникальный мир:
PW = P(W|S) P(S)
Еще более важным недостатком моделирования такого типа является предпринимаемая в нем попытка решить слишком трудную проблему. Достаточно сказать, что в компьютерной графике может потребоваться несколько часов вычислений для того, чтобы прорисовать единственный кадр кинофильма, притом что в секунду требуется 24 таких кадра; к тому же вычисление функции f 1 гораздо сложнее по сравнению с вычислением f. Очевидно, что такой объем вычислений слишком велик даже для суперкомпьютера, не говоря уже об обычной мухе, если требуется обеспечить реагирование в реальном времени. К счастью, агенту не требуется модель с таким уровнем детализации, который используется в компьютерной графике, где нужно добиться, чтобы построенное изображение стало таким же реальным, как настоящая фотография. Агенту достаточно знать, скрывается ли в кустарнике тигр, а не учитывать все данные о точном местонахождении и ориентации каждого волоска на спине этого тигра.
Основная часть настоящей главы посвящена описанию средств, позволяющих обеспечить распознавание объектов, таких как притаившиеся тигры, и в ней будут показаны способы решения этой задачи без представления данных о самом тигре до мельчайших подробностей. В разделе 24.2 описан процесс формирования изображения и определены некоторые особенности функции f№L Вначале рассматривается геометрия этого процесса. Будет описано, как свет отражается от объектов во внешнем мире и попадает на точки в плоскости изображения оптического датчика искусственного агента. Геометрия объясняет, почему большой ящер Годзилла, находящийся далеко от нас, кажется таким же, как маленький ящер Годзилла, расположенный намного ближе. После этого рассматривается фотометрия данного процесса, что позволяет понять, как свет в наблюдаемой сцене определяет яркость точек на изображении. Геометрия и фотометрия, вместе взятые, позволяют получить модель того, как объекты во внешнем мире отображаются на двухмерный массив пикселов.
Получив представление о том, как формируются изображения, мы перейдем к изучению способов их обработки. Процесс обработки потока визуальной информации как людьми, так и компьютерами можно разделить на три этапа. На раннем этапе обработки, называемом зрением низкого уровня (раздел 24.3), необработанное изображение сглаживается для устранения шума и извлекаются характеристики двухмерного изображения, в частности данные о краях участков, разделяющих регионы изображения. На этапе визуальной обработки среднего уровня эти края группируются в целях формирования двухмерных областей. А на этапе обеспечения зрения высокого уровня (раздел 24.4) эти двухмерные области распознаются как действительные объекты в реальном мире (раздел 24.5). Мы изучим различные элементы изображения, позволяющие более успешно решать эту задачу, включая признаки движения, стереоданные, текстуру, затенение и контуры. Задача распознавания объектов важна для агентов, действующих в условиях дикой природы, чтобы они могли обнаруживать присутствие тигров, а также важна для промышленных роботов, чтобы они могли отличать гайки от болтов. Наконец, в разделе 24.6 описано, как можно использовать результаты распознавания объектов для выполнения полезных задач, таких как манипулирование объектами и навигация. Средства манипулирования позволяют захватывать и использовать инструменты и другие объекты, а средства навигации дают возможность передвигаться из одного места в другое без столкновений с какими-либо препятствиями. Не упуская из виду эти задачи, можно добиться того, чтобы агент формировал модель только в таком объеме, который позволяет ему успешно достичь своих целей.
Формирование изображения
В процессе зрения концентрируется свет, рассеянный объектами в ^ сцене, и создается двухмерное ^ изображение на плоскости изображения. Плоскость изображения покрыта светочувствительным материалом — в сетчатке таковым являются молекулы родопсина, на фотографической пленке — галогены серебра, а в цифровой камере — массив элементов с зарядовой связью (Charge-Coupled Device — CCD). Каждый элемент в приборе с зарядовой связью (ПЗС) накапливает заряд, пропорциональный количеству электронов, освобожденных в результате поглощения фотонов за фиксированный период времени. В цифровой камере плоскость
изображения представлена в виде прямоугольной решетки, состоящей из нескольких миллионов ^ пикселов. В глазу имеется аналогичный массив элементов, состоящий примерно из 100 миллионов палочек и 5 миллионов колбочек, сгруппированных в гексагональный массив.
Сцена очень велика, а плоскость изображения весьма мала, поэтому требуется определенный способ фокусировки света на плоскости изображения. Такая операция может быть выполнена с помощью линзы или без нее. В любом случае наша основная задача состоит в том, чтобы определить геометрию происходящих преобразований и обеспечить возможность прогнозировать, где каждая точка сцены найдет свое представление на плоскости изображения.
Получение изображения без линз — камера-обскура
Простейший способ формирования изображения состоит в использовании ^ камеры-обскуры, в конструкцию которой входит микроотверстие О в передней части ящика и плоскость изображения в задней части ящика (рис. 24.1). Мы будем использовать трехмерную систему координат с началом координат в точке О и рассматривать точку Р в сцене, имеющую координаты (X, У, Z). Точка Р проектируется в точку Р' на плоскости изображения с координатами (х,у, z). Если f — расстояние от микроотверстия до плоскости изображения, то с помощью теоремы подобия треугольников можно получить следующие уравнения:
-х _ х -у _ у _ -fx _ -fY f ~ z1 f " z ^ х ~ z ' у " z
Рис. 24.1. Геометрия формирования изображения в камере-обскуре
Эти уравнения определяют процесс формирования изображения, называемый ^ перспективной проекцией. Заслуживает внимания то, что значение координаты Z находится в знаменателе, а это означает, что чем дальше объект, тем меньше его изображение. Кроме того, наличие знака “минус” означает, что изображение инвертировано, т.е. повернуто на 180° по сравнению с самой сценой.
При перспективной проекции параллельные линии сходятся в одной точке на горизонте (достаточно представить себе уходящие вдаль железнодорожные рельсы).
Рассмотрим, почему так должно быть. Линия в сцене, проходящая через точку (Хо, Y0,Z0) в направлении lU.V.W^ может быть описана как множество точек (Хо+^^/ Yq-^Xv, Zq+Xw) , где X изменяется в пределах от -°о до +оо. Проекция точки Рх от этой линии до плоскости изображения задается следующей формулой:
Гхр+Хи, ^Yq+XvA
у Zo+XpiZ Zo+XPiy
По мере того как Х->®о или X—>-оо? эта формула принимает вид Роо= (fU/W, fV/W), если №0. Точку р^ называют Сточкой схода, связанной с семейством прямых линий с ориентацией (и, V, W . Все линии, имеющие одну и ту же ориентацию, имеют и одинаковую точку схода.
Если объект имеет относительно небольшую глубину по сравнению с его расстоянием от камеры, появляется возможность аппроксимировать перспективную проекцию с помощью ^ масштабированной ортогональной проекции. Идея такой операции состоит в следующем: если глубина Z точек объекта изменяется в некоторых пределах Z0±A2, где AzUzo, то коэффициент перспективного масштабирования f/ Z можно приближенно представить с помощью константы s-f/z^. Уравнения для проекции, которые связывают координаты сцены VK,Y,Z^ с координатами плоскости изображения, принимают вид x-sX и y=sY. Следует отметить, что масштабированная ортогональная проекция представляет собой аппроксимацию, действительную только для таких частей сцены, которые не характеризуются значительными изменениями внутренней глубины; эта проекция должна использоваться только для исследования свойств “в малом”, а не “в большом”. В качестве примера, позволяющего убедиться в необходимости соблюдать осторожность, отметим, что при использовании ортогональной проекции параллельные линии остаются параллельными, а не сливаются в точке схода!
Системы линз
В глазах позвоночных и в современных видеокамерах используются ^ линзы. Линза имеет гораздо большую площадь по сравнению с микроотверстием, что позволяет пропускать с ее помощью больше света. За это приходится платить тем, что исчезает возможность представить в резком фокусе всю сцену одновременно. Изображение объекта в сцене, находящегося на расстоянии Z, создается на фиксированном расстоянии от линзы Z', а отношение между Z и Z' задается с помощью следующего уравнения линзы, где f — фокусное расстояние линзы:
1 1 _ 1
Z + Z' " f
Если дана определенная возможность выбора расстояния изображения z01 между узловой точкой линзы и плоскостью изображения, то точки сцена с глубинами в диапазоне, близком к z0, где Zo— соответствующее расстояние до объекта, могут быть спроектированы на изображение в достаточно резком фокусе. Указанный диапазон глубин в сцене называется ^ глубиной резкости пространственного изображения.
Следует отметить, что расстояние до объекта Z обычно намного больше по сравнению с расстоянием до изображения Z1 или по сравнению с f, поэтому часто можно воспользоваться следующей аппроксимацией:
11111
Z + Z' ~ Z' ^ Z' ” f
Таким образом, расстояние до изображения Z'~f. Поэтому можно по-прежнему использовать уравнения перспективной проекции камеры-обскуры для описания геометрии формирования изображения в системе линз.
Для того чтобы можно было создавать сфокусированные изображения объектов, находящихся на разных расстояниях Z, линза в глазу (рис. 24.2) меняет форму, а линза в камере передвигается в направлении Z.
Радужная оболочкаРоговицаРадужная оболочкаРоговицаРис. 24.2. Горизонтальный поперечный разрез человеческого глазаРис. 24.2. Горизонтальный поперечный разрез человеческого глаза
Радужная оболочка
Роговица
Радужная оболочка
Роговица
Рис. 24.2. Горизонтальный поперечный разрез человеческого глаза
Рис. 24.2. Горизонтальный поперечный разрез человеческого глаза
Свет: фотометрия формирования изображения
Свет — это наиболее важная предпосылка зрения; без света все изображения были бы одинаково темными, независимо от того, насколько интересной является сцена. ^ Фотометрия — это наука о свете. Для наших целей мы создадим модель того, как свет в сцене преобразуется в интенсивность света на плоскости изображения, которая обозначается как lkx,yV Такая модель лежит в основе любой системы зрения, позволяющей выявлять по данным об интенсивности света на изображениях свойства внешнего мира. На рис. 24.3 показано оцифрованное изображение степлера на столе, а также отмечен квадратом блок пикселов с размерами 12x12, выделенный из изображения степлера. Работа любой компьютерной программы, предназначенной для интерпретации изображения, начинается с матрицы значений эффективности, подобной этой.
Яркость пиксела на изображении пропорциональна количеству света, направленного в камеру от конечной части поверхности, ограниченной замкнутой кривой, в сцене, которая проектируется на данный пиксел. Это значение, в свою очередь, зависит от отражательных свойств рассматриваемой конечной части поверхности, а также от положения и распределения источников света в сцене. Кроме того, отражательные
свойства зависят от остальной части сцены, поскольку другие поверхности в сцене могут стать косвенными источниками света, отражая падающий на них свет.
а)б)в)а)б)в)Рис. 24.3. Пример исходных данных для анализа изображения: фотография степлера на столе (а); блок пикселов размерами 12x12, взятый из изображения на рис. 24.3, а, в увеличенном виде (б); соответствующие значения яркости изображения, изменяющиеся в пределах от 0 до 255 (в)Рис. 24.3. Пример исходных данных для анализа изображения: фотография степлера на столе (а); блок пикселов размерами 12x12, взятый из изображения на рис. 24.3, а, в увеличенном виде (б); соответствующие значения яркости изображения, изменяющиеся в пределах от 0 до 255 (в)195209221235249251254255250241247248210236249254255254225226212204236211164172180192241251255255255255235190167164171170179189208244254255251234162167166169169170176185196232249254153157160162169170168169171176185218126135143147156157160166167171168170103107118125133145151156158159163164095095097101115124132142117122124161093093093093095099105118125135143119093093093093093093095097101109119132095093093093093093093093093093093119195209221235249251254255250241247248210236249254255254225226212204236211164172180192241251255255255255235190167164171170179189208244254255251234162167166169169170176185196232249254153157160162169170168169171176185218126135143147156157160166167171168170103107118125133145151156158159163164095095097101115124132142117122124161093093093093095099105118125135143119093093093093093093095097101109119132095093093093093093093093093093093119
а)б)в)
а)б)в)
Рис. 24.3. Пример исходных данных для анализа изображения: фотография степлера на столе (а); блок пикселов размерами 12x12, взятый из изображения на рис. 24.3, а, в увеличенном виде (б); соответствующие значения яркости изображения, изменяющиеся в пределах от 0 до 255 (в)
Рис. 24.3. Пример исходных данных для анализа изображения: фотография степлера на столе (а); блок пикселов размерами 12x12, взятый из изображения на рис. 24.3, а, в увеличенном виде (б); соответствующие значения яркости изображения, изменяющиеся в пределах от 0 до 255 (в)
195
209
221
235
249
251
254
255
250
241
247
248
210
236
249
254
255
254
225
226
212
204
236
211
164
172
180
192
241
251
255
255
255
255
235
190
167
164
171
170
179
189
208
244
254
255
251
234
162
167
166
169
169
170
176
185
196
232
249
254
153
157
160
162
169
170
168
169
171
176
185
218
126
135
143
147
156
157
160
166
167
171
168
170
103
107
118
125
133
145
151
156
158
159
163
164
095
095
097
101
115
124
132
142
117
122
124
161
093
093
093
093
095
099
105
118
125
135
143
119
093
093
093
093
093
093
095
097
101
109
119
132
095
093
093
093
093
093
093
093
093
093
093
119
195
209
221
235
249
251
254
255
250
241
247
248
210
236
249
254
255
254
225
226
212
204
236
211
164
172
180
192
241
251
255
255
255
255
235
190
167
164
171
170
179
189
208
244
254
255
251
234
162
167
166
169
169
170
176
185
196
232
249
254
153
157
160
162
169
170
168
169
171
176
185
218
126
135
143
147
156
157
160
166
167
171
168
170
103
107
118
125
133
145
151
156
158
159
163
164
095
095
097
101
115
124
132
142
117
122
124
161
093
093
093
093
095
099
105
118
125
135
143
119
093
093
093
093
093
093
095
097
101
109
119
132
095
093
093
093
093
093
093
093
093
093
093
119
Мы можем моделировать два различных вида отражения. ^ Зеркальное отражение означает, что свет отражается от внешней поверхности объекта и подчиняется тому закону, что угол падения равен углу отражения. Так действует идеальное зеркало. ^ Диффузное отражение означает, что свет проникает через поверхность объекта, поглощается объектом, а затем снова излучается за пределы его поверхности. Если поверхность является идеально рассеивающей (или ламбертовой), то свет рассеивается с равной интенсивностью во всех направлениях. Интенсивность зависит только от угла падения луча, поступающего от источника света: если источник света расположен прямо над поверхностью, то отражается больше всего света, а если лучи от источника света проходят почти параллельно поверхности, то количество отраженного света примерно равно нулю. Между этими двумя крайностями интенсивность отражения I подчиняется закону косинуса, установленному Ламбертом:
I = k Iq cosO
где 10 — интенсивность источника света; 0 — угол между источником света и перпендикуляром к поверхности; к — константа, называемая отражательной способностью, которая зависит от отражательных свойств поверхности. Она изменяется от О (для совершенно черных поверхностей) до 1 (для чисто белых поверхностей).
В действительности почти все поверхности обладают сочетанием свойств диффузного и зеркального отражения. Моделирование такого сочетания на компьютере — это квинтэссенция компьютерной графики. Прорисовка реалистических изображений обычно осуществляется по методу трассировки луча, цель которого заключается в моделировании физического процесса генерации света источниками света, а затем многократного повторного отражения.
Цвет — спектрофотометрия формирования изображения
На рис. 24.3 мы представили черно-белое изображение, полностью игнорируя тот факт, что видимый свет складывается из целого ряда волн с разной длиной, начиная
от 400 нанометров (нм) на фиолетовом и заканчивая 700 нм на красном конце спектра. В некоторых случаях свет состоит из волн, имеющих лишь единственное значение длины, соответствующее одному из цветов радуги. Но в других случаях свет представляет собой комбинацию волн различной длины. Означает ли это, что в качестве меры для описанной выше величины Z (х, у) необходимо использовать сочетание значений, а не единственное значение? Если бы нам требовалось точно представить физические свойства света, то действительно возникла бы указанная выше необходимость. Но если нам нужно лишь эмулировать процесс восприятия света людьми (и многими другими позвоночными), то можно пойти на компромисс. Эксперименты (начатые еще Томасом Юнгом в 1801 году) показали, что любая смесь световых волн с разными значениями длины, вне зависимости от ее сложности, может быть представлена в виде смеси, состоящей лишь из трех основных цветов. Это означает, что если есть генератор света, позволяющий составлять линейные комбинации световых волн с тремя значениями длины (как правило, для этого выбирают красный (700 нм), зеленый (546 нм) и синий (436 нм)), то путем регулировки рукояток для увеличения относительного содержания одного цвета и уменьшения другого можно составить любую комбинацию значений длин волн; по крайней мере, если полученная комбинация предназначена для восприятия человеком. Этот экспериментальный факт означает, что изображения могут быть представлены с помощью вектора, определяющего только три значения интенсивности в расчете на один пиксел, и каждое из этих значений должно соответствовать интенсивностям света с тремя основными значениями длины волны. На практике для воспроизведения изображения с высоким качеством достаточно отвести по одному байту для каждого значения. Правильность такого подхода к обеспечению трехцветного восприятия цвета подтверждается также тем, что в сетчатке имеются три типа колбочек, пиковое значение чувствительности которых находится в диапазоне значений длины волны соответственно 650, 530 и 430 нм. Однако возникающие при этом связи намного сложнее, чем можно было бы представить с помощью взаимно-однозначного отображения.
Операции, выполняемые на первом этапе
ОБРАБОТКИ ИЗОБРАЖЕНИЯ
Как было указано выше, свет, отражаясь от объектов в сцене, формирует изображение, состоящее, скажем, из пяти миллионов трехбайтовых пикселов. Как и при использовании датчиков всех других типов, полученный сигнал содержит шум, но в данном случае ситуация усугубляется тем, что объем полученных данных очень велик. В этом разделе будет показано, что можно сделать с данными изображения для того, чтобы упростить их обработку. Вначале рассмотрим операции сглаживания изображения, позволяющие уменьшить шум, а также операции, позволяющие обнаруживать края участков на изображении. Эти операции называются операциями “предварительной обработки” или операциями “низкого уровня”, поскольку они стоят на первом месте в конвейере операций. Визуальные операции предварительной обработки характеризуются тем, что выполняются локально (они могут применяться лишь к одному участку изображения без учета того, что есть еще какие-то другие участки изображения, пусть даже находящиеся на расстоянии всего нескольких пикселов), а также тем, что в них не требуются знания:
для сглаживания изображения и обнаружения краев не нужно задумываться над тем, какие объекты представлены на изображениях. Благодаря этому операции низкого уровня вполне могут быть реализованы с помощью параллельных обрабатывающих средств либо в живом организме, либо в электронном устройстве. Затем мы рассмотрим одну операцию среднего уровня — операцию сегментации изображения на участки. Операции на этом этапе все еще применяются к изображению, а не ко всей сцене, но уже появляются элементы нелокальной обработки.
Как было указано в разделе 15.2, под сглаживанием подразумевается предсказание значения переменной состояния в некоторый момент времени с в прошлом при наличии свидетельств, полученных, начиная с момента времени с и заканчивая всеми другими значениями времени вплоть до настоящего момента. Теперь мы применим такую же идею, но не во временной проблемной области, а в пространственной, и будем трактовать процесс сглаживания как предсказание значения данного конкретного пиксела, если известны значения окружающих его пикселов. Следует отметить, что необходимо четко понимать, каково различие между наблюдаемым значением, измеренным для какого-то пиксела, и истинным значением, которое в действительности должно было быть измерено в этом пикселе. Они могут быть разными из-за случайных ошибок измерений или из-за систематического отказа, поскольку может оказаться, что в этой точке неисправен элемент матрицы CCD.
Один из способов сглаживания изображения состоит в том, чтобы каждому пикселу присваивалось среднее значение характеристик его соседних пикселов. Такой способ обработки, как правило, исключает экстремальные значения. Но остается открытым вопрос: сколько нужно рассмотреть соседних пикселов — один, два или больше? Ответ на этот вопрос заключается в том, что для исключения гауссова шума следует рассчитать взвешенное среднее с использованием ^ фильтра с гауссовой характеристикой. Напомним, что гауссова функция со среднеквадратичным отклонением а выражается следующими формулами:
Go<x^ = —р=~- ев одном измерении или
\2ло2
_1-(х2+у2)/2о2
Go(x,y) = ■- ев двух измерениях
2 ло2
Под применением фильтра с гауссовой характеристикой подразумевается замена значения интенсивности Z(x0,y0) суммой по всем (х,у) пикселам значений l(x,y) Ga(d}, где d — расстояние от (х0,у0) до (х,у). Такого рода взвешенная сумма применяется так часто, что для нее предусмотрено особое название и обозначение. Считается, что функция h представляет собой ^ свертку двух функций, f и д (обозначается как h=f*g), если имеют место следующие соотношения:
h(x) = ^Z(u)g(x-u)в одном измерении или
Ь(х,у) = Z X f(и, v)g(x-u, у-v)в двух измерениях
ц= -оо v= -°°
Поэтому операция сглаживания осуществляется путем формирования свертки изображения и гауссова распределения, l*Ga. Значение а, равное 1 пикселу, является достаточным для сглаживания шума с небольшой интенсивностью. Если же значение а соответствует 2 пикселам, то происходит сглаживание шума с большей интенсивностью, но теряются некоторые мелкие детали. Поскольку влияние гауссова распределения уменьшается с расстоянием, на практике можно заменить пределы ±оо в суммах значениями, примерно равными ±3а.
Обнаружение краев
Следующая операция, выполняемая на первом этапе обработки изображения, состоит в обнаружении краев на плоскости изображения. ^ Краями называются прямые или кривые линии на плоскости изображения, которые служат “водоразделом” для существенных изменений в яркости изображения. Целью обнаружения краев является повышение уровня абстракции и переход от перегруженного подробностями мультимегабайтового изображения к более компактному, абстрактному представлению, как показано на рис. 24.4. Необходимость в выполнении такой операции обусловлена тем, что линии краев на изображении соответствуют важным контурам в сцене. На этом рисунке приведены три примера изображений, на которых отмечены так называемые сосредоточенные неоднородности*, сосредоточенная неоднородность по глубине, обозначенная меткой 1; сосредоточенные неоднородности по ориентации двух поверхностей, обозначенные меткой 2; сосредоточенная неоднородность по коэффициенту отражения, обозначенная меткой 3; сосредоточенная неоднородность по освещенности (тень), обозначенная меткой 4. Результаты операции обнаружения краев относятся только к данному конкретному изображению и поэтому не содержат данных, позволяющих распознать эти различные типы сосредоточенных неоднородностей в сцене, но такая задача может быть решена в ходе дальнейшей обработки.
Рис. 24.4. Различные виды краев: сосредоточенные неоднородности по глубине (1); сосредоточенные неоднородности по ориентации поверхностей (2); сосредоточенные неоднородности по коэффициенту отражения (3); сосредоточенные неоднородности по освещенности (тени) (4)
На рис. 24.5, а приведено изображение сцены, на котором показан степлер, находящийся на столе, а на рис. 24.5, б приведены результаты применения алгоритма обнаружения краев к этому изображению. Вполне очевидно, что эти результаты весьма отличаются от идеального контурного рисунка. Небольшие края, соответствующие деталям изображения, не всегда выровнены друг с другом; на некоторых участках, где эти края обрываются, имеются пропуски, кроме того, есть и края, появившиеся под воздействием шума, которые не соответствуют каким-либо значимым деталям в этой сцене. Все указанные ошибки должны быть исправлены на последующих этапах обработки. Теперь перейдем к описанию того, как происходит обнаружение краев на изображении. Рассмотрим профиль яркости изображения вдоль одномерного поперечного разреза, перпендикулярного к некоторому краю (например, между левым стороной стола и стеной). Он выглядит примерно так, как показано на рис. 24.6, а. Местонахождение края соответствует значению х=5 0.
Рис. 24.5. Пример исходного изображения и результатов его обработки: фотография степлера (а); края, обнаруженные в результате обработки изображения на рис. 24.5, a (б)
Поскольку края соответствуют тем участкам изображения, где яркость подвергается резким изменениям, то на первый взгляд может показаться, что достаточно дифференцировать изображение и найти такие места, где производная I' (х) принимает большое значение. И действительно, такой подход в определенной степени осуществим. Тем не менее, как показано на рис. 24.6, б, кроме основного пикового значения с координатой х=5 0, обнаруживаются также дополнительные пиковые значения в других местах (например, с координатой х=7 5), которые могут быть ошибочно приняты за настоящие края. Эти дополнительные пиковые значения возникают из-за наличия шума в изображении. Если вначале будет проведено сглаживание изображения, то количество фиктивных пиков уменьшится, как показано на рис. 24.6, в.
Теперь у нас появляется возможность применить на данном этапе определенную оптимизацию, поскольку операции сглаживания и поиска краев можно объединить в одну операцию. Существует теорема, согласно которой для любых функций f и g производная свертки, (f*g) 1, равна свертке с производной, f* (д) 1. Поэтому вместо сглаживания изображения с последующим дифференцированием можно просто выполнить свертку изображения с производной гауссовой функцией сглаживания,
Go'. Таким образом, алгоритм поиска края в одном измерении может быть представлен следующим образом.
Выполнить свертку изображения I с функцией Ga' для получения результатов свертки R.
Рис. 24.6. Верхний рисунок: профиль интенсивности I (х) вдоль одномерного разреза, пересекающего край, который характеризуется ступенчатым изменением яркости. Средний рисунок: производная интенсивности, I ' (х). Большие значения на этом графике соответствуют краям, но представленные на нем данные содержат шум. Нижний рисунок: производная от сглаженной версии данных об интенсивности, fl * Ga) ’, которая может быть вычислена в одном шаге как свертка 1*СоЛ Исчез появившийся под воздействием шума пик с координатой х=75, который в других условиях рассматривался бы как признак наличия края
Обозначить как края те пиковые значения в | | R(x) | |, которые превышают некоторое заранее заданное пороговое значение Т. Это пороговое значение выбирается таким образом, чтобы можно было устранить фиктивные пиковые значения, возникшие под воздействием шума.
В двух измерениях края могут проходить под любым углом 0. Для обнаружения вертикальных краев можно применить такую очевидную стратегию: выполнить свертку с Ga' (х) Ga (у). В направлении у эффект этой операции сведется к тому, что будет выполнено только сглаживание (под воздействием гауссовой свертки), а в направлении х результатом операции станет то, что дифференцирование будет сопровождаться сглаживанием. Поэтому алгоритм обнаружения вертикальных краев состоит в следующем.
Выполнить свертку изображения Z(xzy) с функцией fv(x,y)=Ga' (x)Ga(y) для получения результатов свертки Rv (х, у).
Обозначить как края те пиковые значения в | |Kv(xzy) | |, которые превышают некоторое заранее заданное пороговое значение т.
Для того чтобы обнаружить какой-либо край, имеющий произвольную ориентацию, необходимо выполнить свертку изображения с двумя фильтрами, fv=Ga' (x)Gc(y) и fH=Ga' (y)Go(x), где функция fH соответствует функции fv, график которой повернут на 90°. Таким образом, алгоритм обнаружения краев, имеющих произвольную ориентацию, состоит в следующем.
Выполнить свертку изображения Z(xzy) с функциями fv(xzy) и fH(xzy) для получения соответственно результатов свертки _Rv(x,y) и RHkxfy). Определить R(x, у) =RV (х,у) +.RH2 (х,у).
Обозначить как края те пиковые значения в | |.R(xzy) | |, которые превышают некоторое заранее заданное пороговое значение т.
После того как с помощью этого алгоритма будут отмечены пикселы краев, на следующем этапе необходимо связать друг с другом те пикселы, которые принадлежат к одним и тем же кривым краев. Такую операцию можно выполнить, приняв предположение, что любые два соседних пиксела, которые являются пикселами края с совместимыми ориентациями, должны принадлежать к одной и той же кривой края. Описанный выше процесс получил название процесса ^обнаружения края Кэнни в честь его разработчика Джона Кэнни (John Саппу).
Края после их обнаружения становятся основой для многих этапов последующей обработки: их можно использовать для выполнения стереооптической обработки, обнаружения движения или распознавания объектов.
Сегментация изображения
Мозг человека не использует полученные им результаты восприятия в непосредственном виде, а организует эти результаты определенным образом, поэтому вместо коллекции значений яркости, связанных с отдельными фоторецепторами, мозг выделяет целый ряд визуальных групп, которые обычно ассоциируются с объектами или частями объектов. Такая способность является не менее важной и для машинного зрения.
^ Сегментация — это процесс разбиения изображения на группы с учетом подобия характеристик пикселов. Основная идея этого процесса состоит в следующем: каждый пиксел изображения может быть связан с некоторыми визуальными свойствами, такими как яркость, цвет и текстура2. В пределах одного объекта или одной части объекта эти атрибуты изменяются относительно мало, тогда как при переходе через границу от одного объекта к другому обычно происходит существенное изменение одного или другого из этих атрибутов. Необходимо найти вариант разбиения изображения на такие множества пикселов, что указанные ограничения удовлетворяются в максимально возможной степени.
Существует целый ряд различных способов, с помощью которых эта интуитивная догадка может быть формализована в виде математической теории. Например, в [1402] рассматриваемая задача представлена как задача сегментации графа. Узлы графа соответствуют пикселам, а ребра — соединениям между пикселами. Ребрам, соединяющим пары пикселов i и j, присваиваются веса tvi:j с учетом того, насколько близки значения яркости, цвета, текстуры и т.д. для двух пикселов соответствующей пары. Затем осуществляется поиск разбиений, которые минимизируют нормализованный критерий отсечения. Грубо говоря, критерием сегментации графа является критерий минимизации суммы весов соединений между группами и максимизации суммы весов соединений в пределах групп.
Процесс сегментации, основанный исключительно на использовании низкоуровневых локальных атрибутов, таких как яркость и цвет, чреват существенными ошибками. Чтобы надежно обнаруживать границы, связанные с объектами, необходимо также использовать высокоуровневые знания о том, какого рода объекты могут по всей вероятности встретиться в данной сцене. При распознавании речи такая возможность появилась благодаря использованию формальных средств скрытой марковской модели; в контексте обработки изображений поиск такой универсальной инфраструктуры остается темой интенсивных исследований. Так или иначе представление высокоуровневых знаний об объектах является темой следующего раздела.
Извлечение трехмерной информации
В данном разделе будет показано, как перейти от двухмерного изображения к трехмерному представлению сцены. Для нас важно перейти именно к стилю рассуждений о сцене в связи с тем, что агент в конечном итоге существует в мире, а не на плоскости изображения, а зрение предназначено для получения возможности взаимодействовать с объектами в том мире, где существует агент. Тем не менее для большинства агентов требуется только ограниченное абстрактное представление некоторых аспектов сцены, а не все подробности. Алгоритмы, используемые при решении задач взаимодействия с окружающим миром, которые были приведены в последних частях данной книги, распространяются на краткие описания объектов, а не на исчерпывающие перечисления каждой трехмерной конечной части поверхности, ограниченной замкнутой кривой.
Вначале в этом разделе рассматривается процесс ^ распознавания объекта, в котором характеристики изображения (такие как края) преобразуются в модели известных объектов (таких как степлеры). Распознавание объекта происходит в три этапа: сегментация сцены с выделением различных объектов, определение позиции и ориентации каждого объекта относительно наблюдателя и определение формы каждого объекта.
Определение позиции и ориентации объекта относительно наблюдателя (так называемой ^ позы объекта) является наиболее важной операцией с точки зрения решения задач манипулирования и навигации. Например, чтобы робот мог передвигаться по полу заводского цеха в условиях ограниченного маневра, он должен знать местонахождение всех препятствий, чтобы иметь возможность спланировать путь, позволяющий избежать столкновения с ними. Если же робот должен выбрать и захватить какой-то объект, то он должен знать расположение этого объекта относи-
тельно манипулятора, чтобы выработать подходящую траекторию движения. Действия по манипулированию и навигации обычно осуществляются в рамках заданного контура управления, а сенсорная информация предоставляет обратную связь для модификации движения робота или перемещения манипулятора робота.
Представим позицию и ориентацию в математических терминах. Позиция точки Р в сцене характеризуется тремя числами — координатами (X, Y, Z) точки Р в системе координат с началом координат в микроотверстии и с осью Z, проходящей вдоль оптической оси (см. рис. 24.1). В нашем распоряжении имеется перспективная проекция точки на изображении (х, у). Эта проекция определяет луч, проходящий из микроотверстия, на котором расположена точка Р; неизвестным является расстояние. Термин “ориентация” может использоваться в двух описанных ниже смыслах.
Ориентация объекта как единого целого. Она может быть задана в терминах трехмерного вращения, связывающего систему координат этого объекта с системой координат камеры-обскуры.
Ориентация поверхности объекта в точке Р. Она может быть задана с помощью нормального вектора п, т.е. вектора, задающего направление, перпендикулярное к поверхности. Для представления ориентации поверхности часто используются переменные ^ угол поворота и ^ угол наклона. Углом поворота называется угол между осью Z и вектором п, а углом наклона — угол между осью X и проекцией векторап на плоскость изображения.
По мере перемещения камеры-обскуры по отношению к объекту изменяются и расстояние до объекта, и его ориентация. Сохраняется только ^ форма объекта. Если объект представляет собой куб, он остается таковым и после его перемещения. В геометрии попытки формализовать понятие геометрической формы предпринимались в течение многих столетий; в конечном итоге было сформулировано такое основное понятие, что формой является то, что остается неизменным после применения некоторой группы преобразований, например сочетаний поворотов и переносов. Сложность заключается в том, что нужно найти способ представления глобальной формы, достаточно общий для того, чтобы с его помощью можно было описать широкий перечень объектов реального мира (а не только такие простые формы, как цилиндры, конусы и сферы) и при этом предусмотреть возможность легко восстанавливать информацию о форме из визуальных входных данных. Но гораздо лучше изучена проблема описания локальной формы поверхности. По сути, это может быть выполнено в терминах кривизны — определения того, как изменяется положение нормального вектора по мере передвижения в различных направлениях по этой поверхности. Если поверхность представляет собой плоскость, то положение нормального вектора вообще не изменяется. В случае цилиндрической поверхности при перемещении параллельно оси изменения не происходят, а при перемещении в перпендикулярном направлении вектор, нормальный к поверхности, вращается со скоростью, обратно пропорциональной радиусу цилиндра, и т.д. Все эти явления исследуются в научной области, называемой дифференциальной геометрией.
Форму объекта важно знать при выполнении некоторых задач манипулирования (например, чтобы определить, в каком месте лучше всего захватить данный объект), но наиболее значительную роль форма объекта играет при распознавании объектов. При решении последней задачи наиболее значащими подсказками, позволяющими
идентифицировать объекты, определять с помощью методов классификации, что это изображение является примером какого-то класса, встречавшегося ранее, и т.д., служат геометрическая форма наряду с цветом и текстурой.
Фундаментальный вопрос состоит в следующем: “Если дано, что во время создания перспективной проекции все точки в трехмерном мире, расположенные вдоль одного луча, проходящего через микроотверстие, спроектировались на одну и ту же точку в изображении, то как теперь восстановить трехмерную информацию?” В визуальных стимулах, относящихся к числу применимых для этой цели, содержится целый ряд характерных признаков, включая движение, бинокулярные стереоданные, текстуру, затенение и контуры. Каждый из этих характерных признаков позволяет опереться на исходные предположения о физических сценах, чтобы можно было получить (почти) полностью непротиворечивые интерпретации этих сцен. Каждый из указанных характерных признаков рассматривается в пяти приведенных ниже разделах.
Движение
До сих пор рассматривалось только одно изображение одновременно. Но видеокамеры позволяют получать 30 кадров в секунду и различия между кадрами могут стать важным источником информации. Если видеокамера движется относительно трехмерной сцены, то в изображении возникает кажущееся результирующее движение, называемое ^ оптическим потоком. Оптический поток содержит информацию о направлении и скорости движения характеристик в изображении, являющегося результатом относительного движения между наблюдателем и сценой. На рис. 24.7, а, б показаны два кадра из видеофильма о вращении кубика Рубика. На рис. 24.7, в показаны векторы оптического потока, вычисленные на основании этих двух изображений. В оптическом потоке зашифрована полезная информация о структуре сцены. Например, при наблюдении из движущегося автомобиля удаленные объекты характеризуются гораздо более медленным кажущимся движением по сравнению с близкими объектами, поэтому скорость кажущегося движения позволяет получить определенную информацию о расстоянии.
Рис. 24.7. Пример использования понятия оптического потока: кубик Рубика на поворотном столе, приведенном во вращение (а); тот же кубик, показанный через 19/30 секунды (любезно предоставлено Ричардом Шелински (Richard Szeliski)) (б); векторы потока, вычисленные путем сравнения двух изображений, приведенных на рис. 24.7, а, б (любезно предоставлено Джо Вебером (Joe Weber) и Джитендрой Маликом (Jitendra Malik)) (в)
Поле вектора оптического потока может быть представлено с помощью его компонентов vx(x,y) в направлении хи vy(x,y) в направлении у. Для измерения оптического потока необходимо найти соответствующие точки между одним времен- Нб/м кадром и следующим. При этом используется тот факт, что замкнутые участки изображения, сосредоточенные вокруг соответствующих точек, характеризуются аналогичными шаблонами интенсивности. Рассмотрим блок пикселов с центром в пикселе р, в точке (х0/ у0), во время t0. Этот блок пикселов необходимо сравнить с блоками пикселов, центрами которых являются различные потенциально применимые пикселы Qi с координатами (х0+Рх,у0+Оу) во время t0+Dt. Одним из возможных критериев подобия является сумма квадратов разностей (Sum of Squared Differences — SSD):
SSDd^Dy) =^ UU.Y, tl-Ztx+Dx.y+Dy, t+DJ )2
(x,y)
Здесь координаты (xzy) принимают свои значения среди пикселов в блоке с центром в точке (х0,у0). Найдем значения (Dxz Dy) , которые минимизируют выражение для SSD. В таком случае оптический поток в точке (х0, у0) принимает значение (vx, vy) = (Dx/Dt, Dy/Dt) . Еще один вариант состоит в том, что можно максимизировать ^ взаимную корреляцию следующим образом:
Correlation (Dx, Dy) =^* I (х, у, t) I(x+DXl у+Dy, t+Dt)
(xzy)
Метод с использованием взаимной корреляции действует лучше всего, если сцена характеризуется наличием текстуры, в результате чего блоки пикселов (называемые также окнами) содержат значительные вариации яркости среди входящих в них пикселов. Если же рассматривается ровная белая стена, то взаимная корреляция обычно остается почти одинаковой для различных потенциальных согласований ди алгоритм сводится к операции выдвижения слепого предположения.
Допустим, что наблюдатель движется с линейной скоростью (или скоростью переноса) Тис угловой скоростью со (таким образом, эти параметры описывают самодвижение). Можно вывести уравнение, связывающее скорости наблюдателя, оптический поток и положения объектов в сцене. Если предположить, что f=l,то из этого следуют уравнения
VxU.y^ = [ "7(5у7 ■ Шу + “^" Х [ "Z(Jy) " ШхУ + ^l
v^.y) = [ "z^y) " Ш*х + “Ч- У [ "z(Jy) " “хУ + Ю^Х]
где z (х, у) задает координату z точки в сцене, соответствующей точке на изображении с координатами (х,у).
Достаточно хорошего понимания того, что при этом происходит, можно достичь, рассмотрев случай чистого переноса. В таком случае выражения для поля потока принимают следующий вид:
, t -Тх + X Tz,. -Ту + у Tz
^(Х'У} = Z(x,y) ' v^x-yt = z(x,y)
Теперь становятся очевидными некоторые интересные свойства. Оба компонента оптического потока, vx (х, у) и vy (х, у), принимают нулевое значение в точке с координатами x=Tx/Tz, y=TY/Tz. Эта точка называется ^фокусом расширения поля потока. Предположим, что мы изменим начало координат в плоскости х-у для того, чтобы оно находилось в фокусе расширения; в таком случае выражение для оптического потока принимает особенно простую форму. Допустим, что (х1 ,у') — это новые координаты, определяемые соотношениями х' =x-Tx/TZ) у' =y-TY/Tz. В таком случае становятся справедливыми следующие уравнения:
Эти уравнения имеют некоторые интересные области применения. Предположим, что летящая муха пытается сесть на стену и хочет определить, в какой момент она коснется стены, если будет сохраняться текущая скорость. Это время задается термом Z/ т2. Следует отметить, что мгновенное значение поля оптического потока не позволяет получить ни данные о расстоянии Z, ни данные о компоненте скорости Tz, но вместе с тем предоставляет значение соотношения этих двух параметров и поэтому может использоваться для управления приближением к поверхности посадки. Эксперименты, проведенные над мухами в реальных условиях, показали, что указанные насекомые действуют именно по этому принципу. Мухи относятся к числу наиболее ловких летающих объектов среди всех живых существ и машин, а интереснее всего то, что они добиваются этого с помощью системы зрения, имеющей невероятно низкое пространственное разрешение (поскольку в глазу мухи имеется всего около 600 рецепторов, тогда как в глазу человека — порядка 100 миллионов), но блестящее временное разрешение.
Чтобы получить данные о глубине, необходимо воспользоваться несколькими кадрами. Если видеокамера направлена на твердое тело, то его форма не изменяется от кадра к кадру и поэтому появляется возможность лучше решать задачу измерения оптического потока, неизменно подверженного шуму. Результаты применения одного из подобных подходов, полученные Томази и Канаде [1511], показаны на рис. 24.8 и 24.9.
Бинокулярные стереоданные
Большинство позвоночных имеют два глаза. Это не только удобно в качестве резерва на случай потери одного глаза, но и дает также некоторые другие преимущества. У многих травоядных глаза расположены по обе стороны головы, что позволяет им иметь более широкий обзор. С другой стороны, у хищников глаза находятся в передней части головы, благодаря чему они используют ^ бинокулярные стереоданные. Принцип бинокулярного зрения аналогичен принципу, в котором используется параллакс, возникающий во время движения, за тем исключением, что вместо использования изображений, сменяющихся во времени, применяются два изображения (или, в случае систем машинного зрения, и большее количество изображений), которые разделены в пространстве; например, такие изображения передают в мозг глаза человека, смотрящего прямо вперед. Поскольку данная конкретная характеристика в сцене будет находиться в различных местах по отношению к оси z каждой плоскости изображения, то после совмещения двух изображений будет обнаруживаться
^ рассогласование в местонахождениях этой характеристики в двух изображениях. Такое явление можно наблюдать на рис. 24.10, где ближайшая точка пирамиды сдвинута влево на правом изображении и вправо на левом изображении.
а)б)а)б)Рис. 24.8. Пример применения нескольких кадров: четыре кадра из видеопоследовательности, в которой камера передвигается и вращается относительно объекта (а); первый кадр из последовательности, обозначенный небольшими прямоугольниками, подчеркивающими характерные особенности, которые были обнаружены детектором характеристик (любезно представлено Карлом Томази (Carlo Tomasi)) (б)Рис. 24.8. Пример применения нескольких кадров: четыре кадра из видеопоследовательности, в которой камера передвигается и вращается относительно объекта (а); первый кадр из последовательности, обозначенный небольшими прямоугольниками, подчеркивающими характерные особенности, которые были обнаружены детектором характеристик (любезно представлено Карлом Томази (Carlo Tomasi)) (б)б)б)Рис. 24.9. Пример результатов обработки нескольких кадров: трехмерная реконструкция местонахождений характеристик изображения, показанных на рис. 24.8 (вид сверху) (а); настоящий дом, снимок которого получен из той же позиции (б)Рис. 24.9. Пример результатов обработки нескольких кадров: трехмерная реконструкция местонахождений характеристик изображения, показанных на рис. 24.8 (вид сверху) (а); настоящий дом, снимок которого получен из той же позиции (б)а)а)
а)б)
а)б)
Рис. 24.8. Пример применения нескольких кадров: четыре кадра из видеопоследовательности, в которой камера передвигается и вращается относительно объекта (а); первый кадр из последовательности, обозначенный небольшими прямоугольниками, подчеркивающими характерные особенности, которые были обнаружены детектором характеристик (любезно представлено Карлом Томази (Carlo Tomasi)) (б)
Рис. 24.8. Пример применения нескольких кадров: четыре кадра из видеопоследовательности, в которой камера передвигается и вращается относительно объекта (а); первый кадр из последовательности, обозначенный небольшими прямоугольниками, подчеркивающими характерные особенности, которые были обнаружены детектором характеристик (любезно представлено Карлом Томази (Carlo Tomasi)) (б)
б)
б)
Рис. 24.9. Пример результатов обработки нескольких кадров: трехмерная реконструкция местонахождений характеристик изображения, показанных на рис. 24.8 (вид сверху) (а); настоящий дом, снимок которого получен из той же позиции (б)
Рис. 24.9. Пример результатов обработки нескольких кадров: трехмерная реконструкция местонахождений характеристик изображения, показанных на рис. 24.8 (вид сверху) (а); настоящий дом, снимок которого получен из той же позиции (б)
а)
а)
Рис. 24.10. Принцип формирования стереоданных: изменение положения видеокамеры приводит к получению немного отличающихся друг от друга двухмерных представлений одной и той же трехмерной сцены
Проанализируем геометрические соотношения между рассогласованием и глубиной. Прежде всего рассмотрим случай, в котором оба глаза (или обе видеокамеры) направлены прямо вперед, поэтому их оптические оси параллельны. В таком случае связь между изображением в правой и в левой видеокамере состоит в том, что для преобразования одного изображения в другое достаточно выполнить сдвиг вдоль оси х на величину b (расстояние между камерами, или опорная линия). Для вычисления рассогласований по горизонтали и вертикали, которые выражаются в виде H=vx^t, V=vyAt, можно использовать уравнения оптического потока из предыдущего раздела, при условии, что Tx=b/\ t и ty=tz=0. Параметры вращательного сдвига (Ox, toy и coz равны нулю. Таким образом, н=Ь/ Z, У=0. Иными словами, рассогласование по горизонтали равно отношению длины опорной линии к глубине, а рассогласование по вертикали равно нулю.
При нормальных условиях наблюдения люди ^ фиксируют свой взгляд; это означает, что они выбирают в качестве объекта наблюдения некоторую точку в сцене, и в этой точке пересекаются оптические оси двух глаз. На рис. 24.11 показана ситуация, в которой взгляд человека, смотрящего двумя глазами, зафиксирован в точке Ро, находящейся на расстоянии Z от средней точки между глазами. Для удобства мы будем вычислять угловое рассогласование, измеряемое в радианах. Рассогласование в точке фиксации Ро равно нулю. Для некоторой другой точки Р в сцене, которая находится дальше на величину 8z, можно вычислить угловые смещения левого и правого изображений точки Р, которые будут обозначаться соответственно PL и PR. Если каждое из этих изображений смещено на угол 80/2 относительно Ро, то смещение между PL и PR, которое представляет собой рассогласование в точке Р, выражается величиной 80. Простые геометрические преобразования позволяют получить следующее выражение:
89 _ -Ь
8z = z2"
Рис. 24.11. Зависимость между рассогласованием и глубиной в стереоданных
У людей величина b (^ базисная линия) составляет около 6 см. Предположим, что расстояние Z примерно равно 100 см. В таком случае наименьшее доступное обнаружению значение 80 (соответствующее размеру светочувствительного элемента глаза) составляет около 5 угловых секунд, а это означает, что разность расстояний 82 равна 0,4 мм. При 2=3 0 см получим значение 82=0.036 мм, которое на удивление мало. Это означает, что на расстоянии 30 см люди способны различать значения глубины, которые отличаются друг от друга на столь малую величину, как 0,036 мм, что позволяет им продевать нитку через ушко иголки и выполнять другие тонкие операции.
Градиенты текстуры
В повседневной речи под ^текстурой подразумевается свойство поверхностей, связанное с осязательными ощущениями, которое оно напоминает (слово “текстура” имеет тот же корень, что и слово “текстиль”). А в проблематике машинного зрения этим словом обозначается тесно связанное понятие, определяющее наличие повторяющегося в пространстве рисунка на поверхности, который может быть обнаружен визуально. В качестве примеров можно назвать одинаковый ряд окон на здании, стежки на свитере, пятна на шкуре леопарда, травинки на лужайке, гальку на берегу и толпу людей на стадионе. Иногда взаимное расположение повторяющихся рисунков является весьма регулярным, как в случае стежков на свитере, а в других случаях, таких как галька на берегу, регулярность обеспечивается только в определенном статистическом смысле: плотность расположения гальки приблизительно одинакова в разных частях пляжа.
Сказанное выше является справедливым применительно только к реальной сцене, а на изображении кажущиеся размеры, форма, взаиморасположение и другие характеристики элементов текстуры (называемых ^ текселами) действительно различаются, как показано на рис. 24.12. Например, черепицы выглядят одинаковыми только в реальной сцене, а на изображении размеры и форма проекций черепиц варьируют, и это связано с двумя описанными ниже основными причинами.
Различия в расстояниях от текселов до видеокамеры. Напомним, что в перспективной проекции удаленные объекты кажутся меньшими. Коэффициент масштабирования равен 1 / 2.
Различия в ракурсах текселов. Эта причина связана с ориентацией каждого тексела относительно линии зрения, направленной от камеры. Если тексел расположен перпендикулярно линии зрения, то ракурс отсутствует. Величина эффекта ракурса пропорциональна cose, где а — угол поворота плоскости тексела.
Проведя определенные выкладки в рамках математического анализа, можно вычислить выражения для скорости изменения различных характеристик текселов изображения, таких как площадь, ракурс и плотность. Такие показатели называются градиентами текстуры и являются функциями от формы поверхности, а также от углов ее поворота и наклона по отношению к местонахождению наблюдателя.
Для восстановления данных о форме из данных о текстуре можно использовать следующий двухэтапный процесс: а) измерить градиенты текстуры; б) определить оценочные значения формы поверхности, а также углов ее поворота и наклона, которые могли бы привести к получению измеренных градиентов текстуры. Результаты применения этого процесса приведены на рис. 24.12.
Рис. 24.12. Примеры применения процесса восстановления формы: сцена, на которой показан градиент текстуры. Восстановление данных об ориентации поверхности может быть выполнено на основании предположения, что реальная текстура является однородной. Вычисленное значение ориентации поверхности показано путем наложения на изображение белого кружка и указателя, трансформированного так, как если бы кружок был нарисован на поверхности в этом месте (а); восстановление данных о форме по данным о текстуре в случае криволинейной поверхности (изображения любезно предоставлены Джитендрой Маликом (Jitendra Malik) и Рут Розенхольц (Ruth Rosenholtz) [972]) (б)
Затенение
Затенение (под этим подразумевается изменение интенсивности света, полученного от различных участков поверхности в сцене) определяется геометрией сцены и отражательными свойствами поверхностей. В компьютерной графике создание затенения сводится к вычислению значений яркости изображения 1(х,у) с учетом геометрии сцены и отражательных свойств объектов в сцене. В проблематике машинного зрения решается обратная задача — восстановление данных о геометрии и отражательных свойствах по данным об яркости изображения т (х, у). Как оказалось, эта задача с трудом поддается решению, за исключением самых простейших случаев.
Начнем с ситуации, в которой действительно можно найти решение задачи определения данных о форме на основании данных о затенении. Рассмотрим ламбертову поверхность, свет на которую падает от удаленного точечного источника света. Предположим, что поверхность находится достаточно далеко от видеокамеры, чтобы можно было использовать ортогональную проекцию в качестве аппроксимации перспективной проекции. Яркость изображения определяется с помощью следующей формулы:
Z (х, у) -кп {х, у) s
где к — константа масштабирования; п — единичный вектор, нормальный к поверхности; s — единичный вектор, направленный в сторону источника света. Поскольку п и s — единичные векторы, их точечное произведение представляет собой косинус угла между ними. Форму поверхности можно определить, следя за тем, как изменяется направление нормального вектора п, движущегося вдоль поверхности. Предположим, что значения к и s известны. Поэтому задача сводится к тому, чтобы восстановить данные о векторе п (х, у), нормальном к поверхности, если известна интенсивность изображения Z (х, у).
Прежде всего необходимо отметить, что задача определения п, если дана яркость I в данном пикселе (х, у), не разрешима локально. Может быть вычислен угол, под которым вектор п пересекается с вектором, направленным к источнику света, но полученный результат позволяет лишь узнать, что этот вектор находится в определенном конусе направлений с осью s и углом от вершины 0=cos 1 (1/к). Чтобы перейти к более точным вычислениям, необходимо отметить, что вектор п не может изменяться произвольно при переходе от пиксела к пикселу. Он соответствует нормальному вектору гладкой конечной части поверхности, ограниченной замкнутой кривой, и поэтому также должен изменяться плавно (формальным названием для этого ограничения является ^ интегрируемость). На основе этой идеи было разработано несколько различных методов. Один из них состоит в том, что нужно использовать другое выражение для п, в терминах частных производных Zx и zy глубины Zlx,yV Такой подход приводит к получению частного дифференциального уравнения для Z, которое может быть решено для получения данных о глубине Z (х, у) с учетом подходящих граничных условий.
Этот подход может быть немного обобщен. Например, не обязательно, чтобы поверхность была ламбертовой, а источник света был точечным. При условии, что существует возможность вычислить ^ карту коэффициентов отражения RW , которая задает значения яркости конечной части поверхности, ограниченной замкнутой кривой, как функции от положения нормального вектора п к этой поверхности, могут по сути применяться методы такого же типа.
Настоящие сложности возникают, когда приходится иметь дело со взаимными отражениями. Если рассматривается типичная сцена внутри помещения, такая как сцена, в которой показаны объекты внутри офиса, то можно заметить, что поверхности освещаются не только источниками света, но и светом, отраженным от других поверхностей в сцене, которые фактически служат в качестве вторичных источников света. Такие эффекты взаимного освещения являются весьма значительными. В подобной ситуации формальный подход, предусматривающий использование карты коэффициентов отражения, становится полностью неприменимым, поскольку яр-
кость изображения зависит не только от положения нормального вектора к поверхности, но также и от сложных пространственных связей между различными поверхностями в сцене.
Не подлежит сомнению, что люди обладают определенными способностями к восприятию данных о форме на основании данных о затенении, поэтому указанная задача продолжает привлекать значительный интерес, несмотря на все сложности, связанные с ее решением.
Контуры
Рассматривая контурный рисунок, подобный приведенному на рис. 24.13, мы получаем живое восприятие трехмерной формы и расположения. Благодаря чему это происходит? Ведь уже было сказано выше, что к получению одного и того же контурного рисунка приводит обработка не одной конфигурации сцены, а бесконечного количества таких конфигураций. Кроме того, следует отметить, что контурный рисунок позволяет даже получить представление о наклоне и повороте поверхностей. Такое ощущение может достигаться благодаря использованию сочетания знаний высокого уровня (знаний о типичных формах) с ограничениями низкого уровня.
Рис. 24.13. Контурный рисунок, позволяющий получить полное представление о том, что на нем изображено (любезно предоставлен Айшей Маликом (Isha Malik))
Рассмотрим, какие качественные знания могут быть получены с помощью контурного рисунка. Как было описано выше, линии на рисунке могут иметь много разных трактовок (см. рис. 24.4 и его подрисуночную подпись). Задача оценки фактической значимости каждой линии на изображении называется ^ разметкой линий; она была одной из первых задач, изучаемых в области машинного зрения. На данный момент займемся изучением упрощенной модели мира, в которой объекты не имеют отметок на поверхности, а линии, обусловленные наличием сосредоточенных неоднородностей освещенности, такие как края теней и блики, были удалены на каком-то из этапов предварительной обработки, что позволяет нам сконцентрировать
свое внимание на контурных рисунках, где каждая линия соответствует сосредоточенной неоднородности либо по глубине, либо по ориентации.
В таком случае каждую линию можно отнести к одному из двух классов: рассматривать ее как проекцию лимба (геометрического места тех точек на поверхности, где луч зрения проходит по касательной к поверхности) или как край (поверхностная нормальная сосредоточенная неоднородность). Кроме того, каждый край может быть классифицирован как выпуклый, вогнутый или закрывающий (под этим подразумевается, что он закрывает то, что находится за ним). Что касается закрывающих краев и лимбов, то желательно иметь возможность определять, какая из двух поверхностей, примыкающих к кривой на контурном рисунке, является ближайшей к наблюдателю в данной сцене. Такие наложения линий могут быть представлены путем присваивания каждой линии одной из шести перечисленных ниже возможных меток линий, как показано на рис. 24.14.
Рис. 24.14. Различные виды меток линий
Метки + и - представляют соответственно выпуклые и вогнутые края. Они связаны с поверхностными нормальными сосредоточенными неоднородностями, в которых видны обе поверхности, стыкующиеся вдоль этого края.
Метка <— или -> представляет закрывающий выпуклый край. При просмотре сцены из видеокамеры обе конечные части поверхности, ограниченные замкнутой кривой, которые стыкуются вдоль этого края, лежат на одной и той же стороне, но одна из них закрывает другую. По мере перемещения по направлению стрелки эти закрывающие поверхности остаются справа.
Метка <—<- или ->—> представляет лимб. На этой линии поверхность плавно искривляется по кругу, закрывая саму себя. По мере перемещения в направлении, обозначенным двойной стрелкой, закрывающая поверхность остается справа. Луч зрения проходит по касательной к поверхности во всех точках лимба. По мере изменения точки зрения лимбы меняют свое положение на поверхности объекта.
Если количество линий на рисунке равно п, то количество вариантов присваивания меток линий, определяемое законами комбинаторики, равно 6П, но количество физически возможных вариантов присваивания по сравнению с этим количеством составляет лишь очень небольшую величину. Задача определения таких возможных присваиваний меток называется задачей разметки линий. Следует отметить, что эта задача имеет смысл, только если метка остается одинаковой на всем протяжении линии. Но такое условие не всегда соблюдается, поскольку метки могут изменяться
вдоль линий на изображениях выпукло-вогнутых криволинейных объектов. В настоящей главе для предотвращения указанных сложностей будут рассматриваться исключительно только многогранные объекты.
Хаффмен [702] и Клоувс [271] независимо друг от друга впервые предприняли попытку применить систематический подход к анализу сцен с многогранными объектами. В своем анализе Хаффмен и Клоувс ограничивались сценами с непрозрачными трехгранными твердыми телами; таковыми являются объекты, в которых в каждой вершине сходятся три и только три плоские поверхности. В случае наличия сцен с многочисленными объектами они, кроме этого, исключали такие выравнивания объектов, которые могли бы привести к нарушению предположения о наличии только трехгранных объектов, например сцен, в которых два куба имеют общий край. Не допускалось также наличие ^ трещин (т.е. “краев”, вдоль которых касательные плоскости являются непрерывными). Для такого мира трехгранных объектов Хаффмен и Клоувс подготовили исчерпывающий список всех различных типов вершин и описали всевозможные способы, с помощью которых эти вершины могут рассматриваться под общей точкой зрения. Условие, согласно которому должна существовать общая точка зрения, фактически гарантирует то, что если возникает небольшое движение глаза наблюдателя, ни одно из соединений плоскостей не меняет свой характер. Например, из этого условия следует, что если три линии пересекаются на изображении, то должны также пересекаться соответствующие края в сцене.
Четыре способа, с помощью которых три плоские поверхности могут быть соединены в одной вершине, показаны на рис. 24.15. Эти примеры могут быть также составлены путем разделения куба на восемь ^ октантов. В таком случае различные возможные трехгранные вершины в центре куба создаются путем заполнения разных октантов. Вершина, обозначенная цифрой 1, соответствует одному заполненному октанту, вершина с цифрой 3 — трем заполненным октантам и т.д. Рекомендуем читателям самим убедиться в том, что на данном рисунке действительно представлены все возможности. Например, попытка заполнить два октанта в кубе не приводит к созданию допустимой трехгранной вершины в центре. Следует также отметить, что эти четыре случая соответствуют различным комбинациям выпуклых и вогнутых краев, которые встречаются в данной вершине.
Рис. 24.15. Четыре вида трехгранных вершин
Три края, встречающихся в вершине, делят окружающее пространство на восемь октантов. Вершина видна из любого октанта, не заполненного твердым материалом. Перемещение точки зрения в пределах одного октанта не приводит к получению изображения с различными типами соединений. Вершина, обозначенная цифрой 1 на рис. 24.15, может рассматриваться из любого из оставшихся семи октантов; при этом наблюдаются метки соединения, показанные на рис. 24.16.
Рис. 24.16. Изменение внешнего вида вершины, обозначенной цифрой 1 на рис. 24.15
Работа по составлению исчерпывающего списка различных способов, с помощью которых может рассматриваться каждая вершина, привела к получению вариантов, показанных на рис. 24.17. Получено четыре различных типа соединений, которые могут быть выделены на изображении: L-соединения, Y-соединения, стреловидные соединения и Т-соединения. L-соединения соответствуют двум видимым краям. Y-соединения и стреловидные соединения соответствуют результатам рассмотрения трех краев, но различие между ними состоит в том, что в Y-соединении ни один из трех углов не превышает 180°. Т-соединения связаны с закрытием одной поверхности другой. Если ближайшая, непрозрачная поверхность закрывает вид на дальше расположенный ее край, будет получен непрерывный край, который встречается с частично закрытым краем. Четыре метки Т-соединения соответствуют закрытию четырех различных типов краев.
Рис. 24.17. Множество меток Хаффмена—Клоувса
При использовании этого словаря соединений во время поиска разметки для контурного рисунка приходится решать задачу определения того, какие интерпретации соединений являются глобально совместимыми. Соблюдение свойства совместимости обеспечивается путем применения правила, согласно которому каждой линии на рисунке вдоль всей ее длины должна быть присвоена одна и только одна метка. Вальц [1552] предложил алгоритм решения этой задачи (фактически применимый даже для расширенной ее версии с тенями, трещинами и разделимо вогнутыми краями), который стал одним из первых приложений метода удовлетворения ограничений в искусственном интеллекте (см. главу 5). В терминологии задач CSP переменными являются соединения, значениями — разметки для этих соединений, а ограничениями служит то, что каждая линия имеет единственную метку. Хотя задача разметки линии для сцен с трехгранными объектами является NP-полной, на практике стандартные алгоритмы CSP показали высокую производительность при их решении.
Распознавание объектов
Зрение позволяет нам надежно распознавать людей, животных и неодушевленные объекты. В области искусственного интеллекта или машинного зрения для обозначения всех этих способностей принято использовать термин распознавание объектов. К этому относится определение класса конкретных объектов, представленных на изображении (например, лица), а также распознавание самих конкретных объектов (например, лица Билла Клинтона). Ниже перечислены прикладные области, которые стимулируют развитие этого научно-технического направления.
^ Биометрическая идентификация. Криминальные расследования и контроль доступа на объекты, допускающие присутствие ограниченного круга лиц, требуют наличия возможности однозначно идентифицировать личность людей. Операции снятия отпечатков пальцев, сканирования радужной оболочки глаза и фотографирования лица в фас приводят к получению изображений, которые должны быть сопоставлены с данными, относящимися к конкретным людям.
^ Выборка изображений с учетом их содержимого. В текстовом документе можно легко найти местонахождение любой строки, например “cat” (кошка), если она там имеется; такую возможность предоставляет любой текстовый редактор. А теперь рассмотрим задачу поиска в изображении подмножества пикселов, которые соответствуют изображению кошки. Если бы система машинного зрения обладала такой способностью, то позволяла бы отвечать на запросы, касающиеся содержимого изображений, такие как “Найдите фотографию, на которой показаны вместе Билл Клинтон и Нельсон Мандела”, “Найдите фотографию конькобежца, который в процессе бега полностью оторвался ото льда”, “Найдите фотографию Эйфелевой башни ночью” и т.д., без необходимости вводить ключевые слова, озаглавливающие каждую фотографию в коллекции. По мере того как увеличиваются коллекции фотографий и видеофильмов, задача ввода вручную аннотаций к отдельным объектам из этой коллекции становится все сложнее.
^ Распознавание рукописного текста. К примерам такого текста относятся подписи, блоки адресов на конвертах, суммы в чеках и введенные пером данные в персональных цифровых ассистентах (Personal Digital Assistant — PDA).
Зрение используется для распознавания не только объектов, но и видов деятельности. Люди способны узнавать знакомую походку (издалека замечая своего друга), выражение лица (улыбку, гримасу), жест (например, просьбу приблизиться), действие (прыжок, танец) и т.д. Исследования по распознаванию видов деятельности все еще находятся на этапе своего становления, поэтому в данном разделе мы сосредоточимся на теме распознавания объектов.
Люди, как правило, легко решают задачу распознавания объектов, но практика показала, что эта задача является сложной для компьютеров. Дело в том, что система машинного зрения должна обладать способностью идентифицировать лицо человека, несмотря на изменения освещенности, позы по отношению к видеокамере и выражения лица. Любое из этих изменений вызывает появление широкого перечня различий в значениях яркости пикселов, поэтому метод, предусматривающий простое сравнение пикселов, вряд ли окажется применимым. Если же требуется обеспечить распознавание экземпляров определенной категории, такой как “автомобили”, то приходится также учитывать различия внутри самой категории. Как оказалось, значительные трудности возникают даже при попытке решить весьма ограниченную проблему распознавания рукописных цифр в поле для почтового кода на конвертах.
Наиболее подходящую инфраструктуру для изучения проблемы распознавания объектов предоставляют такие научные области, как контролируемое обучение или классификация образов. Системе предъявляют положительные примеры изображений (допустим, “лица” — face) и отрицательные примеры (допустим, “не лица” — non face) и ставят перед ней задачу определить с помощью обучения функцию, которая позволила бы отнести вновь полученные изображения к одной из двух категорий — face, non face. Для достижения этой цели подходят все методы, описанные в главах 18 и 20; в частности, для решения проблем распознавания объектов были применены многослойные персептроны, деревья решений, классификаторы по ближайшим соседним элементам и ядерные машины. Но следует отметить, что задача приспособить эти методы для распознавания объектов — далеко не такая уж простая.
Прежде всего необходимо преодолеть сложности, связанные с сегментацией изображения. Любое изображение, как правило, содержит множество объектов, поэтому необходимо вначале разбить его на подмножества пикселов, соответствующих отдельным объектам. А после разбиения изображения на участки можно ввести данные об этих участках или совокупностях участков в классификатор для определения меток объектов. К сожалению, процесс сегментации “снизу вверх” чреват ошибками, поэтому в качестве альтернативного подхода может быть предусмотрен поиск для определения групп объектов “сверху вниз”. Это означает, что можно проводить поиск подмножества пикселов, которые можно классифицировать как лицо, и в случае успешного выполнения данного этапа результатом становится успешное обнаружение группы! Но подходы, основанные исключительно на поиске “сверху вниз” (или нисходящем поиске), имеют высокую вычислительную сложность, поскольку в них необходимо исследовать окна изображения различных размеров, находящиеся в разных местах, а также сравнивать их все с данными различных гипотез о наличии объектов. В настоящее время такая нисходящая стратегия используется в большинстве практически применяемых систем распознавания объектов, но подобная ситуация может измениться в результате усовершенствования методов поиска “снизу вверх” (восходящего поиска).
Еще одной причиной затруднений является то, что процесс распознавания должен осуществляться надежно, невзирая на изменения освещенности и позы. Люди способны легко распознавать объекты, несмотря на то, что их внешний вид существенно изменяется, даже если судить по данным о значениях яркости пикселов на изображениях этих объектов. Например, мы всегда способны узнать лицо друга при разных условиях освещения или под разными углами зрения. В качестве еще более простого примера рассмотрим задачу распознавания рукописной цифры 6. Люди способны решить такую задачу независимо от изменения размеров и положения такого объекта на изображении, а также несмотря на небольшие изменения угла поворота надписи, изображающей эту цифру.
На данном этапе необходимо сделать одно важное замечание — геометрические трансформации, такие как перенос, масштабирование и поворот, или трансформации яркости изображения, вызванные физическим перемещением источников света, имеют иной характер по сравнению с изменениями внутри категории, например, такими различиями, которыми характеризуются лица разных людей. Очевидно, что единственным способом получения информации о различных типах человеческих лиц или о разных способах написания цифры 4 является обучение. С другой стороны, влияния геометрических и физических трансформаций носят систематический характер, поэтому должна существовать возможность исключить их из рассмотрения на основе продуманного проектирования состава характеристик, используемых для представления обучающих экземпляров.
Практика показала, что одним из весьма эффективных методов обеспечения инвариантности по отношению к геометрическим трансформациям является предварительная обработка рассматриваемого участка изображения и приведение его к стандартной позиции, масштабу и ориентации. Еще один вариант состоит в том, что можно просто игнорировать причинный характер геометрических и физических трансформаций, рассматривая их как дополнительные источники изменчивости изображений, поступающих в классификатор. В таком случае в обучающее множество необходимо включить экземпляры, соответствующие всем этим вариантам, в расчете на то, что классификатор выявит логическим путем данные о соответствующем множестве трансформаций входных данных, что позволит исключить из рассмотрения указанные причины изменения внешнего вида экземпляров.
Теперь перейдем к описанию конкретных алгоритмов распознавания объектов. Для упрощения сосредоточимся на задаче, постановка которой определена в двухмерной системе координат, — и обучающие, и тестовые примеры заданы в форме двухмерных растровых изображений. Очевидно, что данный подход вполне применим в таких областях, как распознавание рукописного текста. Но даже в случае трехмерных объектов может оказаться эффективным подход, предусматривающий использование способа представления этих объектов с помощью многочисленных двухмерных изображений (рис. 24.18) и классификации новых объектов путем сравнения их с хранимыми изображениями (т.е. с некоторыми другими данными, представляющими те же объекты).
Рис. 24.18. Многочисленные изображения двух трехмерных объектов в разных видах
Как было описано в предыдущем разделе, для извлечения из изображения информации о трехмерных объектах в сцене могут использоваться многочисленные признаки. Кроме того, многочисленные признаки лежат в основе распознавания объектов, например, тигра можно узнать, заметив оранжевые и черные цвета на его шкуре, обнаружив на ней полосы или определив форму его тела.
Цвет и текстуру можно представить с использованием гистограмм или эмпирических распределений частот. Получив в качестве образца изображение тигра, можно определить, каково процентное соотношение количества пикселов, относящихся к разным цветам. В дальнейшем, после получения экземпляра с неизвестной классификацией, можно провести сравнение гистограммы его цветов с данными о полученных ранее примерах изображений тигра. Для анализа текстуры рассматриваются гистограммы, полученные в результате свертки изображения с фильтрами, имеющими различные ориентации и масштабы, после чего отыскиваются совпадения.
Как оказалось, задача использования формы для распознавания объектов является более сложной. Вообще говоря, существуют два основных подхода: распознавание с учетом яркости, в котором непосредственно используются значения яркости пикселов, и распознавание с учетом характеристик, в котором предусматривается применение данных о пространственном расположении извлеченных из изображения характеристик, таких как края или ключевые точки. После более подробного описания двух этих подходов мы рассмотрим также проблему оценки позы, т.е. проблему определения местонахождения и ориентации объектов в сцене.
Распознавание с учетом яркости
При таком подходе за основу берется подмножество пикселов изображения, которое соответствует распознаваемому объекту, и определяются данные о характеристиках как данные о самих исходных значениях яркости пикселов. Еще один вариант этого метода состоит в том, что вначале может быть выполнена свертка изображения с различными линейными фильтрами, после чего значения пикселов в результирующих
изображениях рассматриваются как характеристики. Как было показано в разделе 20.7, такой подход оказался очень успешным при решении таких задач, как распознавание рукописных цифр.
Для создания детекторов лиц, позволяющих распознавать лица с помощью баз данных с изображениями, использовался целый ряд статистических методов, включая методы на основе нейронных сетей с необработанными входными данными, представленными в виде характеристик пикселов; деревья решений с характеристиками, определяемыми с помощью различных фильтров полос и краев; а также наивные байесовские модели с характеристиками небольшого волнения (ряби). Некоторые результаты применения последнего метода показаны на рис. 24.19.
Рис. 24.19. Выходные данные алгоритма поиска лиц (любезно предоставлено Генри Шнейдерманом (Henry Schneiderman) и Такео Канаде (Takeo Kanade))
Одним из недостатков метода, в котором в качестве векторов характеристик используются необработанные данные о пикселах, является большая избыточность, свойственная этому способу представления. Предположим, что рассматриваются два пиксела, расположенные рядом на изображении щеки лица какого-то человека; между ними, скорее всего, будет весьма высокая корреляция, поскольку для них свойственны аналогичное геометрическое расположение, освещенность и т.д. Для сокращения количества размерностей вектора характеристик можно с успехом применять методы уменьшения объема данных, такие как анализ наиболее важных компонентов; использование таких методов обеспечивает распознавание объектов, подобных лицам, с большим быстродействием по сравнению с тем, которое может быть достигнуто с использованием пространства большей размерности.
Распознавание с учетом характеристик
Вместо применения в качестве характеристик необработанных данных о яркости пикселов можно использовать способы обнаружения и разметки пространственно
локализованных характеристик, таких как участки и края (см. раздел 24.3). Применение краев является целесообразным по двум описанным ниже важным причинам. Одной из них является уменьшение объема данных, связанное с тем, что количество краев намного меньше по сравнению с количеством пикселов изображения. Вторая причина обусловлена возможностью добиться инвариантности освещенности, поскольку края (при наличии подходящего диапазона контрастов) обнаруживаются приблизительно в одних и тех же местах, независимо от точной конфигурации освещенностей. Края представляют собой одномерные характеристики; были также предприняты попытки использовать двухмерные характеристики (участки) и нульмерные характеристики (точки). Обратите внимание на то, как отличаются трактовки пространственного расположения в подходах с учетом яркости и с учетом характеристик. В подходах с учетом яркости эти данные кодируются неявно, как индексы компонентов вектора характеристик, а в подходах с учетом характеристик характеристикой является само местонахождение (х, у).
Неотъемлемым свойством любого объекта является инвариантное расположение краев; именно по этой причине люди могут легко интерпретировать контурные рисунки (см. рис. 24.13), даже несмотря на то, что подобные изображения не встречаются в природе! Простейший способ использования этих знаний основан на классификаторе по ближайшим соседним точкам. При этом предварительно вычисляются и сохраняются данные о конфигурациях краев, соответствующие представлениям всех известных объектов. А после получения конфигурации краев, соответствующей неизвестному объекту на изображении, являющимся предметом запроса, можно определить “расстояние” этого объекта от каждого элемента библиотеки хранимых представлений. После этого классификатор по ближайшим соседним точкам выбирает наиболее близкое соответствие.
Для описания понятия расстояния между изображениями было предложено много разных определений. Один из наиболее интересных подходов основан на идее ^ согласования с учетом деформации. В своей классической работе On Growth and Form [1506] Дарси Томпсон заметил, что близкие, но не идентичные формы часто можно деформировать в подобные друг другу формы с использованием простых координатных преобразований. При таком подходе понятие подобия формы воплощается на практике в виде следующего трехэтапного процесса: во-первых, отыскивается решение задачи соответствия между двумя формами, во-вторых, данные о соответствии используются для определения преобразования, позволяющего сделать эти формы аналогичными, и, в-третьих, вычисляется расстояние между двумя формами как сумма ошибок согласования между соответствующими точками, наряду с термом, в котором измеряется величина выравнивающего преобразования.
Форма представляется с помощью конечного множества точек, полученных в виде выборки, взятой на внутренних или внешних контурах формы. Эти данные могут быть получены как сведения о местонахождениях пикселов краев, обнаруженные детектором краев, и представлены в виде множества {plz... ,Ры) из Сточек. Примеры множеств точек, соответствующих двум формам, приведены на рис. 24.20, а, б.
Рис. 24.20. Процедура вычисления и согласования контекстов формы: множества точек краев двух форм (а), (б); схема секторов логарифмической—полярной гистограммы, используемой при вычислении контекстов формы. Используется 5 секторов для log г и 12секторов для 6 (в); примеры контекстов формы для опорных образцов, отмеченных точками со значками о, 0, < на рис. 24.20, а, б. Каждый контекст формы представляет собой логарифмическую—полярную гистограмму координат остальных точек множества, измеренных с использованием опорной точки в качестве начала координат (затемненные ячейки означают, что в данном секторе имеется больше одной точки). Обратите внимание на внешнее подобие контекстов формы знакам о и О, поскольку эти контексты были вычислены для относительно подобных точек в двух формах. В отличие от этого, контекст формы для знака о существенно отличается (г)—(е); соответствия между рис. 24.20, а, б, обнаруженные путем согласования двухдольных графов, с указанием стоимостей преобразования, определяемых на основе расстояния ^ между гистограммами (ж)
Теперь рассмотрим конкретную точку выборки р^, наряду с множеством всех векторов, исходящих из этой точки в направлении всех других точек выборки в форме. Эти векторы представляют конфигурацию всей формы относительно рассматриваемой опорной точки. Такое представление лежит в основе следующей идеи: с каждой точкой выборки можно связать дескриптор, или ^ контекст формы, который приближенно представляет расположение остальной части формы по отношению к данной точке. Точнее, контекст формы точки pt представляет собой приближенную пространственную гистограмму h^ относительных координат pk-pi остальных 7V-1 точек рк. Для определения сегментов используется логарифмическая-полярная система координат, обеспечивающая то, что дескриптор становится более чувствительным к различиям в ближайших друг к другу пикселах. Пример расположения сегментов показан на рис. 24.20, в.
Обратите внимание на то, что неотъемлемым свойством этого определения контекста формы является его инвариантность к операции переноса, поскольку все изменения выполняются по отношению к точкам в объекте. Для достижения инвари-
антности к операции масштабирования все радиальные расстояния нормализуются путем деления на среднее расстояние между парами точек.
Контексты формы позволяют решить задачу установления соответствия между двумя аналогичными, но не идентичными формами, наподобие тех, которые показаны на рис. 24.20, а, б. Контексты формы являются разными для различных точек на одной и той же форме S, тогда как соответствующие (гомологичные) точки на подобных формах S и S', как правило, имеют одинаковые контексты формы. Таким образом, задача поиска соответствующих друг другу точек двух форм преобразована в задачу поиска партнеров, имеющих взаимно подобные контексты формы.
Точнее, рассмотрим точку р^ на первой форме и точку q5 на второй форме. Допустим, что Cij = C(piz q^ обозначает стоимость согласования этих двух точек. Поскольку контексты формы представляют собой распределения, выраженные в виде гистограмм, вполне обоснован подход, предусматривающий использование расстояния %2, следующим образом:
к
_ IhiW-hiW I2
ij " 2 / . hiW+h5W k=l
где hi (k) и hj (k) обозначают k-й сектор нормализованных гистограмм в точках Pi и q^. Если дано множество стоимостей Cij согласования между всеми парами точек 1 на первой форме и точек j на второй форме, то может быть принято решение минимизировать общую стоимость согласования с учетом ограничения, что это согласование должно выполняться на основе взаимно-однозначного соответствия. Это — пример задачи поиска паросочетаний взвешенного двухдольного графа, которая может быть решена за время О (N3) с использованием так называемого венгерского алгоритма (Hungarian algorithm).
Если известны соответствия в точках выборки, то данные о соответствии можно распространить на всю форму, оценивая стоимость согласующего преобразования, которое позволяет отобразить одну форму на другой. Особенно эффективным является подход с использованием регуляризованного тонкостенного сплайна (regularized thin plate spline). После того как формы будут согласованы, задача вычисления оценок подобия становится относительно несложной. Расстояние между двумя формами может быть определено как взвешенная сумма расстояний контекстов форм между соответствующими точками и как энергия изгиба, связанная с тонкостенным сплайном. После получения такой меры расстояния для решения задачи распознавания можно использовать простой классификатор по ближайшим соседним точкам. Превосходная иллюстрация, демонстрирующая высокую эффективность применения этого подхода при классификации рукописных цифр, приведена в главе 20.
Оценка позы
Интерес представляет не только задача определения того, каковым является некоторый объект, но и задача определения его позы, т.е. его позиции и ориентации по отношению к наблюдателю. Например, при решении проблемы манипулирования объектами на производстве приходится учитывать, что захват робота не может взять объект до тех, пока не будет известна его поза. В случае твердотельных объектов, как
трехмерных, так и двухмерных, эта проблема имеет простое и полностью определенное решение, основанное на ^ методе выравнивания, который описан ниже.
В этом методе объект представляется с помощью м характеристик, или различимых точек ть т2, ..., л^ в трехмерном пространстве (в качестве таковых могут, допустим, рассматриваться вершины многогранного объекта). Координаты этих точек измеряются в некоторой системе координат, наиболее подходящей для данного объекта. После этого точки подвергаются операции трехмерного вращения R с неизвестными параметрами, за которой следует операция переноса на неизвестную величину t, а затем выполняется операция проекции, которая приводит к появлению точек характеристик изображения р1? р2, ..., Pn на плоскости изображения. Вообще говоря, №М, поскольку некоторые точки модели могут закрывать друг друга, а детектор характеристик может пропустить некоторые характеристики (или выявить ложные характеристики, появление которых обусловлено наличием шума). Такое преобразование для трехмерной модели точек пч и соответствующих точек изображения pi можно представить следующим образом:
Pi = П (Rmi + t) = Q(mi)
где R — матрица вращения, t — вектор переноса; П — перспективная проекция или одно из ее приближений, такое как масштабируемая ортогональная проекция. Чистым результатом становится трансформация Q, которая приводит точки модели mi в соответствие с точками изображения р£. При этом, хотя первоначально трансформация Q не определена, известно, что (применительно к твердотельным объектам) Q должна быть одинаковой для всех точек модели.
Задачу определения преобразования Q можно решить, получив значения трехмерных координат трех точек модели и их двухмерных проекций. В основе этого подхода лежит следующая интуитивная идея: могут быть легко составлены уравнения, связывающие координаты р^ с координатами т^. В этих уравнениях неизвестные величины соответствуют матрице вращения R и вектору переноса t. Если количество уравнений достаточно велико, то возможность получения решения для Q становится неоспоримой. Мы не будем приводить здесь доказательство этой гипотезы, а просто сформулируем следующий результат.
Если даны три точки, mi, m2 и m3, в модели, не лежащие на одной прямой, и их масштабированные ортогональные проекции, pi, р2 ир3, на плоскости изображения, то существуют две и только две трансформации из системы координат трехмерной модели в систему координат двухмерного изображения.
Эти трансформации связаны друг с другом, поскольку зеркально противоположны относительно плоскости изображения; они могут быть вычислены на основе простого решения в замкнутой форме. Если существует возможность идентифицировать характеристики модели, соответствующие трем характеристикам в изображении, то может быть вычислена Q— поза объекта. В предыдущем подразделе обсуждался метод определения соответствий с использованием согласования контекстов формы. Если же объект имеет четко определенные углы или другие заметные точки, то становится доступным еще более простой метод. Идея его состоит в том, что необходимо повторно формировать и проверять соответствия. Мы должны выдвинуть первоначальную гипотезу о соответствии тройки точек изображения тройке точек модели и использовать функцию Find-Transform для формирования гипотезы Q.
Если принятое предположение о соответствии было правильным, то трансформация Q является правильной и после ее применения к оставшимся точкам модели приводит к получению предсказания координат точек изображения. Если принятое предположение было неправильным, то трансформация Q также является неправильной и после ее применения к оставшимся точкам модели не позволяет предсказывать координаты точек изображения.
Описанный выше подход лежит в основе алгоритма Align, приведенного в листинге 24.1. Этот алгоритм находит позу для данной конкретной модели или возвращает индикатор неудачи. Временная сложность данного алгоритма в худшем случае пропорциональна количеству сочетаний троек точек модели и троек точек изображения, или
умноженному на стоимость проверки каждого сочетания. Стоимость проверки пропорциональна MogJV, поскольку необходимо предсказывать позицию изображения для каждой из м точек модели и находить расстояние до ближайшей точки изображения, что требует выполнения log^ операций, если точки изображения представлены с помощью некоторой подходящей структуры данных. Поэтому в наихудшем случае сложность алгоритма выравнивания определяется значением OO^^logN), где м и N— количество точек модели и изображения соответственно. Методы, основанные на принципе кластеризации поз в сочетании со средствами рандомизации, позволяют уменьшить сложность до О (MN3). Результаты применения этого алгоритма к изображению степлера показаны на рис. 24.21.
Листинг 24.1. Неформальное описание алгоритма выравнивания
function Align(image, model) returns решение solution или индикатор неудачи failure
inputs: image, список координат характеристик изображения model, список координат характеристик модели
for each (pi, р2, рз) in Triplets (image) do
for each (mi, m2z m3) in Triplets(model) do
Q <— Find-Transform( (pi, p2z рз) , (mi, m2, m3) ) if проекция, соответствующая гипотезе Q, позволяет распознать изображение then return Q return failure
Использование системы машинного зрения
ДЛЯ МАНИПУЛИРОВАНИЯ И ПЕРЕДВИЖЕНИЯ
Одно из наиболее важных направлений использования систем машинного зрения состоит в получении информации как для манипулирования объектами (определения их местоположения, захвата, изменения их положения в пространстве и т.д.), так и для передвижения без столкновений с препятствиями. Способность использовать зрение для этих целей присуща системам зрения даже самых примитив-
ных животных. Во многих случаях по своему устройству такая система зрения состоит из минимально необходимого набора компонентов; под этим подразумевается, что она извлекает из доступного светового поля только такую информацию, которая требуется животному для организации своего поведения. Вполне возможно, что системы зрения наиболее высокоразвитых животных стали результатом эволюции, которая началась с появления на одном конце тела у самых ранних, примитивных организмов светочувствительного пятна, с помощью которого они устремлялись к свету (или прятались от него). Как было описано в разделе 24.4, в нервной системе мухи существует очень простая система распознавания оптического потока, позволяющая мухе садиться на стены. В классическом исследовании What the Frog's Eye Tells the Frog's Brain [914] сделано следующее замечание в отношении лягушки: “Она умерла бы с голоду, окруженная пищей, если бы эта пища не двигалась. Лягушка выбирает пищу только после определения ее размеров и движения”.
Рис. 24.21. Результаты применения алгоритма выравнивания к изображению степлера; углы, найденные на изображении степлера (а); гипотетическая реконструкция, наложенная на первоначальное изображении (любезно предоставлено Кларком Олсоном (Clark Olson)) (б)
Системы машинного зрения используются в “организмах”, называемых роботами. Рассмотрим особую разновидность робота — автоматизированное транспортное средство, движущееся по шоссе (рис. 24.22). Вначале проанализируем стоящие перед нами задачи, затем определим, какие алгоритмы машинного зрения позволят нам получить информацию, необходимую для успешного выполнения этих задач. Ниже перечислены задачи, с которыми сталкивается водитель.
Управление движением в поперечном направлении. Обеспечение того, чтобы транспортное средство надежно придерживалось своей полосы движения или плавно переходило на другую полосу движения в случае необходимости.
Управление движением в продольном направлении. Обеспечение того, чтобы постоянно соблюдалась безопасная дистанция до транспортного средства, идущего впереди.
Предотвращение столкновений с препятствиями. Слежение за транспортными средствами на соседних полосах движения и подготовка к маневрам, необходимым для предотвращения столкновения, если водитель одного из них решит перейти на другую полосу движения.
Рис. 24.22. Изображение дороги, снятое видеокамерой, которая расположена внутри автомобиля. Горизонтальными белыми полосками обозначены окна поиска, в пределах которых контроллер отыскивает маркировку полос движения. Низкое качество изображения является вполне типичным для черно-белого видеосигнала с низким разрешением
Перед водителем стоит проблема — определить и осуществить подходящие действия по изменению направления движения, ускорению и торможению, позволяющие наилучшим образом выполнить стоящие перед ним задачи.
Что касается управления движением в поперечном направлении, то для этого необходимо постоянно обновлять данные о положении и ориентации автомобиля относительно его полосы движения. Применительно к изображению, показанному на рис. 24.22, для поиска краев, соответствующих сегментам маркировки полосы движения, можно использовать алгоритмы распознавания краев. После этого с данными элементами представления краев можно согласовать гладкие кривые. Параметры этих кривых несут информацию о поперечном положении автомобиля, направлении, в котором он движется относительно своей полосы движения, и о кривизне самой полосы движения. Эта информация, наряду с информацией о динамике автомобиля, заключает в себе все необходимое для системы рулевого управления. Следует также отметить, что от одного видеокадра к другому происходит лишь небольшое изменение в положении проекции полосы движения на изображении, поэтому уже известно, где искать на изображении маркировку полосы движения; например, на данном рисунке достаточно рассмотреть только те участки, которые обозначены параллельными белыми полосками.
А что касается управления движением в продольном направлении, то необходимо знать расстояния до идущих впереди транспортных средств. Для получения такой информации могут использоваться бинокулярные стереоданные или оптический поток. Оба эти подхода могут быть упрощены с использованием ограничений проблемной области, определяемых тем фактом, что вождение происходит на плоской поверхности. В настоящее время автомобили, действующие под управлением систем
машинного зрения, в которых используются эти методы, показали свою способность двигаться в течение продолжительных периодов времени на максимальных скоростях, разрешенных на автомагистралях.
Приведенный выше пример решения проблемы вождения позволяет очень четко подчеркнуть одну мысль: ^ для решения конкретной задачи нет необходимости извлекать из изображения всю информацию, которая может быть в принципе получена с его помощью. Не требуется восстанавливать точную форму каждого встречного или попутного автомобиля, решать задачу определения формы на основании текстуры для поверхности травы, растущей вдоль автомагистрали, и т.д. Потребности данной задачи определяют необходимость в получении лишь информации определенных видов, и поэтому можно добиться значительного повышения скорости вычислений и надежности, восстанавливая только эту информацию и в полной мере применяя ограничения проблемной области. Наша цель при обсуждении общих подходов, представленных в предыдущем разделе, состояла в демонстрации того, что они формируют общую теорию, которую можно специализировать в интересах решения конкретных задач.
Резюме
Хотя на первый взгляд кажется, что люди осуществляют действия по восприятию без каких-либо усилий, для обеспечения восприятия требуется большой объем сложных вычислений. Задача зрения состоит в извлечении информации, необходимой для решения таких задач, как манипулирование, навигация и распознавание объектов.
Геометрические и физические аспекты процесса формирования изображения глубоко изучены. Если дано описание трехмерной сцены, можно легко сформировать ее изображение из любой произвольной позиции видеокамеры (это — задача компьютерной графики). Задача организации обратного процесса, в котором происходит переход от изображения к описанию сцены, является более сложной.
Для извлечения визуальной информации, необходимой для решения задач манипулирования, навигации и распознавания, необходимо создавать промежуточные представления. В ранних алгоритмах обработки изображения для систем машинного зрения предусматривалось извлечение из изображения таких примитивных характеристик, как края и участки.
В каждом изображении имеется целый ряд признаков, позволяющих получить информацию о конфигурации рассматриваемой трехмерной сцены: движение, стереоданные, текстура, затенение и контуры. Выделение каждого из этих признаков основано на исходных допущениях о физических сценах, позволяющих добиваться почти полностью непротиворечивых интерпретаций.
Задача распознавания объектов в своей полной постановке является весьма сложной. В данной главе рассматривались подходы к решению этой задачи с учетом яркости и характеристик. Кроме того, в настоящей главе приведен простой алгоритм оценки позы. Существуют и другие возможности.
Библиографические и исторические заметки
Упорные попытки понять, как функционирует зрение человека, предпринимались с самых древних времен. Евклид (около 300 г. до н.э.) в своих трудах писал о естественной перспективе — об отображении, которое связывает с каждой точкой Р в трехмерном мире направление луча ОР, соединяющего центр проекции О с точкой Р. Он также был хорошо знаком с понятием параллакса движения. Следующий значительный этап развития математической трактовки перспективной проекции, на этот раз в контексте проекции на плоские поверхности, наступил в XV веке в Италии, в период Возрождения. Создателем первых рисунков, основанных на геометрически правильной проекции трехмерной сцены, принято считать Брунеллески (1413 год). В 1435 году Альберти составил свод правил построения перспективной проекции, ставший источником вдохновения для многих поколений художников, чьи художественные достижения восхищают нас и поныне. Особенно весомый вклад в развитие науки о перспективе (как она называлась в те времена) внесли Леонардо да Винчи и Альбрехт Дюрер. Составленные Леонардо в конце XV столетия описания игры света и тени (светотени), теневых и полутеневых областей затенения, а также воздушной перспективы до сих пор не потеряли своего значения [790].
Хотя знаниями о перспективе владели еще древние греки, в их воззрениях присутствовала забавная путаница, поскольку они неправильно понимали, какую роль играют глаза в процессе зрения. Аристотель считал, что глаза — это устройства, испускающие лучи, что соответствует современным представлениям о работе лазерных дальномеров. Этим ошибочным взглядам положили конец труды арабских ученых X столетия, в частности Альхазена. В дальнейшем началась разработка камер-обскур различных видов. На первых порах они представляли собой комнаты (камера- обскура по латыни — “темная комната”), в которые свет попадал через малое отверстие в одной стене, а на противоположной стене создавалось изображение сцены, происходящей наружи. Безусловно, во всех этих камерах изображение было перевернутым, что вызывало невероятное смущение современников. Ведь если глаз рассматривать как аналогичный такому устройству формирования изображения, как камера-обскура, то почему же мы видим предметы такими, каковы они на самом деле? Эта загадка не давала покоя величайшим умам той эпохи (включая Леонардо). Окончательно решить эту проблему удалось лишь благодаря работам Кеплера и Декарта. Декарт поместил препарат глаза, с задней стенки которого была удалена непрозрачная оболочка, в отверстие оконного ставня. В результате было получено перевернутое изображение, сформировавшееся на куске бумаги, заменившем сетчатку. Хотя изображение на сетчатке глаза действительно перевернуто, такая ситуация не вызывает проблемы, поскольку мозг интерпретирует полученное изображение правильно. Говоря современным языком, для этого достаточно обеспечить правильный доступ к структуре данных.
Очередные крупные успехи в изучении зрения были достигнуты в XIX веке. Благодаря трудам Гельмгольца и Вундта, описанным в главе 1, методика проведения психофизических экспериментов стала строгой научной дисциплиной. А труды Юнга, Максвелла и Гельмгольца привели к созданию трехкомпонентной теории цветоощущения. Стереоскоп, изобретенный Витстоуном [1582], позволил продемонстрировать, что люди получают возможность определять глубину изображения,
если на левый и правый глаз поступают немного разные картинки. После того как стало известно о создании стереоскопа, этот прибор быстро завоевал популярность в гостиных и салонах по всей Европе. Возникла новая научная область — фотограмметрия, основанная на принципиально важном понятии бинокулярных стереоданных, согласно которому два изображения сцены, снятые немного с разных точек зрения, несут достаточную информацию для получения трехмерной реконструкции сцены. В дальнейшем были получены важные математические результаты; например, Круппа [861] доказал, что если даны два изображения пяти различных точек одного и того же объекта, то можно реконструировать данные о повороте и переносе камеры с одной позиции в другую, а также о глубине сцены (с точностью до коэффициента масштабирования). Хотя геометрия стереоскопического зрения была известна уже давно, не было ясно, как решают задачу фотограмметрии люди, автоматически согласующие соответствующие точки изображений. Удивительные способности людей решать проблему соответствия были продемонстрированы Юлешем [755], который изобрел стереограмму, состоящую из случайно выбранных точек. На решение проблемы соответствия как в машинном зрении, так и в фотограмметрии в 1970-х и в 1980-х годах были потрачены значительные усилия.
Вторая половина XIX столетия была основным периодом становления области психофизических исследований человеческого зрения. В первой половине XX столетия наиболее значительные результаты исследований в области зрения были получены представителями школы гештальт-психологии, возглавляемой Максом Вертхеймером. Эти ученые были проводниками взглядов, что основными единицами восприятия должны быть законченные формы, а не их компоненты (такие как края), и выдвинули лозунг: “Целое не равно сумме его частей”.
Период исследований после Второй мировой войны характеризуется новым всплеском активности. Наиболее значительной была работа Дж.Дж. Гибсона [551], [552], который подчеркнул важность понятий оптического потока, а также градиентов текстуры в оценке таких переменных описания внешней среды, как поворот и наклон поверхности. Гибсон еще раз подчеркнул значимость стимулов и их разнообразия. Например, в [553] указано, что поле оптического потока всегда содержит достаточно информации для определения самодвижения наблюдателя по отношению к его среде. В сообществе специалистов по системам компьютерного зрения основные работы в этой области и в (математически эквивалентной) области выявления структуры по данным о движении проводились главным образом в 1980-х и в 1990-х годах. Наиболее яркими проявлениями этой деятельности стали оригинальные работы [815], [945] и [1526]. Возникавшая на первых порах озабоченность в отношении стабильности структуры, выявленной на основании данных о движении, была полностью развеяна благодаря работе Томази и Канаде [1511], которые показали, что форма может быть восстановлена абсолютно точно благодаря использованию многочисленных кадров и получаемой в результате этого широкой базисной линии.
В [230] описано удивительное устройство системы зрения мухи и показано, что это насекомое обладает остротой временного визуального восприятия, в десять раз лучшей по сравнению с человеком. Это означает, что муха способна смотреть фильм, воспроизводимый с частотой до 300 кадров в секунду, различая при этом отдельные кадры.
Принципиально важным нововведением, представленным в исследованиях, которые проводились в 1990-х годах, было выявление с помощью обучения проектив-
ной структуры по данным о движении. Как показано в [452], при таком подходе не требуется калибровка видеокамеры. Это открытие тесно связано с работами, послужившими основой для использования геометрических инвариантов при распознавании объектов, обзор которых приведен в [1104], и с работами по разработке аффинной структуры по данным о движении [816]. В 1990-х годах анализ движения нашел много новых областей применения благодаря значительному увеличению быстродействия и объема памяти компьютеров, а также широкому распространению цифровой видеоаппаратуры. Особенно важное применение нашли методы создания геометрических моделей сцен реального мира, которые предназначены для формирования изображений с помощью средств компьютерной графики; эти работы привели к созданию алгоритмов реконструкции наподобие тех, которые представлены в [364]. В [454] и [626] приведено исчерпывающее описание геометрии множественных представлений.
В области компьютеризированных систем зрения наиболее важными основополагающими работами по логическому выводу формы на основании текстуры были [60] и [1461]. Они были посвящены описанию плоских поверхностей, а для криволинейных поверхностей результаты исчерпывающего анализа приведены в [518] и [973].
В сообществе специалистов в области компьютерных систем зрения проблема логического вывода формы из данных о затенении была впервые исследована Бертольдом Хорном [676]. В [678] представлен исчерпывающий обзор основных статей в этой области. В указанном научном направлении было принято принимать целый ряд упрощающих допущений, из которых наиболее важным было игнорирование влияния взаимного освещения. Важность проблемы взаимного освещения была впервые осознана в сообществе специалистов по компьютерной графике, которые стремились точно разрабатывать модели трассировки лучей и диффузного отражения, чтобы учесть наличие взаимного освещения. С критикой основных теоретических и эмпирических подходов в этой области можно ознакомиться в [484].
В области логического вывода информации о форме по данным о контурах самый первый, решающий вклад был сделан Хаффменом [702] и Клоувсом [271], после чего Маккуорт [966] и Сугихара [1473] провели до конца анализ методов, применимых к многогранным объектам. Малик [971] разработал схему разметки для кусочно-гладких криволинейных объектов. В [801] показано, что задача разметки линий для трехгранных сцен является NP-полной.
Для правильной трактовки визуальных эффектов, возникающих в проекциях гладких криволинейных объектов, требуется совместное использование дифференциальной геометрии и теории особенностей. Наилучшим исследованием на эту тему является книга Кёндеринка Solid Shape [814].
Оригинальной работой по распознаванию трехмерных объектов явились тезисы Робертса [1294], опубликованные в Массачусетсском технологическим институте (Massachussets Institute of Technlogies — MIT). Эту работу многие считают первыми тезисами докторской диссертации по машинному зрению; в ней впервые представлено несколько ключевых идей, в том числе касающихся обнаружения краев и согласования на основе моделей. Метод обнаружения краев Кэнни был представлен в [218]. Идея выравнивания, также впервые выдвинутая Робертсом, снова вышла на передний план в 1980-х годах после опубликования работ [711] и [950]. Значительное повышение эффективности методов оценки позы путем выравнивания было достигнуто Олсоном [1156]. Еще одним важным направлением исследований в области распознавания
трехмерных объектов явился подход, основанный на идее описания форм в терминах объемных примитивов на основе ^ обобщенных цилиндров, который был предложен Томом Бинфордом [128] и нашел особенно широкое распространение.
Исследования в области машинного зрения, посвященные распознаванию объектов, в основном сосредоточивались на проблемах, возникающих в результате получения проекции трехмерных объектов в виде двухмерных изображений, а в сообществе специалистов по распознаванию образов существовала другая традиция, в которой эта задача рассматривалась как относящаяся к области классификации образов. Этих специалистов в основным интересовали примеры, относящиеся к таким проблемным областям, как оптическое распознавание символов и распознавание рукописных почтовых кодов, в которых основные усилия были направлены на изучение характеристик типичных вариаций искомого класса объектов и отделение этих объектов от объектов других классов. Сравнение таких подходов приведено в [904]. К другим работам по распознаванию объектов относятся исследования по распознаванию лиц [1422] и [1543]. В [98] описан подход на основе контекста формы. В [395] впервые показаны результаты разработки автомобиля с визуальным управлением для автоматического вождения по автомагистралям на высоких скоростях; в [1224] показаны результаты достижения аналогичной производительности с использованием подхода на основе нейронной сети.
Наилучшее и самое полное описание человеческого зрения можно найти в книге Стивена Палмера Vision Science: Photons to Phenomenology [1167]; а книги Дэвида Xa- бела Eye, Brain and Vision [700] и Ирвина Рока Perception [1300] представляют собой краткие введения, в основном посвященные соответственно нейрофизиологии и восприятию.
В настоящее время наиболее всесторонним учебником для специалистов по машинному зрению является книга Дэвида Форсита (David Forsyth) и Джин Понсе (Jean Ponce) Computer Vision: A Modern Approach. Значительно более краткие описания можно найти в [1111] и [1513]. Интерес представляют также два изданных немного раньше, но все еще значимых учебника, в каждом из которых рассматривается ряд специальных тем: Robot Vision [677] и Three-Dimensional Computer Vision [453]. Важную роль в объединении усилий специалистов по машинному зрению и специалистов по более традиционным областям биологического зрения (психофизике и нейробиологии) в свое время сыграла книга Дэвида Марра Vision [986]. Двумя основными журналами по машинному зрению являются IEEE Transactions on Pattern Analysis and Machine Intelligence и International Journal of Computer Vision. К числу конференций по машинному зрению относятся ICCV (International Conference on Computer Vision), CVPR (Computer Vision and Pattern Recognition) и ECCV (European Conference on Computer Vision).
Упражнения
В тени дерева с плотной, густой кроной можно обнаружить множество пятен света. На удивление, все эти пятна кажутся круглыми. С чем это связано? Ведь в конечном итоге просветы между листьями, через которые проникают лучи солнца, вряд ли имеют круглую форму.
Нанесите разметку на контурный рисунок, приведенный на рис. 24.23, приняв предположение, что все наружные края размечены как закрывающие и что все вершины являются трехгранными. Выполните эту задачу с помощью алгоритма перебора с возвратами, который проверяет вершины в последовательности А, в, Си О, выбирая на каждом этапе вариант, совместимый с размеченными ранее соединениями и краями. После этого попробуйте применить последовательность вершин в, D, А и С.
Рис. 24.23. Рисунок, подлежащий разметке, в котором все вершины являются трехгранными
Рассмотрим цилиндр бесконечной длины с радиусом г, ось которого направлена вдоль оси у. Цилиндр имеет ламбертову поверхность и рассматривается с помощью видеокамеры, направленной вдоль положительной оси z. Что вы можете рассчитывать увидеть на этом изображении, если цилиндр освещается точечным источником света, находящимся на бесконечно большом расстоянии со стороны положительной полуоси х? Объясните ваш ответ, нарисовав контуры равной яркости на спроектированном изображении. Являются ли контуры равной яркости расположенными через равномерные интервалы?
Края на изображении могут соответствовать самым разнообразным визуальным эффектам, возникающим в сцене. Рассмотрите обложку данной книги и примите предположение, что это — картина реальной трехмерной сцены. Определите на этом изображении десять краев с различной яркостью и для каждого из них укажите, соответствует ли оно сосредоточенной неоднородности: а) по глубине;
по нормали к поверхности;
по отражательной способности;
по освещенности.
Покажите, что операция свертки с заданной функцией f является коммутативной по отношению к операции дифференцирования; иными словами, покажите, что {f*g) '=f*(g) *.
Рассматривается вопрос о возможности применения некоторой стереоскопической системы для составления карты местности. Она состоит из двух видеокамер CCD, в каждой из которых имеется 512x512 пикселов на квадратном датчике площадью 10x10 см. Применяемые линзы имеют фокусное расстояние 16 см, где фокус зафиксирован в бесконечности. Для соответствующих точек с координатами (ulz vj на левом изображении и (u2z v2) на правом изображении верно, что v1=v2, поскольку оси хдвух плоскостей изображения параллельны эпиполярным линиям. Оптические оси этих двух видеокамер являются параллельными. Базисная линия между камерами равна 1 м.
Если наименьшая дальность, которая должна быть измерена, равняется 16 м, то каково наибольшее рассогласование (в пикселах), которое может при этом возникнуть?
Какова разрешающая способность по дальности на расстоянии 16 м, которая обусловлена наличием интервала между пикселами?
Какая дальность соответствует рассогласованию в один пиксел?
Предположим, что нужно применить алгоритм выравнивания в промышленной установке, в которой по ремню конвейера движутся плоские детали и фотографируются видеокамерой, находящейся вертикально над ремнем конвейера. Поза детали задается тремя переменными: одна из них определяет поворот, а две другие — положение относительно двух горизонтальных осей. Тем самым задача упрощается, а для функции Find-Transform требуется, чтобы позу определяли только две пары соответствующих характеристик изображения и модели. Определите сложность этой процедуры выравнивания в наихудшем случае.
{Любезно предоставлено Пьетро Пероной (Pietro Регопа).) На рис. 24.24 показаны две видеокамеры в точках X и у, с помощью которых ведется наблюдение за сценой. Нарисуйте изображение, поступающее на каждую видеокамеру, приняв предположение, что все обозначенные точки находятся на одной и той же горизонтальной плоскости. Можно ли с помощью этих двух изображений сделать заключение об относительных расстояниях точек А, в, С, D и Е от базисной линии видеокамер? На чем должно быть основано это заключение?
Какие из приведенных ниже утверждений являются истинными и какие ложными?
Обнаружение соответствующих друг другу точек в стереоскопических изображениях — самая простая стадия процесса стереоскопического поиска глубины.
Извлечение формы из текстуры можно выполнить, проектируя на сцену сетку световых полос.
Схема разметки Хаффмена-Клоувса предназначена для использования с любыми многогранными объектами.
г)г)Д)Д)е)е)ж)ж)Рис. 24.24. Вид сверху системы машинного зрения с двумя видеокамерами, в которой ведется наблюдение за бутылью и стоящей сзади ее стенойРис. 24.24. Вид сверху системы машинного зрения с двумя видеокамерами, в которой ведется наблюдение за бутылью и стоящей сзади ее стенойНа контурных рисунках криволинейных объектов метка линии по мере прохождения от одного конца линии к другому может изменяться.
г)
г)
Д)
Д)
е)
е)
ж)
ж)
Рис. 24.24. Вид сверху системы машинного зрения с двумя видеокамерами, в которой ведется наблюдение за бутылью и стоящей сзади ее стеной
Рис. 24.24. Вид сверху системы машинного зрения с двумя видеокамерами, в которой ведется наблюдение за бутылью и стоящей сзади ее стеной
При использовании стереоскопических изображений одной и той же сцены большая точность вычисления глубины достигается, если две камеры расположены дальше друг от друга.
Проекциями линий равной длины в сцене всегда становятся линии равной длины в изображении.
Прямые линии в изображении обязательно соответствуют прямым линиям в сцене.
Фрагмент видеоизображения, приведенный на рис. 24.22, снят из автомобиля, находящегося на полосе движения, которая предназначена для выезда с автострады. На полосе движения, расположенной непосредственно слева, видны два автомобиля. На каком основании наблюдатель мог бы заключить, что один из них ближе к нему, чем другой?
25 Робототехника
В этой главе описано, как оснастить агентов физическими исполнительными механизмами, чтобы они могли немного пошалить.
Введение
^ Роботы — это физические агенты, которые выполняют поставленные перед ними задачи, проводя манипуляции в физическом мире. Для этой цели роботов оснащают ^ исполнительными механизмами, такими как ноги, колеса, шарниры и захваты. Исполнительные механизмы имеют единственное назначение — прилагать физические усилия к среде. Кроме того, роботов оснащают Сдатчиками, которые позволяют им воспринимать данные об окружающей их среде. В современных роботах применяются различные виды датчиков, включая те, что предназначены для измерения характеристик среды (например, видеокамеры и ультразвуковые дальномеры), и те, которые измеряют характеристики движения самого робота (например, гироскопы и акселерометры).
Большинство современных роботов относится к одной из трех основных категорий. С Роботы-манипуляторы, или роботы-руки, физически привязаны к своему рабочему месту, например на заводском сборочном конвейере или на борту Международной космической станции. В движении манипулятора обычно участвует вся цепочка управляемых шарниров, что позволяет таким роботам устанавливать свои исполнительные механизмы в любую позицию в пределах своего рабочего пространства. Манипуляторы относятся к типу наиболее распространенных промышленных роботов, поскольку во всем мире установлено свыше миллиона таких устройств. Некоторые мобильные манипуляторы используются в больницах в качестве ассистентов хирургов. Без робототехнических манипуляторов в наши дни не смогут продолжать свою производственную деятельность большинство автомобильных заводов, а некоторые манипуляторы использовались даже для создания оригинальных художественных произведений.
Ко второй категории относятся ^ мобильные роботы. Роботы такого типа передвигаются в пределах своей среды с использованием колес, ног или аналогичных механизмов. Они нашли свое применение при доставке обедов в больницах, при перемещении контейнеров в грузовых доках, а также при выполнении аналогичных задач. В этой книге уже встречался один пример мобильного робота — ^ автоматическое наземное транспортное средство (Unmanned Land Vehicle — ULV) NavLab, способное автономно передвигаться по автомагистралям в режиме самовождения. К другим типам мобильных роботов относятся ^ автоматическое воздушное транспортное средство (Unmanned Air Vehicle — UAV), обычно используемое для воздушного наблюдения, химической обработки земельных участков и военных операций, ^ автономное подводное транспортное средство (Autonomous Underwater Vehicle — AUV), используемое в глубоководных морских исследованиях, и ^ планетоход, такой как робот Sojourner, показанный на рис. 25.1, а.
Рис. 25.1. Фотографии широко известных роботов: движущийся робот Sojourner агентства NASA, который исследовал поверхность Марса в июле 1997 года (а); роботы-гуманоиды РЗ и Asimo компании Honda (б)
К третьему типу относятся гибридные устройства — мобильные роботы, оборудованные манипуляторами. В их число входят ^ роботы-гуманоиды, которые по своей физической конструкции напоминают человеческое тело. Два таких робота- гуманоида показаны на рис. 25.1, £; оба они изготовлены в японской корпорации Honda. Гибридные роботы способны распространить действие своих исполнительных элементов на более обширную рабочую область по сравнению с прикрепленными к одному месту манипуляторами, но вынуждены выполнять стоящие перед ними задачи с большими усилиями, поскольку не имеют такой жесткой опоры, которую предоставляет узел крепления манипулятора.
К сфере робототехники относятся также протезные устройства (искусственные конечности, ушные и глазные протезы для людей), интеллектуальные системы жиз-
необеспечения (например, целые дома, оборудованные датчиками и исполнительными механизмами), а также многотельные системы, в которых робототехнические действия осуществляются с использованием целых полчищ небольших роботов, объединяющих свои усилия.
Реальным роботам обычно приходится действовать в условиях среды, которая является частично наблюдаемой, стохастической, динамической и непрерывной. Некоторые варианты среды обитания роботов (но не все) являются также последовательными и мультиагентными. Частичная наблюдаемость и стохастичность обусловлены тем, что роботу приходится сталкиваться с большим, сложным миром. Робот не может заглянуть за каждый угол, а команды на выполнение движений осуществляются не с полной определенностью из-за проскальзывания приводных механизмов, трения и т.д. Кроме того, реальный мир упорно отказывается действовать быстрее, чем в реальном времени. В моделируемой среде предоставляется возможность использовать простые алгоритмы (такие как алгоритм Q-обучения, описанный в главе 21), чтобы определить с помощью обучения необходимые параметры, осуществляя миллионы попыток в течение всего лишь нескольких часов процессорного времени, а в реальной среде для выполнения всех этих попыток могут потребоваться годы. Кроме того, реальные аварии, в отличие от моделируемых, действительно наносят ущерб. В применяемые на практике робототехнические системы необходимо вносить априорные знания о роботе, о его физической среде и задачах, которые он должен выполнять для того, чтобы быстро пройти обучение и действовать безопасно.
Аппаратное обеспечение роботов
До сих пор в этой книге предполагалось, что конструкция компонентов архитектуры агентов (датчиков, исполнительных механизмов и процессоров) уже определена и осталось лишь заняться разработкой программы агента. Но успехи в создании реальных роботов не в меньшей степени зависят от того, насколько удачно будут спроектированы датчики и исполнительные механизмы, подходящие для выполнения поставленной задачи.
Датчики
Датчики — это не что иное, как интерфейс между роботами и той средой, в которой они действуют, обеспечивающий передачу результатов восприятия. ^ Пассивные датчики, такие как видеокамеры, в полном смысле этого слова выполняют функции наблюдателя за средой — они перехватывают сигналы, создаваемые другими источниками сигналов в среде. ^ Активные датчики, такие как локаторы, посылают энергию вереду. Их действие основано на том, что часть излучаемой энергии отражается и снова поступает в датчик. Как правило, активные датчики позволяют получить больше информации, чем пассивные, но за счет увеличения потребления энергии от источника питания; еще одним их недостатком является то, что при одновременном использовании многочисленных активных датчиков может возникнуть интерференция. В целом датчики (активные и пассивные) можно разбить на три типа, в зависимости от того, регистрируют ли они расстояния до объектов, формируют изображения среды или контролируют характеристики самого робота.
В большинстве мобильных роботов используются ^ дальномеры, которые представляют собой датчики, измеряющие расстояние до ближайших объектов. Одним из широко применяемых типов таких датчиков является ^ звуковой локатор, известный также как ультразвуковой измерительный преобразователь. Звуковые локаторы излучают направленные звуковые волны, которые отражаются от объектов, и часть этого звука снова поступает в датчик. При этом время поступления и интенсивность такого возвратного сигнала несут информацию о расстоянии до ближайших объектов. Для автономных подводных аппаратов преимущественно используется технология подводных гидролокаторов, а на земле звуковые локаторы в основном используются для предотвращения столкновений лишь в ближайших окрестностях, поскольку эти датчики характеризуются ограниченным угловым разрешением. К числу других устройств, альтернативных по отношению к звуковым локаторам, относятся радары (в основном применяемые на воздушных судах) и лазеры. Лазерный дальномер показан на рис. 25.2.
а) б)
Рис. 25.2. Типичный пример датчика и его практического применения: лазерный дальномер (датчик расстояния) SICK LMS — широко применяемый датчик для мобильных роботов (а); результаты измерения расстояний, полученные с помощью горизонтально установленного датчика расстояния, спроектированные на двухмерную карту среды (б)
Некоторые датчики расстояния предназначены для измерения очень коротких или очень длинных расстояний. В число датчиков измерения коротких расстояний входят ^ тактильные датчики, такие как контактные усики, контактные панели и сенсорные покрытия. На другом конце спектра находится ^ глобальная система позиционирования (Global Positioning System — GPS), которая измеряет расстояние до спутников, излучающих импульсные сигналы. В настоящее время на орбите находятся свыше двух десятков спутников, каждый из которых передает сигналы на двух разных частотах. Приемники GPS определяют расстояние до этих спутников, анализируя значения фазовых сдвигов. Затем, выполняя триангуляцию сигналов от нескольких спутников, приемники GPS определяют свои абсолютные координаты на Земле с точностью до нескольких метров. В ^ дифференциальных системах GPS применяется второй наземный приемник с известными координатами, благодаря чему при идеальных условиях обеспечивается точность измерения коор-
динат до миллиметра. К сожалению, системы GPS не работают внутри помещения или под водой.
Вторым важным классом датчиков являются ^ датчики изображения — видеокамеры, позволяющие получать изображения окружающей среды, а также моделировать и определять характеристики среды с использованием методов машинного зрения, описанных в главе 24. В робототехнике особо важное значение имеет стереоскопическое зрение, поскольку оно позволяет получать информацию о глубине; тем не менее будущее этого направления находится под угрозой, поскольку успешно осуществляется разработка новых активных технологий получения пространственных изображений.'
К третьему важному классу относятся ^ проприоцептивные датчики, которые информируют робота о его собственном состоянии. Для измерения точной конфигурации робототехнического шарнира приводящие его в действие электродвигатели часто оснащаются ^ дешифраторами угла поворота вала, которые позволяют определять даже небольшие приращения угла поворота вала электродвигателя. В манипуляторах роботов дешифраторы угла поворота вала способны предоставить точную информацию за любой период времени. В мобильных роботах дешифраторы угла поворота вала, которые передают данные о количестве оборотов колеса, могут использоваться для ^ одометрии — измерения пройденного расстояния. К сожалению, колеса часто сдвигаются и проскальзывают, поэтому результаты одометрии являются точными только для очень коротких расстояний. Еще одной причиной ошибок при определении позиции являются внешние силы, такие как течения, воздействующие на автономные подводные аппараты, и ветры, сбивающие с курса автоматические воздушные транспортные средства. Улучшить эту ситуацию можно с использованием ^ инерционных датчиков, таких как гироскопы, но даже они, применяемые без других дополнительных средств, не позволяют исключить неизбежное накопление погрешности определения положения робота.
Другие важные аспекты состояния робота контролируются с помощью Сдатчиков усилия и ^ датчиков вращающего момента. Без этих датчиков нельзя обойтись, если роботы предназначены для работы с хрупкими объектами или объектами, точная форма и местонахождение которых неизвестны. Представьте себе, что робототехнический манипулятор с максимальным усилием сжатия в одну тонну закручивает в патрон электрическую лампочку. При этом очень трудно предотвратить такую ситуацию, что робот приложит слишком большое усилие и раздавит лампочку. Но датчики усилия позволяют роботу ощутить, насколько крепко он держит лампочку, а датчики вращающего момента — определить, с каким усилием он ее поворачивает. Хорошие датчики позволяют измерять усилия в трех направлениях переноса и трех направлениях вращения.
Исполнительные механизмы
Исполнительные механизмы являются теми средствами, с помощью которых роботы передвигаются и изменяют форму своего тела. Для того чтобы понять основные особенности конструкции исполнительных механизмов, необходимо вначале рассмотреть абстрактные понятия движения и формы, используя концепцию ^ степени свободы. Как степень свободы мы будем рассматривать каждое независимое направление, в котором могут передвигаться либо робот, либо один из его
исполнительных механизмов. Например, твердотельный свободно движущийся робот, такой как автономный подводный аппарат, имеет шесть степеней свободы; три из них, (х,у, z), определяют положение робота в пространстве, а три других— его угловую ориентацию по трем осям вращения, известную как качание (yaw), поворот (roll) и наклон (pitch). Эти шесть степеней свободы определяют
кинематическое состояние или ^ позу робота. ^ Динамическое состояние робота включает по одному дополнительному измерению для скорости изменения каждого кинематического измерения.
Роботы, не являющиеся твердотельными, имеют дополнительные степени свободы внутри самих себя. Например, в руке человека локоть имеет одну степень свободы (может сгибаться в одном направлении), а кисть имеет три степени свободы (может двигаться вверх и вниз, из стороны в сторону, а также вращаться). Каждый из шарниров робота также имеет 1, 2 или 3 степени свободы. Для перемещения любого объекта, такого как рука, в конкретную точку с конкретной ориентацией необходимо иметь шесть степеней свободы. Рука, показанная на рис. 25.3, а, имеет точно шесть степеней свободы, создаваемых с помощью пяти ^ поворотных шарниров, которые формируют вращательное движение, и одного ^ призматического сочленения, который формирует скользящее движение. Чтобы убедиться в том, что рука человека в целом имеет больше шести степеней свободы, можно провести простой эксперимент: положите кисть на стол и убедитесь в том, что вы еще имеете возможность поворачивать руку в локте, не меняя положения кисти на столе. Манипуляторами, имеющими больше степеней свободы, чем требуется для перевода конечного исполнительного механизма в целевое положение, проще управлять по сравнению с роботами, имеющими лишь минимальное количество степеней свободы.
а) б)
Рис. 25.3. Особенности конструкции манипулятора робота: станфордский манипулятор (Stanford Manipulator) — один из первых манипуляторов робота, в котором используются пять поворотных шарниров (Р) и одно призматическое сочленение (Р), что позволяет получить в целом шесть степеней свободы (а); траектория движения неголономного четырехколесного транспортного средства с рулевым управлением от передних колес (б)
В мобильных роботах количество степеней свободы не обязательно совпадает с количеством приводимых в действие элементов. Рассмотрим, например, обычный автомобиль: он может передвигаться вперед или назад, а также поворачиваться, что
соответствует двум степеням свободы. В отличие от этого кинематическая конфигурация автомобиля является трехмерной — на открытой плоской поверхности можно легко перевести автомобиль в любую точку (х, у), с любой ориентацией (см. рис. 25.3, б). Таким образом, автомобиль имеет три ^ эффективные степени свободы, но две ^ управляемые степени свободы. Робот называется ^ неголономным, если он имеет больше эффективных степеней свободы, чем управляемых степеней свободы, и голономным, если эти два значения совпадают. Голономные роботы проще в управлении (было бы намного легче припарковать автомобиль, способный двигаться не только вперед и назад, но и в стороны), однако голономные роботы являются также механически более сложными. Большинство манипуляторов роботов являются голономными, а большинство мобильных роботов — неголономными.
В мобильных роботах применяется целый ряд механизмов для перемещения в пространстве, включая колеса, гусеницы и ноги. Роботы с ^дифференциальным приводом оборудованы расположенными с двух сторон независимо активизируемыми колесами (или гусеницами, как в армейском танке). Если колеса, находящиеся с обеих сторон, вращаются с одинаковой скоростью, то робот движется по прямой. Если же они вращаются в противоположных направлениях, то робот поворачивается на месте. Альтернативный вариант состоит в использовании ^ синхронного привода, в котором каждое колесо может вращаться и поворачиваться вокруг вертикальной оси. Применение такой системы привода вполне могло бы привести к хаотическому перемещению, если бы не использовалось такое ограничение, что все пары колес поворачиваются в одном направлении и вращаются с одинаковой скоростью. И дифференциальный, и синхронный приводы являются неголономными. В некоторых более дорогостоящих роботах используются голономные приводы, которые обычно состоят из трех или большего количества колес, способных поворачиваться и вращаться независимо друг от друга.
Ноги, в отличие от колес, могут использоваться для передвижения не по плоской поверхности, а по местности, характеризующейся очень грубым рельефом. Тем не менее на плоских поверхностях ноги как средства передвижения значительно уступают колесам, к тому же задача создания для них механической конструкции является очень сложной. Исследователи в области робототехники предприняли попытки разработать конструкции с самым разным количеством ног, начиная от одной ноги и заканчивая буквально десятками. Были разработаны роботы, оборудованные ногами для ходьбы, бега и даже прыжков (как показано на примере шагающего робота на рис. 25.4, а\ Этот робот является ^ динамически устойчивым; это означает, что он может оставаться в вертикальном положении, только непрерывно двигаясь. Робот, способный оставаться в вертикальном положении, не двигая ногами, называется ^ статически устойчивым. Робот является статически устойчивым, если центр его тяжести находится над многоугольником, охваченным его ногами.
В мобильных роботах других типов для передвижения используются иные, чрезвычайно разнообразные механизмы. В летательных аппаратах обычно применяются пропеллеры или турбины. Роботизированные дирижабли держатся в воздухе за счет тепловых эффектов. В автономных подводных транспортных средствах часто используются подруливающие устройства, подобные тем, которые устанавливаются на подводных лодках.
Для того чтобы робот мог функционировать, ему недостаточно быть оборудованным только датчиками и исполнительными механизмами. Полноценный робот дол-
жен также иметь источник энергии для привода своих исполнительных механизмов. Для приведения в действие манипулятора и для передвижения чаще всего используются электродвигатели; определенную область применения имеют также ^ пневматические приводы, в которых используется сжатый газ, и гидравлические приводы, в которых используется жидкость под высоким давлением. Кроме того, в большинстве роботов имеются некоторые средства цифровой связи наподобие беспроводной сети. Наконец, робот должен иметь жесткий корпус, на который можно было бы навесить все эти устройства, а также, фигурально выражаясь, держать при себе паяльник, на тот случай, что его оборудование перестанет работать.
а)6)
Рис. 25.4. Примеры роботов, передвигающихся с помощью ног: один из шагающих роботов Марка Рэйберта (Marc Raibert) в движении (а); роботы AIBO компании Sony, играющие в футбол (©от 2001 года, федерация RoboCup) (б)
Восприятие, осуществляемое роботами
Робототехническое восприятие — это процесс, в ходе которого роботы отображают результаты сенсорных измерений на внутренние структуры представления среды. Задача восприятия является сложной, поскольку информация, поступающая отдатчиков, как правило, зашумлена, а среда является частично наблюдаемой, непредсказуемой и часто динамической. В качестве эмпирического правила можно руководствоваться тем, что качественные внутренние структуры представления обладают тремя свойствами: содержат достаточно информации для того, чтобы робот мог принимать правильные решения, построены так, чтобы их можно было эффективно обновлять, и являются естественными в том смысле, что внутренние переменные соответствуют естественным переменным состояния в физическом мире.
В главе 15 было показано, что модели перехода и восприятия для частично наблюдаемой среды могут быть представлены с помощью фильтров Калмана, скрытых марковских моделей и динамических байесовских сетей; кроме того, в указанной главе были описаны и точные, и приближенные алгоритмы обновления доверительного состояния — распределения апостериорных вероятностей по переменным состояния среды. К тому же в главе 15 было приведено несколько динамических моделей байесовских сетей для этого процесса. А при решении робототехнических задач в модель в качестве наблюдаемых переменных обычно включают собственные прошлые действия робота (пример такой сети см. на рис. 17.7). На рис. 25.5 показана система обозначений, используемая в данной главе: xt — это состояние среды (включая робот) во время t; zt — результаты наблюдений, полученные во время t; At — действие, предпринятое после получения этих результатов наблюдения.
Рис. 25.5. Процесс робототехнического восприятия, рассматриваемый как временной алгоритмический вывод на основании последовательностей действий и измерений, который демонстрируется на примере динамической байесовской сети
Задача фильтрации, или обновления доверительного состояния, по сути является такой же, как и в главе 15. Эта задача состоит в том, что должно быть вычислено новое доверительное состояние Р (xt+11 z1;t+1, a1;t) на основании текущего доверительного состояния Р (Xt I z1:tz a1;t_!) и нового наблюдения zt+1. Принципиальные различия по сравнению с указанной главой состоят в следующем: во-первых, результаты вычислений явно обусловлены не только действиями, но и наблюдениями, и, во-вторых, теперь приходится иметь дело с непрерывными, а не с дискретными переменными. Таким образом, необходимо следующим образом откорректировать рекурсивное уравнение фильтрации (15.3) для использования в нем интеграции, а не суммирования:
Р (Xt + l I Z1 ; t + l , <31 ; t )
= a₽(zt+i IXt+i) J* P(Xt+i lxt, aj P(xt I Zi;tz ai;t-i) dxt (25.1)
Это уравнение показывает, что апостериорное распределение вероятностей по переменным состояния X во время t+l вычисляется рекурсивно на основании соответствующей оценки, полученной на один временной шаг раньше.
В этих вычислениях участвуют данные о предыдущем действии at и о текущих сенсорных измерениях zt+1. Например, если цель заключается в разработке робота, играющего в футбол, то xt+1 может представлять местонахождение футбольного мяча относительно робота. Распределение апостериорных вероятностей Р(Xt | z1;t, а1:Ь.!) — это распределение вероятностей по всем состояниям, отражающее все, что известно о прошлых результатах сенсорных измерений и об управляющих воздействиях. Уравнение 25.1 показывает, как рекурсивно оценить это местонахождение, инкрементно развертывая вычисления и включая в этот процесс данные сенсорных измерений (например, изображения с видеокамеры) и команды управления движением робота. Вероятность Р (Xt+11 xt, at) называется моделью перехода, или ^ моделью движения, а вероятность Р (zt+11 xt+1) представляет собой модель восприятия.
Локализация
^Локализация — это универсальный пример робототехнического восприятия. Она представляет собой задачу определения того, где что находится. Локализация — одна из наиболее распространенных задач восприятия в робототехнике, поскольку знания о местонахождении объектов и самого действующего субъекта являются основой любого успешного физического взаимодействия. Например, роботы, относящиеся к типу манипуляторов, должны иметь информацию о местонахождении объектов, которыми они манипулируют. А роботы, передвигающиеся в пространстве, должны определять, где находятся они сами, чтобы прокладывать путь к целевым местонахождениям.
Существуют три разновидности задачи локализации с возрастающей сложностью. Если первоначальная поза локализуемого объекта известна, то локализация сводится к задаче ^ отслеживания траектории. Задачи отслеживания траектории характеризуются ограниченной неопределенностью. Более сложной является задача ^глобальной локализации, в которой первоначальное местонахождение объекта полностью неизвестно. Задачи глобальной локализации преобразуются в задачи отслеживания траектории сразу после локализации искомого объекта, но в процессе их решения возникают также такие этапы, когда роботу приходится учитывать очень широкий перечень неопределенных состояний. Наконец, обстоятельства могут сыграть с роботом злую шутку и произойдет “похищение” (т.е. внезапное исчезновение) объекта, который он пытался локализовать. Задача локализации в таких неопределенных обстоятельствах называется ^ задачей похищения. Ситуация похищения часто используется для проверки надежности метода локализации в крайне неблагоприятных условиях.
В целях упрощения предположим, что робот медленно движется на плоскости и что ему дана точная карта среды (пример подобной карты показан на рис. 25.7). Поза такого мобильного робота определяется двумя декартовыми координатами со значениями х и у, а также его угловым направлением со значением 0, как показано на рис. 25.6, а. (Обратите внимание на то, что исключены соответствующие скорости, поэтому рассматриваемая модель скорее является кинематической, а не динамической.) Если эти три значения будут упорядочены в виде вектора, то любое конкретное состояние определится с помощью соотношения xt = (xt, yt, 0t) т.
Рис. 25.6. Пример применения карты среды: упрощенная кинематическая модель мобильного робота. Робот показан в виде кружка с отметкой, обозначающей переднее направление. Показаны значения позиции и ориентации в моменты времени t и t+1, а обновления обозначены соответственно термами vtJt и a)^t. Кроме того, приведена отметка с координатой (xi,yi) , наблюдаемая во время t (а); модель датчика расстояния. Показаны две позы робота, соответствующие заданным результатам измерения расстояний (71,72,23,74). Гораздо более вероятным является предположение, что эти результаты измерения расстояний получены в позе, показанной слева, а не справа (б)Рис. 25.6. Пример применения карты среды: упрощенная кинематическая модель мобильного робота. Робот показан в виде кружка с отметкой, обозначающей переднее направление. Показаны значения позиции и ориентации в моменты времени t и t+1, а обновления обозначены соответственно термами vtJt и a)^t. Кроме того, приведена отметка с координатой (xi,yi) , наблюдаемая во время t (а); модель датчика расстояния. Показаны две позы робота, соответствующие заданным результатам измерения расстояний (71,72,23,74). Гораздо более вероятным является предположение, что эти результаты измерения расстояний получены в позе, показанной слева, а не справа (б)
Рис. 25.6. Пример применения карты среды: упрощенная кинематическая модель мобильного робота. Робот показан в виде кружка с отметкой, обозначающей переднее направление. Показаны значения позиции и ориентации в моменты времени t и t+1, а обновления обозначены соответственно термами vtJt и a)^t. Кроме того, приведена отметка с координатой (xi,yi) , наблюдаемая во время t (а); модель датчика расстояния. Показаны две позы робота, соответствующие заданным результатам измерения расстояний (71,72,23,74). Гораздо более вероятным является предположение, что эти результаты измерения расстояний получены в позе, показанной слева, а не справа (б)
Рис. 25.6. Пример применения карты среды: упрощенная кинематическая модель мобильного робота. Робот показан в виде кружка с отметкой, обозначающей переднее направление. Показаны значения позиции и ориентации в моменты времени t и t+1, а обновления обозначены соответственно термами vtJt и a)^t. Кроме того, приведена отметка с координатой (xi,yi) , наблюдаемая во время t (а); модель датчика расстояния. Показаны две позы робота, соответствующие заданным результатам измерения расстояний (71,72,23,74). Гораздо более вероятным является предположение, что эти результаты измерения расстояний получены в позе, показанной слева, а не справа (б)
В этой кинематической аппроксимации каждое действие состоит из “мгновенной” спецификации двух скоростей — скорости переноса vt и скорости вращения cot. Для небольших временных интервалов At грубая детерминированная модель движения таких роботов задается следующим образом:
Xt+i - f(Xt, Vt/(Dt)Xt+i - f(Xt, Vt/(Dt)XtXt^vtA tcos0t^vtAtsin0tV (DtAt 7
Xt+i - f(Xt, Vt/(Dt)
Xt+i - f(Xt, Vt/(Dt)
Xt
Xt
at
Обозначение X относится к детерминированному предсказанию состояния. Безусловно, поведение физических роботов является довольно непредсказуемым. Такая ситуация обычно моделируется гауссовым распределением со средним f (Xt/ vt, cot) и ковариацией Zx (математическое определение приведено в приложении А).
P(Xt+1|Xt, Vt,(Dt) = ^(Xt+i,Sx)
Затем необходимо разработать модель восприятия. Рассмотрим модели восприятия двух типов. В первой из них предполагается, что датчики обнаруживают стабильные, различимые характеристики среды, называемые ^ отметками. Для каждой отметки они сообщают дальность и азимут. Предположим, что состояние робота определяется выражением xt= (xt/yt/0J т и он принимает информацию об отметке, местонахождение которой, как известно, определяется координатами (х£,У1) т. При отсутствии шума дальность и азимут можно вычислить с помощью простого геометрического соотношения (см. рис. 25.6, а). Точное предсказание наблюдаемых значений дальности и азимута может быть выполнено с помощью следующей формулы:
zt = h(xt) =yi-yt o
arctan -0t\Xx-Xt )
Еще раз отметим, что полученные результаты измерений искажены шумом. Для упрощения можно предположить наличие гауссова шума с ковариацией Zz:
P(zt|xt) = 2V(zt/Zz)
Для дальномеров такого типа, как показаны на рис. 25.2, часто более приемлемой является немного другая модель восприятия. Такие датчики вырабатывают вектор значений дальности zt= (zlz..., zM) т, в каждом из которых азимуты являются фиксированными по отношению к роботу. При условии, что дана поза xt, допустим, что Zj — точное расстояние вдоль направления j-ro луча от xt до ближайшего препятствия. Как и в описанном раньше случае, эти результаты могут быть искажены гауссовым шумом. Как правило, предполагается, что погрешности для различных направлений лучей независимы и заданы в виде идентичных распределений, поэтому имеет место следующая формула:
1—г — (Zj — Zj) / 2 СУ
P(zt |xt) = a I I е
j=i
На рис. 25.6, б показан пример четырехлучевого дальномера и двух возможных поз робота, одну из которых на полном основании можно рассматривать как позу, в которой были получены рассматриваемые результаты измерения дальностей, а другую — нет. Сравнивая модель измерения дальностей с моделью отметок, можно убедиться в том, что модель измерения дальностей обладает преимуществом в том, что не требует идентификации отметки для получения возможности интерпретировать результаты измерения дальностей; и действительно, как показано на рис. 25.6, б, робот направлен в сторону стены, не имеющей характерных особенностей. С другой стороны, если бы перед ним была видимая, четко идентифицируемая отметка, то робот мог бы обеспечить немедленную локализацию.
В главе 15 описаны фильтр Калмана, позволяющий представить доверительное состояние в виде одного многомерного гауссова распределения, и фильтр частиц, который представляет доверительное состояние в виде коллекций частиц, соответствующих состоянию. В большинстве современных алгоритмов локализации используется одно из этих двух представлений доверительного состояния робота, ₽ (Xt I z1:t, d!^-!) .
Локализация с использованием фильтрации частиц называется ^ локализацией Монте-Карло, или сокращенно MCL (Monte Carlo Localization). Алгоритм MCL идентичен алгоритму фильтрации частиц, приведенному в листинге 15.3; достаточно лишь предоставить подходящую модель движения и модель восприятия. Одна из версий алгоритма, в которой используется модель измерения дальностей, приведена в листинге 25.1. Работа этого алгоритма продемонстрирована на рис. 25.7, где показано, как робот определяет свое местонахождение в офисном здании. На первом изображении частицы распределены равномерно согласно распределению априорных вероятностей, показывающему наличие глобальной неопределенности в отношении положения робота. На втором изображении показано, как поступает первый
ряд результатов измерений и частицы формируют кластеры в областях с высоким распределением апостериорных доверительных состояний. А на третьем изображении показано, что поступило достаточное количество результатов измерений, чтобы переместить все частицы в одно место.
Листинг 25.1. Алгоритм локализации Монте-Карло, в котором используется модель восприятия результатов измерения дальностей с учетом наличия независимого шума
function Monte-Carlo-Localization (a, z, N, model, map) returns множество выборок S
inputs: а, предыдущая команда приведения робота в движение
z, результаты измерения дальностей с М отсчетами zx,...,z^
N, количество сопровождаемых выборок
model, вероятностная модель среды с данными о предыдущей позе Р(Хо), моделью движения P(Xi|Xo,Ao) и моделью
шума для датчика расстояний P(Z(Z)
тар, двухмерная карта среды
static: S, вектор выборок с размером N, первоначально вырабатываемый ИЗ Р(Хо)
local variables: W, вектор весов с размером N
for i = 1 to N do
S[i] <— выборка из P(Xi |Xo=S[i] , Ao=a)
P/[^J <- 1
for j = 1 to M do
z <— Exact-Range (j, S[i] ,map)
W[i] <- WHVPU=Z51 Z=z)
S <— Weighted-Sample-With-Replacement (N, S, W)
return S
Еще один важный способ локализации основан на применении фильтра Калма- на. Фильтр Калмана представляет апостериорную вероятность р (xt | z1;t, a1;t_!) с помощью гауссова распределения. Среднее этого гауссова распределения будет обозначено pt, а его ковариация — St. Основным недостатком использования гауссовых доверительных состояний является то, что они замкнуты только при использовании линейных моделей движения f и линейных моделей измерения h. В случае нелинейных f или h результат обновления фильтра обычно не является гауссовым. Таким образом, алгоритмы локализации, в которых используется фильтр Калмана, линеаризуют модели движения и восприятия. Линеаризацией называется локальная аппроксимация нелинейной функции с помощью линейной.
Положение робота
в)
Рис. 25.7. Метод локализации Монте-Карло, основанный на применении алгоритма фильтрации частиц для локализации мобильного робота: первоначальное состояние, глобальная неопределенность (а); приблизительно бимодальное состояние неопределенности после прохождения по (симметричному) коридору (б); унимодальное состояние неопределенности после перехода в офис, отличимый от других (в)
На рис. 25.8 показано применение понятия линеаризации для (одномерной) модели движения робота. В левой части показана нелинейная модель движения f (xt, at) (параметр at на этом графике не показан, поскольку он не играет никакой роли в этой линеаризации). В правой части эта функция аппроксимируется линейной функцией f (xt/ at). График этой линейной функции проходит по касательной к кривой f в точке gt, которая определяет среднюю оценки состояния во время t. Такая линеаризация называется ^ разложением в ряд Тейлора (первой степени). Фильтр Кал- мана, линеаризующий функции f и h с помощью разложения в ряд Тейлора, называется расширенным фильтром Калмана (или Extended Kalman Filter — EKF). На рис. 25.9 показана последовательность оценок, полученных роботом, который действует под управлением алгоритма локализации на основе расширенного фильтра Калмана. По мере передвижения робота неопределенность в оценке его местонахождения возрастает, как показано с помощью эллипсов погрешностей. Но как только робот начинает получать данные о дальности и азимуте до отметки с известным местонахождением, его погрешность уменьшается. Наконец, погрешность снова возрастает, как только робот теряет отметку из виду. Алгоритмы EKF действуют успешно, если отметки являются легко идентифицируемыми. Еще один вариант состоит в том, что распределение апостериорных вероятностей может быть мультимодальным, как показано на рис. 25.7, б. Задача, для решения которой требуется знать идентификацию отметок, представляет собой пример задачи ассоциации данных, которая обсуждалась в конце главы 15.
Рис. 25.8. Одномерная иллюстрация линеаризованной модели движения: функция f, проекция среднего pit и интервал ковариации (основанный на Zt) во время t+1 (а); линеаризованная версия представляет собой касательную к кривой функции f при значении )Lif Проекция среднего jilt определена правильно. Однако проекция ковариации Zt+i отличается от Et+i (б)
Отметка
Рис. 25.9. Пример локализации с использованием расширенного фильтра Калмана. Робот движется по прямой. По мере его продвижения неопределенность постепенно возрастает, как показано с помощью эллипсов погрешностей. А после обнаружения роботом отметки с известной позицией неопределенность уменьшается
Составление карты
До сих пор в этой главе рассматривалась задача локализации одного объекта. Но в робототехнике поиск часто осуществляется в целях локализации сразу нескольких объектов. Классическим примером такой задачи является составление карты с помощью робота. Представьте себе робота, которому не дана карта его среды. Вместо этого он вынужден составлять такую карту самостоятельно. Безусловно, человечество добилось потрясающих успехов в искусстве составления карт, описывающих даже такие крупные объекты, как вся наша планета. Поэтому одна из задач, присущих робототехнике, состоит в создании алгоритмов, позволяющих роботам решать аналогичную задачу.
В литературе задачу составления карты роботом часто называют задачей ^ одновременной локализации и составления карты, сокращенно обозначая ее как SLAM (Simultaneous Localization And Mapping). Робот не только обязан составить карту, но и должен сделать это, изначально не зная, где он находится. SLAM — одна из наиболее важных задач в робототехнике. Мы рассмотрим ту версию этой задачи, в которой среда является фиксированной. Даже этот более простой вариант задачи с большим трудом поддается решению; но положение становится значительно сложнее, когда в среде допускается возникновение изменений в ходе перемещения по ней робота.
С точки зрения статистического подхода задача составления карты сводится к задаче байесовского алгоритмического вывода, так же как и локализация. Если, как и прежде, карта будет обозначаться через м, а поза робота во время t — через Xt, то можно переформулировать уравнение 25.1, чтобы включить данные обо всей карте в выражение для апостериорной вероятности:
P(Xt+i,^|z1:t+i,a1:t)
= a P(zt+i|Xt+i,^) J* P(Xt+i|xt,at) P(xt,M| Zi:tz ai:t-1) dxt
На основании этого уравнения фактически можно сделать некоторые благоприятные для нас выводы: распределения условных вероятностей, необходимые для включения данных о действиях и измерениях, по существу являются такими же, как и в задаче локализации робота. Единственная предосторожность связана с тем, что новое пространство состояний (пространство всех поз робота и всех карт) имеет гораздо больше измерений. Достаточно представить себе, что принято решение изобразить конфигурацию всего здания с фотографической точностью. Для этого, no- видимому, потребуются сотни миллионов чисел. Каждое число будет представлять собой случайную переменную и вносить свой вклад в формирование чрезвычайно высокой размерности пространства состояний. Эта задача еще в большей степени усложняется в связи с тем фактом, что робот может даже не знать заранее о том, насколько велика его среда. Это означает, что ему придется динамически корректировать размерность М в процессе составления карты.
По-видимому, одним из наиболее широко применяемых методов решения задачи SLAM является EKF. Обычно этот метод используется в сочетании с моделью восприятия данных об отметках и требует, чтобы все отметки были различимыми. В предыдущем разделе апостериорная оценка была представлена с помощью гауссова распределения со средним pt и ковариацией Zt. При использовании для решения
задачи SLAM подхода, основанного на методе EKF, это распределение апостериорных вероятностей снова становится гауссовым, но теперь среднее ^ выражается в виде вектора с гораздо большим количеством измерений. В нем представлена не только поза робота, но и местонахождение всех характеристик (или отметок) на карте. Если количество таких характеристик равно п, то вектор будет иметь размерность 2 n+З (два значения требуются для указания местонахождения отметки и три — для указания позы робота). Следовательно, матрица St имеет размерность (2п+3) х (2п+3) и следующую структуру:
(25.2)
В этом уравнении Sxx — ковариация данных о позе робота, которая уже рассматривалась в контексте локализации; 2^ — матрица с размерами Зх2п, которая выражает корреляцию между характеристиками на карте и координатами робота. Наконец, ^мм— это матрица с размерами 2пх2п, которая задает ковариацию характеристик на карте, включая все парные корреляции. Поэтому потребность в памяти для алгоритмов, основанных на методе EKF, измеряется квадратичной зависимостью от п (количества характеристик на карте), а время обновления также определяется квадратичной зависимостью от п.
Прежде чем перейти к изучению математических выкладок, рассмотрим решение задачи по методу EKF на графиках. На рис. 25.10 показано, как робот движется в среде с восемью отметками, расположенными в два ряда по четыре отметки каждый. Первоначально робот не имеет информации о том, где находятся отметки. Предполагается, что каждая отметка имеет другой цвет, и робот может надежно отличать их друг от друга. Робот начинает двигаться влево, в заранее заданном направлении, но постепенно теряет уверенность в том, есть ли у него достоверная информация о своем местонахождении. Эта ситуация показана на рис. 25.10, а с помощью эллипсов погрешности, ширина которых возрастает по мере дальнейшего передвижения робота. Движущийся робот получает данные о дальности и азимуте до ближайших отметок, а эти наблюдения используются для получения оценок местонахождения таких отметок. Естественно, что неопределенность в оценке местонахождения этих отметок тесно связана с неопределенностью локализации робота. На рис. 25.10, б, в показано изменение доверительного состояния робота по мере того, как он продвигается в своей среде все дальше и дальше.
Важной особенностью всех этих оценок (которую не так уж легко заметить, рассматривая приведенные графические изображения) является то, что в рассматриваемом алгоритме поддерживается единственное гауссово распределение по всем оценкам. Эллипсы погрешностей на рис. 25.10 представляют собой проекции этого гауссова распределения на подпространство координат робота и отметки. Эта многомерное гауссово распределение апостериорных вероятностей поддерживает корреляции между всеми оценками. Данное замечание приобретает важное значение при попытке понять, что происходит на рис. 25.10, г. На этом рисунке показано, что робот обнаруживает отметку, ранее нанесенную на карту. В результате его собственная неопределенность резко уменьшается. Такое же явление происходит и с неопределенностью всех других отметок. Указанное событие является следствием того факта, что оценка местонахождения робота и оценки местонахождений отметок имеют высокую степень корреляции в гауссовом распределении апостериорных вероятностей. Надежное выяв-
ление знаний об одной переменной (в данном случае о позе робота) автоматически приводит к уменьшению неопределенности всех других переменных.
в) г)в) г)Рис. 25.10. Применение метода EKF для решения задачи составления карты роботом. Путь робота обозначен штриховой линией, а его оценки собственного положения — затененными эллипсами. Восемь различимых отметок с неизвестными местонахождениями показаны в виде небольших точек, а оценки их местонахождения показаны в виде белых эллипсов: неопределенность робота в отношении его позиции возрастает, так же как и его неопределенность в отношении встреченных им отметок; этапы, на протяжении которых робот встречает новые отметки и наносит их на карту с возрастающей неопределенностью (а—в); робот снова встречает первую отметку, и неопределенность всех отметок уменьшается благодаря тому факту, что все эти оценки являются коррелированными (г)Рис. 25.10. Применение метода EKF для решения задачи составления карты роботом. Путь робота обозначен штриховой линией, а его оценки собственного положения — затененными эллипсами. Восемь различимых отметок с неизвестными местонахождениями показаны в виде небольших точек, а оценки их местонахождения показаны в виде белых эллипсов: неопределенность робота в отношении его позиции возрастает, так же как и его неопределенность в отношении встреченных им отметок; этапы, на протяжении которых робот встречает новые отметки и наносит их на карту с возрастающей неопределенностью (а—в); робот снова встречает первую отметку, и неопределенность всех отметок уменьшается благодаря тому факту, что все эти оценки являются коррелированными (г)
в) г)
в) г)
Рис. 25.10. Применение метода EKF для решения задачи составления карты роботом. Путь робота обозначен штриховой линией, а его оценки собственного положения — затененными эллипсами. Восемь различимых отметок с неизвестными местонахождениями показаны в виде небольших точек, а оценки их местонахождения показаны в виде белых эллипсов: неопределенность робота в отношении его позиции возрастает, так же как и его неопределенность в отношении встреченных им отметок; этапы, на протяжении которых робот встречает новые отметки и наносит их на карту с возрастающей неопределенностью (а—в); робот снова встречает первую отметку, и неопределенность всех отметок уменьшается благодаря тому факту, что все эти оценки являются коррелированными (г)
Рис. 25.10. Применение метода EKF для решения задачи составления карты роботом. Путь робота обозначен штриховой линией, а его оценки собственного положения — затененными эллипсами. Восемь различимых отметок с неизвестными местонахождениями показаны в виде небольших точек, а оценки их местонахождения показаны в виде белых эллипсов: неопределенность робота в отношении его позиции возрастает, так же как и его неопределенность в отношении встреченных им отметок; этапы, на протяжении которых робот встречает новые отметки и наносит их на карту с возрастающей неопределенностью (а—в); робот снова встречает первую отметку, и неопределенность всех отметок уменьшается благодаря тому факту, что все эти оценки являются коррелированными (г)
Алгоритм EKF составления карты напоминает алгоритм локализации EKF, описанный в предыдущем разделе. Основное различие между ними определяется тем, что в распределении апостериорных вероятностей учитываются дополнительные переменные отметок. Модель движения для отметок является тривиальной, поскольку они не движутся. Таким образом, для этих переменных функция f представляет собой единичную функцию, а функция измерения по существу остается такой же, как и прежде. Единственное различие состоит в том, что якобиан Н^ в уравнении обновления EKF берется не только по отношению к позе робота, но также и по отношению к местонахождению отметки, которая наблюдалась во время t. Результирующие уравнения EKF являются еще более устрашающими по своей сложности, чем те, которые были сформулированы перед этим; именно по этой причине мы их здесь опускаем.
Однако существует еще одна сложность, которая до сих пор нами игнорировалась, — тот факт, что размер карты м заранее не известен. Поэтому не известно также количество элементов в окончательной оценке pt и Zt. Эти данные приходится переопределять динамически, по мере обнаружения роботом все новых и новых отметок. Но эту проблему можно решить чрезвычайно просто — как только робот обнаруживает новую отметку, он добавляет новый элемент к распределению апостериорных вероятностей. Если же значение дисперсии этого нового элемента инициализируется очень большим числом, то результирующее распределение апостериорных вероятностей становится таким же, как если бы робот заранее знал о существовании этой отметки.
Другие типы восприятия
Но не все средства робототехнического восприятия предназначены для локализации и составления карт. Роботов наделяют также способностями воспринимать температуру, запахи, акустические сигналы и т.д. Многие из этих измеряемых величин могут подвергаться вероятностной оценке, как и при локализации и составлении карт. Для этого требуется лишь то, чтобы такими средствами оценки служили распределения условных вероятностей, которые характеризуют эволюцию переменных состояния во времени, а также другие распределения, которые описывают связь между результатами измерений и переменными состояния.
Однако не все практически применяемые в робототехнике системы восприятия опираются на вероятностные представления. Фактически, несмотря на то, что внутреннее состояние во всех рассматриваемых выше примерах имело четкую физическую интерпретацию, такая ситуация не обязательно наблюдается в действительности. Например, представьте себе шагающего робота, который пытается перенести ногу над препятствием. Допустим, этот робот действует согласно такому правилу, что он вначале должен поднять ногу на небольшую высоту, а затем поднимать ее все выше и выше, если предыдущее значение высоты не позволяет избежать столкновения ноги с препятствием. Можно ли утверждать, что указанная в команде на выполнение этого движения высота подъема ноги является представлением некоторой физической величины в реальном мире? Возможно, что эта высота действительно как- то связана с высотой и крутизной препятствия. Но в данном случае высоту подъема ноги можно также рассматривать как вспомогательную переменную в алгоритме работы контроллера робота, лишенную непосредственного физического смысла. Подобные способы представления нередко применяются в робототехнике и вполне подходят для решения определенных задач.
В настоящее время в робототехнике ясно выражена тенденция к использованию представлений с полностью определенной семантикой. Но вероятностные методы превосходят другие подходы по своей производительности в решении многих трудных задач восприятия, таких как локализация и составление карт. Тем не менее статистические методы иногда становятся слишком громоздкими, поэтому на практике могут оказаться столь же эффективными более простые решения. Самым лучшим учителем, позволяющим понять, какого подхода действительно следует придерживаться, является опыт работы с реальными физическими роботами.
Планирование движений
В робототехнике принятые решения в конечном итоге воплощаются в движениях исполнительных механизмов. Задача ^ позиционирующего движения состоит в доставке робота или его конечного исполнительного механизма в заданную целевую позицию. Это — сложная задача, но еще сложнее задача ^ согласующего движения, при выполнении которой робот движется, находясь в физическом контакте с препятствием. Примером согласующего движения является закручивание электрической лампочки манипулятором робота или подталкивание роботом ящика для его перемещения по поверхности стола.
Начнем с поиска подходящего представления, которое позволяло бы описывать и решать задачи планирования движений. Как оказалось, более удобным для работы по сравнению с исходным трехмерным пространством является пространство конфигураций— пространство состояний робота, определяемых положением, ориентацией и углами поворота шарниров. Задача ^ планирования пути состоит в поиске пути от одной конфигурации к другой в пространстве конфигураций. В этой книге уже встречались различные версии задачи планирования пути, а в робототехнике основной характерной особенностью планирования пути является то, что в этой задаче должны рассматриваться непрерывные пространства. В литературе по робототехническому планированию пути рассматривается широкий набор различных методов, специально предназначенных для поиска путей в непрерывных пространствах с большим количеством измерений. Основные семейства применяемых при этом подходов известны под названиями декомпозиции ячеек и скелетирования. В каждом из этих подходов задача планирования непрерывного пути сводится к задаче поиска в дискретном графе на основе выявления некоторых канонических состояний и путей в свободном пространстве. Во всем данном разделе предполагается, что движения детерминированы, а информация о локализации робота является точной. В следующих разделах эти предположения будут ослаблены.
Пространство конфигураций
Первый шаг к решению задачи управления движением робота состоит в создании подходящего представления задачи. Начнем с простого представления для простой задачи. Рассмотрим манипулятор робота, показанный на рис. 25.11, а. В нем имеются два шарнира, которые движутся независимо друг от друга. В результате движения шарниров изменяются координаты (х,у) локтя и захвата (манипулятор не может двигаться в направлении z). Это описание показывает, что конфигурацию данного
робота можно описать с помощью четырехмерных координат: использовать координаты (Хе/Уе) для обозначения местонахождения локтя относительно среды и координаты (xgz уд) — для обозначения местонахождения захвата. Очевидно, что эти четыре координаты полностью характеризуют состояние робота. Они составляют представление, которое принято называть представлением ^ рабочего пространства, поскольку координаты робота заданы в той же системе координат, что и объекты, которыми он должен манипулировать (или столкновения с которыми должен избегать). Представления рабочего пространства хорошо подходят для проверки на предмет столкновения, особенно если робот и все объекты представлены с помощью простых многоугольных моделей.
Рис. 25.11. Сравнение способов представления: представление рабочего пространства манипулятора робота с двумя степенями свободы; рабочее пространство представляет собой ящик с плоским препятствием в виде пластины, свисающей с потолка (а); пространство конфигураций того же робота. В этом пространстве только участки, обозначенные белым цветом, соответствуют конфигурациям, в которых не возникают столкновения с препятствиями. Точка на этом рисунке соответствует конфигурации робота, показанной слева (б)
Но представление рабочего пространства имеет один недостаток, связанный с тем, что фактически не все координаты рабочего пространства являются достижимыми, даже в отсутствии препятствий. Это обусловлено наличием ^ ограничений связи в пространстве достижимых координат рабочего пространства. Например, позиция локтя (хе z уе) и позиция захвата (xg z уд) всегда разнесены на постоянное расстояние, поскольку шарниры, соответствующие этим позициям, связаны с помощью жесткого предплечья. Планировщик движений робота с алгоритмом, определенным на координатах рабочего пространства, сталкивается с проблемой выработки таких путей, которые позволяют придерживаться указанных ограничений. Такая задача становится особенно сложной в связи с тем, что пространство состояний является непрерывным, а ограничения — нелинейными.
Как оказалось, проще осуществлять планирование на основе представления пространства конфигураций. Вместо представления состояния робота с помощью декартовых координат его элементов это состояние представляется с помощью конфигурации шарниров робота. В данном примере в конструкцию робота входят два шарнира. Поэтому его состояние может быть представлено двумя углами, (ps и фе, относящимися соответственно к шарниру плеча и к шарниру локтя. В отсутствие каких-либо препятствий робот может свободно выбрать любое значение из пространства конфигураций. В частности, при планировании пути можно связать текущую и целевую конфигурацию прямой линией. В таком случае, следуя по этому пути, робот может просто изменять углы поворота своих шарниров с постоянной скоростью до тех пор, пока не будет достигнуто целевое местонахождение.
К сожалению, и подход на основе пространства конфигураций имеет свои недостатки. Задание для робота обычно выражается в координатах рабочего пространства, а не в координатах пространства конфигураций. Например, может потребоваться, чтобы робот поместил свой конечный исполнительный механизм в определенную координату в рабочем пространстве, возможно, с указанием также его ориентации. В связи с этим возникает вопрос: как отобразить такие координаты рабочего пространства на пространство конфигураций? Вообще говоря, проще поддается решению обратная задача — преобразование координат пространства конфигураций в координаты рабочего пространства, поскольку для этого достаточно выполнить ряд совершенно очевидных преобразований координат. Эти преобразования являются линейными для призматических шарниров и тригонометрическими для поворотных шарниров. Такую цепочку преобразований координат принято называть кинематикой; этот термин уже встречался при обсуждении мобильных роботов.
Обратная задача вычисления конфигурации робота, для которого задано местонахождение исполнительного механизма в координатах рабочего пространства, называется ^ обратной кинематикой. Проблема вычисления обратной кинематики, как правило, является трудной, особенно для роботов со многими степенями свободы. В частности, это решение редко является уникальным. Для рассматриваемого в качестве примера манипулятора робота существуют две различные конфигурации, при которых захват занимает одни и те же координаты рабочего пространства (см. рис. 25.11).
Вообще говоря, для любого множества координат рабочего пространства этого манипулятора робота с двумя сочленениями количество обратных кинематических решений изменяется в пределах от нуля до двух. А для большинства промышленных роботов количество решений бесконечно велико. Чтобы понять, почему это возможно, достаточно представить себе, что в роботе, рассматриваемом в качестве примера, будет установлен третий, дополнительный шарнир, ось вращения которого параллельна оси существующего шарнира. В таком случае можно будет поддерживать фиксированное местонахождение (но не ориентацию!) захвата и вместе с тем свободно вращать его внутренние шарниры в большинстве конфигураций робота. Добавив еще несколько шарниров (определите, сколько именно?), можно добиться того же эффекта, поддерживая также постоянную ориентацию. Пример аналогичной ситуации уже рассматривался в данной книге, когда читателю было предложено провести “эксперимент”, положив ладонь на стол и двигая локтем. В таком случае кинематическое ограничение на позицию ладони не позволяет однозначно определить конфигурацию локтя. Иными словами, задача определения обратной кинема-
тики для сочленения “плечо-предплечье” руки с ладонью, лежащей на столе, имеет бесконечное количество решений.
Вторая проблема, возникающая при использовании представлений пространства конфигураций, связана с наличием препятствий, которые могут существовать в рабочем пространстве робота. В примере, приведенном на рис. 25.11, а, показано несколько таких препятствий, включая свободно свисающую с потолка полосу, которая проникает в самый центр рабочего пространства робота. В рабочем пространстве такие препятствия рассматриваются как простые геометрические формы, особенно в большинстве учебников по робототехнике, которые в основном посвящены описанию многоугольных препятствий. Но как эти препятствия выглядят в пространстве конфигураций?
На рис. 25.11, б показано пространство конфигураций робота, рассматриваемого в качестве примера, при той конкретной конфигурации препятствий, которая приведена на рис. 25.11, а. Это пространство конфигураций можно подразделить на два подпространства: пространство всех конфигураций, достижимых для робота, которое принято называть ^ свободным пространством, и пространство недостижимых конфигураций, называемое ^ занятым пространством. Обозначенный белым цветом участок на рис. 25.11, б соответствует свободному пространству. Все другие участки соответствуют занятому пространству. Различные затенения в занятом пространстве соответствуют разным объектам в рабочем пространстве робота; участки, выделенные черным цветом и окружающие все свободное пространство, соответствуют конфигурациям, в которых робот сталкивается сам с собой. Можно легко обнаружить, что подобные нарушения в работе возникают при крайних значениях углов поворота шарниров плеча или локтя. Два участка овальной формы по обе стороны от робота соответствуют столу, на котором смонтирован робот. Аналогичным образом, третий овальный участок соответствует левой стене. Наконец, наиболее интересным объектом в пространстве конфигураций является простое вертикальное препятствие, проникающее в рабочее пространство робота. Этот объект имеет любопытную форму: он чрезвычайно нелинеен, а в некоторых местах является даже вогнутым. Приложив немного воображения, читатель легко узнает форму захвата на верхнем левом конце манипулятора. Рекомендуем читателю на минуту задержаться и изучить эту важную схему. Форма рассматриваемого препятствия не так уж очевидна! Точка внутри рис. 25.11,6' обозначает конфигурацию робота, как показано на рис. 25.11, я. На рис. 25.12 изображены три дополнительные конфигурации как в рабочем пространстве, так и в пространстве конфигураций. В конфигурации “conf-1” захват окружает вертикальное препятствие.
Вообще говоря, даже если рабочее пространство робота представлено с помощью плоских многоугольников, форма свободного пространства может оказаться очень сложной. Поэтому на практике обычно применяется ощупывание пространства конфигураций вместо явного его построения. Планировщик может вырабатывать конфигурацию, а затем проверять ее для определения того, находится ли она в свободном пространстве, применяя кинематику робота и определяя наличие столкновений в различных координатах рабочего пространства.
Методы декомпозиции ячеек
В указанном выше первом подходе к планированию пути используется ^ декомпозиция ячеек; иными словами, в этом методе осуществляется разложение
свободного пространства на конечное количество непрерывных участков, называемых ячейками. Эти участки обладают тем важным свойством, что задача планирования пути в пределах одного участка может быть решена с помощью простых средств (например, в виде передвижения по прямой линии). Таким образом, задача планирования пути преобразуется в задачу поиска в дискретном графе, во многом аналогичную задачам поиска, представленным в главе 3.
Рис. 25.12. Три конфигурации робота, показанные в рабочем пространстве и пространстве конфигураций
Простейшая декомпозиция ячеек представляет собой сетку с равномерным шагом. На рис. 25.13, а показаны декомпозиция пространства с помощью квадратной сетки и путь решения, оптимальный для сетки с этими размерами. Кроме того, на этом рисунке используются затенение в виде градаций серого цвета для обозначения стоимости каждой ячейки сетки свободного пространства, т.е. стоимости самого короткого пути от этой ячейки к цели. (Эти стоимости можно вычислить с помощью детерминированной формы алгоритма Value-Iteration, приведенного в листинге 17.1.) На рис. 25.13,6 показана соответствующая траектория манипулятора в рабочем пространстве.
Такая декомпозиция имеет преимущество в том, что обеспечивает чрезвычайно простую реализацию, но характеризуется также двумя ограничениями. Во-первых, она может применяться только для пространств конфигураций с малым количеством измерений, поскольку количество ячеек сетки растет экспоненциально в зависимости от d, т.е. от количества измерений. Во-вторых, возникает проблема, обусловленная тем, что некоторые ячейки являются “смешанными”, т.е. не принадлежащими полностью ни к свободному, ни к занятому пространству. Путь, найденный в качестве решения, который включает такую ячейку, может не соответствовать действительному решению, в связи с тем что не будет существовать способа пересечения ячейки в желаемом направлении по прямой линии. В результате этого процеду-
ра планирования пути становится противоречивой. С другой стороны, если мы будем настаивать на том, чтобы использовались только полностью свободные ячейки, то процедура планирования станет неполной, в связи с тем что могут возникать случаи, в которых единственные возможные пути к цели лежат через смешанные ячейки, особенно если размер ячейки сопоставим с размерами проходов и просветов в рассматриваемом пространстве.
а)а)Рис. 25.13. Пример применения метода декомпозиции ячеек: функция стоимости и путь, найденный с помощью аппроксимации пространства конфигураций в виде ячеек сетки (а); тот же путь, визуально представленный с помощью координат рабочего пространства (б). Обратите внимание на то, как робот сгибает свой локоть для предотвращения столкновения с вертикальным препятствиемРис. 25.13. Пример применения метода декомпозиции ячеек: функция стоимости и путь, найденный с помощью аппроксимации пространства конфигураций в виде ячеек сетки (а); тот же путь, визуально представленный с помощью координат рабочего пространства (б). Обратите внимание на то, как робот сгибает свой локоть для предотвращения столкновения с вертикальным препятствиемб)б)
а)
а)
Рис. 25.13. Пример применения метода декомпозиции ячеек: функция стоимости и путь, найденный с помощью аппроксимации пространства конфигураций в виде ячеек сетки (а); тот же путь, визуально представленный с помощью координат рабочего пространства (б). Обратите внимание на то, как робот сгибает свой локоть для предотвращения столкновения с вертикальным препятствием
Рис. 25.13. Пример применения метода декомпозиции ячеек: функция стоимости и путь, найденный с помощью аппроксимации пространства конфигураций в виде ячеек сетки (а); тот же путь, визуально представленный с помощью координат рабочего пространства (б). Обратите внимание на то, как робот сгибает свой локоть для предотвращения столкновения с вертикальным препятствием
б)
б)
Существуют два способа усовершенствования метода декомпозиции ячеек, позволяющие исправить эти недостатки. Первый из них состоит в том, что допускается дальнейшее разделение смешанных ячеек, возможно, с использованием ячеек, вдвое меньших по сравнению с первоначальным размером. Такая операция может продолжаться рекурсивно до тех пор, пока не будет найден путь, полностью проходящий по свободным ячейкам. (Безусловно, этот метод может применяться, только если есть возможность определить, является ли данная конкретная ячейка смешанной, а эта операция является простой, только если границы пространства конфигураций определяются с помощью относительно простых математических описаний.) Такой метод является полным, при условии, что заданы ограничения на величину наименьшего прохода, через который должен пройти искомый путь. Хотя при этом основная часть усилий, связанных с вычислениями, сосредоточивается на наиболее сложных участках в пространстве конфигураций, данный метод все еще не позволяет добиться успешного масштабирования и распространения его на многомерные задачи, поскольку при каждом рекурсивном разбиении ячейки создаются 2d меньших ячеек. Второй способ получения полного алгоритма состоит в том, чтобы неуклонно соблюдалось требование ^ точной декомпозиции ячеек свободного пространства. Этот метод должен допускать, чтобы ячейки принимали неправильную форму в тех местах, где они встречаются с границами свободного простран- -рп ип - - Ьормы ^се еше доля ’ ^^таваться “простыми” в том смысле, что при их ис-
пользовании можно было легко вычислить траекторию прохождения через любую свободную ячейку. Для реализации этого метода требуется использование некоторых весьма сложных геометрических понятий, поэтому данный метод не будет рассматриваться здесь более подробно.
Рассматривая путь решения, показанный на рис. 25.13, а, можно заметить дополнительные сложности, которые необходимо преодолеть. Во-первых, следует отметить, что этот путь содержит произвольно острые углы; робот, движущийся с какой- либо конечной скоростью, не сможет пройти по такому пути. Во-вторых, заслуживает внимания то, что путь проходит очень близко от препятствия. Любой, кто занимается вождением автомобиля, знает, что парковочная площадка, на которой оставлено по одному миллиметру просвета с каждой стороны, в действительности вообще не годится для парковки; по той же причине следует предпочесть такие пути решения, которые не чувствительны к небольшим погрешностям движения.
Желательно максимизировать расстояние от препятствий и вместе с тем минимизировать длину пути. Этой цели можно достичь, введя понятие ^ поля потенциалов. Поле потенциалов — это функция, определенная в пространстве состояний, значение которой растет пропорционально расстоянию до ближайшего препятствия. Такое поле потенциалов показано на рис. 25.14, а, — чем более темным цветом обозначена точка в пространстве конфигураций, тем ближе она к препятствию. При использовании в задаче планирования пути такое поле потенциалов становится дополнительным термом стоимости в уравнении оптимизации. Благодаря этому возникает интересная ситуация поиска компромисса. С одной стороны, робот стремится минимизировать длину пути к цели. С другой стороны, он пытается оставаться в стороне от препятствии, придерживаясь минимальных значений функции потенциалов. Назначив обеим целям соответствующие веса, можно найти примерно такой путь, как показано на рис. 25.14, б. На этом рисунке показана также функция стоимости, выведенная на основании комбинированной функции затрат, которая и в этом случае вычислена с помощью итерации по стоимостям. Очевидно, что полученный в результате путь длиннее, но вместе с тем и безопаснее.
Рис. 25.14. Метод с использованием поля потенциалов: препятствующее сближению поле потенциалов отталкивает робота от препятствий (а); путь, найденный с помощью одновременной минимизации длины пути и потенциала (б)
Методы скелетирования
Второе важное семейство алгоритмов планирования пути основано на идее ^ скелетирования. Эти алгоритмы сводят свободное пространство робота к одномерному представлению, для которого задача планирования становится проще. Такое представление с меньшим количеством измерений называется скелетом пространства конфигураций.
Пример применения метода скелетирования приведен на рис. 25.15: это — линия Вороного для свободного пространства, которая представляет собой геометрическое место всех точек, равноудаленных от двух или нескольких препятствий. Для того чтобы осуществить планирование пути с помощью линии Вороного, робот вначале переходит из текущей конфигурации в точку на линии Вороного. Можно легко показать, что такую операцию всегда можно выполнить с помощью передвижения по прямой в пространстве конфигураций. Затем робот следует по линии Вороного до тех пор, пока не достигнет точки, ближайшей к целевой конфигурации. Наконец, робот покидает линию Вороного и движется к цели. И на этом последнем этапе снова выполняется движение по прямой в пространстве конфигураций.
Рис. 25.15. Один из примеров метода скелетирования: линия Вороного — это геометрическое место точек, равноудаленных от двух или нескольких препятствий в пространстве конфигураций (а); вероятностная дорожная карта, состоящая из 400 случайно выбранных точек в свободном пространстве (б)
Таким образом, первоначальная задача планирования пути сводится к поиску пути на линии Вороного, которая обычно является одномерной (за исключением некоторых частных случаев) и имеет конечное количество таких точек, в которых пересекаются три или большее количество одномерных кривых. Поэтому задача поиска кратчайшего пути вдоль линии Вороного сводится к задаче поиска в дискретном графе такого же типа, как было описано в главах 3 и 4. Движение по линии Вороного может не обеспечить получение кратчайшего пути, но обнаруженные пути будут отличаться наличием максимальных расстояний от препятствий. Недостатки методов, основанных на использовании линии Вороного, состоят в том, что их сложно применять в пространствах конфигураций с большими размерностями, кроме того, при
их использовании приходится совершать слишком большие обходные маневры, если пространство конфигураций характеризуется широким размахом. К тому же может оказаться сложным вычисление линии Вороного, особенно в пространстве конфигураций, характеризующемся сложной формой препятствий.
Альтернативным по отношению к методу на основе линии Вороного является метод с использованием ^ вероятностной дорожной карты. Он представляет собой такой подход к скелетированию, который позволяет определить больше возможных маршрутов и поэтому лучше подходит для пространств с широким размахом. Пример вероятностной дорожной карты показан на рис. 25.15, б. Линия, приведенная на этом рисунке, создана путем формирования случайным образом большого количества конфигураций и удаления тех из них, которые не укладываются в свободное пространство. После этого любые два узла соединяются какой-то линией, если одного из них можно “легко” достичь из другого; например, если в свободном пространстве можно перейти из одного узла в другой по прямой. Конечным итогом выполнения всех этих операций становится создание рандомизированного графа в свободном пространстве робота. Если к этому графу будут добавлены позиции начальной и целевой конфигураций робота, то задача планирования пути сведется к поиску в дискретном графе. Теоретически этот подход является неполным, поскольку при неудачном выборе случайно заданных точек может оказаться, что нельзя найти ни одного пути от начального узла до целевого. Но вероятность такой неудачи можно ограничить за счет регламентации количества формируемых точек и с учетом определенных геометрических свойств пространства конфигураций. Возможно также направить процесс выработки опорных точек в те области, где частично выполненный поиск показывает хорошие перспективы поиска приемлемого пути, действуя одновременно в двух направлениях, от начальной и от целевой позиций. После внесения всех этих усовершенствований метод планирования с помощью вероятностной дорожной карты показывает лучшую масштабируемость в условиях многомерных пространств конфигураций по сравнению с большинством других альтернативных методов планирования путей.
Планирование движений в условиях
НЕОПРЕДЕЛЕННОСТИ
Ни в одном из алгоритмов планирования движения робота, рассмотренных выше, не шла речь о наиболее важной характерной особенности робототехнических задач — об их неопределенности. В робототехнике неопределенность возникает из-за частичной наблюдаемости среды, а также под влиянием стохастических (или не предусмотренных моделью) результатов действий робота. Кроме того, могут возникать погрешности, обусловленные использованием приближенных алгоритмов, таких как фильтрация частиц, в результате чего робот не будет получать точных данных о текущем доверительном состоянии, даже несмотря на то, что для описания стохастического характера среды применяется идеальная модель.
В большинстве современных роботов для принятия решений используются детерминированные алгоритмы, такие как различные алгоритмы планирования пути, рассматривавшиеся до сих пор. Для этой цели обычно принято извлекать данные
о ^ наиболее вероятном состоянии из распределения состояний, сформированного с помощью алгоритма локализации. Преимущество этого подхода состоит лишь в том, что он способствует уменьшению объема вычислений. Трудной является даже сама задача планирования путей через пространство конфигураций, а если бы нам пришлось работать с полным распределением вероятностей по состояниям, то задача стала бы еще труднее. Поэтому игнорировать неопределенность в этих обстоятельствах можно, только если неопределенность мала.
К сожалению, игнорировать неопределенность не всегда возможно. Дело в том, что при решении некоторых задач возникает такая ситуация, что неопределенность, в условиях которой действует робот, становится слишком большой. Например, как можно использовать детерминированный планировщик пути для управления мобильным роботом, не имеющим информации о том, где он находится? Вообще говоря, если истинное состояние робота не является таковым, на которое указывает правило максимального правдоподобия, то в итоге управляющие воздействия будут далеки от оптимальных. В зависимости от величины погрешности они могут приводить ко всякого рода нежелательным эффектам, таким как столкновения с препятствиями.
В этой области робототехники нашел свое применение целый ряд методов организации работы в условиях неопределенности. Некоторые из этих методов основаны на приведенных в главе 17 алгоритмах принятия решений в условиях неопределенности. Если робот сталкивается с неопределенностью только при переходах из одного состояния в другое, но само состояние является полностью наблюдаемым, то эту задачу лучше всего можно промоделировать в виде марковского процесса принятия решения, или MDP (Markov Decision Process). Решением задачи MDP является оптимальная политика, с помощью которой робот может определить, что делать в каждом возможном состоянии. Таким образом, он получает возможность исправить погрешности движения всех видов, тогда как решение, полученное от детерминированного планировщика, с указанием единственного пути, может быть гораздо менее надежным. В робототехнике вместо термина политика обычно используют термин ^ функция навигации. Функцию стоимости, показанную на рис. 25.13, а можно преобразовать в такую функцию навигации, обеспечив отслеживание градиента.
Так же как и в задачах, описанных в главе 17, задачи, рассматриваемые в настоящей главе, становятся гораздо более трудными в условиях частичной наблюдательности. Возникающая в результате задача управления роботом представляет собой частично наблюдаемую задачу MDP, или POMDP (partially observable MDP). В таких ситуациях робот обычно поддерживает внутреннее доверительное состояние, наподобие описанного в разделе 25.3. Решением задачи POMDP является политика, определенная на доверительных состояниях робота. Иными словами, входными данными для рассматриваемой политики является все распределение вероятностей. Это позволяет роботу основывать свое решение не только на том, что ему известно, но и на том, что неизвестно. Например, если робот действует в условиях неопределенности в отношении какой-то важной переменной состояния, он может принять рациональное в этих условиях решение и вызвать на выполнение ^ действие по сбору информации. Такой подход в инфраструктуре MDP невозможен, поскольку в задачах MDP подразумевается наличие полной наблюдаемости. К сожалению, методы точного решения задач POMDP не применимы к робототехнике, поскольку не существует известных методов для непрерывных пространств. А в результате дискретиза-
ции обычно создаются такие задачи POMDP, которые слишком велики, чтобы их можно было решить с помощью известных методов. Все, что можно сделать в настоящее время, — это пытаться свести неопределенность в отношении позы к минимуму; например, в эвристике ^ плавания вдоль берегов требуется, чтобы робот оставался неподалеку от известных отметок в целях уменьшения неопределенности в отношении его позы. Такая ситуация, в свою очередь, приводит к постепенному уменьшению неопределенности при нанесении на карту обнаруженных поблизости новых отметок, а это в дальнейшем позволяет роботу исследовать новые территории.
Надежные методы
С неопределенностью можно также справиться, используя так называемые ^ надежные, а не вероятностные методы. Надежным называется такой метод, в котором подразумевается наличие ограниченного объема неопределенности в каждом аспекте задачи, но не присваиваются вероятности значениям в пределах разрешенного интервала. Надежным называется такое решение, которое приводит к намеченной цели независимо от того, какие значения данных встречаются в действительности, при условии, что они находятся в пределах предполагаемого интервала. Крайней формой надежного метода является подход на основе совместимого планирования, описанный в главе 12, — в нем вырабатываются планы, выполнимые даже без учета информации о состоянии.
В настоящем разделе рассматривается один из надежных методов, применяемый для М планирования тонких движений (или сокращенно FMP— Fine-Motion Planning) в задачах робототехнической сборки. Планирование тонких движений обеспечивает перемещение манипулятора робота в очень тесной близости от объекта в статической среде. Основная сложность, связанная с планированием тонких движений, состоит в том, что требуемые движения и соответствующие характеристики среды очень малы. В таких малых масштабах робот теряет возможность точно измерять или управлять своим положением, кроме того, может возникать неопределенность в отношении формы самой среды; предполагается, что все эти неопределенности ограничены. Решением задачи FMP обычно становится условный план (или политика), в котором используется обратная связь отдатчиков и который гарантирует успешное выполнение во всех ситуациях, совместимых с предполагаемыми пределами неопределенности.
План проведения тонких движений представляет собой определение ряда охраняемых движений. Каждое охраняемое движение состоит, во-первых, из команды движения и, во-вторых, из условия завершения, которое представляет собой предикат, заданный на сенсорных значениях робота, и возвращает истинное значение в качестве указания на окончание охраняемого движения. Команды движения обычно задают приспособляемые движения, которые позволяют роботу выполнять скользящие движения, если другие команды движения вызовут столкновение с препятствием. В качестве примера на рис. 25.16 показано двухмерное пространство конфигураций с узким вертикальным отверстием. Такое пространство конфигураций может возникнуть при решении задачи вставки прямоугольного колышка в отверстие, немного превышающее его по размерам. Команды движения выполняются с постоянными скоростями. Условиями завершения являются ситуации контакта с поверхностью. Для моделирования неопределенности в процессе управления предположим, что факти-
чески движение робота происходит не в направлении, указанном в команде, а укладывается в конус Cv вокруг этого направления. На рис. 25.16 показано, что произойдет, если будет выдана команда движения с постоянной скоростью строго в вертикальном направлении из исходной области s. Из-за неопределенности в скорости робот может совершать движения в любом направлении в пределах конической огибающей; возможно, что это приведет к попаданию в отверстие, но с большей вероятностью колышек опустится с той или другой стороны от него. А поскольку робот не будет иметь информации о том, с какой стороны от отверстия опустился колышек, то не будет знать, куда его двигать дальше.
Рис. 25.16. Двухмерная среда, конус неопределенности скорости и огибающая возможных движений робота. Намеченная скорость равна v, но из-за неопределенности фактическая скорость может находиться в пределах Cv, а это приводит к тому, что окончательная конфигурация может определиться в любой точке внутри огибающей движения. Это означает, что возникает неопределенность в отношении того, удастся ли попасть в отверстие или нет
Более приемлемая стратегия показана на рис. 25.17 и 25.18. На рис. 25.17 приведен пример того, как робот намеренно направляет свое движение в определенную сторону от отверстия. Условия выполнения команды движения показаны на рисунке, а проверкой окончания движения становится контакт с любой поверхностью. На рис. 25.18 показано, что выдается команда движения, которая вынуждает робота передвигать колышек, скользящий по поверхности, до его попадания в отверстие. Тем самым предполагается использование команды приспособляемого движения. Поскольку все возможные скорости в огибающей движения направлены влево, робот должен передвинуть скользящий по поверхности колышек вправо после вступления его в контакт с горизонтальной поверхностью. Вслед за прикосновением колышка с правой вертикальной стенкой отверстия колышек должен проскользнуть вниз, поскольку все возможные скорости направлены вниз относительно этой вертикальной поверхности. Колышек будет продолжать двигаться до тех пор, пока не достигнет дна отверстия, поскольку именно таково условие завершения этого движения. Несмотря на неопределенность управления, все возможные траектории движения робота оканчиваются контактом с дном отверстия, разумеется, при условии, что не обнаружатся какие-либо дефекты поверхности, из-за которых робот не сможет сдвинуть с места застрявший колышек.
Рис. 25.17. Первая команда движения и полученная в итоге огибающая возможных движений робота. Независимо от любых погрешностей, известно, что в окончательной конфигурации колышек будет находиться слева от отверстия
Рис. 25.18. Вторая команда движения и огибающая возможных движений. Даже при наличии погрешностей колышек в конечном итоге оказывается в отверстии
Вполне очевидно, что задача конструирования планов тонких движений не тривиальна; в действительности она намного сложнее по сравнению с задачей планирования в условиях точных движений. Для решения этой задачи можно либо выбирать постоянное количество дискретных значений для каждого движения, либо использовать геометрию среды для выбора направлений, позволяющих определить качественно иное поведение. Планировщик тонких движений принимает в качестве входных данных описание пространства конфигураций, угол наклона конуса неопределенности скоростей и спецификацию возможных сенсорных восприятий, определяющих ситуацию завершения (в данном случае — контакт с поверхностью). В свою очередь, планировщик должен выработать многоэтапный условный план (или политику), позволяющий добиться гарантированного успеха, если подобный план существует.
В рассматриваемом примере предполагается, что планировщик имеет в своем распоряжении точную модель среды, но возможно также принять допущение о наличии ограниченной погрешности в этой модели, как показано ниже. Если погрешность может быть описана в терминах параметров, то соответствующие параметры добавляются в качестве степеней свободы в пространство конфигураций. В частности, в последнем примере, если бы была неопределенность в отношении глубины и ширины отверстия, то можно было бы добавить эти величины в пространство конфигураций как две степени свободы. Из этого не следует, что появится возмож-
ность передвигать захват робота непосредственно в направлении этих степеней свободы в пространстве конфигураций или получать информацию об их позиции. Но оба эти ограничения можно учесть, описывая задачу как задачу FMP, задавая соответствующим образом данные о неопределенностях средств управления и датчиков. В результате возникает сложная, четырехмерная задача планирования, но появляется возможность применять точно такие же методы планирования, как и раньше. Следует отметить, что надежный подход такого рода приводит к созданию планов, в которых учитываются результаты самого неблагоприятного развития событий, а не максимизируется ожидаемое качество плана, в отличие от методов теории решений, описанных в главе 17. Единственным оптимальным аспектом планов действий в наиболее неблагоприятной ситуации (с точки зрения теории решений) является то, что они позволяют предотвратить последствия неудачи во время выполнения плана, намного худшие по сравнению с любыми другими затратами, связанными с его выполнением.
Осуществление движений
До сих пор речь в данной главе шла о том, как планировать движения, а не как их осуществлять. В разрабатываемых планах (особенно в тех, которые были составлены с помощью детерминированных планировщиков пути) предполагалось, что робот может просто проследовать по любому пути, сформированному алгоритмом. Но в реальном мире, безусловно, дело обстоит иначе. Роботы обладают инерцией и не могут выполнять произвольные команды движения по заданному пути, кроме как на произвольно низких скоростях. В большинстве случаев робот, выполняя команды движения, прилагает усилия для перемещения в ту или иную точку, а не просто задает нужные ему позиции. В данном разделе описаны методы вычисления таких усилий.
Динамика и управление
В разделе 25.2 введено понятие динамического состояния, которое расширяет представление о кинематическом состоянии робота, позволяя моделировать скорости робота. Например, в описании динамического состояния, кроме данных об угле поворота шарнира робота, отражена скорость изменения этого угла. В модели перехода для любого представления динамического состояния учитываются влияния усилий на эту скорость изменения. Подобные модели обычно выражаются с помощью ^дифференциальных уравнений, которые связывают количество (например, кинематическое состояние) с изменением этого количества во времени (например, скоростью). В принципе, можно было бы выбрать способ планирования движений робота с использованием динамических моделей вместо кинематических моделей, которые рассматривались в предыдущих разделах. Такая методология приводит к достижению превосходных показателей производительности робота, если удается составить нужные планы. Однако динамическое состояние намного сложнее по сравнению с кинематическим пространством, а из-за большого количества измерений задачи планирования движений становятся неразрешимыми для любых роботов, кроме самых простых. По этой причине применяемые на практике робототехнические системы часто основаны на использовании более простых кинематических планировщиков пути.
Общепринятым методом компенсации ограничений кинематических планов является использование для слежения за роботом отдельного механизма, ^ контроллера. Контроллерами называются устройства, вырабатывающие команды управления роботом в реальном времени с использованием обратной связи от среды для достижения цели управления. Если цель состоит в удержании робота на заранее запланированном пути, то такие контроллеры часто называют ^ опорными контроллерами, а путь называют ^ опорным путем. Контроллеры, оптимизирующие глобальную функцию затрат, называют ^ оптимальными контроллерами. По существу, оптимальная политика для задачи MDP является определением оптимального контроллера.
На первый взгляд задача управления, позволяющая удерживать робот на заранее заданном пути, кажется относительно простой. Но на практике даже в ходе решения этой внешне простой задачи могут встретиться некоторые ловушки. На рис. 25.19, а показано, какие нарушения могут при этом возникать. На данном рисунке демонстрируется путь робота, предпринимающего попытку следовать по кинематическому пути. После возникновения любого отклонения (обусловленного либо шумом, либо ограничениями на те усилия, которые может применять робот) робот прикладывает противодействующее усилие, величина которого пропорциональна этому отклонению. Интуитивные представления говорят о том, что такой подход якобы вполне оправдан, поскольку отклонения должны компенсироваться противодействующим усилием, чтобы робот не отклонялся от своей траектории. Однако, как показано на рис. 25.19, а, действия такого контроллера вызывают довольно интенсивную вибрацию робота. Эта вибрация является результатом естественной инерции манипулятора робота — робот, резко направленный в стороны опорной позиции, проскакивает эту позицию, что приводит к возникновению симметричной погрешности с противоположным знаком. Согласно кривой, приведенной на рис. 25.19, а, такое перерегулирование может продолжаться вдоль всей траектории, поэтому результирующее движение робота далеко от идеального. Очевидно, что нужно предусмотреть лучший способ управления.
Рис. 25.19. Управление манипулятором робота с использованием различных методов: пропорциональное управление с коэффициентом усиления 1,0 (а); пропорциональное управление с коэффициентом усиления 0,1 (б); пропорционально-дифференциальное управление с коэффициентами усиления 0,3 для пропорционального и 0,8 для дифференциального компонента (в). Во всех случаях предпринимается попытка провести манипулятор робота по пути, обозначенному серым цветом
Для того чтобы понять, каким должен быть лучший контроллер, опишем формально тот тип контроллера, который допускает перерегулирование. Контроллеры, прикладывающие усилия, обратно пропорциональные наблюдаемой погрешности, называются ^ Р-контроллерами. Буква Р является сокращением от proportional (пропорциональный) и показывает, что фактическое управляющее воздействие пропорционально погрешности позиционирования манипулятора робота. В качестве более формальной постановки допустим, что у( t) — опорный путь, параметризованный временнь/м индексом t. Управляющее воздействие at, выработанное Р-контроллером, имеет следующую форму:
at = КР(у( t) -xt)
где xt — состояние робота во время t; КР — так называемый ^ коэффициент усиления контроллера, от которого зависит, какое усилие будет прилагать контроллер, компенсируя отклонения между фактическим состоянием xt и желаемым y(t). В данном примере кР=1. На первый взгляд может показаться, что проблему можно устранить, выбрав меньшее значение для кР. Но, к сожалению, дело обстоит иначе. На рис. 25.19, б показана траектория манипулятора робота при КР-. 1, в которой все еще проявляется колебательное поведение. Уменьшение величины коэффициента усиления способствует лишь уменьшению интенсивности колебаний, но не устраняет проблему. В действительности в отсутствие трения Р-контроллер действует в соответствии с законом пружины, поэтому он до бесконечности совершает колебания вокруг заданной целевой точки.
В традиционной науке задачи такого типа принадлежат к области теории управления, которая приобретает всю большую важность для исследователей в области искусственного интеллекта. Исследования в этой области, проводившиеся в течение десятков лет, привели к созданию многих типов контроллеров, намного превосходящих описанный выше контроллер, действующий на основании простого закона управления. В частности, опорный контроллер называется ^ стабильным, если небольшие возмущения приводят к возникновению ограниченной погрешности, связывающей сигнал робота и опорный сигнал. Контроллер называется ^ строго стабильным, если он способен вернуть управляемый им аппарат на опорный путь после воздействия подобных возмущений. Очевидно, что рассматриваемый здесь Р-контроллер только внешне кажется стабильным, но не является строго стабильным, поскольку не способен обеспечить возвращение робота на его опорную траекторию.
Простейший контроллер, позволяющий добиться строгой стабильности в условиях данной задачи, известен под названием ^ PD-контроллера. Буква Р снова является сокращением от proportional (пропорциональный), a D— от derivative (дифференциальный). Для описания PD-контроллеров применяется следующее уравнение:
Э (у (t) -xt)
at = Kp(y(t)-xt) + KD —(25.3)
dt
Согласно этому уравнению, PD-контроллеры представляют собой Р-контроллеры, дополненные дифференциальным компонентом, который добавляет к значению управляющего воздействия at терм, пропорциональный первой производной от погрешности у( t) -xt по времени. К какому результату приводит добавление такого терма? Вообще говоря, дифференциальный терм гасит колебания в системе, для управле-
ния которой он применяется. Чтобы убедиться в этом, рассмотрим ситуацию, в которой погрешность (y(t)-xt) резко изменяется во времени, как было в случае с Р-контроллером, описанным выше. При этом производная такой погрешности прикладывается в направлении, противоположном пропорциональному терму, что приводит к уменьшению общего отклика на возмущение. Однако, если та же погрешность продолжит свое присутствие и не изменится, то производная уменьшится до нуля и при выборе управляющего воздействия будет доминировать пропорциональный терм.
Результаты применения такого PD-контроллера для управления манипулятором робота при использовании в качестве коэффициентов усиления значений КР=. 3 и KD=. 8 показаны на рис. 25.19, в. Очевидно, что в конечном итоге траектория манипулятора стала гораздо более гладкой и на ней внешне не заметны какие-либо колебания. Как показывает этот пример, дифференциальный терм позволяет обеспечить стабильность работы контроллера в тех условиях, когда она недостижима другими способами.
Но, как показывает практика, PD-контроллеры также создают предпосылки отказов. В частности, PD-контроллеры могут оказаться неспособными отрегулировать погрешность до нуля, даже при отсутствии внешних возмущений. Такой вывод не следует из приведенного в этом разделе примера робота, но, как оказалось, иногда для уменьшения погрешности до нуля требуется приложить обратную связь с пропорциональным перерегулированием. Решение этой проблемы заключается в том, что к закону управления нужно добавить третий терм, основанный на результатах интегрирования погрешности по времени:
at = KPkyktVx^ + Ki kykt^-x^dt + Kbat = KPkyktVx^ + Ki kykt^-x^dt + KbЭ (у( е) -xt)
at = KPkyktVx^ + Ki kykt^-x^dt + Kb
at = KPkyktVx^ + Ki kykt^-x^dt + Kb
— (25-4)
где Ку — еще один коэффициент усиления. В терме
J* kyktVx^ dt
вычисляется интеграл погрешности по времени. Под влиянием этого терма корректируется продолжающиеся долгое время отклонения между опорным сигналом и фактическим состоянием. Если, например, xt меньше чем у( с) в течение продолжительного периода времени, то значение этого интеграла возрастает до тех пор, пока результирующее управляющее воздействие at не вызовет уменьшение этой погрешности. Таким образом, интегральные термы гарантируют отсутствие систематических погрешностей в действиях контроллера за счет повышения опасности колебательного поведения. Контроллер, закон управления которого состоит из всех трех термов, называется ^ PID-контроллером. PID-контроллеры широко используются в промышленности для решения самых различных задач управления.
Управление на основе поля потенциалов
Выше в данной главе поле потенциалов было определено как дополнительная функция затрат в планировании движений робота, но поле потенциалов может также использоваться для непосредственной выработки траектории движения робота,
что позволяет полностью отказаться от этапа планирования пути. Для достижения этой цели необходимо определить притягивающее усилие, которое влечет манипулятор робота в направлении его целевой конфигурации, и поле потенциалов, отталкивающее манипулятор, которое отводит манипулятор от препятствий. Такое поле потенциалов показано на рис. 25.20. Его единственным глобальным минимумом является целевая конфигурация, а стоимость измеряется суммой расстояния до целевой конфигурации и дальности до препятствий. Для формирования поля потенциалов, показанного на этом рисунке, не требовалось никакого планирования. Благодаря такой их особенности поля потенциалов могут успешно применяться в управлении в реальном времени. На рис. 25.20 показаны две траектории робота, осуществляющего восхождение к вершине в поле потенциалов при двух различных начальных конфигурациях. Во многих приложениях поле потенциалов может быть эффективно рассчитано для любой конкретной конфигурации. Кроме того, оптимизация потенциала сводится к вычислению градиента потенциала для текущей конфигурации робота. Такие вычисления обычно являются чрезвычайно эффективными, особенно по сравнению с алгоритмами планирования пути, которые связаны с затратами, характеризующимися экспоненциальной зависимостью от размерностей пространства конфигураций (от степеней свободы).
Рис. 25.20. Метод управления на основе поля потенциалов. Траектория робота восходит по градиенту поля потенциалов, состоящего из отталкивающих усилий, обусловленных наличием препятствий, и притягивающих усилий, которые соответствуют целевой конфигурации: успешно проделанный путь (а); локальный оптимум (б)
Тот факт, что подход на основе поля потенциалов позволяет так эффективно находить путь к цели, даже если при этом приходится преодолевать большие расстояния в пространстве конфигураций, ставит под вопрос саму целесообразность использования планирования в робототехнике. Действительно ли методы на основе поля потенциалов позволяют решать все задачи, или такая ситуация, как в данном примере, является просто результатом благоприятного стечения обстоятельств? Ответ заключается в том, что в данном случае обстоятельства действительно складыва-
лись благоприятно, а в других условиях поля потенциалов имеют много локальных минимумов, которые могут стать ловушкой для робота. В данном примере робот приближается к препятствию, вращая шарнир своего плеча до тех пор, пока не заходит в тупик, оказавшись не с той стороны препятствия, с какой нужно. Поле потенциалов не имеет достаточно развитой конфигурации для того, чтобы вынудить робот согнуть свой локоть, что позволило бы ему пропустить манипулятор под препятствием. Иными словами, методы на основе поля потенциалов превосходно подходят для локального управления роботом, но все еще требуют глобального планирования. Еще одним важным недостатком, связанным с использованием поля потенциалов, является то, что усилия, вырабатываемые при этом подходе, зависят только от положений препятствия и робота, а не от скорости робота. Таким образом, метод управления на основе поля потенциалов в действительности является кинематическим и может оказаться неприменимым для быстро движущегося робота.
Реактивное управление
До сих пор в этой главе речь шла об управляющих решениях, которые требуют наличия определенной модели среды, чтобы на ее основе можно было сформировать либо опорный путь, либо поле потенциалов. Но с этим подходом связаны некоторые сложности. Во-первых, зачастую сложно получить достаточно точные модели, особенно в сложной или удаленной среде, такой как поверхность Марса. Во-вторых, даже в тех случаях, когда есть возможность составить модель с достаточной точностью, вычислительные сложности и погрешности локализации могут привести к тому, что эти методы окажутся практически не применимыми. В определенных обстоятельствах более подходящим становится один из видов рефлексного проекта агента — проект на основе так называемого ^ реактивного управления.
Одним из примеров такого проекта является шестиногий робот, или ^ гексапод, показанный на рис. 25.21, а, который предназначен для ходьбы по пересеченной местности. В целом датчики робота не позволяют формировать модели местности с точностью, достаточной для любого из методов планирования пути, описанных в предыдущем разделе. Кроме того, даже в случае использования достаточно точных датчиков задача планирования пути не разрешима с помощью имеющихся вычислительных средств из-за наличия двенадцати степеней свободы (по две для каждой ноги).
Тем не менее существует возможность определить спецификацию контроллера непосредственно, без использования явной модели среды. (Выше в данной главе такой подход уже был продемонстрирован на примере PD-контроллера, который оказался способным вести сложный манипулятор робота к цели при отсутствии явной модели динамики робота; однако для этого контроллера требовался опорный путь, сформированный с помощью кинематической модели.) Для рассматриваемого примера шагающего робота после выбора подходящего уровня абстракции задача определения закона управления оказалась удивительно простой. В приемлемом законе управления может быть предусмотрено циклическое движение каждой ноги с тем, чтобы эта нога на какой-то момент касалась земли, а в остальное время двигалась в воздухе. Координация действий всех шести ног должна осуществляться так, чтобы три из них (расположенные на противоположных концах) всегда находились на земле для обеспечения физической опоры. Такой принцип управления можно легко запрограммировать, и он себя полностью оправдывает на ровной местности. А на пе-
ресеченной местности движению ног вперед могут помешать препятствия. Это затруднение можно преодолеть с помощью исключительно простого правила управления: если движение какой-то ноги вперед блокируется, следует отвести ее немного назад, поднять выше и предпринять еще одну попытку. Созданный в итоге контроллер показан на рис. 25.21, б в виде конечного автомата; он представляет собой рефлексный агент с поддержкой состояния, в котором внутреннее состояние представлено индексом текущего состояния автомата (от sx до s4).
а)а)Рис. 25.21. Пример применения реактивного управления: шестиногий робот (а); дополненный конечный автомат (Augmented Finite State Machine — AFSM) для управления одной ногой (б). Обратите внимание на то, что этот автомат AFSM реагирует на сенсорную обратную связь: если какая-то нога не может двинуться вперед при выполнении этапа ее поворота и переноса в прямом направлении, то она поднимается каждый раз все выше и вышеРис. 25.21. Пример применения реактивного управления: шестиногий робот (а); дополненный конечный автомат (Augmented Finite State Machine — AFSM) для управления одной ногой (б). Обратите внимание на то, что этот автомат AFSM реагирует на сенсорную обратную связь: если какая-то нога не может двинуться вперед при выполнении этапа ее поворота и переноса в прямом направлении, то она поднимается каждый раз все выше и выше
а)
а)
Рис. 25.21. Пример применения реактивного управления: шестиногий робот (а); дополненный конечный автомат (Augmented Finite State Machine — AFSM) для управления одной ногой (б). Обратите внимание на то, что этот автомат AFSM реагирует на сенсорную обратную связь: если какая-то нога не может двинуться вперед при выполнении этапа ее поворота и переноса в прямом направлении, то она поднимается каждый раз все выше и выше
Рис. 25.21. Пример применения реактивного управления: шестиногий робот (а); дополненный конечный автомат (Augmented Finite State Machine — AFSM) для управления одной ногой (б). Обратите внимание на то, что этот автомат AFSM реагирует на сенсорную обратную связь: если какая-то нога не может двинуться вперед при выполнении этапа ее поворота и переноса в прямом направлении, то она поднимается каждый раз все выше и выше
Практика показала, что разновидности такого простого контроллера, действующего на основе обратной связи, позволяют реализовывать исключительно надежные способы ходьбы, с помощью которых робот свободно маневрирует на пересеченной местности. Очевидно, что в таком контроллере не используется модель, кроме того, для выработки управляющих воздействий не осуществляется алгоритмический вывод и не производится поиск. В процессе эксплуатации подобного контроллера решающую роль в выработке поведения роботом играет обратная связь от среды. Само программное обеспечение робота, отдельно взятое, не определяет, что фактически происходит после того, как робот входит в какую-то среду. Поведение, проявляющееся в результате взаимодействия (простого) контроллера и (сложной) среды, часто называют ^ эмерджентным поведением (т.е. поведением не планируемым, а обусловленным ситуацией). Строго говоря, все роботы, рассматриваемые в этой главе, обнаруживают эмерджентное поведение в связи с тем фактом, что ни одна из используемых в них моделей не является идеальной. Но по традиции этот термин применяется для обозначения лишь таких методов управления, в которых не используются явно заданные модели среды. Кроме того, эмерджентное поведение является характерным для значительной части биологических организмов.
С формальной точки зрения реактивные контроллеры представляют собой одну из форм реализации политики для задач MDP (или, если они имеют внутреннее состояние, для задач POMDP). В главе 17 было описано несколько методов выработки политики на основании модели робота и его среды. В робототехнике большое практическое значение имеет подход, предусматривающий составление подобной политики
вручную, поскольку часто невозможно сформулировать точную модель. В главе 21 описаны методы обучения с подкреплением, позволяющие формировать политику на основании опыта. Некоторые из подобных методов (такие как Q-обучение и поиск политики) не требуют модели среды и позволяют создавать высококачественные контроллеры для роботов, но взамен требуют предоставления огромных объемов обучающих данных.
Архитектуры робототехнического
ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
^ Архитектурой программного обеспечения называется применяемая методология структуризации алгоритмов. В понятие архитектуры обычно включают языки и инструментальные средства для написания программ, а также общий подход к тому, как должно быть организовано взаимодействие программ.
Предложения по созданию современных архитектур программного обеспечения для робототехники должны отвечать на вопрос о том, как сочетаются реактивные средства управления и основанные на модели алгоритмические средства управления. Преимущества и недостатки реактивных и алгоритмических средств управления таковы, что эти средства во многом дополняют друг друга. Реактивные средства управления действуют на основании сигналов, полученных от датчиков, и хорошо подходят для принятия решений низкого уровня в реальном времени. Однако реактивные средства управления лишь в редких случаях позволяют вырабатывать приемлемые решения на глобальном уровне, поскольку глобальные управляющие решения зависят от информации, которая не может быть воспринята с помощью датчиков во время принятия решения. Для таких задач в большей степени подходят алгоритмические средства управления.
В связи с этим в большинстве вариантов робототехнических архитектур реактивные методы используются на низких уровнях управления, а алгоритмические методы — на более высоких уровнях. Такая комбинация средств управления уже встречалась в данной главе в описании PD-контроллеров, где было показано, как сочетается (реактивный) PD-контроллер с (алгоритмическим) планировщиком пути. Архитектуры, в которых сочетаются реактивные и алгоритмические методы, обычно называют гибридными архитектурами.
Обобщающая архитектура
^ Обобщающая архитектура [189] представляет собой инфраструктуру для сборки реактивных контроллеров из конечных автоматов. Узлы этих автоматов могут содержать средства проверки для некоторых сенсорных переменных, и в таких случаях трассировка выполнения конечного автомата становится обусловленной результатом подобной проверки. Дуги могут быть размечены сообщениями, которые вырабатываются при прохождении по этим дугам, после чего сообщения передаются в двигатели робота или другие конечные автоматы. Кроме того, конечные автоматы оборудованы внутренними таймерами (часами), которые управляют затратами времени, требуемыми для прохождения дуги. Полученные в итоге автоматы обычно на-
зывают ^ дополненными конечными автоматами, или сокращенно AFSM (Augmented Finite State Machine), где под дополнением подразумевается использование часов.
Примером простого автомата AFSM может служить автомат с четырьмя состояниями, показанный на рис. 25.21, б, который вырабатывает команды циклического движения ноги для шестиногого шагающего робота. Этот автомат AFSM реализует циклический контроллер, который действует в основном без учета обратной связи от среды. Тем не менее обратная связь от датчика учитывается на этапе переноса ноги вперед. Если нога не может пройти вперед, что означает наличие впереди препятствия, робот отводит ногу немного назад, поднимает ее выше и предпринимает попытку еще раз выполнить шаг вперед. Поэтому данный контроллер приобретает способность реагировать на непредвиденные ситуации, возникающие в процессе взаимодействия робота со своей средой.
В обобщающей архитектуре предусмотрены дополнительные примитивы для синхронизации работы автоматов AFSM, а также для комбинирования выходных данных, поступающих от многочисленных, возможно конфликтующих автоматов AFSM. Благодаря этому такая архитектура позволяет программисту компоновать все более и более сложные контроллеры по принципу восходящего проектирования. В рассматриваемом примере можно начать с создания автоматов AFSM для отдельных ног, а вслед за этим ввести автомат AFSM для координации действий одновременно нескольких ног. В качестве надстройки над этими автоматами можно реализовать такое поведение высокого уровня, как предотвращение столкновений с крупными препятствиями, для чего могут потребоваться такие операции, как отступление и изменение направления движения.
Идея компоновки контроллеров роботов из автоматов AFSM весьма заманчива. Достаточно представить себе, насколько сложно было бы выработать такое же поведение с использованием любого из алгоритмов планирования пути в пространстве конфигураций, описанных в предыдущем разделе. Прежде всего, потребовалось бы точная модель местности. Пространство конфигураций робота с шестью ногами, каждая из которых приводится в действие двумя отдельными двигателями, имеет общее количество измерений, равное восемнадцати (двенадцать измерений для конфигурации ног и шесть для локализации и ориентации робота относительно его среды). Даже если бы применяемые компьютеры были достаточно быстродействующими для того, чтобы обеспечить поиск путей в таких многомерных пространствах, все равно нельзя было бы избавиться от необходимости учитывать такие неприятные ситуации, как скольжение робота по склону. Из-за таких стохастических эффектов единственный найденный путь через пространство конфигураций был бы наверняка слишком трудновыполнимым, и с возможными непредвиденными ситуациями не помог бы справиться даже PID-контроллер. Иными словами, задача выработки поведения, определяющего движение с помощью алгоритмических расчетов, слишком сложна для современных алгоритмов планирования движения робота.
К сожалению, обобщающая архитектура также не лишена недостатков. Во-первых, автоматы AFSM обычно действуют под управлением непосредственно полученных сенсорных входных данных. Такая организация работы оправдывает себя, если сенсорные данные надежны и содержат всю необходимую информацию для принятия решения, но становится неприемлемой, если есть необходимость агрегировать сенсорные данные, полученные за определенные промежутки времени, с помощью нетривиальных способов. Поэтому контроллеры обобщающего типа в основном
применяются для решения локальных задач, таких как прохождение вдоль стены или движение к видимым источникам света. Во-вторых, из-за отсутствия средств выполнения алгоритмических расчетов изменение задания для робота становится затруднительным. Робот обобщающего типа обычно выполняет только одно задание, и нет такого способа, который позволил бы модифицировать его средства управления таким образом, чтобы он приспособился к выполнению других задач управления (в этом роботы такого типа полностью аналогичны навозному жуку, о котором речь шла на с. 1). Наконец, в работе контроллеров обобщающего типа трудно разобраться. На практике возникают такие запутанные взаимодействия десятков одновременно функционирующих автоматов AFSM (и со средой), что большинство программистов не в состоянии их проанализировать. По всем этим причинам, несмотря на свою огромную историческую важность, обобщающая архитектура редко используется в коммерческой робототехнике. Но для некоторых ее потомков судьба сложилась иначе.
Трехуровневая архитектура
В гибридных архитектурах реакции объединяются с алгоритмическими вычислениями. Одним из видов гибридной архитектуры, намного превосходящим другие по своей популярности, является ^ трехуровневая архитектура, которая состоит из реактивного, исполнительного и алгоритмического уровней.
^ Реактивный уровень обеспечивает низкоуровневое управление роботом. Отличительной особенностью этого уровня является наличие жесткого цикла “восприятие-действие”. Время принятия решения на этом уровне часто составляет лишь несколько миллисекунд.
^ Исполнительный уровень (или уровень упорядочения) служит в качестве посредника между реактивным и алгоритмическим уровнями. Он принимает директивы от алгоритмического уровня и упорядочивает их для передачи на реактивный уровень. Например, на исполнительном уровне может быть выполнена обработка множества промежуточных пунктов, сформированного алгоритмическим планировщиком пути, а затем приняты решения о том, какое реактивное поведение должно быть вызвано. Время принятия решения на исполнительном уровне обычно составляет порядка одной секунды. Исполнительный уровень отвечает также за интеграцию сенсорной информации в виде представления внутреннего состояния. Например, на этом уровне могут быть реализованы процедуры локализации робота и оперативного составления карты.
На ^ алгоритмическом уровне вырабатываются глобальные решения сложных задач с использованием методов планирования. Из-за вычислительной сложности, связанной с выработкой таких решений, время принятия решений на этом уровне составляет порядка нескольких минут. На алгоритмическом уровне (или уровне планирования) для принятия решений используются модели. Эти модели могут быть подготовлены заранее или сформированы путем обучения на основе имеющихся данных, и в них обычно используется информация о состоянии, собранная на исполнительном уровне.
В большинстве современных систем робототехнического программного обеспечения используются те или иные варианты трехуровневой архитектуры. Но критерии декомпозиции на три уровня нельзя назвать очень строгими. К тому же в неко-
торых системах робототехнического программного обеспечения предусмотрены дополнительные уровни, такие как уровни пользовательского интерфейса, которые управляют взаимодействием с пользователями, или уровни, ответственные за координацию действий робота с действиями других роботов, функционирующих в той же среде.
Робототехнические языки программирования
Многие робототехнические контроллеры реализованы с использованием языков программирования специального назначения. Например, многие программы для обобщающей архитектуры были реализованы на ^ языке поведения, который был определен Бруксом [191]. Этот язык представляет собой язык управления в реальном времени на основе правил, результатом компиляции которого становятся контроллеры AFSM. Отдельные правила этого языка, заданные с помощью синтаксиса, подобного Lisp, компилируются в автоматы AFSM, а группы автоматов AFSM объединяются с помощью совокупности механизмов передачи локальных и глобальных сообщений.
Так же как и обобщающая архитектура, язык поведения является ограниченным, поскольку он нацелен на создание простых автоматов AFSM с относительно узким определением потока связи между модулями. Но в последнее время на базе этой идеи проведены новые исследования, которые привели к созданию целого ряда языков программирования, аналогичных по своему духу языку поведения, но более мощных и обеспечивающих более быстрое выполнение. Одним из таких языков является ^универсальный робототехнический язык, или сокращенно GRL (Generic Robot Language) [681]. GRL — это функциональный язык программирования для создания больших модульных систем управления. Как и в языке поведения, в GRL в качестве основных конструктивных блоков используются конечные автоматы. Но в качестве настройки над этими автоматами язык GRL предлагает гораздо более широкий перечень конструкций для определения коммуникационного потока и синхронизации ограничений между различными модулями, чем язык поведения. Программы на языке GRL компилируются в эффективные программы на таких языках команд, как С.
Еще одним важным языком программирования (и связанной с ним архитектурой) для параллельного робототехнического программного обеспечения является система планирования реактивных действий, или сокращенно RAPS (Reactive Action Plan System) [470]. Система RAPS позволяет программистам задавать цели, планы, связанные с этими целями (или частично определять политику), а также задавать условия, при которых эти планы по всей вероятности будут выполнены успешно. Крайне важно то, что в системе RAPS предусмотрены также средства, позволяющие справиться с неизбежными отказами, которые возникают в реальных робототехнических системах. Программист может задавать процедуры обнаружения отказов различных типов и предусматривать процедуру устранения исключительной ситуации для каждого типа отказа. В трехуровневых архитектурах система RAPS часто используется на исполнительном уровне, что позволяет успешно справляться с непредвиденными ситуациями, не требующими перепланирования.
Существует также несколько других языков, которые обеспечивают использование в роботах средств формирования рассуждений и средств обучения. Например, Golog [918] представляет собой язык программирования, позволяющий обеспечить безукоризненное взаимодействие средств алгоритмического решения задач (планирования) и средств реактивного управления, заданных непосредственно с помощью специфика-
ции. Программы на языке Golog формулируются в терминах ситуационного исчисления (см. раздел 10.3) с учетом дополнительной возможности применения операторов недетерминированных действий. Кроме спецификации программы управления с возможностями недетерминированных действий, программист должен также предоставить полную модель робота и его среды. Как только программа управления достигает точки недетерминированного выбора, вызывается планировщик (заданный в форме программы доказательства теорем) для определения того, что делать дальше. Таким образом программист может определять частично заданные контроллеры и опираться на использование встроенных планировщиков для принятия окончательного выбора плана управления. Основной привлекательной особенностью языка Golog является предусмотренная в нем безукоризненная интеграция средств реактивного управления и алгоритмического управления. Несмотря на то что при использовании языка Golog приходится соблюдать строгие требования (полная наблюдаемость, дискретные состояния, полная модель), с помощью этого языка были созданы высокоуровневые средства управления для целого ряда мобильных роботов, предназначенных для применения внутри помещений.
Язык ^ CES (сокращение от C++ for embedded systems — C++ для встроенных систем) — это языковое расширение C++, в котором объединяются вероятностные средства и средства обучения [1507]. В число типов данных CES входят распределения вероятностей, что позволяет программисту проводить расчеты с использованием неопределенной информации, не затрачивая тех усилий, которые обычно связаны с реализацией вероятностных методов. Еще более важно то, что язык CES обеспечивает настройку робототехнического программного обеспечения с помощью обучения на основании примеров, во многом аналогично тому, что осуществляется в алгоритмах обучения, описанных в главе 20. Язык CES позволяет программистам оставлять в коде “промежутки”, которые заполняются обучающими функциями; обычно такими промежутками являются дифференцируемые параметрические представления, такие как нейронные сети. В дальнейшем на отдельных этапах обучения, для которых учитель должен задать требуемое выходное поведение, происходит индуктивное обучение с помощью этих функций. Практика показала, что язык CES может успешно применяться в проблемных областях, характерных для частично наблюдаемой и непрерывной среды.
Язык ^ ALisp [32] представляет собой расширение языка Lisp. Язык ALisp позволяет программистам задавать недетерминированные точки выбора, аналогичные точкам выбора в языке Golog. Но в языке ALisp для принятия решений применяется не программа доказательства теорем, а средства определения правильного действия с помощью индуктивного обучения, в которых используется обучение с подкреплением. Поэтому язык ALisp может рассматриваться как удобный способ внедрения знаний о проблемной области в процедуру обучения с подкреплением, особенно знаний об иерархической структуре “процедур” желаемого поведения. До сих пор язык ALisp применялся для решения задач робототехники только в имитационных исследованиях, но может стать основой многообещающей методологии создания роботов, способных к обучению в результате взаимодействия со своей средой.
Прикладные области
В настоящем разделе описаны некоторые из основных областей приложения для робототехнической технологии.
Промышленность и сельское хозяйство. Роботы издавна предназначались для использования в тех областях, где требуется тяжелый труд, но трудовые процессы достаточно структурированы, чтобы допускать возможность робототехнической автоматизации. Самым удачным примером может служить сборочная линия, на которой манипуляторы уже давно выполняют такие задачи, как сборка, установка деталей, доставка материалов, сварка и окраска. При решении многих из этих задач роботы оказались более экономически эффективными по сравнению с работниками-людьми.
Для использования на открытых площадках конструктивное исполнение в виде роботов получили многие из тяжелых машин, которые применяются для сбора урожая, подземной проходки или рытья котлованов. Например, в университете Carnegie-Mellon недавно был завершен проект, который показал, что роботы могут использоваться для очистки от старой краски корпусов крупных судов, причем выполняют эту операцию в 50 раз быстрее, чем люди, и оказывают гораздо меньшее вредное воздействие на окружающую среду. Кроме того, было показано, что прототипы автономных роботов-проходчиков работают быстрее и точнее, чем люди, при выполнении задач по транспортировке руды в подземных шахтах. Роботы использовались для составления карт заброшенных шахт и канализационных систем с высокой точностью. Хотя проекты многих из этих систем все еще находятся на этапе разработки их прототипов, наступление той эпохи, когда роботы возьмут на себя основную часть полумеханической работы, которая в настоящее время выполняется людьми, — лишь вопрос времени.
Транспортировка. Области применения робототехнических систем транспортировки являются весьма разнообразными, начиная от автономных вертолетов, которые доставляют объекты в те места, доступ к которым трудно получить иными способами, и заканчивая автоматическими инвалидными колясками, которые перевозят людей, не способных самостоятельно управлять этими колясками, или автономными портальными погрузчиками, которые превосходят самых опытных крановщиков по точности доставки контейнеров с судов на автомобили в грузовых доках. Одним из самых наглядных примеров успешно действующих транспортных роботов, предназначенных для работы внутри помещения, называемых также гоферами (gofer — мальчик на побегушках), является робот Helpmate, показанный на рис. 25.22, а. Такие роботы применяются в десятках больниц для транспортировки пищи и других медицинских материалов. Исследователи разработали робототехнические системы, напоминающие автомобили, которые способны автономно передвигаться по автомагистралям или по бездорожью. В условиях промышленных предприятий автономные транспортные средства в настоящее время стали одним из обычных средств доставки материалов на складах и производственных линиях.
Для эксплуатации многих из этих роботов требуется внести в среду их применения определенные модификации. К числу наиболее распространенных модификаций относятся средства локализации, такие как индуктивные контуры в полу, активные маяки, метки в виде штрих-кода и спутники системы GPS. Поэтому нерешенной задачей в робототехнике является проектирование роботов, способных использовать для своей навигации не искусственные при-
способления, а естественные признаки, особенно в таких условиях, как дальнее океанское плавание, где система GPS недоступна.
Рис. 25.22. Примеры применения роботов в медицине: робот Helpmate применяется для транспортировки пищи и других медицинских препаратов в десятках больниц во всем мире (а); хирургические роботы в операционной (предоставлено компанией da Vinci Surgical Systems) (б)
Работа в опасной среде. Роботы помогали людям при очистке ядерных отходов. К числу наиболее ярких примеров относится устранение последствий аварии в Чернобыле и на острове Тримайл Айленд. Роботы применялись для расчистки завалов Всемирного торгового центра в Нью-Йорке и направлялись на те участки, которые считались слишком опасными для поисковых и спасательных команд.
В некоторых странах роботы используются для транспортировки взрывчатых веществ и обезвреживания бомб; как известно, эти работы характеризуются повышенной опасностью. В настоящее время во многих исследовательских проектах ведется разработка прототипов роботов для обезвреживания минных полей на земле и на море. Большинство существующих роботов для таких задач действуют в режиме телеуправления — ими управляет оператор с помощью средств дистанционного управления. Следующим важным шагом является предоставление таким роботам автономии.
Разведка. Роботы добрались до тех мест, где еще никто не бывал, включая поверхность Марса (см. рис. 25.1, а). С помощью роботов-манипуляторов космонавты выводят на орбиту и снимают с орбиты спутники, а также строят Международную космическую станцию. Кроме того, роботы помогают проводить подводные исследования. Например, с использованием роботов уже было составлено много карт расположения затонувших кораблей. На рис. 25.23 показан робот, составляющий карту заброшенной угольной шахты, наряду с трехмерной моделью карты, формируемой с помощью датчиков расстояния. В 1996 году группа исследователей выпустила шагающего робота в кратер действующего вулкана, чтобы он собрал данные, важные для климатических ис-
следований. В военных операциях широко используются автономные воздушные транспортные средства, известные под названием ^ беспилотных самолетов. Роботы становятся очень эффективными средствами сбора информации в тех областях, доступ к которым является сложным (или опасным) для людей.
Рис. 25.23. Примеры применения роботов в исследованиях труднодоступных участков: робот, используемый для составления карты заброшенной угольной шахты (а); трехмерная карта угольной шахты, составленная роботом (б)
Здравоохранение. Роботы все чаще используются в качестве помощников хирургов при проведении операций на таких важных органах, как мозг, глаза и сердце. На рис. 25.22, б показана подобная система. Благодаря их высокой точности роботы стали незаменимым инструментальным средством при выполнении некоторых видов операций по эндопротезированию тазобедренного сустава. В экспериментальных исследованиях было обнаружено, что робототехнические устройства снижают опасность повреждений при выполнении колоноскопии. За пределами операционной исследователи стали разрабатывать средства робототехнической помощи для пожилых людей и инвалидов, такие как интеллектуальные автоматизированные шагающие аппараты и интеллектуальные игрушки, которые напоминают о наступлении времени приема лекарства.
Персональные услуги. Перспективной областью применения робототехники становится предоставление услуг. Роботы-ассистенты помогают людям выполнять повседневные задачи. В число коммерчески доступных роботов- помощников по дому входят автономные пылесосы, газонокосилки и подносчики клюшек для гольфа. Все эти роботы способны передвигаться самостоятельно и выполняют свои задачи без помощи людей. Некоторые обслуживающие роботы функционируют в общественных местах; к таким примерам относятся роботизированные справочные бюро, развернутые в крупных универсамах и на торговых ярмарках, или автоматические экскурсоводы в музеях. Для успешного выполнения задач обслуживания требуется взаимодействие с людьми и способность надежно реагировать на непредсказуемые и динамические изменения в среде.
Развлечения. Роботы начали завоевывать индустрию игр и развлечений. Выше уже шла речь о роботе AIBO компании Sony (см. рис. 25.4, 5); этот игрушечный робот, похожий на собаку, используется в качестве исследовательской
платформы в лабораториях искусственного интеллекта во всем мире. Одной из самых интересных задач искусственного интеллекта, которые изучаются с помощью этой платформы, является ^ робототехнический футбол, — соревновательная игра, весьма напоминающая тот футбол, в который играют люди, но проводимая с участием автономных мобильных роботов. Робототехнический футбол открывает широкие возможности для исследований по искусственному интеллекту, поскольку ставит в повестку дня целый ряд задач, способных служить прототипами для многих других, более серьезных робототехнических приложений. Ежегодные робототехнические футбольные соревнования привлекают интерес многих исследователей по искусственному интеллекту и вносят много приятных моментов в эту область робототехники.
Дополнение возможностей людей. Последней прикладной областью робототехнической технологии является дополнение возможностей людей. Например, исследователи разработали шагающие машины для прогулок, которые могут использоваться людьми для передвижения вместо инвалидных колясок. Кроме того, в некоторых исследованиях основные усилия в настоящее время сосредоточены на разработке устройств, которые упрощают для людей задачу ходьбы или передвижения их рук путем приложения дополнительных усилий, действующих через устройства, закрепленные вне скелета. Если крепления таких устройств установлены на постоянной основе, то их можно рассматривать как искусственные роботизированные конечности. Еще одной формой дополнения возможностей людей является роботизированное дистанционное выполнение операций, или так называемое телеприсутствие. Дистанционное выполнение операций — это осуществление рабочих заданий на больших расстояниях с помощью робототехнических устройств. При выполнении роботизированных дистанционных операций широко применяется такая конфигурация, как “ведущий-ведомый”, в которой робот-манипулятор повторяет движения действующего на удалении оператора-человека, которые передаются через тактильный интерфейс. Все эти системы дополняют возможности человека по взаимодействию с его средой. Некоторые проекты заходят столь далеко, что в них предпринимается попытка создать некое подобие человека, по меньшей мере на очень поверхностном уровне. Например, в настоящее время некоторые японские компании выполняют коммерческие поставки роботов- гуманоидов.
Резюме
Робототехника — это научно-техническое направление, посвященное созданию интеллектуальных агентов, которые выполняют свои манипуляции в физическом мире. В данной главе представлены перечисленные ниже основные сведения об аппаратном и программном обеспечении роботов.
Роботы оснащены датчиками для получения результатов восприятия из своей среды и исполнительными механизмами, с помощью которых они могут прилагать физические усилия в своей среде. Большинство роботов представляют
собой либо манипуляторы, закрепленные в фиксированных позициях, либо мобильные роботы, способные передвигаться.
Робототехническое восприятие предназначено для оценки количественных значений, необходимых для принятия решений, на основании сенсорных данных. Для выполнения этих функций требуются внутреннее представление и метод обновления этого внутреннего представления во времени. В число широко известных сложных задач восприятия входят локализация и составление карты.
В процессе робототехнического восприятия могут применяться такие вероятностные алгоритмы фильтрации, как фильтры Калмана и фильтры частиц. Эти методы обеспечивают поддержку доверительного состояния, т.е. распределение апостериорных вероятностей по переменным состояния.
Планирование движений робота обычно осуществляется в пространстве конфигураций, каждая точка которого определяет местонахождение и ориентацию робота, а также углы поворота его шарниров.
В состав алгоритмов поиска в пространстве конфигураций входят методы декомпозиции ячеек, которые предусматривают декомпозицию пространства всех конфигураций на бесконечное количество ячеек, и методы скелетирования, предусматривающие создание проекций пространства конфигураций на пространства с меньшими размерностями. После этого задача планирования движений решается с использованием поиска в этих более простых структурах.
Задачу прохождения по пути, найденному с помощью алгоритма поиска, можно решить, используя этот путь в качестве опорной траектории для PID- контроллеров.
При использовании методов на основе поля потенциалов навигация роботов осуществляется с применением функций потенциалов, параметрами которых служат расстояния до препятствий и целевое местонахождение. Недостатком методов на основе поля потенциалов является то, что при их использовании могут возникать тупиковые ситуации, при которых робот не может выйти из локального минимума. Тем не менее эти методы позволяют непосредственно вырабатывать команды на осуществление движения, не требуя планирования пути.
Иногда проще непосредственно задать спецификацию контроллера робота, а не определять алгоритмическим способом путь с помощью явно заданной модели среды. Такие контроллеры часто могут быть выполнены в виде простых конечных автоматов.
Обобщающая архитектура позволяет программистам собирать контроллеры роботов из взаимосвязанных конечных автоматов, дополненных встроенными таймерами.
Для разработки робототехнического программного обеспечения, в котором объединяются средства алгоритмического вывода, упорядочения подцелей и управления, широко применяется инфраструктура, основанная на трехуровневой архитектуре.
Для упрощения разработки программного обеспечения роботов используются языки программирования специального назначения. В этих языках предусмотрены конструкции, предназначенные для разработки многопотокового
программного обеспечения, для интеграции директив управления в средства планирования и для обучения на основе опыта.
Библиографические и исторические заметки
Слово робот получило широкую известность после выхода в 1921 году пьесы R.U.R. (Rossum’s Universal Robots — универсальные роботы Россума) чешского драматурга Карела Чапека. В этой пьесе роботы, которые выращивались из химических растворов, а не конструировались механически, в конечном итоге взбунтовались против своих создателей и решили взять над ними верх. Считается [562], что это слово фактически придумал брат Карела Чапека, Йозеф, который скомбинировал чешские слова “robota” (принудительный труд) и “robotnik” (раб), получив слово “robot”, которое он применил в своем рассказе Opilec, изданном в 1917 году.
Термин “робототехника” (robotics) был впервые использован Айзеком Азимовым [46]. Но само понятие робототехники (которое было известно под многими другими названиями) имеет гораздо более долгую историю. В древнегреческой мифологии упоминается механический человек по имени Талое, который был спроектирован и построен греческим богом огня и кузнечного дела Гефестом. В XVIII столетии разрабатывались восхитительные автоматы (одним из первых примеров таких автоматов является механическая утка Жака Вокансона, созданная в 1738 году), но сложное поведение, которое они демонстрировали, было полностью задано заранее. Возможно, одним из примеров программируемого устройства, подобного роботу, был ткацкий станок Жаккарда (1805 год), описанный в главе 1.
Первым коммерчески поставляемым роботом был робот-манипулятор, получивший название ^ Unimate (сокращение от universal automation — универсальная автоматизация). Робот Unimate был разработан Джозефом Энджелбергером и Джорджем Деволом. В 1961 году первый робот Unimate был продан компании General Motors, в которой он использовался при изготовлении телевизионных трубок. Тот же 1961 год примечателен и тем, что в этом году Девол получил первый патент США на конструкцию робота. Через одиннадцать лет, в 1972 году, корпорация Nissan впервые автоматизировала весь сборочный конвейер с помощью роботов, разработанных компанией Kawasaki на основе роботов, поставляемых компанией Unimation Энджелбергера и Девола. Эта разработка стала началом важной научно-технической революции, которая вначале происходила в основном в Японии и США и до сих пор продолжается во всем мире. Следующий шаг был сделан компанией Unimation в 1978 году, когда ее сотрудниками был разработан робот ^ PUMA (сокращение от Programmable Universal Machine for Assembly— программируемая универсальная машина для сборки). Робот PUMA, первоначально разработанный для компании General Motors, стал фактически стандартом робототехнических манипуляторов на два следующих десятилетия. В настоящее время количество действующих роботов во всем мире оценивается в один миллион, причем больше половины из них установлено в Японии.
Литературу по робототехническим исследованиям можно разделить приблизительно на две части: мобильные роботы и стационарные манипуляторы. Первым автономным мобильным роботом можно считать “черепаху” Грея Уолтера, которая была создана в 1948 году, хотя ее система управления не была программируемой.
Робот “Зверь Хопкинса” (Hopkins Beast), созданный в начале 1960-х годов в Университете Джона Хопкинса, был гораздо более сложным; он имел аппаратные средства распознавания образов и был способен обнаружить крышку стандартной розетки питания переменным током. Этот робот обладал способностью находить розетки, подключаться к ним и перезаряжать свои аккумуляторы! Тем не менее “Зверь” имел ограниченный набор навыков. Первым мобильным роботом общего назначения был “Shakey”, разработанный в конце 1990-х годов в институте, называвшемся тогда Станфордским научно-исследовательским институтом (Stanford Research Institute; теперь он носит название SRI) [466], [1143]. “Shakey” был первым роботом, в котором объединялись функции восприятия, планирования и выполнения, и это замечательное достижение оказало влияние на многие дальнейшие исследования по искусственному интеллекту. К другим важным проектам относятся Stanford Cart и CMU Rover [1082]. В [303] описано классическое исследование по автономным транспортным средствам.
В основе развития области робототехнической картографии лежат два различных источника. Первое направление начиналось с работы Смита и Чизмена [1440], которые применяли фильтры Калмана для одновременного решения задач локализации и составления карты. Разработанный ими алгоритм был впервые реализован в исследовании, описанном в [1095], а в дальнейшем дополнен в [912]. В [400] описано современное состояние дел в этой области. Второе направление началось с разработки представления в виде ^ сетки занятости для вероятностной картографии, в которой задается вероятность того, что каждый участок (х,у) занят некоторым препятствием [1083]. Обзор современного состояния дел в робототехнической картографии можно найти в [1508]. Одной из первых работ, в которой было предложено использовать топологическую, а не метрическую картографию, стимулом для которой послужили модели пространственного познания человека, была [863].
Обзор самых ранних методов локализации мобильных роботов приведен в [153]. В теории управления фильтры Калмана применяются в качестве метода локализации в течение многих десятилетий, а в литературе по искусственному интеллекту общая вероятностная формулировка задачи локализации появилась гораздо позже, благодаря работам Тома Дина и его коллег [356], [362], а также Симонса и Кёнига [1412]. В последней работе был предложен термин ^ марковская локализация. Первым практическим приложением этого метода явилась работа Бургарда и др. [208], которые создали целый ряд роботов, предназначенных для использования в музеях. Метод локализации Монте- Карло, основанный на фильтрах частиц, был разработан Фоксом и др. [488] и в настоящее время получил широкое распространение. В ^ фильтре частиц, действующем по принципу Рао-Блэквелла, объединяются средства фильтрации частиц для локализации робота со средствами точной фильтрации для составления карты [1074], [1106].
В течение последнего десятилетия общим стимулом для проведения исследований по мобильным роботам служат два важных соревнования. Ежегодное соревнование мобильных роботов общества AAAI впервые было проведено в 1992 году. Первым победителем соревнования стал робот Carmel [287]. Наблюдаемый прогресс остается стабильным и весьма впечатляющим: в одном из последних соревнований (2002 год) перед роботами стояла задача войти в комплекс зданий, где проводилась конференция, найти путь к бюро регистрации, зарегистрироваться на конференции и произнести речь. В соревновании ^ Robocup, инициатором проведения которого в 1995 году стал Китано со своими коллегами [802], провозглашена цель — к 2050 году
“разработать команду полностью автономных роботов-гуманоидов, которые смогут победить команду чемпионов мира по футболу среди людей”. Игры происходят в лигах для роботов, имитирующих людей, колесных роботов различных размеров и четырехногих роботов Aibo компании Sony. В 2002 году это соревнование привлекло команды почти из 30 различных стран и на нем присутствовало больше 100 тысяч зрителей.
Исследования по созданию роботов-манипуляторов, которые первоначально именовались ^ машинами “рука-глаз”, развиваются в нескольких весьма различных направлениях. Первой важной работой по созданию машины “рука—глаз” был проект Генриха Эрнста под названием МН-1, описанный в тезисах его докторской диссертации, которые были опубликованы в Массачусетсском технологическом институте [441]. Проект Machine Intelligence, разработанный в Эдинбурге, также стал одной из первых демонстраций впечатляющей сборочной системы, основанной на использовании средств машинного зрения, которая получила название Freddy [1044]. После того как был сделан этот решающий начальный вклад, основные усилия были сосредоточены на создании геометрических алгоритмов для решения задач планирования движения в детерминированной и полностью наблюдаемой среде. В оригинальной работе Рейфа [1274] было показано, что задача планирования движения робота является PSPACE-трудной. Представление на основе пространства конфигураций было предложено Лозано-Пересом [956]. Важное влияние оказал ряд статей Шварца и Шарира, посвященных задачам, которые были ими названы задачами для ^ грузчиков-тяжеловесов (piano mover) [1371].
Метод рекурсивной декомпозиции ячеек для планирования в пространстве конфигураций был впервые предложен в [193] и существенно доработан в [1646]. Самые первые алгоритмы скелетирования были основаны на диаграммах Вороного [1313] и
графах видимости [1581]. В [603] приведены результаты разработки эффективных методов инкрементного вычисления диаграмм Вороного, а в [253] диаграммы Вороного были распространены на гораздо более широкий класс задач планирования движения. Втезисахдокторской диссертации Джона Кэнни [219] предложен первый полностью экспоненциальный алгоритм планирования движения с использованием еще одного метода скелетирования, называемого алгоритмом ^ силуэта. В книге Жан-Клода Латомба [891] рассматривается целый ряд подходов к решению задачи планирования движения. В [780] описаны методы разработки вероятностных дорожных карт, которые в настоящее время относятся к числу наиболее эффективных методов. Планирование тонких движений с ограниченными сенсорными данными исследовалось в [217] и [957] на основе идеи интервальной неопределенности, а не вероятностной неопределенности. В навигации на основе отметок [902] используются во многом такие же идеи, как и в других областях исследования мобильных роботов.
Управлению роботами как динамическими системами (для решения задач манипулирования или навигации) посвящен огромный объем литературы, поэтому в данной главе лишь кратко рассматриваются сведения, касающиеся этой области. К числу важнейших работ относятся трехтомник по импедансному управлению Хогана [668] и общее исследование по динамике роботов Физерстоуна [456]. Дин и Уэллман [363] были в числе первых, кто попытался связать воедино теорию управления и системы планирования на основе искусственного интеллекта. Тремя классическими учебниками по математическим основам робототехнического манипулирования являются [305], [1184] и [1634]. Важное значение в робототехнике имеет также область проблем ^ схватывания, поскольку тема определения стабильных ус-
ловий приложения захвата является весьма сложной [998]. Для того чтобы иметь возможность создать успешно действующее средство схватывания, необходимо обеспечить восприятие данных о прикосновении, или ^ тактильную обратную связь, для определения усилия контакта и обнаружения проскальзывания [455].
Понятие управления на основе поля потенциалов, с помощью которого предпринимаются попытки одновременно решать задачи планирования движения и управления, было введено в сферу робототехники Хатибом [793]. В технологии мобильных роботов эта идея стала рассматриваться как практический способ решения задачи предотвращения столкновений, а в дальнейшем была дополнена и легла в основу алгоритма ^гистограмм векторного поля [154]. Функции навигации, представляющие собой робототехническую версию политики управления для детерминированных задач MDP, были предложены в [812].
Вокруг проблемы создания архитектур программного обеспечения для роботов ведутся оживленные дискуссии. Истоками трехуровневой архитектуры стали исследования, проводившиеся еще в эпоху так называемого “старого доброго искусственного интеллекта”, в том числе исследования по созданию проекта Shakey; общий обзор на эту тему приведен в [525]. Обобщающая архитектура была предложена Родни Бруксом [189], хотя аналогичные идеи были разработаны независимо Брейтенбер- гом [172], в книге которого, Vehicles, описан ряд простых роботов, основанных на поведенческом подходе. Вслед за успешным созданием Бруксом шестиногого шагающего робота был разработан целый ряд других проектов. Коннелл описал в своих тезисах докторской диссертации [288] результаты разработки мобильного робота, способного находить объекты, проект которого был полностью реактивным. Описания попыток распространить поведенческий принцип на системы, состоящие из нескольких роботов, можно найти в [999] и [1176]. Результатом обобщения идей робототехники, основанной на параллельно организуемом поведении, стало создание универсальных языков управления роботами GRL [681] и Colbert [832]. В [38] приведен обзор состояния дел в этой области.
Для управления мобильными роботами, выполняющими задания по разведке местности и доставке материалов, использовались также ситуационные автоматы [760], [1308], описанные в главе 7. Проекты ситуационных автоматов тесно связаны с проектами, основанными на организации поведения, поскольку они состоят из конечных автоматов, отслеживающих различные аспекты состояния среды с использованием простых комбинаторных схем. Тем не менее в подходе, основанном на организации поведения, подчеркивается отсутствие явного представления, а ситуационные автоматы конструируются алгоритмически из декларативных моделей среды таким образом, что представительное содержание каждого регистра состояния является полностью определенным.
В настоящее время имеется несколько хороших современных учебников по мобильной робототехнике. Кроме учебников, указанных выше, можно назвать сборник Кортенкампа и др. [846], в котором приведен исчерпывающий обзор современных архитектур систем мобильных роботов. В недавно изданных учебниках [423] и [1107] рассматриваются более общие вопросы робототехники. Еще в одной недавно изданной книге по робототехническому манипулированию рассматриваются такие сложные темы, как согласующее движение [997]. Основной конференцией по робототехнике является IEEE International Conference on Robotics and Automation. В число робо-
тотехнических журналов входят IEEE Robotics and Automation, International Journal of Robotics Research и Robotics and Autonomous Systems.
Упражнения
При любом конечном размере выборки результаты применения алгоритма локализации Монте-Карло являются смещенными (т.е. ожидаемое значение данных о местонахождении, вычисленные с помощью алгоритма, отличаются от истинного ожидаемого значения), поскольку именно так действуют алгоритм фильтрации частиц. В данном упражнении предлагается оценить это смещение.
Для упрощения рассмотрим мир с четырьмя возможными местонахождениями робота: Х=(х1/х2,х3,х4). Первоначально осуществим равномерную выборку М>1 образцов среди этих местонахождений. Как обычно, вполне приемлемо, если для любого из местонахождений X будет сформировано больше одной выборки. Допустим, что Z— булева сенсорная переменная,
характеризующаяся следующими условными вероятностями
Р ( z | Xi) = 0.8Р ( z | Х2) = 0.4Р ( z | х3) = 0.1Р ( z | х4) = 0.1Р ( z | Xi) = 0.8Р ( z | Х2) = 0.4Р ( z | х3) = 0.1Р ( z | х4) = 0.1P(-iz|xi) = 0.2
Р ( z | Xi) = 0.8
Р ( z | Х2) = 0.4
Р ( z | х3) = 0.1
Р ( z | х4) = 0.1
Р ( z | Xi) = 0.8
Р ( z | Х2) = 0.4
Р ( z | х3) = 0.1
Р ( z | х4) = 0.1
P(-iz|x2) = 0.6
P(-iz|x3) = 0.9
P(-iz|x4) = 0.9
В алгоритме MCL эти вероятности используются для формирования весов частиц, которые в дальнейшем нормализуются и используются в процессе повторной выборки. Для упрощения предположим, что при повторной выборке вырабатывается только один новый образец, независимо от N. Этот образец может соответствовать любому из четырех местонахождений X. Таким образом, процесс выборки определяет распределение вероятностей по X.
Каково результирующее распределение вероятностей по X для этого нового образца? Ответьте на этот вопрос отдельно для №1,..., 10 и для №оо
Разница между двумя распределениями вероятностей Р и Q может быть измерена с помощью дивергенции KL, которая определяется следующим образом:
Е
Ркх^
i
Каковы значения дивергенции KL между распределениями в упр. 25.1, а и истинным распределением апостериорных вероятностей?
Какая модификация формулировки задачи (а не алгоритма!) гарантировала бы, чтобы конкретное приведенное выше выражение для оценки оставалось несмещенным даже при конечных значений ьП Предложите по меньшей мере две такие модификации (но каждая из них должна соответствовать предложенному заданию).
(^) Реализуйте алгоритм локализации Монте-Карло для моделируемого робота с датчиками расстояний. Карту, нанесенную на сетку, и данные о расстояниях можно найти в репозитарии кода по адресу aima.cs.berkeley.edu. Упражнение будет считаться выполненным, если вы продемонстрируете успешную глобальную локализацию робота.
Рассмотрим робот-манипулятор, показанный на рис. 25.11. Предположим, что элемент у основания робота имеет длину 60 см, а плечо и предплечье имеют длину по 40 см. Как было указано на с. 1, обратная кинематика робота часто является не уникальной. Сформулируйте явное решение в замкнутой форме для обратной кинематики этого манипулятора. При каких именно условиях это решение является уникальным?
ё) Реализуйте алгоритм вычисления диаграммы Вороного для произвольной двухмерной среды, описанной с помощью булева массива с размерами пхп. Проиллюстрируйте работу вашего алгоритма, построив график диаграммы Вороного для 10 интересных карт. Какова сложность вашего алгоритма?
В этом упражнении рассматривается связь между рабочим пространством и пространством конфигураций с использованием примеров, показанных на рис. 25.24.
Рис. 25.24. Схемы для у пр. 25.5
Рассмотрим конфигурации роботов, показанных на рис. 25.24, а—в, игнорируя препятствие, приведенное на каждом из этих рисунков. Пари-
суйте соответствующие конфигурации манипулятора в пространстве конфигураций. (Подсказка. Каждая конфигурация манипулятора отображается на единственную точку в пространстве конфигураций, как показано на рис. 25.11, б.)
Нарисуйте пространство конфигураций для каждой из диаграмм рабочего пространства, приведенных на рис. 25.24, а—в. (Подсказка. В этих пространствах конфигураций общим с пространством конфигураций, показанным на рис. 25.24, а, является тот участок, который соответствует столкновению манипулятора робота с самим собой, а различия обусловлены отсутствием окружающих препятствий и изменением местонахождений препятствий на этих отдельных рисунках.)
Для каждой из черных точек, приведенных на рис. 25.24, д, е, нарисуйте соответствующие конфигурации манипулятора робота в рабочем пространстве. В этом упражнении не рассматривайте затененные участки.
Все пространства конфигураций, показанные на рис. 25.24, д, е, сформированы с учетом единственного препятствия в рабочем пространстве (темное затенение), а также ограничений, обусловленных ограничением, препятствующим столкновению манипулятора с самим собой (светлое затенение). Для каждой диаграммы нарисуйте препятствие в рабочем пространстве, которое соответствует участку с темным затенением.
На рис. 25.24, г, показано, что единственное плоское препятствие способно разбить рабочее пространство на два несвязанных между собой участка. Каково максимальное количество несвязанных участков, которые могут быть созданы в результате вставки плоского препятствия в свободное от препятствий связное рабочее пространство для робота с двумя степенями свободы? Приведите пример и объясните, почему не может быть создано большее количество несвязных участков. Относится ли это утверждение к неплоскому препятствию?
Рассмотрим упрощенный робот, показанный на рис. 25.25. Предположим, что декартовы координаты робота всегда известны, а также известны координаты его целевого местонахождения. Тем не менее неизвестны местонахождения препятствий. Робот, как показано на этом рисунке, может обнаруживать препятствия, находящиеся в непосредственной близости от него. Для упрощения предположим, что движения робота не подвержены шуму и что пространство состояний является дискретным. На рис. 25.25 приведен только один пример; в этом упражнении требуется найти решение для всех возможных миров, заданных в координатной сетке, где действительно имеется путь от начала до целевого местонахождения.
Спроектируйте алгоритмический контроллер, который гарантирует, что робот всегда достигнет своего целевого местонахождения, если это вообще возможно. Этот алгоритмический контроллер может запоминать в форме карты результаты измерений, которые он получает по мере передвижения робота. Между отдельными операциями перемещения робот может затрачивать произвольно долгое время на алгоритмическую обработку информации.
Рис. 25.25. Упрощенный робот в лабиринте (см. у пр. 25.6)
Теперь спроектируйте реактивный контроллер для выполнения той же задачи. Этот контроллер может не запоминать полученные ранее результаты сенсорных измерения. (Он может даже не составлять карту!) Вместо этого он должен принимать все решения на основании текущих результатов измерений, которые включают данные о его собственном местонахождении и о местонахождении цели. Время, необходимое для выработки решения, не должно зависеть от размеров среды или от количества ранее выполненных шагов. Каково максимальное количество шагов, которые могут потребоваться роботу для достижения цели?
Какую производительность покажут контроллеры, созданные по условиям упр. 25.6, а и б, если учитываются только следующие шесть условий: непрерывное пространство состояний, зашумленные результаты восприятия, зашумленные результаты движения, зашумленные результаты и восприятия, и движения, неизвестное местонахождение цели (цель может быть обнаружена только в пределах действия датчика расстояний) или движущиеся препятствия. Для каждого условия и каждого контроллера приведите пример ситуации, в которой робот не достигает цели (или объясните, почему такая ситуация не может возникнуть).
На рис. 25.21, б показан дополненный конечный автомат для управления одной ногой шестиногого робота. Цель этого упражнения состоит в том, чтобы спроектировать автомат AFSM, который объединяет шесть экземпляров отдельных контроллеров ног и обеспечивает эффективное, стабильное движение. Для этой цели вы должны дополнить контроллер отдельной ноги так, чтобы он передавал сообщения вновь разрабатываемому автомату AFSM и ожидал поступления других сообщений. Докажите, почему предложенный вами контроллер является эффективным, в том отношении, что он не затрачивает энергию непроизводительно (например, на приведение в движение ног, проскальзывающих в каком-то месте) и что он продвигает робота вперед с достаточно высокой скоростью. Докажите, что предложенный вами контроллер удовлетворяет условию стабильности, приведенному на с. 1.
(Это упражнение было впервые предложено Майклом Генезеретом (Michael Genesereth) и Нильсом Нильссоном (Nils Nilsson). В нем могут участвовать
и студенты-первокурсники, и аспиранты.) Люди так успешно выполняют простейшие задачи даже без помощи пальцев, например берут со стола чашки или укладывают кубики в столбики, что часто не осознают, насколько сложными являются эти задачи. Данное упражнение позволяет раскрыть всю сложность элементарных задач и снова пройти путь развития робототехники за последние 30 лет. Вначале нужно выбрать задачу, такую как составление арки из трех блоков. Затем необходимо организовать работу робота с использованием четырех людей, как описано ниже.
Мозг. Задача Мозга состоит в том, что он должен составлять план достижения цели и управлять руками при выполнении этого плана. Мозг получает входные данные от Глаз, но не может видеть непосредственно саму сцену. Мозг является единственным, кто знает, в чем состоит цель.
Глаза. Задача Глаз состоит в том, чтобы сообщать Мозгу краткое описание сцены. Глаза должны находиться на расстоянии одного-двух метров от рабочей среды и могут предоставлять ее качественное описание (например, “красная коробка стоит на зеленой коробке, лежащей на боку”) или количественное описание (“зеленая коробка находится слева от синего цилиндра, на расстоянии около полуметра”). Глаза могут также отвечать примерно на такие вопросы Мозга: “Есть ли промежуток между Левой Рукой и красной коробкой?” Если в вашем распоряжении имеется видеокамера, направьте ее на сцену и разрешите Глазам смотреть в видоискатель видеокамеры, а не прямо на сцену.
Левая Рука и Правая Рука. Роль каждой Руки играют по одному человеку. Две Руки стоят рядом друг с другом; Левая Рука использует только свою левую руку, а Правая Рука — только свою правую руку. Руки выполняют лишь простые команды от Мозга, например: “Левая Рука, передвинься на пять сантиметров вперед”. Руки не могут выполнять команды, отличные от движений; например: “Подними коробку” — это не та команда, которую может выполнить Рука. Для предотвращения попыток действовать пальцами можно предусмотреть, чтобы Руки носили рукавицы или действовали с помощью клещей. Глаза у Рук должны быть завязаны. Единственные сенсорные возможности, которые им предоставляются, таковы: они имеют право сообщить о том, что путь их движения заблокирован неподвижным препятствием, таким как стол или другая Рука. В подобных случаях Руки могут лишь подать звуковой сигнал, чтобы сообщить Мозгу о возникшем затруднении.
Часть VIII
Заключение
1248125912481259Философские основания
1248
1259
1248
1259
Настоящее и будущее искусственного интеллекта
26 Философскиеоснования
В данной главе речь идет о том, что означает “мыслить”, а также о том, могут ли и должны ли этим заниматься искусственно созданные объекты.
Как упоминалось в главе 1, философы размышляли над мировыми проблемами задолго до того, как появились компьютеры, и пытались решить некоторые проблемы, которые по сути относятся к искусственному интеллекту: “Как функционирует разум? Возможно ли, чтобы машины действовали столь же интеллектуально, как люди, а если ответ на этот вопрос является положительным, то будет ли это означать, что они обладают разумом? Каковы этические последствия создания интеллектуальных машин?” Во всех предыдущих главах настоящей книги рассматривались вопросы, касающиеся самого искусственного интеллекта, а здесь мы в рамках одной главы рассмотрим указанные выше философские проблемы.
Прежде всего введем некоторую терминологию: утверждение, согласно которому машины, возможно, обладают способностью действовать интеллектуально (по- видимому, эту мысль лучше выразить таким образом, что машины, возможно, способны действовать так, как будто действительно являются интеллектуальными), философы называют гипотезой ^ слабого искусственного интеллекта, а утверждение, что машины действительно мыслят (а не просто имитируют мыслительные процессы), называется гипотезой ^ сильного искусственного интеллекта.
Большинство исследователей искусственного интеллекта принимают гипотезу слабого искусственного интеллекта как данную и не задумываются над тем, что может рассматриваться также гипотеза сильного искусственного интеллекта; коль скоро разработанная ими программа успешно функционирует, их не волнует, назовут ли ее работу имитацией интеллекта или настоящим интеллектом. Но всех исследователей искусственного интеллекта должны заботить этические последствия их деятельности.
Слабый искусственный интеллект:
МОГУТ ЛИ МАШИНЫ ДЕЙСТВОВАТЬ ИНТЕЛЛЕКТУАЛЬНО?
Некоторые философы пытались доказать, что создать искусственный интеллект невозможно, т.е. что машины никогда не смогут действовать интеллектуально. Некоторые из них даже использовали свою эрудицию, чтобы призвать всех прекратить исследования искусственного интеллекта, приводя следующие доводы.
Искусственный интеллект, создаваемый в рамках культа компьютсроцентризма, не дает даже ни малейшего шанса на то, что с его помощью удастся добиться долговременных результатов ...настало время направить усилия исследователей искусственного интеллекта (и значительные средства, выделяемые на их поддержку) в области, отличные от этого компьютеризированного подхода [1355].
Очевидно, что ответ на вопрос о том, возможно или невозможно создание искусственного интеллекта, зависит от того, как определено само понятие искусственного интеллекта. По существу создание искусственного интеллекта — это борьба за разработку наилучшей возможной программы агента в данной конкретной архитектуре. При использовании такой формулировки создание искусственного интеллекта возможно по определению, поскольку для любой цифровой архитектуры, состоящей из к битов памяти, существует точно 2к программ агентов, и для того чтобы найти наилучшую из них, достаточно просто последовательно проверить их все. Такой подход может оказаться неосуществимым при больших значениях к, но философы оперируют с теоретическими, а не практическими конструкциями.
Приведенное выше определение искусственного интеллекта вполне подходит для решения технической проблемы поиска приемлемой программы агента при наличии некоторой заданной архитектуры. Поэтому вполне можно было бы закончить этот раздел прямо сейчас, ответив положительно на вопрос, приведенный в его названии. Но философов интересует также проблема сравнения двух вычислительных архитектур — человека и машины. К тому же в философии существует давняя традиция поиска ответа на вопрос: ^ Могут ли машины мыслить? К сожалению, сам этот вопрос определен неправильно. Для того чтобы понять, почему это так, рассмотрим приведенные ниже вопросы.
Могут ли машины совершать полеты?
Могут ли машины заниматься плаванием?
Большинство людей согласятся, что ответ на первый вопрос является положительным, поскольку самолеты предназначены именно для того, чтобы совершать полеты, но ответят на второй вопрос отрицательно; корабли и подводные лодки движутся над водой и под водой, но это мы не называем занятиями плаванием. Тем не менее ни приведенные вопросы, ни ответы не оказывают никакого влияния на повседневную деятельность специалистов по аэронавтике и судоходству, а также на пользователей тех машин, которыми они управляют. К тому же ответы на эти вопросы никак не могут помочь лучше проектировать или расширять возможности самолетов и подводных лодок и в большей степени касаются выбора правильных способов словоупотребления. Слово “заниматься плаванием” (swim) в английском языке постепенно приняло смысл “продвигаться в воде за счет движений частей тела”, а слово “совершать полеты” (fly) не налагает таких ограничений на выбор способов
передвижения. Практическая возможность пользоваться услугами “мыслящих машин” предоставляется человеку в течение всего лишь 50 лет, а этого еще недостаточно для того, чтобы толкование слова “мыслить” распространилось и на машины.
Алан Тьюринг в своей знаменитой статье "Computing Machinery and Intelligence” [1520] указал, что вместо поиска ответа на вопрос, могут ли машины мыслить, мы должны интересоваться тем, могут ли машины пройти поведенческий тест интеллектуальности, который в дальнейшем получил название теста Тьюринга. Этот тест заключается в том, что программа в течение 5 минут участвует в разговоре (складывающемся из сообщений, которые передаются в оперативном режиме) с некоторым собеседником. Затем этот собеседник должен определить, проводился ли этот разговор с программой или с другим человеком; программа успешно проходит тест, если ей удается обмануть собеседника в 30% случаев. Тьюринг предсказал, что к 2000 году компьютер с объемом памяти в 109 единиц удастся запрограммировать настолько успешно, чтобы он прошел этот тест, но оказался неправ. Некоторых людей еще раньше удавалось водить за нос в течение 5 минут; например, программа Eliza и чатбот (робот-собеседник) Mgonz, действующий в Internet, не раз обманывали людей, которые так и не могли понять, что они общаются с программой, а программа Alice смогла даже одурачить судью на соревнованиях за приз Лёбнера (Loebner Prize) 2001 года. Но ни одной программе не удалось приблизится к 30%-ному критерию в борьбе против специально обученных судей, да и в самой области искусственного интеллекта тесту Тьюринга уделяют все меньше внимания.
Тьюринг также исследовал широкий перечень вероятных возражений против самой возможности создания интеллектуальных машин, в том числе сумел предвидеть практически все возражения, которые были выдвинуты в течение полувека, прошедшего со времени появления его статьи. В этой главе будут рассмотрены некоторые из них.
Довод, исходящий из неспособности
В “доводе, исходящем из неспособности”, выдвигается претензия, что “машина никогда не сможет выполнить действие X”. В качестве примеров действий X Тьюринг приводит следующий список.
Быть добрым, щедрым, красивым, дружелюбным, инициативным, иметь чувство юмора, отличать правду от лжи, совершать ошибки, влюбляться, наслаждаться земляникой и мороженым, заставлять влюбляться в себя, учиться на опыте, правильно употреблять слова, быть предметом собственных мыслей, проявлять такое же разнообразие в поведении, как и человек, создавать действительно что-то новое.
Тьюрингу пришлось воспользоваться своей интуицией для выдвижения предположений о том, что будет возможно в будущем, а мы имеем счастливую возможность оглянуться назад, чтобы узнать, чего уже удалось добиться компьютерам. Нельзя отрицать, что компьютеры в наши дни выполняют многие действия, которые раньше были прерогативой одних лишь людей. Программы играют в шахматы, шашки и другие игры, контролируют детали на сборочных конвейерах, проверяют правописание в документах, введенных с помощью текстового редактора, водят автомобили
и вертолеты, диагностируют заболевания, а также выполняют сотни других работ столь же хорошо, как люди, или даже лучше. Компьютеры сделали небольшие, но важные открытия в астрономии, математике, химии, минералогии, биологии, компьютерных науках и других областях. В каждом из этих случаев требовалось обладать способностями на уровне человека-эксперта.
С учетом того что мы знаем о компьютерах, не удивительно, что они легко справляются с такими комбинаторными задачами, как игра в шахматы. Но алгоритмы действуют также на уровнях не ниже человека при решении таких задач, которые, на первый взгляд, не позволяют обойтись без человеческого суждения или, как выразил это Тьюринг, заставляют “учиться на опыте” и требуют наличия способностей “отличать правду от лжи”. Еще в 1955 году Пауль Мель [1032] (см. также [600]) изучал процессы принятия решений обученными экспертами как субъективные задачи, аналогичные прогнозированию успешного овладения студентом программы обучения или повторного совершения преступления рецидивистом. В 19 из 20 рассмотренных им исследований Мель обнаружил, что простые алгоритмы статистического обучения (такие как алгоритмы линейной регрессии или наивные байесовские алгоритмы) вырабатывают лучшие предсказания, чем люди-эксперты. В американской Службе образовательного тестирования (Educational Testing Service) с 1999 года использовалась автоматизированная программа для выставления оценок по обзорным вопросам на экзаменах GMAT. Результаты работы программы согласовывались с результатами работы экзаменаторов, которым было поручено выставлять такие оценки, в 97% случаев, а этот уровень соответствует совпадению оценок двух экзаменаторов [212].
Очевидно, что компьютеры могут выполнять многие действия столь же успешно или даже лучше, чем люди, включая такие работы, в которых, по мнению людей, требуется огромная человеческая прозорливость и понимание. Это, безусловно, не означает, что компьютеры при выполнении этих работ проявляют прозорливость и понимание (указанные свойства не входят в состав поведения, о чем будет сказано ниже), но суть заключается в том, что первые предположения о содержании мыслительных процессов, требуемых для выработки данного конкретного поведения, часто оказываются ложными. Безусловно, верно также то, что во многих областях компьютеры все еще не добились значительного успеха (это еще мягко сказано), включая поставленную Тьюрингом задачу ведения разговора на свободную тему.
Возражения, основанные на принципах математики
Благодаря работам Тьюринга [1518] и Гёделя [566] широко известно, что на некоторые математические вопросы нельзя даже в принципе найти ответ в рамках конкретных формальных систем. При этом наибольшую известность получила теорема Гёделя о неполноте (см. раздел 9.5). Кратко эту теорему можно сформулировать таким образом: для любой формальной аксиоматической системы Г, достаточно мощной для того, чтобы в ней можно было представить арифметику, возможно сконструировать так называемое “предложение Гёделя” G(F) с описанными ниже свойствами.
G (F) — это предложение системы F, но оно не может быть доказано в рамках F.
Если система Fявляется непротиворечивой, то предложение G (F) — истинно.
Философы, в том числе Дж. Р. Лукас [960], утверждали, что эта теорема показывает, будто машины как мыслящие субъекты всегда будут стоять ниже людей, по-
скольку машины — это формальные системы, ограниченные в силу теоремы о неполноте (они не способны установить истинность относящегося к ним самим предложения Гёделя), а люди не имеют такого ограничения. Споры вокруг данного утверждения продолжались несколько десятилетий и породили огромное количество литературы, в том числе две книги математика сэра Роджера Пенроуза [1204], [1205], повторившего это утверждение с некоторыми новыми выкрутасами (такими как гипотеза, согласно которой человек отличается от машины, поскольку его мозг действует на основе квантовой гравитации). В этой главе мы рассмотрим только три из основных проблем, связанных с этим утверждением.
Во-первых, теорема Гёделя о неполноте распространяется только на формальные системы, достаточно мощные для того, чтобы в них можно было представить арифметику. К таким формальным системам относятся машины Тьюринга, поэтому утверждение Лукаса частично основано на том предположении, что компьютеры представляют собой машины Тьюринга. Это — хорошая аппроксимация, но не совсем оправданная. Машины Тьюринга являются бесконечными, а компьютеры конечны, поэтому любой компьютер может быть описан как (очень большая) система в пропозициональной логике, на которую не распространяется теорема Гёделя о неполноте.
Во-вторых, агенту не следует стыдиться того, что он не может определить истинность некоторого высказывания, тогда как другие агенты могут. Рассмотрим приведенное ниже предложение.
Дж.Р. Лукас не может неоспоримо утверждать, что это предложение истинно.
Если бы Лукас подтвердил истинность этого предложения, то он бы противоречил самому себе, поэтому Лукас не может неоспоримо подтвердить истинность данного предложения, а это означает, что оно должно быть истинным. (Это предложение не может быть ложным, поскольку, если бы Лукас не мог неоспоримо его подтвердить, то оно было бы истинным.) Таким образом, мы продемонстрировали, что есть такое предложение, которое Лукас не может неоспоримо подтвердить, тогда как другие люди (и машины) могут. Но из-за этого никто не вправе изменить своего мнения о Лукасе в худшую сторону. В качестве еще одного примера укажем, что ни один человек за всю свою жизнь не сможет вычислить сумму 10 миллиардов десятизначных чисел, а компьютер способен выполнить такую операцию за секунды. Тем не менее мы не рассматриваем этот факт как свидетельство фундаментального ограничения способности человека мыслить. Люди вели себя интеллектуально за тысячи лет до того, как изобрели математику, поэтому маловероятно, что способность формировать математические рассуждения играет более чем периферийную роль в том, что подразумевается под понятием интеллектуальности.
В-третьих (и это — наиболее важное возражение), даже если принять предположение, что компьютеры ограничены в том, что они способны доказать, нет никаких оснований считать, будто эти ограничения не распространяются на людей. Слишком легко вести этот спор, строго доказав, что формальная система не может выполнить действие X, а затем сообщив, что люди могут выполнить действие X, используя свои человеческие неформальные методы, но не дав ни одного свидетельства в пользу этого утверждения. И действительно, невозможно доказать, что на формальные рассуждения, проводимые людьми, не распространяется теорема Гёделя о неполноте, поскольку любое строгое доказательство само должно содержать формализацию способностей человеческого гения, которые, как многие утверждают, являются не-
формализуемым, и поэтому должно опровергать само себя. Таким образом, нам остается лишь прибегать к интуитивному представлению о том, что люди иногда способны проявлять сверхчеловеческие черты математического прозрения. Подобные утверждения выражаются в виде доводов: “мы должны быть уверены в том, что мы мыслим правильно, поскольку иначе мышление вообще становится невозможным” [961]. Но если об этом зашла речь, то давно известна склонность людей совершать ошибки. Это, безусловно, касается повседневной мыслительной деятельности, но справедливо также в отношении плодов математических рассуждений, полученных в результате упорной работы. Одним из известных примеров является теорема о раскраске карты четырьмя цветами. Математик Альфред Кемпе опубликовал в 1879 году доказательство этой теоремы, которое было широко признано и стало одним из поводов к избранию этого математика в состав членов Королевского общества. Но в 1890 году Перси Хивуд указал на ошибку в этом доказательстве, и теорема оставалась недоказанной до 1977 года.
Довод, исходящий из неформализуемости
Одно из наиболее важных и трудно оспоримых критических замечаний в адрес искусственного интеллекта как сферы приложения человеческих усилий было сформулировано Тьюрингом как довод, основанный на “неформализуемости поведения”. По сути это критическое замечание сводится к утверждению, что человеческое поведение является слишком сложным для того, чтобы его можно было описать с помощью какого-либо простого набора правил, а поскольку компьютеры не способны ни на что, кроме выполнения множества правил, они не способны и проявлять такое же интеллектуальное поведение, как люди. В искусственном интеллекте неспособность выразить все, что потребуется, в виде множества логических правил называют проблемой спецификации (см. главу 10).
Основными сторонниками этих взглядов были философы Хьюберт Дрейфус, который написал ряд влиятельных критических статей против искусственного интеллекта, в том числе “What Computers Can't Do” (Что не способны делать компьютеры) [414] и “What Computers Still Can't Do” [415], и его брат Стюарт, совместно с которым Хьюберт написал статью “Mind Over Machine” [416].
Положение дел, которое критиковали эти ученые, получило известность как “добрый старый искусственный интеллект”, или сокращенно GOFAI (Good Old- Fashioned AI); этот термин был предложен Хоглендом [631]. При этом предполагается, что в основе GOFAI лежит утверждение, будто все интеллектуальное поведение может быть представлено с помощью системы, которая формирует логические рассуждения на основании множества фактов и правил, описывающих рассматриваемую проблемную область. Поэтому GOFAI соответствует простейшему логическому агенту, описанному в главе 7. Дрейфус был прав, утверждая, что логические агенты действительно имеют слабое место, поскольку не позволяют решить проблему спецификации. Но как было показано в главе 13, для использования в открытых проблемных областях в большей степени подходят вероятностные системы формирования рассуждений. Поэтому критические замечания Дрейфуса относятся не к компьютерам как к таковым, а скорее к одному конкретному способу их программирования. Однако, вполне можно предположить, что более правильное название для статьи Дрейфуса, “ What First-Order Logical Rule-Based Systems Without Learning Can't Do” (Что не способны делать
системы на основе правил логики первого порядка, в которых не применяются средства обучения), было бы гораздо менее впечатляющим.
Согласно взглядам Дрейфуса, человеческий опыт подразумевает наличие знаний о некоторых правилах, но лишь в качестве “целостного контекста” (или “основы”), в рамках которого действуют люди. Он приводит пример корректного социального поведения при вручении и получении подарков: “Обычно люди, вручая подходящий к случаю подарок, действуют в рамках сложившихся в данном случае обстоятельств”. Очевидно, что люди обладают “непосредственным пониманием того, как следует действовать и чего следует ожидать”. Такое же утверждение он выдвигает в контексте игры в шахматы: “Шахматисту среднего уровня может потребоваться обдумать следующий ход, а гроссмейстер просто видит, что положение на доске само требует определенного хода ...правильный ответ сам складывается в его голове”. Безусловно, нельзя отрицать, что основная часть мыслительных процессов лица, готовящего подарок, или гроссмейстера, выбирающего ход, осуществляется на уровне, недоступном для самоанализа со стороны пытливого разума. Но из этого не следует, что сами эти мыслительные процессы не происходят. Важный вопрос, на который не отвечает Дрейфус, состоит в том, как правильный ход появляется в голове гроссмейстера. Напомним читателю один из комментариев Дэниела Деннета [389], приведенный ниже.
Создается впечатление, будто философы взяли на себя роль толкователей приемов фокусников. Когда их спрашивают, как фокусник ставит свой трюк с распиливанием ассистентки пополам, они объясняют, что в этом нет ничего сложного: фокусник фактически никого не распиливает; он просто заставляет людей верить, что он это делает. Если же философов спрашивают: “Но как ему удается создать такое впечатление?”, они отвечают: “Мы в этом не компетентны”.
В статье братьев Дрейфус [416] предложен пятиэтапный процесс приобретения опыта, который начинается с обработки полученной информации на основе правил (осуществляемой по такому же принципу, как в GOFAI) и заканчивается приобретением способности мгновенно выбирать правильные ответы. Но внося свое предложение, братья Дрейфус по сути перешли из разряда критиков искусственного интеллекта в разряд его теоретиков — они предложили архитектуру нейронной сети, организованную в виде огромной “библиотеки примеров”, указав при этом на несколько проблем. К счастью, все указанные ими проблемы полностью решены, причем некоторые частично, а другие полностью. Упомянутые братьями Дрейфус проблемы перечислены ниже.
Качественное обобщение на основании примеров не может быть достигнуто без фоновых знаний. Дрейфусы утверждают, что не существует способа, позволяющего использовать фоновые знания в процессе обучения нейронной сети. А в действительности, как было описано в главе 19, уже разработаны такие методы, которые позволяют использовать априорные знания в алгоритмах обучения. Тем не менее эти методы основаны на том, что в наличии имеются знания, представленные в явной форме, а этот подход братья Дрейфус упорно отрицают. По мнению авторов настоящей книги, взгляды этих ученых являются основательной причиной для серьезного перепроектирования современных моделей нейронной обработки информации, для того чтобы в них можно было воспользоваться знаниями, полученными ранее в процессе обу-
чения, по такому же принципу, как такие знания используются в других алгоритмах обучения.
Обучение нейронной сети представляет собой одну из разновидностей контролируемого обучения (см. главу 18), для которой требуется заблаговременное выявление релевантных входных данных и правильных выходных данных. Поэтому, по утверждению братьев Дрейфус, система обучения нейронной сети не может действовать автономно, без помощи учителя-человека. В действительности обучение без учителя может осуществляться с помощью методов неконтролируемого обучения (см. главу 20) и обучения с подкреплением (см. главу 21).
Производительность алгоритмов обучения снижается при использовании большого количества характеристик, а если выбрано лишь подмножество характеристик, то, по словам этих ученых, “не существует способа введения новых характеристик в том случае, если будет обнаружено, что текущее множество не позволяет учитывать некоторые факты, усваиваемые в процессе обучения”. В действительности с большими множествами характеристик очень успешно справляются такие новые методы, как машины поддерживающих векторов. Как было показано в главе 19, существует также принципиальная возможность вырабатывать новые характеристики, хотя для этого требуется гораздо больше усилий.
Мозг способен направлять свои сенсоры на поиск релевантной информации и обрабатывать ее для извлечения аспектов, релевантных для текущей ситуации. Но Дрейфусы утверждают, что “в настоящее время неизвестны детали этого механизма и нет даже таких гипотез о его работе, которые направили бы исследования искусственного интеллекта по правильному пути”. В действительности проблеме выбора правильной ориентации сенсоров посвящена область активного зрения, основанная на теории стоимости информации (см. главу 16), а полученные теоретические результаты уже были применены при создании некоторых роботов.
В конечном итоге многие проблемы, на которых сосредоточились братья Дрейфус (фоновые обыденные знания, проблема спецификации, неопределенность, обучение, компилированные формы средств принятия решений, важность применения агентов, реагирующих на текущую ситуацию, а не бестелесных машин логического вывода), уже были решены, а достигнутые результаты воплощены в стандартных проектах интеллектуальных агентов. По мнению авторов настоящей книги, это — свидетельство прогресса искусственного интеллекта, а не подтверждение неосуществимости поставленной перед ним цели.
Сильный искусственный интеллект:
МОГУТ ЛИ МАШИНЫ ПО-НАСТОЯЩЕМУ МЫСЛИТЬ?
Многие философы утверждали, что даже машина, которая пройдет тест Тьюринга, все равно фактически будет не мыслить, а лишь имитировать мышление. Тьюринг предвидел и это возражение против искусственного интеллекта. В частно-
сти, он процитировал приведенный ниже фрагмент речи профессора Джеффри Джефферсона [726].
Мы сможем согласиться, что машина равна мозгу, лишь после того, как она будет в состоянии написать сонет или сочинить концерт под воздействием своих мыслей и эмоций, а не благодаря случайному совпадению нужных символов; под этим подразумевается, что машина должна не только написать подобное произведение, но и понимать, что оно ею написано.
Тьюринг назвал это возражение доводом, основанным на понятии сознания; согласно этому доводу, машина должна понимать свои собственные психические состояния и действия. Безусловно, сознание — это важная тема, но ключевая идея Джефферсона фактически касается проблемы феноменологии, или изучения непосредственного опыта, т.е. этот ученый требует, чтобы машина действительно ощущала эмоции. Другие ученые сосредоточиваются на проблеме целенаправленности, т.е. на вопросе о том, действительно ли приписываемые машине убеждения, желания и другие внутренние представления касаются “чего-то”, существующего в реальном мире.
Ответ Тьюринга на это возражение весьма интересен. Он мог продемонстрировать причины, по которым машины на самом деле способны были бы действовать сознательно (либо с точки зрения феноменологии, либо с точки зрения целенаправленности). Вместо этого он указал, что данный вопрос столь же некорректен, как и вопрос о том, могут ли машины мыслить. К тому же, на каком основании мы требуем применения к машинам более высоких стандартов, чем к людям? В конечном итоге в повседневной жизни мы никогда не получаем каких-либо прямых свидетельств о внутреннем психическом состоянии других людей. Тем не менее Тьюринг заявил: “Вместо ведения бесконечных споров на эту тему обычно принято заключать ^ джентльменское соглашение и считать, что мыслят все”.
Тьюринг утверждает, что Джефферсон согласился бы распространить это джентльменское соглашение на машины, только если бы имел опыт общения с теми из них, которые действуют интеллектуально. Он процитировал действительно происходивший приведенный ниже диалог человека с машиной, который считается такой неотъемлемой частью передающихся из уст в уста легенд искусственного интеллекта, что мы просто обязаны его включить в эту главу.
Человек. In the first line of your sonnet which reads “shall I compare thee to a summer's day”, would not a “spring day” do as well or better? (В первой строке вашего сонета сказано “я хочу сравнить вас с летним днем”; не было бы так же хорошо или даже лучше сказать “с весенним днем”?)
Машина. It wouldn't scan. (Нарушилась бы ритмика.)
Человек. How about “a winter's day”. That would scan all right. (А как насчет слов “с зимним днем”. Ритмика бы не нарушилась.)
Машина. Yes, but nobody wants to be compared to a winter's day. (Да, но никто не хочет, чтобы его сравнивали с зимним днем.)
Человек. Would you say Mr. Pickwick reminded you of Christmas? (Вы хотите сказать, что мистер Пиквик напомнил вам о Рождестве?)
Машина. In away. (В определенном смысле.)
Человек. Yet Christmas is a winter's day, and I do not think Mr. Pickwick would mind the comparison. (Но все же Рождество — зимний день, и я не думаю, что мистер Пиквик возражал бы против такого сравнения.)
Машина. I don't think you're serious. By a winter's day one means a typical winter's day, rather than a special one like Christmas. (Я не думаю, что вы говорите серьезно. Под зимним днем подразумевается обычный зимний день, а не такой особый день, как Рождество.)
В заключение Тьюринг отметил, что вопрос о сознании является трудноразрешимым, но опроверг мнение о том, что он имеет большую значимость для практики искусственного интеллекта: “Я отнюдь не желаю, чтобы мои слова были истолкованы таким образом, будто я не считаю проблему сознания сложной загадкой... но я не думаю, что нужно обязательно разгадать все подобные загадки, прежде чем мы сможем ответить на тот вопрос, о котором идет речь в данной статье”. Авторы настоящей книги согласны с Тьюрингом: мы заинтересованы в создании программ, которые действуют интеллектуально, а не в том, чтобы дать кому-то повод считать эти действия настоящими или имитированными. С другой стороны, эта проблема остается предметом острого интереса для многих философов. Для того чтобы понять суть такой заинтересованности, рассмотрим вопрос о том, считаются ли реальными другие искусственно созданные объекты.
В 1848 году Фредерик Вёлер впервые синтезировал искусственную мочевину. Это достижение было очень важным, поскольку стало доказательством единства органической и неорганической химии, а также позволило поставить точку в вопросе, который до сих пор был предметом горячих дебатов. После успешного осуществления этого синтеза химики согласились, что искусственная мочевина действительно представляет собой мочевину, поскольку обладает всеми правильными физическими свойствами. Аналогичным образом, нельзя отрицать, что искусственные подслащивающие вещества действительно являются подслащивающими веществами, а искусственное оплодотворение (еще один термин с аббревиатурой AI — Artificial Insemination) действительно является оплодотворением. С другой стороны, искусственные цветы — это не цветы, и, как указал Дэниел Деннет (Daniel Dennett), искусственное вино Шато Латур — это не вино Шато Латур, даже если образцы того и другого нельзя отличить друг от друга с помощью химического анализа, просто потому, что оно не было изготовлено в должном месте правильным способом. А искусственно выполненный рисунок Пикассо — это не рисунок Пикассо, независимо от того, похож он на оригинал или нет.
На основании изложенного можно сделать вывод, что в некоторых случаях важно лишь поведение искусственного объекта, а в других случаях играет роль также происхождение искусственного объекта. То, в каком случае приобретает важность последний фактор, по-видимому, обусловлено лишь принятыми соглашениями. А когда речь идет об искусственном разуме, мы не можем опереться на принятое по этому поводу соглашение, и нам остается полагаться лишь на интуитивные предположения. Философ Джон Сирл [1376, с. 37, 38] выдвинул следующее весьма убедительное предположение.
Никто не думает, что компьютерная имитация грозы заставит его вымокнуть... так почему же люди, будучи в здравом уме, могут предположить, что компьютерная имитация мыслительных процессов действительно представляет собой мыслительные процессы?
Безусловно, нельзя не согласиться, что компьютерные имитации гроз не заставят нас вымокнуть, но не совсем понятно, как можно перенести эту аналогию на компьютерные имитации мыслительных процессов. К тому же создаваемые в Голливуде имитации гроз, в которых используются опрыскиватели и воздуходувки, действительно заставляют актеров вымокнуть. Большинство людей, не задумываясь, скажет,
что компьютерная имитация сложения является сложением, а компьютерная имитация шахматной игры является шахматной игрой. Что больше напоминают мыслительные процессы — грозы или абстрактные операции, такие как арифметическое сложение и игра в шахматы? С чем их следует сравнивать — со штучными изделиями, такими как вино Шато Латур и картины Пикассо, или с массовой продукцией, такой как мочевина? Ответы на все эти вопросы зависят от принятой теории психических состояний и процессов.
В теории ^ функционализма утверждается, что психическим состоянием является любое промежуточное причинное условие, связывающее входные и выходные данные. Согласно теории функционализма, любые две системы с изоморфными причинными процессами должны иметь одни и те же психические состояния. Поэтому компьютерная программа может иметь такие же психические состояния, как и человек. Безусловно, мы еще не дали определения того, что действительно подразумевается под термином “изоморфный”, но основное допущение состоит в том, что существует некоторый уровень абстракции, ниже которого конкретные детали реализации не имеют значения; при условии, что ниже этого уровня процессы являются изоморфными, возникают одни и те же психические состояния.
В отличие от этого, в теории ^ биологического натурализма утверждается, что психические состояния представляют собой высокоуровневые эмерджентные характеристики, которые вызваны неврологическими процессами низкого уровня в нейронах, и ведущую роль в этих процессах играют некоторые (неопределенные) свойства нейронов. Это означает, что психические состояния не могут быть продублированы лишь на основе некоторой программы, имеющей такую же функциональную структуру и проявляющей такое же поведение, выраженное в виде входных/ выходных данных; мы должны потребовать, чтобы эта программа эксплуатировалась в архитектуре, обладающей такой же причинной мощью, как и нейроны. В указанной теории ничего не говорится о том, почему нейроны обладают этой причинной мощью, а также о том, существуют ли другие физические воплощения, которые могут иметь или не иметь эту причинную мощь.
Чтобы проанализировать эти две точки зрения, вначале рассмотрим одну из самых старых проблем в области философии разума, а затем обратимся к трем мысленным экспериментам.
Проблема разума и тела
’(Эк Проблема разума и тела касается вопроса о том, как психические состояния и процессы связаны с физическими состояниями и процессами (а именно с процессами, происходящими в мозгу). Игнорируя достаточно высокую сложность этой проблемы, обобщим ее до уровня проблемы “архитектуры разума”, что позволит нам вести речь о том, могут ли машины иметь разум.
Почему проблема разума и тела является такой сложной? Первую сложность обнаружил еще Рене Декарт, который размышлял над тем, как бессмертная душа взаимодействует со смертным телом, и пришел к выводу, что душа и тело — это два различных типа субстанций; в этом состоит так называемая теория ^ дуализма. С другой стороны, теория 2э. монизма, часто называемая 2э. материализмом, основана на том, что таких субстанций, как нематериальные души, просто не бывает; в мире имеются только материальные объекты. Поэтому все психические состояния
(возникающие, когда человек испытывает боль, осознает себя как скачущий на лошади или думает, что Вена — столица Австрии) представляют собой состояния мозга. Джон Сирл метко сформулировал эту идею в виде лозунга “Мозг рождает разум”.
Но материализму приходится сталкиваться с двумя серьезными препятствиями. Первым из них является проблема ^ свободной воли: как так может оказаться, что чисто физический разум, каждое преобразование в котором строго управляется законами физики, все еще сохраняет какую-то свободу выбора? Большинство философов рассматривают эту проблему как требующую тщательного переопределения наших наивных представлений о свободной воле, а не представляющую собой какое-либо покушение на материализм. Вторым препятствием является проблема, касающаяся общего вопроса о ^ сознании (а также связанных с ним, но не идентичных вопросов понимания и самосознания). В наиболее простой формулировке этот вопрос состоит в том, почему человек ощущает себя как имеющий определенные мыслительные состояния и вместе с тем не чувствует себя как имеющий какие-то другие физические состояния (например, не считает себя камнем).
Чтобы приступить к поиску ответа на подобные вопросы, мы должны найти способы вести речь о состояниях мозга на уровнях, более абстрактных, чем конкретные конфигурации всех атомов мозга определенного человека в конкретное время. Например, когда я размышляю о столице Австрии, мой мозг подвергается бесчисленному количеству мельчайших изменений за время, прошедшее от одной пикосекунды до другой, но это не приводит к качественному изменению состояния мозга. Для того чтобы учесть возможные ситуации, необходимо ввести понятие типов состояния мозга, в рамках которого можно было бы судить, принадлежат ли два состояния мозга к одному и тому же или к разным типам. Различные ученые имеют несовпадающие взгляды на то, что подразумевается в данном случае под типом. Но почти все ученые считают, что если взять живой мозг и заменить в нем некоторые из атомов углерода новым множеством атомов углерода, то психическое состояние мозга не изменится. Эта гипотеза вполне оправдана, поскольку в действительности в мозгу непрерывно происходит замена атомов в результате метаболических процессов, тем не менее такой процесс, по-видимому, не вызывает существенных психических расстройств.
Теперь рассмотрим конкретный вид психического состояния: пропозициональные позиции (впервые описанные в главе 10), которые также известны как ^ ментальные состояния. Таковыми являются состояния, подобные убежденности, уверенности, желанию, чувству страха и т.д., которые относятся к некоторому аспекту внешнего мира. Например, уверенность в том, что Вена — столица Австрии, — это убеждение, касающееся конкретного города и его статуса. Нас интересует вопрос, могут ли компьютеры иметь ментальные состояния, чтобы можно было понять, как охарактеризовать эти состояния. Например, можно утверждать, что психическое состояние, в котором я хочу гамбургер, отличается от состояния, в котором я хочу пиццу, поскольку гамбургер и пицца в реальном мире отличаются друг от друга. А если верно такое утверждение, то ментальные состояния имеют необходимую связь с относящимися к ним объектам во внешнем мире. С другой стороны, всего лишь за несколько абзацев перед этим было сформулировано утверждение, что психические состояния представляют собой состояния мозга, поэтому идентичность или неиден-
тичность психических состояний должна определяться полностью “внутри самой головы”, без ссылок на реальный мир. Чтобы лучше изучить эту дилемму, обратимся к мысленному эксперименту, позволяющему отделить целенаправленные состояния от относящихся к ним внешних объектов.
Эксперимент “мозг в колбе”
Допустим, что при желании мозг человека можно отделить от тела сразу после рождения и поместить в колбу, искусно спроектированную для этой цели. В этой колбе мозг получает питание и опору, а она позволяет ему расти и развиваться. Наряду с тем в мозг подаются электронные сигналы от компьютера, моделирующего полностью вымышленный мир, а моторные сигналы от мозга перехватываются и используются для модификации этой имитации должным образом. В таком случае мозг может иметь психическое состояние DyingFor^Me, Hamburger) (страстное желание получить гамбургер), даже несмотря на то, что у него нет тела, которое испытывало бы чувство голода, а также вкусовых рецепторов, чтобы ощутить вкус, к тому же в реальном для мозга (но фактически имитируемом) мире могло бы просто не оказаться гамбургера. Было бы это психическое состояние таким же, какое испытывает мозг в живом теле?
Один из способов разрешения этой дилеммы состоит в использовании гипотезы о том, что содержимое психических состояний можно интерпретировать с двух разных точек зрения. В подходе на основе ^ широкого анализа содержимого психические состояния интерпретируются с точки зрения всезнающего внешнего наблюдателя, имеющего доступ к информации обо всей ситуации, который способен замечать любые различия в мире. Поэтому при широком анализе содержимого чувства мозга, живущего в колбе, можно отличить от чувств “обычного” человека. А при узком анализе содержимого учитывается только внутренняя субъективная точка зрения, и при таком подходе чувства, испытываемые тем и другим мозгом, остаются одинаковыми.
Уверенность в том, что гамбургер — желанная пища, имеет определенный характер связи с конкретным объектом, поскольку обязательно должен быть кто-то, обладающий уверенностью в таком свойстве гамбургера. Переходя к рассуждениям такого рода, мы вступаем в область познания ^ качества, или собственного опыта (в англоязычной литературе для обозначения этого понятия применяется термин “qualia”, происходящий от латинского слова, которое переводится примерно как “именно такие”). Предположим, что в результате какого-то нарушения в нервных путях сетчатки и мозга неким лицом X воспринимается как красный тот цвет, который лицо Y воспринимает как зеленый, и наоборот. В таком случае, увидев один и тот же сигнал светофора, оба они действуют одинаково, но воспринимаемый ими опыт должен быть в определенной степени разным. Оба эти лица могут согласиться, что полученные ими данные восприятия говорят о том, что “свет на светофоре — красный”, но сами эти восприятия остаются разными. Поэтому неясно, свидетельствует ли это о том, что они имеют одинаковые или разные психические состояния.
Теперь перейдем еще к одному мысленному эксперименту, который относится к вопросу о том, могут ли иметь психические состояния физические объекты, отличные от нейронов человека.
Эксперимент с протезом мозга
Мысленный эксперимент с протезом мозга был предложен в середине 1970-х Кларком Глаймором и описан в трудах Джона Сирла [1376], но его чаще всего связывают с работой Ханса Моравека [1084]. Этот эксперимент заключается в следующем: предположим, что нейрофизиология достигла огромного уровня развития, на котором существует идеальное понимание взаимодействия входных и выходных сигналов и связей между всеми нейронами в мозгу человека. Предположим также, что существует возможность создавать микроскопические электронные устройства, имитирующие поведение нейрона, которые можно незаметно для человека подключать к его нервной ткани. Наконец, предположим, что некая чудесная хирургическая техника позволяет заменять отдельные нейроны соответствующими электронными устройствами, не нарушая работу мозга в целом. Эксперимент состоит в постепенной замене всех нейронов в голове человека электронными устройствами, а затем в обратном выполнении этого процесса для возврата испытуемого субъекта в его нормальное биологическое состояние.
Нас интересует как внешнее поведение, так и внутренний опыт этого субъекта во время операции и после нее. Согласно определению этого эксперимента, внешнее поведение субъекта должно оставаться неизменным по сравнению с тем, которое наблюдалось бы в том случае, если бы эта операция не выполнялась. Итак, несмотря на то, что в присутствии или отсутствии сознания не так уж легко убедиться, будучи сторонним наблюдателем, сам субъект эксперимента должен по крайней мере иметь способность зарегистрировать любые изменения в своем восприятии собственного сознания. Очевидно, что возникает прямой конфликт интуитивных представлений о том, что может произойти. Моравек, будучи специалистом в области робототехники и приверженцем взглядов функционалистов, убежден в том, что сознание субъекта, подвергающего эксперименту, останется незатронутым, а Сирл, философ и натуралист-биолог, столь же твердо убежден, что сознание у субъекта эксперимента постепенно исчезнет, о чем свидетельствует приведенная ниже цитата из его работы.
Вы обнаружите, к своему полному изумлению, что действительно теряете контроль над своим внешним поведением. Например, вы заметите, что при проверке врачами вашего зрения вам, допустим, скажут: “Мы держим перед вами объект красного цвета; пожалуйста, сообщите нам, что вы видите”. Вы захотите крикнуть: “Я ничего не вижу. Я полностью ослеп”, но услышите, как ваш голос говорит, полностью не подчиняясь вашему контролю: “Я вижу перед собой объект красного цвета...” Ваше сознание постепенно сужается и исчезает, тогда как внешне наблюдаемое поведение остается неизменным [1379].
Но существует возможность вести этот спор, опираясь не только на интуицию. Во-первых, следует отметить, что внешнее поведение будет оставаться одинаковым в процессе того, как субъект постепенно теряет сознание, только в том случае, если
воля субъекта исчезает мгновенно и полностью; в противном случае сужение сознания должно было бы отразиться на внешнем поведении; это означает, что испытуемый должен был бы закричать: “Помогите, я теряю сознание!” или нечто в этом роде. Такая гипотеза мгновенного исчезновения воли в результате постепенной замены одного за другим отдельных нейронов кажется маловероятной.
Во-вторых, рассмотрим, что произойдет, если мы будем задавать субъекту вопросы, касающиеся того, как он сам ощущает наличие у него сознания в тот период, когда у него не останется ни одного настоящего нейрона. Согласно условиям эксперимента, мы должны получать примерно такие ответы: “Я чувствую себя прекрасно. Я должен также отметить, что немного удивлен, поскольку верил в истинность доводов Сирла”. Еще один вариант состоит в том, что мы могли бы уколоть субъекта заостренной палочкой и услышать ответ: “Ой, больно”. Теперь, если вернуться к обычной жизни, то скептик может возразить, что подобные выходные данные могут быть получены и от программ искусственного интеллекта как простые результаты принятых соглашений. Действительно, совсем не сложно предусмотреть, например, такое правило: “Если на датчике номер 12 появится сигнал с высокой интенсивностью, то выдать выходные данные «Ой, больно»”, но весь смысл рассматриваемого эксперимента состоит в том, что мы продублировали функциональные свойства обычного человеческого мозга, поэтому предполагается, что электронный мозг не содержит таких структур, в которых реализованы подобные соглашения. Это означает, что нужно как-то объяснить, чем обусловлены проявления сознания, вырабатываемые электронным мозгом, которые основаны лишь на функциональных свойствах нейронов. И это объяснение должно также распространяться на настоящий мозг, который имеет такие же функциональные свойства. На наш взгляд, можно сделать только два приведенных ниже возможных вывода.
Причинные механизмы формирования сознания, которые вырабатывают выходные данные такого рода в обычном мозгу, все еще продолжают действовать в электронной версии мозга, поэтому последняя также обладает сознанием.
Осознаваемые психические события в обычном мозгу не имеют причинной связи с поведением, а поскольку они отсутствуют также в электронном мозгу, последний не обладает сознанием.
Хотя нельзя исключить вторую возможность, при данном подходе сознание сводится к тому, что философы называют ^ эпифеноменальной (выраженной в качестве побочного явления) ролью — как будто что-то происходит, но не отбрасывает тени, которая должна была бы появиться в наблюдаемом мире. Кроме того, если сознание действительно эпифеноменально, то в мозгу должен находиться второй, бессознательный механизм, с помощью которого и формируется восклицание “Ой, больно”, когда человека колют заостренной палочкой.
В-третьих, рассмотрим ситуацию, возникшую после того, как операция проделана в обратном направлении и субъект снова имеет обычный мозг. И в этом случае внешнее поведение субъекта должно быть, по определению, таким же, как если бы операция вовсе не проводилась. В частности, мы были бы вправе задать субъекту такие вопросы: “Что вы чувствовали во время операции? Помните, как вас укололи заостренной палочкой?” Субъект должен точно помнить фактический характер своего осознанного опыта, включая качественную сторону этого опыта, несмотря на тот факт, что, согласно Сирлу, такого опыта не должно быть.
Сирл мог бы возразить, что мы не определили эксперимент должным образом. Если бы настоящие нейроны, скажем, прекращали действовать в том промежутке времени, когда они были извлечены, а затем снова помещены в мозг, то, безусловно, они не могли бы “запомнить” опыт, полученный в это время. Чтобы учесть это обстоятельство, необходимо обеспечить обновление состояния нейронов в соответствии с изменением внутреннего состояния искусственных нейронов, которыми они заменялись. Если бы в таком случае предполагалось наличие “нефункциональных” аспектов реальных нейронов, которые привели бы к поведению, функционально отличному от того, которое наблюдалось, пока искусственные нейроны были бы еще на месте, то налицо было бы простое приведение к абсурду, поскольку означало бы, что искусственные нейроны функционально не эквивалентны настоящим нейронам (одно из возможных возражений против этого довода приведено в упр. 26.3).
Патрисия Чарчленд [260] указала, что приведенные выше доводы, основанные на теории функционализма и применяемые на уровне нейронов, могут также использоваться на уровне любой более крупной функциональной единицы — группы нейронов, раздела мозга, доли, полушария или целого мозга. Это означает, что, согласившись с доводом, что эксперимент с протезом мозга демонстрирует наличие сознания у мозга, в котором нейроны заменены электронными компонентами, мы должны также согласиться, что сознание сохраняется, если весь мозг заменяется схемой, в которой входные данные отображаются на выходные с помощью огромной поисковой таблицы. Такое представление неприемлемо для многих людей (включая самого Тьюринга), интуиция которых подсказывает, что поисковые таблицы вряд ли могут иметь сознание или, по меньшей мере, что сознательный опыт, сформированный во время поиска в таблице, не сопоставим с опытом, сформированным в процессе работы системы, которая может быть описана (даже в примитивном, вычислительном смысле) как манипулирование с убеждениями, результатами самоанализа, целями и тому подобными явлениями, которые формируются мозгом. Эти замечания свидетельствуют о том, что эксперимент с протезом мозга может быть эффективным средством, подкрепляющим нашу интуицию, только если в нем не предусматривается замена сразу всего мозга, но это и не означает, что в данном эксперименте может лишь рассматриваться замена одних атомов другими, как хочет нас заставить считать Сирл.
Китайская комната
Последний мысленный эксперимент, который будет описан в данной главе, невидимому, является самым известным из всех. Идея этого эксперимента принадлежит Джону Сирлу [1376], описавшему гипотетическую систему, в отношении которой любому наблюдателю ясно, что она работает под управлением какой-то программы и успешно проходит тест Тьюринга, но также ясно (согласно Сирлу), что эта система не понимает смысла каких-либо из ее входных или выходных данных. На основании этого Сирл делает вывод, что работа системы под управлением приемлемой программы (т.е. программы, вырабатывающей правильные выходные данные) не является достаточным условием для обладания разумом.
Система состоит из человека, который понимает только английский язык, снабжен книгой с правилами, написанной на английском языке, а в его распоряжении находятся разные стопки бумаг, причем некоторые из них пусты, а другие заполне-
ны описаниями, не поддающимися расшифровке. (Таким образом, человек играет роль процессора компьютера, книга правил представляет собой программу, а стопки бумаг соответствуют запоминающему устройству.) Система находится в комнате с небольшим отверстием, выходящим наружу. Через отверстие появляются полоски бумаги с символами, не поддающимися расшифровке. Человек находит совпадающие с ними символы в книге правил и следует обнаруженным в ней инструкциям. Инструкции могут предусматривать задания по написанию символов на новых полосках бумаги, поиску символов в стопках, переупорядочению стопок и т.д. В конечном итоге инструкции диктуют необходимость написания одного или нескольких символов на листе бумаги, который снова передается во внешний мир.
До сих пор все шло нормально. Но из внешнего мира мы видим систему, которая принимает входные данные в форме предложений на китайском языке и формирует ответы на китайском, которые внешне кажутся “интеллектуальными”, как и беседа, мысленно представленная Тьюрингом. После этого Сирл проводит следующие рассуждения: человек, сидящий в комнате, не понимает китайского (это дано). Книга правил и стопки бумаги, будучи просто листами бумаги, не понимают китайского. Поэтому речь не может идти о каком-либо понимании китайского языка. ^ Поэтому, согласно Сирлу, эксплуатация даже подходящей программы не обязательно приводит к развитию понимания.
Как и Тьюринг, Сирл рассмотрел и попытался опровергнуть целый ряд ответов на его доводы. Некоторые комментаторы, включая Джона Маккарти и Роберта Виленского, выдвинули предложения, которые Сирл назвал системными ответами. Их возражение состоит в том, что человека, сидящего в комнате, безусловно, можно спросить, понимает ли он китайский язык, но это аналогично тому, как если бы процессор компьютера спросили, может ли он извлекать кубические корни. В обоих случаях ответ является отрицательным и в обоих случаях, согласно системному ответу, вся система обладает способностью, которая была предметом вопроса. Безусловно, если задать системе с китайской комнатой вопрос на китайском языке, знает ли она китайский, ответ будет утвердительным (и сформулированным на живом китайском языке). Согласно корректному соглашению Тьюринга, этого должно быть достаточно. Ответ Сирла — это возврат к той идее, что понимание не заключено в мозгу человека, сидящего в китайской комнате, и не может быть заключено в стопках бумаги, поэтому не может быть никакого понимания. Далее Сирл указывает, что можно представить себе ситуацию, когда человек запоминает книгу правил и содержимое всех стопок бумаги, поэтому больше нет ни одного объекта, которому можно было бы приписать понимание, кроме самого человека; но и после этого, если ему будет задан вопрос (на английском языке), понимает ли он китайский, ответ будет отрицательным.
Теперь перейдем к реальному анализу этой проблемы. Переход от эксперимента с использованием стопок бумаги к эксперименту с запоминанием — это просто попытка сбить читателя с толку, поскольку обе формы представляют собой варианты физического воплощения работающей программы. Фактические утверждения, выдвинутые Сирлом, опираются на четыре приведенных ниже аксиомы [1378].
Компьютерные программы представляют собой формальные, синтаксические сущности.
Разум имеет мыслительное содержание, или семантику.
Синтаксиса как такового не достаточно для семантики.
Мозг порождает разум.
На основании первых трех аксиом Сирл делает вывод, что программы не могут служить достаточным условием для появления разума. Иными словами, агент, в котором функционирует какая-то программа, может оказаться разумным, но он не обязательно становится разумным лишь в силу того, что в нем работает программа. На основании четвертой аксиомы Сирл делает вывод: “Любая другая система, способная порождать разум, должна обладать причинной мощью (по меньшей мере), эквивалентной той, какой обладает мозг”. На основании этого он делает вывод, что любой искусственный мозг должен воплощать в себе такую же причинную мощь, как и мозг, а не только работать под управлением конкретной программы, и что мозг человека не вырабатывает мыслительные феномены исключительно благодаря тому, что в нем функционирует какая-то программа.
Вывод о том, что применения программ недостаточно для создания разума, действительно следует из этих аксиом, если допускается их вольная интерпретация. Но само обоснование вывода проведено неудовлетворительно — все, что смог доказать Сирл, состоит в том, что если явно отвергнуты принципы функционализма (как было сделано в его третьей аксиоме), то заключение, согласно которому объекты, отличные от мозга, порождают разум, становится необязательным. Это предположение вполне обосновано, поэтому вся дискуссия сводится к тому, может ли быть принята третья аксиома. Согласно Сирлу, весь смысл эксперимента с китайской комнатой состоит в предоставлении интуитивного обоснования для третьей аксиомы. Но реакция других исследователей показывает, что такие интуитивные представления близки по духу только тем, кто уже был склонен соглашаться с идеей, что программы, взятые в чистом виде, не способны вырабатывать истинное понимание.
Еще раз отметим, что цель эксперимента с китайской комнатой состоит в опровержении понятия сильного искусственного интеллекта — утверждения, что эксплуатация программы подходящего типа обязательно приводит к появлению разума. Этот мысленный эксперимент проводится путем демонстрации внешне интеллектуальной системы, в которой функционирует программа подходящего типа, но в отношении этой системы, согласно Сирлу, можно явно показать, что она не обладает разумом. Для этого Сирл прибегает к интуиции, а не к доказательству; он как будто говорит нам: “достаточно взглянуть на эту комнату; разве в ней может быть разум?” Но точно такой же довод можно привести и применительно к мозгу — достаточно взглянуть на этот конгломерат клеток (или атомов), работающих вслепую в соответствии с законами биохимии (или физики); разве в нем может быть разум? Почему в куске мозга может быть разум, а в куске печени — нет?
Более того, Сирл, соглашаясь с тем, что материалы, отличные от нейронов, могут в принципе быть носителем разума, ослабляет свои доводы еще больше, по двум причинам: во-первых, нам приходится руководствоваться только интуицией Сирла (или своей собственной), чтобы доказать, что в китайской комнате отсутствует разум, и, во-вторых, даже если мы решим, что в этой комнате нет разума, такой вывод
не позволит нам узнать что-либо о том, не будет ли программа, работающая в какой- то другой физической среде (включая компьютер), иметь разум.
Сирл допускает логическую возможность того, что мозг действительно реализует программу искусственного интеллекта традиционного типа, но та же программа, работающая в машине неподходящего типа, не создает разум. Сирл отрицает то, будто он верит, что “машины не могут иметь разума”, скорее он утверждает, что некоторые машины имеют разум, например люди — это биологические машины, обладающие разумом. Но он также оставляет нас в неведении относительно того, какого же типа машины подходят или не подходят под определение понятия разумных машин.
Этические и моральные последствия
РАЗРАБОТКИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
До сих пор в этой главе в основном рассматривался вопрос о том, может ли быть разработан искусственный интеллект, но необходимо также посвятить время анализу вопроса, должен ли он все же быть разработан. Если последствия создания технологии искусственного интеллекта с большей вероятностью будут отрицательными, чем положительными, то люди, работающие в этой области, несут моральную ответственность, обязывающую их направить свои поиски в другие области. Непредвиденные отрицательные побочные эффекты стали следствием внедрения многих новых технологий: двигатели внутреннего сгорания послужили причиной загрязнения воздуха и повсеместного строительства дорог, даже в самых райских уголках; ядер- ные технологии стали причиной взрывов в Чернобыле и на острове Тримайл Айленд и создали угрозу глобального разрушения. Все ученые и инженеры сталкиваются с этическими соображениями, которые они должны учитывать, выполняя свою работу, выбирая проекты, которые должны или не должны быть реализованы, а также способы осуществления этих проектов. На эту тему была даже написана книга Ethics of Computing [103]. Но искусственный интеллект, по-видимому, становится источником некоторых невиданных ранее проблем, в том числе перечисленных ниже, кроме, скажем, строительства мостов, которые падают под собственным весом.
В результате автоматизации может увеличиться количество безработных.
Может уменьшиться (или увеличиться) количество свободного времени, имеющегося в распоряжении людей.
Люди могут потерять чувство собственной уникальности.
Люди могут потерять некоторые из своих прав на личную жизнь.
Использование систем искусственного интеллекта может привести к тому, что люди станут более безответственными.
Успех искусственного интеллекта может стать началом конца человеческой расы.
Рассмотрим каждую из этих проблем по очереди.
В результате автоматизации может увеличиться количество безработных. Современная индустриальная экономика стала полностью зависимой от применения компьютеров в целом и отдельных программ искусственного интеллекта в частности. Например, значительная часть экономики, особенно в
Соединенные Штатах, зависит от доступности потребительского кредита. Проверка заявок на выпуск кредитных карт, выдача разрешений на осуществление платежей и раскрытие мошеннических сделок, а также другие операции теперь выполняются программами искусственного интеллекта. Напрашивается вывод, будто из-за появления этих программ свои места потеряли тысячи служащих, но в действительности этих рабочих мест без применения программ искусственного интеллекта просто не было бы, поскольку в случае применения ручного труда стоимость этих операций была бы неприемлемой. До сих пор автоматизация с помощью технологии искусственного интеллекта неизменно создавала больше рабочих мест, чем устраняла, к тому же приводила к появлению более интересных и высокооплачиваемых специальностей. Теперь, после того как канонической программой искусственного интеллекта стал “интеллектуальный агент”, предназначенный для помощи человеку, потеря работы становится еще менее вероятным последствием внедрения искусственного интеллекта по сравнению с той эпохой, когда все усилия специалистов по искусственному интеллекту сосредоточивались на создании “экспертных систем”, предназначенных для замены людей.
Может уменьшиться (или увеличиться) количество свободного времени, имеющегося в распоряжении людей. Алвин Тоффлер в своей книге Future Shock [1510] указал: “Рабочая неделя с начала столетия сократилась на 50%. И никого не удивляет прогноз, что к 2000 году она будет сокращена еще наполовину”. Артур К. Кларк [265] писал, что “люди в 2001 году могут столкнуться с будущим, заполненным необычайной скукой, когда главной проблемой в жизни станет принятие решения о том, какой из нескольких сотен телевизионных каналов выбрать для просмотра”. Единственным из этих прогнозов, который сбылся хоть в какой-то степени, стало количество телевизионных каналов [1453]. А вместо сокращения рабочего дня люди, занятые в отраслях промышленности, характеризующихся интенсивным использованием знаний, стали чувствовать себя частью интегрированной компьютеризированной системы, которая работает 24 часа в сутки; чтобы успешно справляться со своими обязанностями, они вынуждены работать все больше и больше. В индустриальной экономике вознаграждения приблизительно пропорциональны затратами времени; увеличение продолжительности работы на 10% обычно приводит в среднем к увеличению доходов на 10%. А в информационной экономике, характеризующейся наличием широкополосной связи и упрощением тиражирования интеллектуальной собственности (которую Фрэнк и Кук [495] назвали “обществом, в котором победитель получает все”), самое большое вознаграждение приносит способность оказаться немного более успешным, чем конкурент; увеличение продолжительности работы на 10% может означать увеличение дохода на 100%. Поэтому каждый испытывает все возрастающий прессинг, который заставляет его работать все интенсивнее. Искусственный интеллект способствует увеличению темпов внедрения технологических инноваций и поэтому вносит свой вклад в эту общую тенденцию, но искусственный интеллект обещает также предоставить нам возможность снять с себя часть нагрузки и позволить нашим автоматизированным агентам хоть какое-то время выполнять работу за нас.
Люди могут потерять чувство собственной уникальности. В своей книге Computer Power and Human Reason [1566] Вейценбаум, автор программы Eliza, указал на некоторые потенциальные угрозы, с которыми сталкивается общество в связи с развитием искусственного интеллекта. Одним из самых важных доводов Вейценбаума является то, что в результате исследований в области искусственного интеллекта кажется уже не такой невероятной идея о том, что люди представляют собой автоматы, а эта идея приводит к потере самостоятельности или даже человечности. Но авторы настоящей книги хотят отметить, что эта идея существовала задолго до появления искусственного интеллекта и восходит по меньшей мере к тем временам, когда вышла книга LHomme Machine [875]. Авторы также отмечают, что люди пережили и другие покушения на чувство их уникальности: Коперник, автор книги De Revolutionibus Orbium Coelestium [294], убрал Землю из центра солнечной системы, а Дарвин, автор книги Descent of Man [326], поместил вид Homo sapiens на тот же уровень, где находятся все другие виды живых существ. Поэтому даже в случае его широкого и успешного наступления искусственный интеллект станет не большей угрозой для моральных устоев общества XXI века, чем была дарвиновская теория эволюции для XIX века.
Люди могут потерять некоторые из своих прав на личную жизнь. Вейценбаум также указал, что развитие технологии распознавания речи может привести к широкому распространению средств прослушивания телефонных разговоров и поэтому к потере гражданских свобод. Он не предвидел, что когда-то в мире террористические угрозы станут настолько реальными, что изменят отношение людей к тому, с каким уровнем надзора они будут готовы согласиться, однако правильно понял, что искусственный интеллект обладает потенциалом к созданию средств надзора массового применения. Предсказание Вейценбаума вскоре может осуществиться: правительство США рассматривает вопрос о внедрении системы Echelon, которая “состоит из сети пунктов прослушивания, антенных полей и радарных станций; система опирается на поддержку компьютеров, в которых используется языковой перевод, распознавание речи и поиск по ключевым словам для автоматического просеивания трафика, идущего по телефону, электронной почте, факсу и телексу”. Многие согласны с тем, что компьютеризация приводит к ущемлению прав на личную жизнь, — один из старших руководителей компании Sun Microsystems Скотт Макнили даже заявил: “У вас все равно нет никакой личной жизни. Забудьте о ней”. Другие с этим не согласны; например, судья Луис Брандейс писал еще в 1890 году: “Право на личную жизнь является самым всеобъемлющим из всех прав... ведь это — право оставаться самим собой”.
Использование систем искусственного интеллекта может привести к тому, что люди станут более безответственными. В той атмосфере постоянной готовности к судебным разбирательствам, которая доминирует в Соединенных Штатах, большую важность приобретают вопросы правовой ответственности. Если терапевт принял на веру суждение медицинской экспертной системы в от-
ношении диагноза, то кто будет нести ответственность, если диагноз окажется неправильным? К счастью, теперь общепризнано, что нельзя рассматривать как пренебрежение служебными обязанностями выполнение терапевтом медицинских процедур, которые имеют высокую ожидаемую полезность, даже если фактические результаты оказались катастрофическими для пациента (отчасти такая смена взглядов обусловлена ростом влияния методов теории решений в медицине). Поэтому приведенный выше вопрос должен рассматриваться в такой формулировке: “Кто должен нести ответственность, если диагноз оказался неоправданным?” До сих пор суды исходили из того, что медицинские экспертные системы играют такую же роль, как медицинские учебники и справочники; терапевты обязаны понять ход рассуждений, лежащий в основе любого решения системы, и использовать свое собственное суждение для принятия решения о том, нужно ли следовать рекомендациям системы. Поэтому при проектировании медицинских экспертных систем в виде интеллектуальных агентов действия этих систем следует рассматривать не как непосредственно воздействующие на пациента, а как влияющие на поведение терапевта. А если экспертные системы когда-то будут надежно вырабатывать более точные диагнозы по сравнению с людьми, врачи могут стать юридически ответственными, если они не используют рекомендации экспертной системы. Такая предпосылка рассматривается в [528].
Приобретают также важное значение аналогичные вопросы, касающиеся использования интеллектуальных агентов в Internet. Например, достигнут определенный прогресс в части внедрения ограничений в интеллектуальные агенты, чтобы они не могли, допустим, повредить файлы других пользователей [1571]. Проблемы становятся еще более важными, когда речь идет о денежных сделках. Если финансовые операции выполняются интеллектуальным агентом “от чьего-то имени”, то кто будет отвечать за причиненные убытки? Будет ли существовать такая возможность, чтобы интеллектуальный агент сам имел активы и участвовал в электронных торгах от своего имени? Создается впечатление, что такие вопросы до сих пор еще полностью не изучены. Насколько известно авторам данной книги, еще ни одной программе не был придан правовой статус как индивидуума, способного участвовать в финансовых операциях; в настоящее время такое решение, по-видимому, было бы неблагоразумным. Кроме того, программы еще не рассматриваются как “водители”, когда речь идет о контроле за выполнением правил дорожного движения на реальных автомагистралях. По крайней мере, в Калифорнии не предусмотрено никаких юридических санкций, которые исключали бы возможность превышения автоматизированным транспортным средством скоростных пределов, хотя в случае аварии должен нести ответственность проектировщик механизма управления транспортным средством. Как и в случае технологии клонирования людей, законодателям еще предстоит включить новые разработки в правовое поле.
Успех искусственного интеллекта может стать началом конца человеческой расы. Почти любая технология, попадая в злонамеренные руки, обнаруживает потенциальные возможности для причинения вреда, но когда речь идет об искусственном интеллекте и робототехнике, возникает новая проблема, связан-
ная с тем, что эти злонамеренные руки могут принадлежать самой технологии. Предупреждения о том, какую опасность несут роботы или роботизированные киборги-гуманоиды, вышедшие из-под контроля, стали сюжетом бесчисленных научно-фантастических произведений. К числу самых ранних примеров таких произведений относятся книга Frankenstein, or the Modern Prometheus1 Мэри Шелли [1400] и пьеса R.U.R Карела Чапека (1921 год), в которых описано, как роботы завоевывают мир. В кинематографе этой теме посвящены фильм “The Terminator” (Терминатор), вышедший на экраны в 1984 году, в котором используются клише “о роботах, завоевывающих мир” и сюжет о путешествии во времени, и фильм “The Matrix” (Матрица), вышедший в 1999 году, в котором объединены сюжеты “о роботах, завоевывающих мир” и “о мозге, растущем в колбе”.
По-видимому, роботы являются главными героями такого большого количества художественных произведений о завоевании мира в основном из-за того, что они воплощают в себе неизвестное, точно так же, как ведьмы и приведения в сказках, которыми пугали людей в более ранние эпохи. Но действительно ли роботы создают более реальную угрозу, чем ведьмы и приведения? Если роботы правильно спроектированы как агенты, которые соблюдают интересы своего владельца, то они не создают таких угроз: роботы, развивающиеся на основе постоянного усовершенствования текущих проектов, будут служить своим хозяевам, а не бороться против них. Люди иногда используют свой интеллект в агрессивных формах, поскольку они обладают некоторыми врожденными агрессивными тенденциями, обусловленными естественным отбором. Но машины, созданные людьми, не нуждаются в чертах врожденной агрессивности, если только сами люди не решат, что они должны быть таковыми. С другой стороны, возможно, что компьютеры добьются своего рода победы над людьми, успешно служа и становясь незаменимыми, так же как и автомобили, которые в определенном смысле завоевали промышленно развитый мир. Рассмотрим один сценарий, заслуживающий дополнительного анализа. И. Дж. Гуд [576] писал в одном из своих произведений следующее.
Дадим определение сверхинтеллектуальной машине как способной намного превзойти во всех областях мыслительной деятельности любого человека, каким бы умным он не был. А поскольку проектирование машин является одним из таких направлений мыслительной деятельности, то сверхинтеллектуальная машина сможет проектировать еще более интеллектуальные машины; это, безусловно, приведет к “взрыву интеллектуальности” и интеллект человека останется далеко позади. Таким образом, первое изобретение сверхинтел- лсктуальной машины станет последним изобретением, которое когда-либо сможет сделать человек, и то, если только машина будет достаточно любезна, чтобы сообщить человеку, как держать ее под контролем.
Этому “взрыву интеллектуальности” профессор математики и автор научнофантастических произведений Вернор Виндж присвоил другое название — ^ технологическое превосходство; он писал: “В течение тридцати лет люди получат технологические средства для создания сверхчеловеческого интеллекта. Вскоре после этого эра людей закончится” [1542]. Гуд и Виндж (и многие другие) правильно отмечают, что в настоящее время кривая технологического прогресса
Чарльз Бэббидж в молодости испытал сильные впечатления, читая книгу о приключениях Франкенштейна.
растет экспоненциально (достаточно вспомнить закон Мура). Однако прогноз, что эта кривая будет и дальше подниматься вверх, следуя законам почти бесконечного роста, был бы слишком смелым. До сих пор любая технология развивалась по S-образной кривой, согласно которой экспоненциальный рост в конечном итоге сходит на нет.
Виндж озабочен и обеспокоен грядущим технологическим превосходством, но другие специалисты в области компьютерных наук, занимающиеся прогнозами, радуются его наступлению. Ханс Моравек в своей книге Robot: Mere Machine to Transcendent Mind предсказывает, что роботы сравняются по интеллектуальности с человеком за 50 лет, после чего его превзойдут. В своей книге он пишет следующее.
Довольно скоро они станут способными вытеснить нас из жизни. Но я не очень встревожен такой возможностью, поскольку считаю, что будущие машины — это наше потомство, “порождение нашего разума”, созданное по нашему образу и подобию; это мы, но в более развитой форме. Как и биологические дети предыдущих поколений, они воплотят в себе лучшие надежды человечества на долгосрочное будущее. Это побуждает нас предоставить им все возможное содействие, а затем отойти в сторону, после того, как мы больше не в состоянии будем делать что-то полезное [1085].
Рей Курцвейл в своей книге The Age of Spiritual Machines [872] предсказывает, что к 2099 году наметится “мощная тенденция к слиянию человеческого мышления с миром машинного интеллекта, который был изначально создан родом человеческим. Больше не будет какого-либо четкого различия между людьми и компьютерами”. Возникло даже новое слово, ^ трансгуманизм, для обозначения активного социального движения, которое охватывает тех, кто готовится к такому будущему. Достаточно сказать, что указанные вопросы становятся вызовом для большинства теоретиков морали, которые считают единственно возможным путем развития сохранение существования человека и самого человеческого рода.
Наконец, рассмотрим эту проблему с точки зрения робота. Если роботы обретут сознание, то трактовка их просто как “машин” (т.е. дальнейшее их принижение) может стать аморальной. Роботы сами должны также действовать морально — нам потребуется запрограммировать в них теорию, по которой они смогут судить, что хорошо и что плохо. Проблема прав и обязанностей роботов рассматривалась в произведениях авторов научной фантастики, начиная с Айзека Азимова [45]. В широко известном фильме “A.I.” [1451] Спилберга основой сюжета является рассказ Брайена Олдисса об интеллектуальном роботе, в программу которого была вложена вера в то, что он — человек, поэтому он не мог понять, почему же его когда-то неизбежно покинет владелица-мать. И в самом рассказе, использованном Спилбергом, и в его фильме приведены доводы в пользу того, что должно быть развернуто движение за гражданские права роботов.
Резюме
В данной главе рассматривались приведенные ниже темы.
Философы используют термин слабый искусственный интеллект для обозначения гипотезы о том, что машины могут обладать способностью действовать интеллектуально, и термин сильный искусственный интеллект — для обозначе-
ния гипотезы, что такие машины можно рассматривать как действительно обладающие разумом (а не имитирующие разумную деятельность).
Алан Тьюринг отверг как некорректный вопрос: “Могут ли машины мыслить?” и заменил его поведенческим тестом. Он сумел предугадать многие возражения против самой возможности появления мыслящих машин. В настоящее время исследователи искусственного интеллекта почти не уделяют тесту Тьюринга внимания, поскольку предпочитают работать над повышением производительности своих систем в решении практических задачах, а не над совершенствованием их способности имитировать людей.
В настоящее время общепризнано, что психические состояния представляют собой состояния мозга.
Споры за и против сильного искусственного интеллекта еще не закончились. Но лишь немногие из ведущих исследователей искусственного интеллекта считают, что итогом этих дебатов могут стать какие-либо существенные достижения.
Проблема сознания продолжает оставаться нерешенной загадкой.
Выявлено шесть потенциальных угроз обществу, создаваемых искусственным интеллектом и связанной с ним технологией. Авторы данной книги пришли к заключению, что некоторые из этих угроз либо являются маловероятными, либо ненамного отличаются по степени опасности от угроз, создаваемых другими, “неинтеллектуальными” технологиями. Лишь одна из эти угроз особо заслуживает дальнейшего анализа; она заключается в том, что с появлением сверхинтеллектуальных машин наступит такое будущее, которое весьма отличается от современности; это может нам не нравиться, но в данном вопросе у нас может не оказаться другого выбора. Указанные соображения неизбежно приводят к выводу, что мы должны тщательно взвешивать свои действия и в дальнейшем заняться анализом возможных последствий исследований искусственного интеллекта, от которых может зависеть будущее человеческой расы.
Библиографические и исторические заметки
Природа разума всегда оставалась неизменной темой философских рассуждений от древних времен до настоящего времени. В своем произведении “Федон” Платон отдельно рассмотрел и отбросил идею о том, что разум может быть “настройщиком” или образцом организации частей тела, т.е. ту точку зрения, которая близка к взглядам приверженцев функционализма в современной философии разума. Вместо этого он решил, что разум должен быть воплощен в бессмертной, нематериальной душе, отделимой от тела и состоящей из другой субстанции, т.е. встал на позиции дуализма. Аристотель различал несколько видов душ (обозначая их греческим словом “психе” — \|лэ/т|) в живых существах, но некоторые из них он описывал в манере функционализма (дополнительные сведения о функционализме Аристотеля можно найти в [1151]).
Известным приверженцем дуалистических взглядов на человеческий разум был Декарт, но по иронии судьбы он оказал огромное историческое влияние на развитие
механицизма и материализма. Он явно рассматривал животных в качестве автоматов и предугадал предложенный Тьюрингом тест, написав в своей работе: “Нет ничего невероятного в том [что машина] может обладать способностью производить различные перестановки слов, чтобы дать достаточно осмысленный ответ на то, что сказано в ее присутствии, так же, как это способен сделать даже самый глупый из людей” [391]. Энергичная защита Декартом точки зрения на то, что животные являются автоматами, фактически позволила будущим философам скорее прийти к выводу о том, что люди также являются автоматами, даже несмотря на то, что сам он не сделал этого шага. В книге UHomme Machine (Человек-машина) [875] Ламетри действительно приведено явное утверждение, что люди являются автоматами.
Приверженцы современной аналитической философии обычно признают материализм (часто в форме теории идентичности состояний мозга [39], [1215], согласно которой психические состояния идентичны состояниям мозга). Но в рамках материализма существуют серьезные разногласия по вопросам отношения к функционализму и применения машинной аналогии для человеческого разума, а также по вопросу о том, могут ли машины мыслить в буквальном понимании этого слова. На первых порах многие философы возражали против идей Тьюринга, изложенных в статье “Computing Machinery and Intelligence” [1520], например, Шривен [1374] пытался доказать, что бессмысленно даже говорить о том, что машины могут мыслить, на том основании, что в этом предположении искажается сам смысл данного слова. Но к 1963 году Шривен отказался от этих взглядов; см. дополнение к перепечатке его статьи [28]. Специалист в области компьютерных наук Эдсгер Дейкстра сказал, что “вопрос о том, может ли компьютер мыслить, не более интересен, чем вопрос о том, может ли подводная лодка плавать”. А в [480] приведены доводы в пользу того, что тест Тьюринга не нужен для развития искусственного интеллекта.
Функционализм — это философия разума, которая зародилась под влиянием искусственного интеллекта наиболее естественным образом, поэтому критика функционализма часто принимает форму критики искусственного интеллекта (как в случае воззрений философа Сирла). Следуя классификации, используемой Блоком [138], мы можем различить несколько видов функционализма. Теория функциональной спецификации [923], [925] представляет собой одну из разновидностей теории идентичности состояний мозга, в которой выбираются состояния мозга, подлежащие идентификации с психическими состояниями на основе их функциональной роли. А теория идентичности функционального состояния [1246], [1248] более полно основана на машинной аналогии. В ней психические состояния идентифицируются не с физическими состояниями мозга, а с абстрактными вычислительными состояниями мозга, явно рассматриваемого как вычислительное устройство. Предполагается, что эти абстрактные состояния не зависят от конкретной физической композиции мозга, а это заставляет думать, что теория идентичности функциональных состояний представляет собой одну из форм дуализма!
И теория идентичности состояний мозга, и различные формы функционализма подвергаются атакам со стороны философов, утверждающих, что в этих взглядах не учитывается качественный аспект психических состояний или “аспект их подобия” [1110]. С другой стороны, Сирл сосредоточивается не на этом вопросе, а на том, что функционализм якобы не позволяет учитывать целенаправленность [1376], [1377], [1379]. В [259] приведено опровержение критических взглядов обоих этих типов.
Отличием ^ элиминирующего материализма [258], [1301] от всех других ведущих теорий в философии разума является то, что в нем не предпринимаются попытки обосновать правильность представлений “народной психологии” или обыденных представлений о разуме; вместо этого подобные взгляды отвергаются как ложные и предпринимается попытка заменить их чисто научной теорией разума. В принципе эта научная теория могла бы быть лучше развита в рамках классического искусственного интеллекта, но на практике приверженцы элиминирующего материализма склонны к проведению исследований в области неврологии и нейронных сетей [260] на том основании, что классический искусственный интеллект, особенно исследования в области “представления знаний”, описанные в главе 10, как правило, исходят из истинности “народной психологии”. Хотя точка зрения, основанная на “целенаправленной позиции” [387], может рассматриваться как соответствующая принципам функционализма, ее, возможно, следует вместо этого считать одной из форм элиминирующего материализма, поскольку предполагается, что принятие “целенаправленной позиции” не отражает каких-либо объективных свойств агента, по отношению к которым занята эта позиция. Следует также отметить такую возможность, что позиция элиминирующего материализма будет принята в отношении одних аспектов мыслительной деятельности, тогда как в отношении других будет принят какой-то другой подход. Например, Деннет [388] выдвигает гораздо более строгие требования по устранению из сферы анализа (в рамках элиминирующего материализма) понятия качества, чем понятия целенаправленности.
Ссылки на литературу, содержащую основные критические замечания в адрес слабого искусственного интеллекта, в основном приведены в данной главе. Хотя в эпоху, наступившую после бума в области нейронных сетей, стало модно высмеивать символические подходы, не все философы критически относятся к достижениям GOFAI. Напротив, некоторые из них являются его горячими сторонниками и даже практиками. Зенон Пилишин [1250] утверждает, что процесс познания можно лучше всего понять с помощью вычислительной модели, не только в принципе, но и в ходе проведения современных исследований. Он специально занимался опровержением критических замечаний Дрейфуса в адрес вычислительной модели человеческого познания [1249]. Гильберт Харман [621], анализируя процесс пересмотра воззрений, провел аналогии с исследованиями искусственного интеллекта на базе системы поддержки истинности. Майкл Братман применил свою модель человеческой психологии “убеждение-желание-намерение” [176] к исследованиям искусственного интеллекта по планированию [177]. Крайний приверженец строгого искусственного интеллекта, Арон Сломан [1432, с. xiii], даже назвал “расистскими” взгляды Джозефа Вейценбаума [1566] на то, что гипотетические интеллектуальные машины не следует рассматривать как личности.
Философская литература по проблемам разума, мозга и близким к этому темам очень обширна; кроме того, эта литература часто является трудной для чтения теми, кто не обладает надлежащей подготовкой в области терминологии и используемых методов аргументирования. Исключительно авторитетным и очень полезным помощником в этом процессе может стать книга Encyclopedia of Philosophy (Энциклопедия философии) [431]. Более краткой и доступной книгой является The Cambridge Dictionary of Philosophy (Кембриджский словарь по философии) [48], но и в нем основные статьи (например, с описанием “философии разума”) все еще превышают по объему десятки страниц. Вопросы философии разума, а также биологии и психологии разума
рассматриваются в книге MIT Encyclopedia of Cognitive Science [1599]. К числу общих сборников статей о философии разума, в которых представлены различные точки зрения на проблемы, связанные с искусственным интеллектом, включая функционализм, относятся Materialism and the Mind-Body Problem [1309] и Readings in the Philosophy of Psychology, том 1 [138]. Биро и Шахан представили сборник статей [131], посвященный всем доводам за и против функционализма. К антологиям статей, в большей степени касающихся отношений между философией и искусственным интеллектом, относятся Minds and Machines [28], Philosophical Perspectives in Artificial Intelligence [1288], Mind Design [630] и The Philosophy of Artificial Intelligence [146]. Имеется также несколько общих введений в философский “вопрос об искусственном интеллекте” [145], [146], [293], [631]. Основным журналом, который публикует материалы философских и научных дебатов об искусственном интеллекте и неврологии, является The Behavioral and Brain Sciences (сокращенно BBS). Вопросы этики и ответственности в искусственном интеллекте рассматриваются в таких журналах, как AI and Society, Law, Computers and Artificial Intelligence и Artificial Intelligence and Law.
Упражнения
Пройдите по составленному Тьюрингом списку предполагаемых действий, на которые “не способны” машины, и укажите, какие из них удалось осуществить, какие осуществимы в принципе с помощью программ и какие все еще находятся под вопросом, поскольку для них требуются сознательные психические состояния.
Является ли опровержение довода с китайской комнатой убедительным доказательством того, что должным образом запрограммированные компьютеры имеют психические состояния? Обязательно ли принятие этого довода означает согласие с тем, что компьютеры не могут иметь психических состояний?
Пользуясь доводом с протезом мозга, важно предусмотреть способность восстановить мозг субъекта до нормального состояния, так, чтобы внешне он вел себя, будто над ним не проводилась какая-либо операция. Будет ли обоснованным возражение скептика о том, что для этого потребуется обновление нейрофизиологических свойств нейронов, которые относятся к сознательному опыту, в отличие от тех свойств, которые касаются функционального поведения нейронов?
Найдите и проанализируйте в популярном издании одну или несколько статей на ту тему, что создание искусственного интеллекта является невозможным.
Попытайтесь составить определения терминов “интеллект”, “мышление” и “сознание”. Проанализируйте некоторые возможные возражения против ваших определений.
Проанализируйте потенциальные угрозы обществу со стороны технологии искусственного интеллекта. Какие угрозы являются наиболее серьезными и как им можно противостоять? В каком соотношении они находятся с потенциальными выгодами?
Каковыми являются потенциальные угрозы со стороны технологии искусственного интеллекта в сравнении с угрозами со стороны других компьютерных технологий, а также со стороны ядерных, био- и нано- технологий?
Одни критики искусственного интеллекта утверждают, что его создать невозможно, а другие считают, что очень даже возможно и что сверхинтеллектуальные машины представляют собой угрозу. Какое из этих утверждений вы считаете наиболее вероятным? Будут ли противоречивыми взгляды тех, кто занимает одновременно обе позиции?
27 Настоящее и БУДУЩЕЕ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
В данной главе мы подводим итог тому, где мы находимся и куда движемся; это следует сделать, прежде чем приступить к дальнейшему изложению ее темы.
В части I предложен единый подход к проблематике искусственного интеллекта — как к проектированию рациональных агентов. В ней было показано, что сложность задачи проектирования зависит от того, какие акты восприятия и действия доступны для агента, каким целям должно удовлетворять поведение агента, а также от характера среды. Возможно применение целого ряда различных проектов агентов, начиная от простых рефлексных агентов и заканчивая агентами, основанными на знаниях, полностью способными к самостоятельному функционированию. Более того, компоненты этих проектов могут иметь целый ряд различных реализаций, таких как логические, вероятностные или “нейронные”. А в главах, которые следуют за этой частью, представлены принципы, на основании которых действуют эти компоненты.
Как описано выше, в последнее время достигнуты поразительные успехи в научном понимании проблемы и в обеспечении технологических возможностей как сточки зрения разработки проектов, так и с точки зрения реализации компонентов агентов. В данной главе мы отвлечемся от деталей и попытаемся найти ответ на вопрос: (^= “Приведет ли весь этот прогресс к созданию интеллектуального агента общего назначения, способного функционировать в самых различных вариантах среды?” В разделе 27.1 рассматриваются компоненты интеллектуального агента для определения того, что известно и чего еще недостает. В разделе 27.2 решается такая же задача применительно к общей архитектуре агента. В разделе 27.3 предпринимается попытка найти ответ на вопрос о том, является ли, прежде всего, правильной сама цель создания “проекта рационального агента” (ответ на данный вопрос должен быть таков: “Фактически дело обстоит иначе, но на данный момент эта цель являет-
ся вполне приемлемой”). Наконец, в разделе 27.4 показано, к каким последствиям приведет достижение нами успеха в своих начинаниях.
Компоненты агента
В главе 2 представлены разнообразные проекты агентов и их компоненты. Но в настоящей главе, для того чтобы можно было сузить рамки обсуждения, будет рассматриваться проект агента, действующего с учетом полезности, который еще раз показан на рис. 27.1. Это — наиболее общий из рассматриваемых нами проектов агентов; в этой главе речь также пойдет о его дополнении средствами обучения, как показано на рис. 2.7.
Рис. 27.1. Проект, основанный на модели агента, действующего с учетом полезности, который впервые представлен на рис. 2.6
Взаимодействие со средой с помощью датчиков и исполнительных механизмов.
Этот аспект оставался очевидным для всех слабым пунктом на протяжении большей части истории развития искусственного интеллекта. Если не считать небольшого числа исключений, вызвавших всеобщее восхищение, системы искусственного интеллекта создавались таким образом, что людям приходилось вручную подавать в них входные данные и интерпретировать выходные, поскольку робототехнические системы, предназначенные для решения задач низкого уровня, на которые опирались бы высокоуровневые компоненты формирования рассуждений и планирования, в основном отсутствовали. Такая ситуация отчасти была обусловлена тем, что для обеспечения функционирования настоящих роботов даже в самой узкой области требовались существенные финансовые расходы и большие затраты труда проектировщиков. Такая ситуация быстро изменяется в последние годы в связи с появлением готовых программируемых роботов, таких как роботы с четырьмя опорными конечностями (см. рис. 25.4, 0. Эти роботы, в свою очередь, созданы благодаря появлению небольших, недорогих телекамер CCD (Charge Coupled Device — прибор с за-
рядовой связью) с высоким разрешением, а также компактных, надежных электрических приводов. Технология MEMS (Micro-ElectroMechanical System — микроскопические электромеханические системы) позволила создать миниатюрные акселерометры и гироскопы, а в настоящее время в ее рамках создаются исполнительные механизмы, способные, например, приводить в действие искусственное летающее насекомое. (Существует также возможность объединять миллионы исполнительных механизмов MEMS для получения очень мощных макроскопических исполнительных механизмов.) Поэтому, что касается вариантов физической среды, то больше нет реальных причин, оправдывающих то положение, в котором находятся системы искусственного интеллекта. Кроме того, стала доступной полностью новая среда — Internet.
Слежение за состоянием мира. Это — одна из основных способностей, которой должен обладать интеллектуальный агент. Для этого требуется и восприятие, и обновление внутренних представлений. В главе 7 описаны методы слежения за миром, представленные в форме пропозициональной логики; в главе 10 они расширены до логики первого порядка, а в главе 15 представлены алгоритмы фильтрации для слежения за неопределенными вариантами среды. Эти инструментальные средства фильтрации вступают в действие, когда приходится сталкиваться с реальными (поэтому далекими от идеала) результатами восприятия. Современные алгоритмы фильтрации и восприятия могут комбинироваться для успешного выполнения заданий по составлению сообщений в виде предикатов низкого уровня, таких как “на столе стоит чашка”, но еще многое предстоит сделать, прежде чем с помощью этих алгоритмов можно будет составить отчет, например, о том, что “доктор Рассел пьет чай с доктором Норвигом”. Еще одна проблема состоит в том, что алгоритмы приближенной фильтрации, хотя и могут действовать в весьма обширной среде, остаются по сути пропозициональными, поэтому, как и пропозициональная логика, не позволяют явно представлять объекты и отношения. В главе 14 описано, как можно применить в сочетании теорию вероятностей и логику первого порядка для решения этой задачи; можно рассчитывать на то, что применение этих идей для слежения за сложными вариантами среды со временем позволит добиться огромных преимуществ. Кстати, как только речь заходит об объектах в неопределенной среде, нам приходится сталкиваться с ^ неопределенностью идентичности, поскольку часто неизвестно, не потерян ли из виду тот объект, за которым мы начинали следить. Эта проблема в системах искусственного интеллекта, основанных на логике, почти всегда игнорировалась, поскольку в основном предполагалось, что результаты восприятия включают константные символы, которые однозначно обозначают те или иные объекты.
Проектирование, оценка и выбор будущих способов действий. При решении этой задачи требования к представлению основных знаний остаются такими же, как и при решении задачи слежения за миром; трудности состоят главным образом в том, что приходится сталкиваться с проявлениями действий (например, связанных с проведением беседы или совместного чаепития), которые в конечном итоге состоят из тысяч или миллионов примитивных шагов, выполняемых реальным агентом. Вообще говоря, люди осуществляют такое сложное поведение исключительно благодаря тому, что действуют в рамках
иерархической структуры поведенческих актов. В некоторых из алгоритмов планирования, приведенных в главе 12, используются иерархические представления и представления в логике первого порядка, позволяющие справляться с проблемами реальных масштабов; с другой стороны, в алгоритмах принятия решений в условиях неопределенности, приведенных в главе 17, по существу используются такие же идеи, как и в алгоритмах поиска с учетом состояния, рассматриваемых в главе 3. В этой области необходимо выполнить еще очень большой объем работы, возможно, на основе новейших достижений в области иерархического обучения с подкреплением.
Полезность как способ выражения предпочтений. Вообще говоря, принцип, согласно которому рациональные решения должны быть основаны на максимизации ожидаемой полезности, является полностью общим и позволяет избежать многих проблем, связанных с подходами, основанными исключительно на достижении цели, таких как конфликтующие цели и ненадежные результаты. Однако до сих пор еще очень мало сделано в области создания реальных функций полезности. Достаточно представить себе, например, в какой сложной сети взаимодействующих предпочтений должен разбираться агент, действующий в качестве ассистента-делопроизводителя для чиновника. Как оказалось, задача декомпозиции предпочтений по сложным состояниям, подобная тому, как осуществляется декомпозиция убеждений по сложным состояниям в байесовских сетях, является весьма трудноразрешимой. Одна из причин этого может состоять в том, что распределение предпочтений по состояниям фактически компилируется из предпочтений, распределенных по историям состояний, которые описываются с помощью функций вознаграждения (см. главу 17). Даже если функция вознаграждения является простой, соответствующая функция полезности может оказаться очень сложной. Это означает, что мы должны рассматривать задачу инженерии знаний для функций вознаграждения, которая должна стать способом информирования разрабатываемых агентов о том, какие к ним предъявляются требования, как очень серьезную.
Обучение. В главах 18-20 описано, как может быть сформулирована задача обучения агента в виде задачи определения с помощью индуктивного обучения (контролируемого, неконтролируемого или основанного на подкреплении) тех функций, которые лежат в основе различных компонентов агента. Были разработаны очень мощные логические и статистические методы, позволяющие справляться с весьма значительными проблемами, часто достигающие или превосходящие возможности человека по идентификации предсказательных шаблонов, определенных в заданном словаре. С другой стороны, в области машинного обучения достигнуты лишь весьма небольшие успехи в решении важной проблемы формирования новых представлений на уровнях абстракции, более высоких по сравнению с входным словарем. Например, как может автономный робот выработать полезные предикаты, такие как Office и Cafe, если они не будут предоставлены ему разработчиком? Аналогичные соображения распространяются и на проблему определения с помощью обучения способа поведения; например, участие в чаепитии HavingACupOfTea — это важное действие высокого уровня, но как ввести его в библиотеку действий, которая первоначально содержит гораздо более
простые действия, такие как RaiseArm (Поднять руку) и Swallow (Сделать глоток)? Если мы не поймем специфику таких проблем, то столкнемся с утомительной задачей построения больших баз обыденных знаний вручную.
Архитектуры агентов
Возникает резонный вопрос: “Какие архитектуры агентов, описанные в главе 2, должны использоваться в агентах?” Ответом является: “Все архитектуры!” Выше было показано, что рефлексные реакции требуются в тех ситуациях, в которых существенным является фактор времени, а с другой стороны, рассуждения, основанные на знаниях, позволяют агенту планировать наперед. Полноценный агент должен быть способным выполнять и то и другое с использованием ^ гибридной архитектуры. Одним из важных свойств гибридных архитектур является то, что границы между различными компонентами, обеспечивающими принятие решений, не постоянны. Например, в процессе компиляции декларативная информация, полученная на уровне формирования рассуждений, последовательно преобразуется во все более эффективные представления, что позволяет в конечном итоге достичь рефлексного уровня, как показано на рис. 27.2. (В этом состоит цель обучения на основе объяснения, как описано в главе 19.) Точно такую же структуру имеют такие архитектуры агентов, как Soar [880] и Theo [1063]. После решения каждой задачи с помощью явного формирования рассуждений эти агенты сохраняют обобщенную версию полученного решения для его использования в рефлексном компоненте. Менее изученной проблемой является проблема осуществления процесса, обратного указанному, — после изменения среды рефлексы, усвоенные в результате обучения, могут оказаться больше не подходящими, и агенту может потребоваться вернуться на уровень формирования рассуждений, для того чтобы выработать новые способы поведения.
Рис. 27.2. Компиляция служит для преобразования результатов принятия решений на основе рассуждений в более эффективные рефлексивные механизмы
Агентам могут также потребоваться способы, позволяющие управлять своими собственными процессами формирования рассуждений. Они должны быть способными прекратить размышления, когда потребуются действия, а также должны умело использовать время, отведенное на рассуждения, чтобы выполнить наиболее продуктивные вычисления. Например, агент-водитель такси, который обнаружил впереди картину дорожного происшествия, должен решить за долю секунды, следует ли ему затормозить или объехать то место, где случилось происшествие. Кроме того,
данный агент должен также потратить лишь долю секунды на размышление о наиболее важных в этой ситуации вопросах, например, нет ли движения на полосах слева и справа и нет ли непосредственно сзади него большого грузовика, но не задумываться над тем, что резкий маневр увеличит износ и стирание шин автомобиля или что ему давно нужно было найти очередного пассажира. Исследование таких проблем осуществляется главным образом в рамках направления ^ искусственного интеллекта реального времени. По мере того как системы искусственного интеллекта проникают во все более сложные проблемные области, все решаемые задачи становятся задачами реального времени, поскольку агенту никогда больше не отводится достаточно времени для точного решения задачи принятия решений.
Очевидно, что становится насущной потребность в методах, которые позволяют действовать в более общих ситуациях принятия решений. В последние годы появились два перспективных метода. В первом из них предусматривается использование ^ алгоритмов с отсечением по времени [357], [682]. Алгоритмом с отсечением по времени называется алгоритм, качество выходных данных которого неизменно улучшается во времени, поэтому он всегда готов предоставить приемлемое решение, когда бы ни была прервана его работа. Такие алгоритмы действуют под управлением ме- тауровневой процедуры принятия решений, которая оценивает, стоит ли выполнять дальнейшие вычисления. Простым примером алгоритма с отсечением по времени является поиск с итеративным углублением в задачах ведения игр. Могут также быть созданы более сложные системы, состоящие из многих таких алгоритмов, действующих вместе [1647]. Вторым методом являются ^ метарассуждения на основе теории решений [683], [687], [1332]. В этом методе применяется теория ценности информации (см. главу 16) для выбора вычислений. Ценность вычислений зависит и от их стоимости (с точки зрения того, что действие не проводится, пока они осуществляются) и от их преимуществ (измеряемых с учетом того, насколько повысилось качество решения). Методы формирования метарассуждений могут использоваться для проектирования лучших алгоритмов поиска и для обеспечения гарантий того, что алгоритмы будут обладать вневременным свойством. Безусловно, подход на основе метарассуждений является дорогостоящим, а методы компиляции могут применяться таким образом, чтобы издержки были малы по сравнению со стоимостями контролируемых вычислений.
Тем не менее метарассуждения представляют собой лишь один из аспектов общей ’(Эк рефлексивной архитектуры, т.е. архитектуры, позволяющей формировать рассуждения о вычислительных сущностях и действиях, возникающих в самой архитектуре. Теоретическую основу для рефлексивных архитектур можно заложить, определив совместное пространство состояний, складывающееся из состояний среды и вычислительного состояния самого агента. Могут быть спроектированы алгоритмы принятия решений и обучения, которые применяются к этому совместному пространству состояний и поэтому способствуют реализации и совершенствованию вычислительной деятельности агента. Мы надеемся, что в конечном итоге такие алгоритмы, предназначенные для решения узко конкретных задач, как альфа-бета поиск и обратный логический вывод, исчезнут из систем искусственного интеллекта и будут заменены общими методами, которые направляют вычисления агента в сторону эффективного формирования высококачественных решений.
Оценка правильности выбранного направления
В предыдущем разделе были перечислены многие достижения и многие возможности для дальнейшего прогресса. Но в каком направлении идет все это развитие? Дрейфус [415] проводит аналогию с попыткой достать до луны, взбираясь на дерево; в ходе этого наблюдается постоянный прогресс до тех пор, пока не будет достигнута вершина дерева. В этом разделе мы рассмотрим, напоминает ли текущий путь развития искусственного интеллекта подъем по стволу дерева или взлет ракеты.
В главе 1 было указано, что наша цель состоит в создании агентов, которые действуют рационально, но в той же главе было также указано следующее:
...задача достижения идеальной рациональности, при которой всегда выполняются правильные действия, не осуществима. Дело в том, что при этом предъявляются слишком высокие требования к вычислительным ресурсам. Но в основной части данной книги применяется рабочая гипотеза, согласно которой идеальная рациональность является хорошей отправной точкой для анализа.
Теперь настало время определить, в чем именно состоит цель искусственного интеллекта. Мы стремимся создавать агентов, но какой спецификацией следует при этом руководствоваться? Ниже описаны четыре возможных варианта.
^ Идеальная рациональность. Идеально рациональный агент в каждое мгновение действует таким образом, чтобы максимизировать свою ожидаемую полезность с использованием информации, полученной им из среды. Но было показано, что вычисления, необходимые для достижения идеальной рациональности, в большинстве вариантов среды требуют слишком больших затрат времени, поэтому задача обеспечения идеальной рациональности не является реалистичной.
^ Вычислительная рациональность. Это понятие рациональности использовалось нами неявно при проектировании логических агентов и агентов, основанных на принятии решений. Вычислительно рациональный агент в конечном итоге возвращает то, что рассматривалось как рациональный выбор в начале этапа формирования им рассуждений. Такое свойство может представлять интерес, только если система используется лишь в демонстрационных целях, а в большинстве вариантов среды правильный ответ теряет свою ценность, если он не был своевременным. На практике проектировщики систем искусственного интеллекта вынуждены искать компромисс между требованиями по обеспечению качества решений и требованиями по уменьшению затрат времени на получение приемлемой общей производительности; к сожалению, теоретические основы вычислительной рациональности не позволяют предложить достаточно обоснованного способа выработки таких компромиссов.
^ Ограниченная рациональность. Герберт Саймон [1415] отверг идею идеальной (или даже приближенно идеальной) рациональности и предложил использовать понятие ограниченной рациональности — описательную теорию принятия решений реальными агентами. Ниже приведена цитата из его работы.
Способность человеческого разума формулировать и решать сложные задачи слишком мала по сравнению с масштабами задач, для которых требуется искать решение, чтобы осуществлять объективно рациональное поведение в реальном мире, или хотя бы добиваться приемлемого приближения к такой объективной рациональности.
Саймон выдвинул предложение, что принцип ограниченной рациональности главным образом основан на принципе непритязательности (satisficing), т.е. на том, что проведение рассуждений следует осуществлять достаточно долго лишь для того, чтобы предложить “вполне приемлемый” ответ. За указанную выше работу Саймон получил Нобелевскую премию по экономике, а позднее выпустил книгу, в которой подробно осветил все свои идеи [1418]. По-видимому, понятие непритязательности может служить полезной моделью человеческого поведения во многих случаях. Но оно не является формальной спецификацией для интеллектуальных агентов, поскольку в теории Саймона не дано определение “вполне приемлемого” ответа. Кроме того, принцип непритязательности, по- видимому, является лишь одним из широкого спектра методов, используемых для осуществления действий в условиях ограниченных ресурсов.
^ Ограниченная оптимальность (Bounded Optimality — ВО). Ограниченно оптимальный агент действует настолько хорошо, насколько это возможно, с учетом его вычислительных ресурсов. Это означает, что ожидаемая полезность программы агента для ограниченного оптимального агента является по меньшей мере такой же высокой, как и ожидаемая полезность любой другой агентской программы, работающей на том же компьютере.
По-видимому, наилучшие перспективы создания мощного теоретического фундамента для искусственного интеллекта открывает только одна из этих четырех возможностей — ограниченная оптимальность. Преимущество связанного с ней подхода состоит в том, что он является осуществимым, — всегда можно найти по меньшей мере одну наилучшую программу, а таким свойством не обладает подход с идеальной рациональностью. Ограниченно оптимальные агенты действительно применимы в реальном мире, тогда как вычислительно рациональные агенты обычно неприменимы, а агенты, действующие по принципу непритязательности, могут оказаться применимыми или нет, в зависимости от их собственных конструктивных особенностей.
Традиционным подходом в искусственном интеллекте было то, что нужно начинать с вычислительной рациональности, а затем вырабатывать компромиссы с учетом ресурсных ограничений. Если проблемы, связанные с применением ограничений, не столь существенны, то можно надеяться на создание окончательного проекта, аналогичного проекту ограниченно оптимального агента. Но, по мере того как ресурсные ограничения становятся все более важными (например, по мере усложнения среды), может оказаться так, что два проекта станут весьма несхожими. А в теории ограниченной оптимальности эти ограничения могут учитываться в рамках целостного подхода.
До сих пор объем знаний в области ограниченной оптимальности остается не таким уж значительным. Известно, что могут быть созданы ограниченно оптимальные программы для очень простых машин и для довольно лимитированных вариантов среды [445], [1330], но еще нет полного представления о том, какими должны быть программы ВО для больших компьютеров общего назначения, применяемых в сложных вариантах среды. Если теория ограниченной оптимальности будет носить конструктивный характер, то можно рассчитывать на получение проектов ограниченно оптимальных программ, которые не слишком сильно зависят от устройства используемого компьютера. Научные исследования стали бы весьма затруднительными, если бы увеличение объема памяти гигабайтового компьютера на несколько килобайтов привело к существенному изменению программы ВО. Одним из способов обеспечения того, чтобы это не могло
случиться, может служить небольшое ослабление критериев ограниченной оптимальности. По аналогии с понятием асимптотической сложности (приложение А) можно определить понятие ^асимптотической ограниченной оптимальности (Asymptotic Bounded Optimality — ABO), как описано ниже [1329]. Предположим, что программа Р является ограниченно оптимальной для компьютера м в классе вариантов среды Е, тогда как сложность вариантов среды в Е не ограничена. В таком случае программа Р' обладает свойством АВО для м в Е, если она может превзойти по производительности программу Р, работая на компьютере км, который в к раз быстрее (или крупнее) по сравнению с м. За исключением предельных значений к было бы достаточно иметь программу, обладающую свойством АВО, для нетривиальной среды в нетривиальной архитектуре. Было бы мало смысла затрачивать невероятные усилия на поиск программ ВО, а не АВО, поскольку все равно размеры и скорость доступных компьютеров увеличиваются на постоянный коэффициент через фиксированные промежутки времени, в связи с появлением каждого нового поколения этих устройств.
Можно рискнуть предположить, что программы ВО или АВО для мощных компьютеров, действующих в сложных вариантах среды, не обязательно должны иметь простую, изящную структуру. Выше уже было показано, что для искусственного интеллекта общего назначения требуются некоторые рефлексивные способности и некоторые способности к формированию рассуждений, целый ряд форм представления знаний и принятия решений, механизмы обучения и компиляции для всех этих форм, методы управления процессом формирования рассуждений и большой запас знаний в данной конкретной области. Ограниченно оптимальный агент должен адаптироваться к той среде, в которой он находится сам, с тем чтобы в конечном итоге его внутренняя организация соответствовала возможностям оптимизации, характерным для данной конкретной среды. Можно рассчитывать лишь на указанную возможность, а такой ход развития аналогичен пути, по которому развивались гоночные автомобили с ограничениями на мощность, пока наконец не были созданы чрезвычайно сложные, но весьма эффективные проекты. По мнению авторов, наука искусственного интеллекта, основанная на понятии ограниченной оптимальности, будет способствовать интенсивному исследованию процессов, позволяющих путем последовательных итераций создавать агентские программы с ограниченной оптимальностью и, возможно, меньше сосредоточиваться на анализе того, как именно устроены создаваемые при этом программы, пусть даже не такие изящные.
Подводя итог, можно отметить, что проведение разработки понятия ограниченной оптимальности было предложено в качестве формальной задачи для исследований по искусственному интеллекту, которая не только хорошо определена, но и осуществима. Ограниченная оптимальность определяет оптимальные программы, но не оптимальные действия. А действия в конечном итоге вырабатываются программами и с помощью программ, которые полностью зависят от замысла проектировщика.
Перспективы развития искусственного
ИНТЕЛЛЕКТА
Дэвид Лодж в своем романе Small World [943] об академическом мире литературной критики описал сцену, в которой главный герой вызывает замешательство среди
группы выдающихся, но несогласных друг с другом теоретиков литературы, задав им следующий вопрос: “Что было бы, если бы вы оказались правы?” Ни один из теоретиков, по-видимому, еще не задумывался над этим вопросом раньше, поскольку ведение споров по поводу неопровержимых теорий — бессмысленное занятие. Аналогичное замешательство можно вызвать, задав исследователям в области искусственного интеллекта вопрос: “Что было бы, если бы вам удалось достичь своей цели?” Ведь искусственный интеллект демонстрирует замечательные достижения, а интеллектуальные компьютеры, безусловно, более полезны, чем неинтеллектуальные компьютеры, так о чем же беспокоиться?
Как было указано в разделе 26.3, необходимо рассмотреть некоторые этические проблемы. Интеллектуальные компьютеры являются более мощными, но будет ли эта мощь использоваться во благо или во зло? Те, кто посвящают свою жизнь разработкам в области искусственного интеллекта, ответственны за то, чтобы влияние их работы было положительным. Широта этого влияния зависит от степени успеха искусственного интеллекта. Даже первые скромные успехи в области искусственного интеллекта повлияли на то, как осуществляются преподавание компьютерных наук [1459] и разработка программного обеспечения. Благодаря искусственному интеллекту удалось создать принципиально новые приложения, такие как системы распознавания речи, системы управления запасами, интеллектуальные системы наружного наблюдения, роботы и машины поиска.
Авторы считают, что достижение в искусственном интеллекте успехов среднего уровня окажет влияние на повседневную жизнь всех слоев населения во всем мире. До сих пор такого рода всепроникающее воздействие на общество смогли оказать лишь компьютеризированные сети связи, такие как сеть сотовой телефонной связи и Internet, а искусственный интеллект оставался в стороне. Вполне можно представить себе, что действительно полезные персональные ассистенты для офиса или дома окажут большое положительное воздействие на повышение качества повседневной жизни, хотя они в краткосрочной перспективе и могут вызвать некоторые экономические неурядицы. Кроме того, технологические возможности, открывающиеся на этом уровне, могут быть также применены для создания автономного оружия, появление которого многие считают нежелательным.
Наконец, кажется вполне вероятным, что крупномасштабный успех в создании искусственного интеллекта (появление интеллекта на уровне человека и превосходящего его) повлияет на существование большинства представителей рода человеческого. Изменится сам характер нашей работы и развлечений, так же как и наши представления об интеллекте, сознании и будущей судьбе человечества. На этом уровне системы искусственного интеллекта могут создать более непосредственную угрозу самоопределению, свободе и даже выживанию людей. По этим причинам нельзя рассматривать исследования в области искусственного интеллекта в отрыве от их этических последствий.
Каким мы видим будущее? Авторы научно-фантастических романов, по- видимому, чаще публикуют пессимистические, а не оптимистические сценарии грядущего, возможно, потому, что это позволяет сочинять более увлекательные сюжеты. Но создается впечатление, что искусственный интеллект пока развивается по такому же принципу, как и другие революционные технологии (типографское дело, инженерное оборудование, воздухоплавание, телефония и т.д.), отрицательные последствия внедрения которых перевешиваются положительными результатами.
В заключение следует отметить, что за свою короткую историю искусственный интеллект добился существенного прогресса, но последнее утверждение из эссе Алана Тьюринга Computing Machinery and Intelligence продолжает оставаться неоспоримым и в наши дни.
Мы способны заглянуть вперед лишь на очень короткое расстояние, но все равно можем увидеть, как много еще предстоит сделать.
А Математические
основы
А. 1. Анализ сложности и система обозначений О()
Специалистам в области компьютерных наук часто приходится решать задачу сравнения алгоритмов для определения того, насколько быстро они действуют или сколько памяти для них требуется. Для решения этой задачи предусмотрены два подхода. Первым из них является ^ применение эталонных тестов — прогон реализующих алгоритмы программ на компьютере и измерение быстродействия в секундах и потребления памяти в байтах. Верно, что в конечном итоге нас действительно интересуют именно такие практические характеристики, но эталонное тестирование может оказаться неприемлемым потому, что оно слишком узко направлено, — в нем измеряется производительность конкретной программы, написанной на конкретном языке, функционирующей на конкретном компьютере с конкретным компилятором и с конкретными входными данными. К тому же на основании единственного результата, полученного с помощью эталонного тестирования, трудно предсказать, насколько успешно этот алгоритм будет действовать в случае использования другого компилятора, компьютера или набора данных.
Асимптотический анализ
Второй подход опирается на математический ^ анализ алгоритмов, независимый от конкретной реализации и входных данных. Рассмотрим этот подход на приведенном ниже примере программы, которая вычисляет сумму последовательности чисел (листинг А. 1).
Листинг А. 1. Программа вычисления суммы последовательности чисел
function Summation(sequence) returns сумма sum
sum <— 0
for i <- 1 to Length (sequence) sum <— sum + sequence VIA return sum
Первый этап анализа состоит в том, что создается определенное абстрактное представление входных данных, позволяющее найти какой-то параметр (или параметры), который характеризует объем входных данных. В рассматриваемом примере объем входных данных можно охарактеризовать с помощью такого параметра, как длина последовательности, которая будет обозначаться как п. На втором этапе необходимо определить абстрактное представление реализации и найти какой-то критерий, отражающий продолжительность прогона алгоритма, но не привязанный к конкретному компилятору или компьютеру. Применительно к программе Summation этим критерием может служить количество строк выполняемого кода; кроме того, данный критерий может быть более детализированным и измеряющим количество сложений, присваиваний, обращений к элементам массивов, а также ветвлений, выполняемых в этом алгоритме. В любом случае будет получена характеристика общего количества шагов, выполняемых алгоритмом, как функция от объема входных данных. Обозначим эту характеристику как т(п). Если за основу берется количество строк кода, то в данном примере Т(п) =2п+2.
Если бы все программы были такими же простыми, как Summation, то область анализа алгоритмов не заслуживала бы названия научной. Но исследования в этой области существенно усложняются из-за наличия двух проблем. Первая проблема заключается в том, что редко удается найти параметр, подобный Т(п), который полностью характеризует количество шагов, выполняемых в алгоритме. Вместо этого обычно можно самое большее вычислить этот показатель для наихудшего случая Tworst (п) или для среднего случая Tavg (п). А для вычисления среднего требуется, чтобы аналитик принял какие-то обоснованные предположения по распределению наборов входных данных.
Вторая проблема состоит в том, что алгоритмы обычно не поддаются точному анализу. В этом случае приходится прибегать к аппроксимации и использовать, например, такую формулировку, что быстродействие алгоритма Summation характеризуется величиной О(п). Это означает, что быстродействие алгоритма измеряется величиной, пропорциональной п, возможно, за исключением нескольких небольших значений п. Более формально это определение можно представить с помощью следующей формулы:
Т(п) равно O(f(n) ) , если T(n) < kf^rf) для некоторого к, при всех п > по
Перейдя к использованию системы обозначений О(), мы получаем возможность воспользоваться так называемым ^ асимптотическим анализом. А в рамках этого подхода можно, например, безоговорочно утверждать, что если п асимптотически приближается к бесконечности, то алгоритм, характеризующийся показателем О(п), проявляет себя лучше по сравнению с алгоритмом О(п2), тогда как единственное число, полученное с помощью эталонного тестирования, не может служить обоснованием подобного утверждения.
Система обозначений О() позволяет создать абстрактное представление, в котором не учитываются постоянные коэффициенты, благодаря чему она становится более простой в использовании, но менее точной, чем система обозначений ТО. Например, в конечном итоге алгоритм О(п2) всегда будет считаться худшим по сравнению с алгоритмом О(п), но если бы эти два алгоритма характеризовались значениями Т(п2+1) и Т(100п+1000), то фактически алгоритм О(п2) был бы лучше при п<110.
Несмотря на этот недостаток, асимптотический анализ представляет собой инструментальное средство, наиболее широко используемое для анализа алгоритмов. Этот метод можно считать достаточно точным, поскольку в процессе анализа создается абстрактное представление и для точного количества операций (поскольку игнорируется постоянный коэффициент к), и для точного содержимого входных данных (поскольку рассматривается исключительно их объем п); благодаря этому анализ становится осуществимым с помощью математических методов. Система обозначений О () представляет собой хороший компромисс между точностью и простотой анализа.
Изначально сложные и недетерминированные полиномиальные задачи
С помощью анализа алгоритмов и системы обозначений О() мы получаем возможность рассуждать об эффективности конкретного алгоритма. Однако эти методы не позволяют определить, может ли существовать лучший алгоритм для рассматриваемой задачи. В области ^ анализа сложности исследуются задачи, а не алгоритмы. Первая широкая градация в этой области проводится между задачами, которые могут быть решены за время, измеряемое полиномиальным соотношением, и задачами, которые не могут быть решены за время, измеряемое полиномиальным соотношением, независимо от того, какой алгоритм для этого используется. Класс полиномиальных задач (которые могут быть решены за время O(nk) для некоторого к) обозначается как Р. Эти задачи иногда называют “легкими”, поскольку данный класс содержит задачи, имеющие такую продолжительность прогона, как O(logn) и О(п). Но он содержит и задачи с затратами времени О(п1000 ), поэтому определение “легкий” не следует понимать слишком буквально.
Еще одним важным классом является NP (сокращение от Nondeterministic Polynomial) — класс недетерминированных полиномиальных задач. Задача относится к этому классу, если существует алгоритм, позволяющий выдвинуть гипотезу о возможном решении, а затем проверить правильность этой гипотезы с помощью полиномиальных затрат времени. Идея такого подхода состоит в том, что если бы можно было воспользоваться сколь угодно большим количеством процессоров, чтобы проверить одновременно все гипотезы, или оказаться крайне удачливым и всегда с первого раза находить правильную гипотезу, то NP-трудные задачи стали бы P-трудными задачами. Одним из самых важных нерешенных вопросов в компьютерных науках является то, будет ли класс NP эквивалентным классу Р, если нельзя воспользоваться бесконечным количеством процессоров или способностью находить правильную гипотезу с первого раза. Большинство специалистов в области компьютерных наук согласны с тем, что P^NP, иными словами, что задачи NP являются изначально трудными и для них не существует алгоритмов с полиномиальными затратами времени. Но это утверждение так и не было доказано.
Ученые, пытающиеся найти ответ на вопрос о том, эквивалентны ли классы Р и NP, выделили подкласс класса NP, называемый ^ NP-полными задачами. В этой формулировке слово “полный” означает “являющийся наиболее ярким представителем” и поэтому указывает на самые трудные задачи из класса NP. Было доказано, что либо все NP-полные задачи принадлежат к классу Р, либо ни одна из них к нему не относится. Таким образом, данный класс представляет определенный теоретический интерес, но он важен также с точки зрения практики, поскольку известно, что
многие серьезные задачи являются NP-полными. В качестве примера можно указать задачу установления выполнимости: если дано высказывание пропозициональной логики, то есть ли такой вариант присваивания истинностных значений пропозициональным символам в высказывании, при котором оно становится истинным? Если не произойдет чудо и не совпадут друг с другом классы Р и NP, то нельзя будет найти алгоритм, который позволяет решить все задачи установления выполнимости за полиномиальное время. Но исследователей в области искусственного интеллекта в большей степени интересует то, существуют ли алгоритмы, действующие достаточно эффективно при решении типичных задач, выбранных с помощью заранее заданного распределения; как было показано в главе 7, существуют алгоритмы наподобие WalkSAT, которые действуют вполне успешно при решении многих задач.
Класс ^ ко-NP является комплементарным (дополнительным) по отношению к классу NP; это означает, что для каждой задачи принятия решения из класса NP существует соответствующая задача в классе ко-NP, на которую может быть дан положительный или отрицательный ответ, противоположный ответу на задачу класса NP. Известно, что Р является подмножеством и NP, и ко-NP, кроме того, считается, что к классу ко-NP относятся некоторые задачи, не входящие в класс Р. Такие задачи называются ko-NP-полными и являются самыми трудными задачами в классе ko-NP.
Класс #Р (произносится как “шарп Р”, или “диез Р”) представляет собой множество задач подсчета количества вариантов, соответствующих задачам принятия решения из класса NP. Задачи принятия решения имеют однозначный (положительный или отрицательный) ответ; примером задачи такого типа является следующая: “Существует ли решение для данной формулы 3-SAT?” Задачи подсчета количества вариантов имеют целочисленный ответ, например: “Сколько решений существует для данной формулы 3-SAT?” В некоторых случаях задача подсчета количества вариантов намного труднее по сравнению с соответствующей задачей принятия решения. Например, принятие решения о том, имеет ли двухдольный граф идеальное паросочетание, может быть выполнено за время О( VE) (где V— количество вершин; Е — количество ребер графа), тогда как задача подсчета того, какое количество идеальных паросочетаний имеется в этом двухдольном графе, является #Р- полной. Это означает, что она не менее трудна, чем любая задача из класса #Р, и поэтому по меньшей мере столь же трудна, как и любая задача NP.
Исследователи определили также класс задач PSPACE; таковыми являются задачи, для которых требуется объем пространства, определяемый полиномиальной зависимостью, даже при их прогоне на недетерминированной машине. Считается, что PSPACE-трудные задачи решаются хуже по сравнению с NP-полными задачами, но не исключено, что в ходе дальнейших исследований может быть установлено, что класс NP эквивалентен классу PSPACE, и также то, что класс Р эквивалентен классу NP.
А.2. Векторы, матрицы и линейная алгебра
В математике сформулировано определение ^ вектора как элемента векторного пространства, но мы будем использовать более конкретное определение: вектор — это упорядоченная последовательность значений. Например, в двухмерном пространстве могут быть определены такие векторы, как х=<3,4> и у=<0,2>. В этом
приложении соблюдаются обычные соглашения об обозначении в нем векторов с помощью полужирных символов, хотя некоторые авторы отмечают имена векторов с помощью стрелок или знаков надчеркивания: х или у. Элементы вектора обозначаются с помощью подстрочных индексов: z=<zlf z2,..., zn>.
Двумя фундаментальными операциями над векторами являются векторное сложение и скалярное умножение. Векторное сложение х+у — это поэлементная сумма: х+у=<3+0,4+2>=<3,6>, а скалярное умножение — это операция умножения каждого элемента на некоторую константу: 5х=<5хЗ, 5х4>=<15,20>.
Длина вектора обозначается как | х | и вычисляется путем извлечения квадратного корня из суммы квадратов элементов: |х| =л^ (32+42) =5. Точечное произведение (называемое также скалярным произведением) двух векторов, ху, представляет собой сумму произведений соответствующих элементов; иными словами,
X-y=Eixiyi'
или в данном конкретном случае: х-у=ЗхО+4х2 = 8.
Векторы часто интерпретируются как направленные отрезки прямых (напоминающие стрелки) в n-мерном евклидовом пространстве. В таком случае операция сложения векторов эквивалентна совмещению конца одного вектора с началом другого, а точечное произведение ху эквивалентно выражению | х | | у | cosO, где 6 — угол между х и у.
^ Матрица — это прямоугольный массив значений, упорядоченных по строкам и столбцам. Ниже показана матрица тс размерами 3x4.
/ П11,1 Ш1(2 Ш1,з Ш1,4 \ m2,1 m2,2 т2, з m2,4
\ тз,1 тз,2 тз,з тз,4 /
Первый подстрочный индекс терма mizj определяет строку, а второй — столбец. В языках программирования терм mi j часто записывается как m [ i, j ] или m [ i ] [ j ].
Сумма двух матриц определяется путем сложения соответствующих элементов, поэтому (m+n) i# j=miz j+niz j. (Если матрицы тип имеют разные размеры, то их сумма не определена.) Можно также определить операцию умножения матрицы на скаляр: (cm) izj=cmiz j. Операция умножения матриц (получения произведения двух матриц) является более сложной. Произведение mn определено, только если m имеет размеры axb, ап— размеры Ьхс (т.е. вторая матрица имеет количество строк, совпадающее с количеством столбцов первой матрицы); результатом является матрица с размерами ахс. Это означает, что операция умножения матриц не коммутативна — в общем случае mn^nm. Если матрицы имеют приемлемые размеры, то результат их умножения являются следующим:
(mn)i,k = ^' mi,jiij,k j
Единичная матрица I имеет элементы lizj, равные 1, если i=j, и равные 0 в противном случае. Она обладает таким свойством, что ml = m при всех m Транспозиция матрицы т, которая записывается как тт, образуется путем превращения строк в столбцы и наоборот, или, более формально, путем выполнения операции m iz j =mj z i.
Матрицы используются для решения систем линейных уравнений с помощью процедуры, называемой алгоритмом ^ удаления элементов Гаусса—Джордана, который характеризуется показателем О(п3). Рассмотрим следующее множество уравнений, для которого можно найти решение в терминах х, у и z;
+2х + у - z = 8
Зх - у + 2z = -11
2х + у + 2z = -3
Эту систему уравнений можно представить в виде следующей матрицы:
X у Z с
/21-18 X
3-1 2 -11
V -2 1 2 -3 )
Здесь строка х у z с не входит в состав матрицы; она служит лишь в качестве напоминания, к чему относится каждый столбец. Известно, что если обе стороны уравнения будут умножены на константу или если это уравнение будет сложено с другим уравнением, то полученное уравнение останется действительным. Метод удаления элементов Гаусса-Джордана действует по принципу повторного выполнения подобных операций таким образом, чтобы вначале была удалена первая переменная (х) из всех уравнений, кроме первого, а затем эти действия продолжались в форме удаления i-й переменной из всех уравнений, кроме i-ro, для всех 1. Удалим х из второго уравнения, умножив первое уравнение на 3 / 2 и сложив его со вторым. В результате будет получена следующая матрица:
XуZс
/21-18X
О.5.51
V -212-3)
Продолжая аналогичные действия, удалим х, у и z и получим следующее:
XуZс
/1002X
0103
V001-1)
Таким образом, решением является х=2, у=3, z=-l (проверьте это решение!).
А.З. Распределения вероятностей
Вероятность — это мера, заданная на множестве событий, которая удовлетворяет трем приведенным ниже аксиомам.
Мера каждого события находится в пределах от 0 до 1. Это утверждение записывается как 0<P(£=ei)<l, где Е — случайная переменная, представляющая событие; ei — возможные значения Е. Вообще говоря, случайные переменные обозначаются прописными буквами, а их значения — строчными.
Мера всего множества равна 1; это означает, что
Уп P(E=ei)=l.
"1 = 1
Вероятность объединения несовместимых событий равна сумме вероятностей отдельных событий; это означает, что P(£=e1v£=e2) =P(,E=eV) +Р(Е=е2), где в! и е2 являются несовместимыми.
Вероятностная модель состоит из пространства выборок взаимоисключающих возможных результатов, наряду с вероятностной мерой для каждого результата. Например, в модели погоды на завтра результатами могут быть sunny (солнце), cloudy (облачность), rainy (дождь) и snowy (снег). Подмножество этих результатов представляет собой событие. Например, событие выпадения осадков — это подмножество {rainy, snowy}.
Для обозначения вектора значений <P(E=eV) ,..., Р{Е=еп)> используется терм Р (Е). Кроме того, Рке^ применяется как сокращенное обозначение для Р (Е=е^), а
служит для обозначения
Уп Р(Е=еП .
Условная вероятность Р(В| А) определяется как Р(впА)/Р(А). Переменные А и В являются условно независимыми, если Р(В| А) =Р(В) (или, равным образом, если Р(А| В) =Р(Д)). Непрерывные переменные имеют бесконечное количество значений, и если распределение вероятностей этих значений не характеризуется наличием пиковых значений в отдельных точках, то вероятность любого отдельно взятого значения равна 0. Поэтому определим ^функцию плотности вероятностей, которая также обозначается как Р(х), но имеет немного иной смысл по сравнению с дискретной функцией вероятностей Р(А). Функция плотности вероятностей Р(Х=с) определяется как отношение вероятности того, что X попадает в интервал вокруг с, к ширине этого интервала, измеряемая в пределе приближения ширины интервала к нулю:
Р(Х=с) = lim Р(с < X < с + dx)/dx dx—>0
Функция плотности должна быть неотрицательной при всех х и соответствовать следующему требованию:
J* P(X)dx = 1
Может быть также определена ^ кумулятивная функция плотности вероятностей Г(Х), которая представляет собой вероятность того, что некоторая случайная переменная меньше х.
F{X} = J^ PkX^dx
Следует отметить, что функция плотности вероятностей измеряется в определенных единицах, а дискретная функция вероятностей является безразмерной. Например, если переменная X измеряется в секундах, то плотность измеряется в Гц (т.е. 1/с). Если X— точка в трехмерном пространстве, измеряемом в метрах, то плотность измеряется в 1/м3.
Одним из наиболее важных распределений вероятностей является ^ гауссово распределение, известное также под названием нормального распределения. Гауссово распределение со средним ц и среднеквадратичным отклонением а (и поэтому с дисперсией о2) определяется следующей формулой:
где х— непрерывная переменная, изменяющаяся в пределах от -©© до +©©. Если среднее ц=0 и дисперсия о2=1, то имеет место частный случай нормального распределения, называемый ^ стандартным нормальным распределением. Если распределение задано на векторе х в пространстве с d измерениями, то оно представляет собой ^ многомерное гауссово распределение:
-|( (х-ц)т ^(х-ц) )
Р(х) = —,== е
где ц — вектор средних; Е — ^ матрица ковариации этого распределения.
При наличии одного измерения можно также определить функцию ^ кумулятивного распределения F(x) как вероятность того, что случайная переменная будет меньше чем х. Для стандартного нормального распределения эта функция задается следующим образом:
х
F(x) = P^x^dx = 1+erf —£
где erf (x) — так называемая функция ошибок, не имеющая представления в замкнутой форме.
В ^ центральной предельной теореме утверждается, что среднее п случайных переменных приближается к нормальному распределению по мере того, как п стремится к бесконечности. Такому свойству подчиняется почти любая коллекция случайных переменных, при том условии, что значение дисперсии любого конечного подмножества переменных не доминирует над значениями дисперсии других конечных подмножеств.
Библиографические и исторические заметки
Система обозначений О(), которая в наши дни широко используется в компьютерных науках, была впервые определена в контексте теории чисел немецким математиком П.Г. Н. Бахманом [57]. Понятие NP-полноты было предложено Куком [289], а современный метод определения способа сведения одной проблемы к другой предложен Карпом [772]. И Кук, и Карп получили за свою работу премию Тьюринга — высшую награду в компьютерных науках.
В число классических работ по анализу и проектированию алгоритмов по праву входят [8] и [809]; более современные достижения отражены в [295] и [1489]. Эти
книги в основном посвящены проектированию и анализу алгоритмов решения разрешимых задач. Сведения в области теории NP-полноты и других форм неразрешимости приведены в книгах Гэри и Джонсона [520], а также Пападимитриу [1168]. В своей книге Гэри и Джонсон не только изложили теоретические основы, но и привели примеры, наглядно показывающие, по каким причинам специалисты в области компьютерных наук считают бесспорным утверждение, что линии водораздела между разрешимыми и неразрешимыми задачами проходит по границе между полиномиальной и экспоненциальной временной сложностью. Кроме того, эти ученые представили объемистый каталог задач, известных как NP-полные или неразрешимые по каким-то другим критериям.
К числу хороших учебников по теории вероятностей относятся [122], [254], [463] и [1310].
Б Общие сведения
О ЯЗЫКАХ
И АЛГОРИТМАХ, ИСПОЛЬЗУЕМЫХ
В КНИГЕ
Б. 1. Определение языков с помощью формы Бэкуса-Наура
В настоящей книге определено несколько языков, включая языки пропозициональной логики (с. 1), логики первого порядка (с. 1) и подмножество английского языка (с. 1). Формальный язык определяется как множество строк, в котором каждая строка представляет собой последовательность символов. Все языки, которые были необходимы нам в этой книге, состоят из бесконечного множества строк, поэтому нужен краткий способ, позволяющий охарактеризовать это множество. Для этого служит грамматика. Авторы приняли в качестве способа оформления грамматик формальную систему, называемую ^ формой Бэкуса-Наура (Backus—Naur form — BNF). Грамматика BNF состоит из четырех компонентов, перечисленных ниже.
Множество ^ терминальных символов. Это — символы или слова, из которых состоят строки языка. В качестве таких символов могут использоваться буквы (А, В, С, ...) или слова (a, aardvark, abacus, ...).
Множество ^ нетерминальных символов, которые обозначают компоненты предложений языка. Например, нетерминальный символ NounPhrase (именное словосочетание) в английском языке обозначает бесконечное множество строк, которое включает “you” и “the big slobbery dog”.
^ Начальный символ, который представляет собой нетерминальный символ, обозначающий законченные строки языка. В описанной выше грамматике
английского языка таковым является символ Sentence; в грамматике арифметических выражений может быть задан символ Ехрг.
Множество правил подстановки в форме LHS-^RHS, где LHS — нетерминальный символ; RHS — последовательность, в которую входят от нуля и больше символов (терминальных или нетерминальных).
Правило подстановки в приведенной ниже форме означает, что при наличии двух строк, обозначенных как NounPhrase (именное словосочетание) и VerbPhrase (глагольное словосочетание), их можно соединить друг с другом и обозначить результат как Sentence:
Sentence —> No unPhrase VerbPhrase
Несколько правил с одинаковой левой частью могут быть заданы как одно правило с той же левой частью и со всеми правыми частями этих правил, разделенными символом |. Ниже приведена грамматика BNF для простых арифметических выражений.
Ехрг—> Ехрг Operator Ехрг | ( Ехрг ) | Number
Number —> Digit | Number Digit
Digit -> 0|l|2|3|4|5|6|7|8|9
Operator -» +|-|+lx
Более подробные сведения о языках и грамматиках приведены в главе 22. Следует отметить, что в других книгах в системе обозначений BNF могут использоваться немного другие правила, например, нетерминальные символы обозначаются как (Digi t) вместо Digi t, терминальные символы — ' word', а не word, а в правилах используются символ : : = вместо ->.
Б.2. Описание алгоритмов с помощью псевдокода
В настоящей книге подробно определено свыше 80 алгоритмов. Авторы решили не останавливаться на каком-то одном языке программирования (и рисковать тем, что читатели, не знакомые с этим языком, не смогут воспользоваться приведенными здесь алгоритмами) и вместо этого представить алгоритмы на псевдокоде. Основные конструкции этого псевдокода должны быть знакомы пользователям таких языков, как Java, C++ и Lisp. В некоторых местах для описания вычислений используются математические формулы или текст на естественном языке, поскольку в противном случае пришлось бы применять более громоздкие конструкции. Необходимо также отметить, что в алгоритмах используются приведенные ниже соглашения.
Статические переменные. Ключевое слово static используется для указания на то, что переменной присваивается начальное значение при первом вызове некоторой функции, после чего это значение (или значение, присвоенное переменной с помощью выполненных в дальнейшем операторов присваивания) сохраняется при всех последующих вызовах функции. Таким образом, статические переменные напоминают глобальные переменные в том, что они сохраняют свое значение после каждого вызова содержащей их функции, но остаются доступными только в этой функции. В программах агентов, приведенных в данной книге, статические переменные используются в качестве
“оперативной памяти”. Программы со статическими переменными могут быть реализованы в объектно-ориентированных языках, таких как Java и Smalltalk, в виде “объектов”. В функциональных языках они могут быть реализованы с помощью функциональных замыканий в той среде, в которой определены требуемые переменные.
Функции как значения. Имена функций и процедур начинаются с прописных букв, а имена переменных состоят из строчных букв и выделяются курсивом. Поэтому чаще всего вызов функции выглядит наподобие Fn (х). Однако допускается, чтобы значением переменной была функция; например, если значением переменной f является функция вычисления квадратного корня, то выражение f (9) возвращает 3.
Начальный индекс массива, равный 1. Если не указано иное, то первым индексом массива является 1, как в обычной системе математических обозначений, а не 0, как в языках Java и С.
Значимость отступов. По аналогии с языком Python и в отличие от языков Java и C++ (в которых используются фигурные скобки) или языков Pascal и Visual Basic (в которых используется оператор end) для обозначения области действия цикла или условного выражения применяются отступы.
Б.З. Оперативная помощь
Большинство алгоритмов, приведенных в данной книге, реализовано на нескольких языках программирования и представлено в нашем оперативном репозитарии кода по следующему адресу:
<F* aima.cs.berkeley.edu
Если у вас есть какие-либо комментарии, если вы обнаружили какие-либо неточности или хотите внести предложения по усовершенствованию данной книги, мы всегда будем рады вас выслушать. Посетите указанный выше Web-узел, чтобы ознакомиться с инструкциями по подключению к дискуссионной группе по интересам или отправьте по электронной почте сообщение по следующему адресу:
<F* aima@cs.berkeley.edu
Описание сопровождающего Web-узла
http //aima cs befkeley edu/http //aima cs befkeley edu/Авторы книги “Искусственный интеллект. Современный подход. Второе издание” подготовили дополнительные материалы к книге, которые находятся на сопровождающем Web-узле по адресу aima.cs.berkeley.edu. Первая страница этого узла показана на рис. 1.
http //aima cs befkeley edu/
http //aima cs befkeley edu/
| Artificial Intelligence: A Modem Approach|
Artificial Intelligence: A Modern Approach
(Second Edition) by Stuart Russell and Peter Norvig
The leading textbook in Artificial Intelligence.
Used in over 900 universities in 89 countries.
The 57th most cited computer science publication ever.
What’s NewWhat’s NewTable of Contents (Full Version)
What’s New
What’s New
Preface (html); chapter map
Part I Artificial Intelligence
Introduction
Intelligent Agents
Part П Problem Solving>
Solving Problems by Searching
Informed Search and Exploration
Constraint Satisfaction Problems (pdf)f
Adversarial Search
Part Ш Knowledge and Reasoning
Logical Agents (pdf)
First-Order Logicд
Рис. 1. Первая страница Web-узла aima . cs. berkeley. edu
Материалы, представленные на этом узле, постоянно обновляются и ко времени выхода из печати настоящего издания включают следующее:
псевдокод алгоритмов, описанных в книге, в формате PDF и PS;
реализации представленных алгоритмов на нескольких языках программирования (оперативный репозитарий кода);
данные, предназначенные для проверки программ из репозитария кода;
аплеты Java и сценарии JavaScript, предназначенные для демонстрации в оперативном режиме;
список более чем 900 учебных заведений, в которых используется данная книга, сопровождающийся многочисленными ссылками на материалы курсов, доступные в оперативном режиме;
аннотированный список более чем 900 ссылок на Web-узлы с полезными сведениями по искусственному интеллекту;
списки дополнительных материалов и ссылок, относящихся к каждой главе;
инструкции с описанием того, как присоединяться к дискуссионной группе, посвященной данной книге;
инструкции с описанием того, как обратиться к авторам, чтобы передать им свои вопросы или комментарии;
инструкции с описанием того, как сообщить об ошибках, обнаруженных в книге;
копии рисунков из оригинала книги, а также слайды и другие материалы для преподавателей.
Литература
Aarup М., Arentoft М. М., Parrod Y., Stader J., and Stokes I. (1994) OPTIMUM-AIV: A knowledgebased planning and scheduling system for spacecraft A1V. In Fox M. and Zweben M. (Eds.) Knowledge Based Scheduling. Morgan Kaufmann, San Mateo, California.
Abramson B. and Yung M. (1989) Divide and conquer under global constraints: A solution to the N- queens problem. Journal of Parallel and Distributed Computing, 6(3), p. 649-662.
Ackley D. H. and Littman M. L. (1991) Interactions between learning and evolution. In Langton C., Taylor C., Farmer J. D., and Ramussen S. (Eds.) Artificial Life II, p. 487-509. Addison-Wesley, Redwood City, California.
Adelson-Velsky G. M., Arlazarov V. L., Bitman A. R., Zhivotovsky A. A., and Uskov A. V. (1970) Programming a computer to play chess. Russian Mathematical Surveys, 25, p. 221-262.
Adelson-Velsky G. M., Arlazarov V. L., and Donskoy M. V. (1975) Some methods of controlling the tree search in chess programs. Artificial Intelligence, 6(4), p. 361-371.
Agmon S. (1954) The relaxation method for linear inequalities. Canadian J. Math., 6(3), p. 382-392.
Agre P. E. and Chapman D. (1987) Pengi: an implementation of a theory of activity. In Proceedings of the Tenth International Joint Conference on Artificial Intelligence (IJCAI-87), p. 268-272, Milan. Morgan Kaufmann.
Alio A. V., Hopcroft J., and Ullman J. D. (1974) The Design and Analysis of Computer Algorithms. Addison-Wesley, Reading, Massachusetts.
Aho A. V. and Ullman J. D. (1972) The Theory of Parsing, Translation and Compiling. Prentice-Hall, Upper Saddle River, New Jersey.
Ait-Kaci H. and Podelski A. (1993) Towards a meaning of LIFE. Journal of Logic Programming, 160- 4),p. 195-234.
Aizerman M., Braverman E., and Rozonoer L. (1964) Theoretical foundations of the potential function method in pattern recognition learning. Automation and Remote Control, 25, p. 821-837.
Albus J. S. (1975) A new approach to manipulator control: The cerebellar model articulation controller (CMAC). Journal of Dynamic Systems, Measurement, and Control, 97, p. 270-277.
Aldous D. and Vazirani U. (1994) “Go with the winners” algorithms. In Proceedings of the 35th Annual Symposium on Foundations of Computer Science, p. 492—501, Santa Fe, New Mexico. IEEE Computer Society Press.
Allais M. (1953) Le comportment de 1'homme rationnel devant la risque: critique des postulats et axiomes de l'ecole Americaine. Econometrica, 21, p. 503—546.
Allen J. F. (1983) Maintaining knowledge about temporal intervals. Communications of the Association for Computing Machinery, 26(11), p. 8 32-843.
Allen J. F. (1984) Towards a general theory of action and time. Artificial Intelligence, 23, p. 123-154.
Allen J. F. (1991) Time and time again: The many ways to represent time. International Journal of Intelligent Systems, 6, p. 341-355.
Allen J. F. (1995) Natural Language Understanding. Benjamin/Cummings, Redwood City; California.
Allen J. F., Hendler J., and Tate A. (Eds.) (1990) Readings in Planning. Morgan Kaufmann, San Mateo, California.
Almuallim Н. and Dietterich T. (1991) Learning with many irrelevant features. In Proceedings of the Ninth National Conference on Artificial Intelligence (AAAI-91), Vol. 2, p. 547-552, Anaheim, California. AAAI Press.
ALPAC (1966) Language and machines: Computers in translation and linguistics. Tech. rep. 1416, The Automatic Language Processing Advisory Committee of the National Academy of Sciences, Washington, DC.
Alshawi H. (Ed.) (1992) The Core Language Engine. MIT Press, Cambridge, Massachusetts.
Alterman R. (1988) Adaptive planning. Cognitive Science, 12, p. 393-422.
Amarel S. (1968) On representations of problems of reasoning about actions. In Michie D. (Ed.), Machine Intelligence 3, Vol. 3, p. 131—171. Elsevier/North-Holland, Amsterdam, London, New York.
Ambros-Ingerson J. and Steel S. (1988) Integrating planning, execution and monitoring. In Proceedings of the Seventh National Conference on Artificial Intelligence (AAAI-88), p. 735—740, St. Paul, Minnesota. Morgan Kaufmann.
Amit D., Gutfreund H., and Sompolinsky H. (1985) Spin-glass models of neural networks. Physical Review, A 32, p. 1007-1018.
Andersen S. K., Olesen K. G., Jensen F. V., and Jensen F. (1989) HUGIN — a shell for building Bayesian belief universes for expert systems. In Proceedings of the Eleventh International Joint Conference on Artificial Intelligence (IJCAI-89), Vol. 2, p. 1080-1085, Detroit. Morgan Kaufmann.
Anderson A. R. (Ed.) (1964) Minds and Machines. Prentice-Hall, Upper Saddle River, New Jersey.
Anderson J. A. and Rosenfeld E. (Eds.) (1988) Neurocomputing: Foundations of Research. MIT Press, Cambridge, Massachusetts.
Anderson J. R. (1980) Cognitive Psychology and Its Implications. W. H. Freeman, New York.
Anderson J. R. (1983) The Architecture of Cognition. Harvard University Press, Cambridge, Massachusetts.
Andre D. and Russell S. J. (2002) State abstraction for programmable reinforcement learning agents. In Proceedings of the Eighteenth National Conference on Artificial Intelligence (AAAI-02), p. 119-125, Edmonton, Alberta. AAAI Press.
Anshelevich V. A. (2000) The game of Hex: An automatic theorem proving approach to game programming. In Proceedings of the Seventeenth National Conference on Artificial Intelligence (AAAI- 00), p. 189-194, Austin, Texas. AAAI Press.
Anthony M. and Bartlett P. (1999) Neural Network Learning: Theoretical Foundations. Cambridge University Press, Cambridge, UK.
Appel K. and Haken W. (1977) Every planar map is four colorable: Part I: Discharging. Illinois J. Math., 21, p. 429-490.
Apt K. R. (1999) The essence of constraint propagation. Theoretical Computer Science, 221(1—2), p. 179-210.
Apte, C., Damerau F., and Weiss S. (1994) Automated learning of decision rules for text categorization. ACM Transactions on Information Systems, 12, p. 233—251.
Arkin R. (1998) Behavior-Based Robotics. MIT Press, Boston, MA.
Armstrong D. M. (1968) A Materialist Theory of the Mind. Routledge and Kegan Paul, London.
Amauld A. (1662) La logique, ou Tart de penser. Chez Charles Savreux, au pied de la Tour de Nostre Dame, Paris.
Arora S. (1998) Polynomial time approximation schemes for Euclidean traveling salesman and other geometric problems. Journal of the Association for Computing Machinery, 45(5), p. 753—782.
Ashby W. R. (1940) Adaptiveness and equilibrium. Journal of Mental Science, 86, p. 478—483.
Ashby W. R. (1948) Design for a brain. Electronic Engineering, December, p. 379-383.
Ashby W. R. (1952) Design fora Brain. Wiley, New York.
Asimov I. (1942) Runaround. Astounding Science Fiction, March.
Asimov I. (1950) I, Robot. Doubleday, Garden City, New York.
Astrom K. J. (1965) Optimal control of Markov decision processes with incomplete state estimation. J. Math. Anal. Applic., 10, p. 174—205.
Audi R. (Ed.) (1999) The Cambridge Dictionary of Philosophy. Cambridge University Press, Cambridge, UK.
Austin J. L. (1962) How To Do Things with Words. Harvard University Press, Cambridge, Massachusetts.
Axelrod R. (1985) The Evolution of Cooperation. Basic Books, New York.
Bacchus F. (1990) Representing and Reasoning with Probabilistic Knowledge. MIT Press, Cambridge, Massachusetts.
Bacchus F. and Grove A. (1995) Graphical models for preference and utility. In Uncertainty in Artificial Intelligence: Proceedings of the Eleventh Conference, p. 3—10, Montreal, Canada. Morgan Kaufmann.
Bacchus F. and Grove A. (1996) Utility independence in a qualitative decision theory. In Proceedings of the Fifth International Conference on the Principles of Knowledge Representation and Reasoning, p. 542-552, San Mateo, California. Morgan Kaufmann.
Bacchus F., Grove A., Halpern J. Y., and Koller D. (1992) From statistics to beliefs. In Proceedings of the Tenth National Conference on Artificial Intelligence (AAAI-92), p. 602—608, San Jose. AAAI Press.
Bacchus F. and van Beek P. (1998) On the conversion between non-binary and binary constraint satisfaction problems. In Proceedings of the Fifteenth National Conference on Artificial Intelligence (AAAI-98), p. 311-318, Madison, Wisconsin. AAAI Press.
Bacchus F. and van Run P. (1995) Dynamic variable ordering in CSPs. In Proceedings of the First International Conference on Principles and Practice of Constraint Programming, p. 258-275, Cassis, France. Springer-Verlag.
Bachmann P. G. H. (1894) Die analytische Zahlentheorie. B. G. Teubner, Leipzig.
Backus J. W. (1996) Transcript of question and answer session. In Wexelblat R. L. (Ed.), History of Programming Languages, p. 162. Academic Press, New York.
Baeza-Yates R. and Ribeiro-Neto B. (1999) Modern Information Retrieval. Addison Wesley Longman, Reading, Massachusetts.
Bajcsy R. and Lieberman L. (1976) Texture gradient as a depth cue. Computer Graphics and Image Processing, 5(1), p. 52-67.
Baker C. L. (1989) English Syntax. MIT Press, Cambridge, Massachusetts.
Baker J. (1975) The Dragon system — an overview. IEEE Transactions on Acoustics, Speech, and Signal Processing, 23, p. 24-29.
Baker J. (1979) Trainable grammars for speech recognition. In Speech Communication Papers for the 97th Meeting of the Acoustical Society of America, p. 547-550, Cambridge, Massachusetts. MIT Press.
Baldwin J. M. (1896) A new factor in evolution. American Naturalist, 30, p. 441—451. Продолжение на с. 536-553.
Ballard В. W. (1983) The *-minimax search procedure for trees containing chance nodes. Artificial Intelligence, 27(3), p. 327-350.
Baluja S. (1997) Genetic algorithms and explicit search statistics. In Mozer M. C., Jordan M. I., and Petsche T. (Eds.), Advances in Neural Information Processing Systems, Vol. 9, p. 319—325. MIT Press, Cambridge, Massachusetts.
Bancilhon F., Maier D., Sagiv Y., and Ullman J. D. (1986) Magic sets and other strange ways to implement logic programs. In Proceedings of the Fifth ACM Symposium on Principles of Database Systems, p. 1-16, New York. ACM Press.
Bar-Hillel Y. (1954) Indexical expressions. Mind, 63, p. 359-379.
Ваг-Hillel Y. (1960) The present status of automatic translation of languages. In Alt F. L. (Ed.), Advances in Computers, Vol. 1, p. 91 — 163. Academic Press, New York.
Bar-Shalom Y. (Ed.) (1992) Multitarget-multisensor tracking: Advanced applications. Artcch House, Norwood, Massachusetts.
Bar-Shalom Y. and Fortmann T. E. (1988) Tracking and Data Association. Academic Press, New York.
Barrett A. and Weld D. S. (1994) Task-decomposition via plan parsing. In Proceedings of the Twelfth National Conference on Artificial Intelligence (AAAI-94), p. 1117—1122, Seattle. AAAI Press.
Bartak R. (2001) Theory and practice of constraint propagation. In Proceedings of the Third Workshop on Constraint Programming for Decision and Control (CPDC-01), p. 7—14, Gliwice, Poland.
Barto A. G., Bradtke S. J., and Singh S. P. (1995) Learning to act using real-time dynamic programming. Artificial Intelligence, 73(1), p. 81-138.
Barto A. G., Sutton R. S., and Anderson C. W. (1983) Neuronlike adaptive elements that can solve difficult learning control problems. IEEE Transactions on Systems, Man and Cybernetics, 13, p. 834-846.
Barto A. G., Sutton R. S., and Brouwer P. S. (1981) Associative search network: A reinforcement learning associative memory. Biological Cybernetics, 40(3), p. 201-211.
Barton G. E., Berwick R. C., and Ristad E. S. (1987) Computational Complexity and Natural Language. MIT Press, Cambridge, Massachusetts.
Barwise J. and Etchemendy J. (1993) The Language of First-Order Logic: Including the Macintosh Program Tarski's World 4.0 (Third Revised and Expanded edition) Center for the Study of Language and Information (CSLI), Stanford, California.
Bateman J. A. (1997) Enabling technology for multilingual natural language generation: The KPML development environment. Natural Language Engineering, 3(1), p. 15-55.
Bateman J. A., Kasper R. T., Moore J. D., and Whitney R. A. (1989) A general organization of knowledge for natural language processing: The penman upper model. Tech, rep., Information Sciences Institute, Marina del Rey, CA.
Baum E., Boneh D., and Garrett C. (1995) On genetic algorithms. In Proceedings of the Eighth Annual Conference on Computational Learning Theory (COLT-92), p. 230—239, Santa Cruz, California. ACM Press.
Baum E. and Haussler D. (1989) What size net gives valid generalization? Neural Computation, 7(1), p. 151-160.
Baum E. and Smith W. D. (1997) A Bayesian approach to relevance in game playing. Artificial Intelligence, 97(1-2), p. 195-242.
Baum E. and Wilczek F. (1988) Supervised learning of probability distributions by neural networks. In Anderson D. Z. (Ed.), Neural Information Processing Systems, p. 52—61. American Institute of Physics, New York.
Baum L. E. and Petrie T. (1966) Statistical inference for probabilistic functions of finite state Markov chains. Annals of Mathematical Statistics, 41.
Baxter J. and Bartlett P. (2000) Reinforcement learning in POMDP's via direct gradient ascent. In Proceedings of the Seventeenth International Conference on Machine Learning, p. 41-48, Stanford, California. Morgan Kaufmann.
Bayardo R. J. and Schrag R. C. (1997) Using CSP look-back techniques to solve real-world SAT instances. In Proceedings of the Fourteenth National Conference on Artificial Intelligence (AAAI-97), p. 203-208, Providence, Rhode Island. AAAI Press.
Bayes T. (1763) An essay towards solving a problem in the doctrine of chances. Philosophical Transactions of the Royal Society of London, 53, p. 370-418.
Beal D. F. (1980) An analysis of minimax. In Clarke M. R. B. (Ed.), Advances in Computer Chess 2, p. 103-109. Edinburgh University Press, Edinburgh, Scotland.
Beal D. F. (1990) A generalised quiescence search algorithm. Artificial Intelligence, 43(\), p. 8 5-98.
.Beckert В. and Posegga J. (1995) Leantap: Lean, tableau-based deduction. Journal of Automated Reasoning, /5(3), p. 339-358.
Been C., Fagin R., Maier D., and Yannakakis M. (1983) On the desirability of acyclic database schemes. Journal of the Association for Computing Machinery, 30(3), p. 479—513.
Bell C. and Tate A. (1985) Using temporal constraints to restrict search in a planner. In Proceedings of the Third Alvey IKBS SIG Workshop, Sunningdale, Oxfordshire, UK. Institution of Electrical Engineers.
Bell J. L. and Machover M. (1977) A Course in Mathematical Logic. Elsevier/North-Holland, Amsterdam, London, New York.
Bellman R. E. (1978) An Introduction to Artificial Intelligence: Can Computers Think? Boyd & Fraser Publishing Company, San Francisco.
Bellman R. E. and Dreyfus S. E. (1962) Applied Dynamic Programming. Princeton University Press, Princeton, New Jersey.
Bellman R. E. (1957) Dynamic Programming. Princeton University Press, Princeton, New Jersey.
Belongie S., Malik J., and Puzicha J. (2002) Shape matching and object recognition using shape contexts. IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 24(4), p. 509—522.
Bender E. A. (1996) Mathematical methods in artificial intelligence. IEEE Computer Society Press, Los Alamitos, California.
Bentham J. (1823) Principles of Morals and Legislation. Oxford University Press, Oxford, UK. Original work published in 1789.
Berger J. O. (1985) Statistical Decision Theory and bayesian Analysis. Springer Verlag, Berlin.
Berlekamp E. R., Conway J. H., and Guy R. K. (1982) Winning Ways, For Your Mathematical Plays. Academic Press, New York.
Berleur J. and Brunnstein K. (2001) Ethics of Computing: Codes, Spaces for Discussion and Law. Chapman and Hall, London.
Berliner H. J. (1977) BKG — a program that plays backgammon. Tech, rep., Computer Science Department, Carnegie-Mellon University, Pittsburgh.
Berliner H. J. (1979) The B* tree search algorithm: A best-first proof procedure. Artificial Intelligence, 12(\),$. 23-40.
Berliner H. J. (1980a) Backgammon computer program beats world champion. Artificial Intelligence, 14, p. 205-220.
Berliner H. J. (1980b) Computer backgammon. Scientific American, 249(6), p. 64-72.
Berliner H. J. and Ebeling C. (1989) Pattern knowledge and search: The SUPREM architecture. Artificial Intelligence, 38(2),$. 161-198.
Bernardo J. M. and Smith A. F. M. (1994) Bayesian Theory. Wiley, New York.
Berners-Lee T., Hendler J., and Lassila O. (2001) The semantic web. Scientific American, 284(5), p. 34-43.
Bernoulli D. (1738) Specimen theoriae novae de mensura sortis. Proceedings of the St. Petersburg Imperial Academy of Sciences, 5, p. 175-192.
Bernstein A. and Roberts M. (1958) Computer vs. chess player. Scientific American, 198(6), p. 96-105.
Bernstein A., Roberts M., Arbuckle T., and Belsky M. S. (1958) A chess playing program for the IBM 704. In Proceedings of the 1958 Western Joint Computer Conference, p. 157-159, Los Angeles. American Institute of Electrical Engineers.
Bernstein P. L. (1996) Against the Odds: The Remarkable Story of Risk. Wiley, New York.
Berrou C., Glavieux A., and Thitimajshima P. (1993) Near Shannon limit error control-correcting coding and decoding: Turbo-codes. 1. In Proc. IEEE International Conference on Communications, p. 1064-1070, Geneva, Switzerland. IEEE.
Berry D. A. and Fristedt B. (1985) Bandit Problems: Sequential Allocation of Experiments. Chapman and Hall, London.
Bertele U. and Brioschi F. (1972) Nonserial dynamic programming. Academic Press, New York.
Bertoli P., Cimatti A., and Roveri M. (2001a) Heuristic search + symbolic model checking = efficient conformant planning. In Proceedings of the Seventeenth International Joint Conference on Artificial Intelligence (IJCAI-01), p. 467-472, Seattle. Morgan Kaufmann.
Bertoli P., Cimatti A., Roveri M., and Traverso P. (2001b) Planning in nondeterministic domains under partial observability via symbolic model checking. In Proceedings of the Seventeenth International Joint Conference on Artificial Intelligence (IJCAI-01), p. 473—478, Seattle. Morgan Kaufmann.
Bertsekas D. (1987) Dynamic Programming: Deterministic and Stochastic Models. Prentice-Hall, Upper Saddle River, New Jersey.
Bertsekas D. and Tsitsiklis J. N. (1996) Neuro-dynamic programming. Athena Scientific, Belmont, Massachusetts.
Bertsekas D. and Tsitsiklis J. N. (2002) Introduction to Probability. Athena Scientific, Belmont, Massachusetts.
Bibel W. (1981) On matrices with connections. Journal of the Association for Computing Machinery, 28W, p. 633-645.
Bibel W. (1993) Deduction: Automated Logic. Academic Press, London.
Biggs N. L., Lloyd E. K., and Wilson R. J. (1986) Graph Theory 1736—1936. Oxford University Press, Oxford, UK.
Binder J., Koller D., Russell S. J., and Kanazawa K. (1997a) Adaptive probabilistic networks with hidden variables. Machine Learning, 29, p. 213—244.
Binder J., Murphy K., and Russell S. J. (1997b) Space-efficient inference in dynamic probabilistic networks. In Proceedings of the Fifteenth International Joint Conference on Artificial Intelligence (IJCAI-97), p. 1292-1296, Nagoya, Japan. Morgan Kaufmann.
Binford T. O. (1971) Visual perception by computer. Invited paper presented at the IEEE Systems Science and Cybernetics Conference, Miami.
Binmore K. (1982) Essays on Foundations of Game Theory. Pitman, London.
Birnbaum L. and Selfridge M. (1981) Conceptual analysis of natural language. In Schank R. and Riesbeck C. (Eds.), Inside Computer Understanding. Lawrence Erlbaum, Potomac, Maryland.
Biro J. I. and Shahan R. W. (Eds.) (1982) Mind, Brain and Function: Essays in the Philosophy of Mind. University of Oklahoma Press, Norman, Oklahoma.
Birtwistle G., Dahl O.-J., Myrhaug B., and Nygaard K. (1973) Simula Begin. Studentliteratur (Lund) and Auerbach, New York.
Bishop С. M. (1995) Neural Networks for Pattern Recognition. Oxford University Press, Oxford, UK.
Bistarelli S., Montanari U., and Rossi F. (1997) Semiring-based constraint satisfaction and optimization. Journal of the Association for Computing Machinery, 44(2), p. 201-236.
Bitner J. R. and Reingold E. M. (1975) Backtrack programming techniques. Communications of the Association for Computing Machinery, 18( 11), p. 651 —656.
Biei D. M., Ng A. Y., and Jordan M. I. (2001) Latent Dirichlet Allocation. In Neural Information Processing Systems, Vol. 14, Cambridge, Massachusetts. MIT Press.
Blinder A. S. (1983) Issues in the coordination of monetary and fiscal policies. In Monetary Policy Issues in the 1980s. Federal Reserve Bank, Kansas City, Missouri.
Block N. (Ed.) (1980) Readings in Philosophy of Psychology, Vol. 1. Harvard University Press, Cambridge, Massachusetts.
Blum A. L. and Furst M. (1995) Fast planning through planning graph analysis. In Proceedings of the Fourteenth International Joint Conference on Artificial Intelligence (IJCAI-95), p. 1636-1642, Montreal. Morgan Kaufmann.
Blum A. L. and Furst M. (1997) Fast planning through planning graph analysis. Artificial Intelligence, 90(\-2),?. 281-300.
Blumer A., Ehrenfeucht A., Haussler D., and Warmuth M. (1989) Learnability and the Vapnik- Chervonenkis dimension. Journal of the Association for Computing Machinery, 36(4), p. 929-965.
Bobrow D. G. (1967) Natural language input for a computer problem solving system. In Minsky M. L. (Ed.), Semantic Information Processing, p. 133—215. MIT Press, Cambridge, Massachusetts.
Bobrow D. G., Kaplan R., Kay M., Norman D. A., Thompson H., and Winograd T. (1977) GUS, a frame driven dialog system. Artificial Intelligence, 8, p. 155-173.
Bobrow D. G. and Raphael B. (1974) New programming languages for artificial intelligence research. Computing Surveys, 6(3), p. 153—174.
Boden M. A. (1977) Artificial Intelligence and Natural Man. Basic Books, New York.
Boden M. A. (Ed.) (1990) The Philosophy of Artificial Intelligence. Oxford University Press, Oxford, UK.
Bonet B. and Geffner H. (1999) Planning as heuristic search: New results. In Proceedings of the European Conference on Planning, p. 360-372, Durham, UK. Springer-Verlag.
Bonet B. and Geffner H. (2000) Planning with incomplete information as heuristic search in belief space. In Chien S., Kambhampati S., and Knoblock C. A. (Eds.), International Conference on Artificial Intelligence Planning and Scheduling, p. 52-61, Menlo Park, California. AAAI Press.
Boole G. (1847) The Mathematical Analysis of Logic: Being an Essay towards a Calculus of Deductive Reasoning. Macmillan, Barclay, and Macmillan, Cambridge.
Boolos G. S. and Jeffrey R. C. (1989) Computability and Logic (3rd edition). Cambridge University Press, Cambridge, UK.
Booth T. L. (1969) Probabilistic representation of formal languages. In IEEE Conference Record of the 1969 Tenth Annual Symposium on Switching and Automata Theory, p. 74—81, Waterloo, Ontario. IEEE.
Borel E. (1921) La theorie du jeu et les equations integrates a noyau sym6trique. Comptes Rendus Hebdomadaires des Seances de Г Academic des Sciences, 173, p. 1304-1308.
Borenstein J., Everett B., and Feng L. (1996) Navigating Mobile Robots: Systems and Techniques. N. K. Peters, Ltd., Wellesley, MA.
Borenstein J. and Koren Y. (1991) The vector field histogram — fast obstacle avoidance for mobile robots. IEEE Transactions on Robotics and Automation, 7(3), p. 278-288.
Borgida A., Brachman R. J., McGuinness D. L., and Alperin Resnick L. (1989) CLASSIC: A structural data model for objects. SIGMOD Record, 18(2), p. 58-67.
Boser В. E., Guyon I. M., and Vapnik V. N. (1992) A training algorithm for optimal margin classifiers. In Proceedings of the Fifth Annual ACM Workshop on Computational Learning Theory (COLT-92), Pittsburgh, Pennsylvania. ACM Press.
Boutilier C. and Brafman R. I. (2001) Partial-order planning with concurrent interacting actions. Journal of Artificial Intelligence Research, 14, p. 105-136.
Boutilier C., Dearden R., and Goldszmidt M. (2000) Stochastic dynamic programming with factored representations. Artificial Intelligence, 121, p. 49-107.
Boutilier C., Reiter R., and Price B. (2001) Symbolic dynamic programming for first-order MDPs. In Proceedings of the Seventeenth International Joint Conference on Artificial Intelligence (IJCAI-01), p. 467-472, Seattle. Morgan Kaufmann.
Boutilier C., Reiter R., Soutchanski M., and Thrun S. (2000) Decision-theoretic, high-level agent programming in the situation calculus. In Proceedings of the Seventeenth National Conference on Artificial Intelligence (AAAI-00), p. 355-362, Austin, Texas. AAAI Press.
Box G. E. P. (1957) Evolutionary operation: A method of increasing industrial productivity. Applied Statistics, 6, p. 81 -101.
Boyan J. A. (2002) Technical update: Least-squares temporal difference learning. Machine Learning, 49(2-3), p. 233-246.
Boyan J. A. and Moore A. W. (1998) Learning evaluation functions for global optimization and Boolean satisfiability. In Proceedings of the Fifteenth National Conference on Artificial Intelligence (AAAI-98), Madison, Wisconsin. AAAI Press.
Boyen X., Friedman N., and Koller D. (1999) Discovering the hidden structure of complex dynamic systems. In Uncertainty in Artificial Intelligence: Proceedings of the Fifteenth Conference, Stockholm. Morgan Kaufmann.
Boyer R. S. and Moore J. S. (1979) A Computational Logic. Academic Press, New York.
Boyer R. S. and Moore J. S. (1984) Proof checking the RSA public key encryption algorithm. American Mathematical Monthly, 91(3), p. 181 — 189.
Brachman R. J. (1979) On the epistemological status of semantic networks. In Findler N. V. (Ed.), Associative Networks: Representation and Use of Knowledge by Computers, p. 3-50. Academic Press, New York.
Brachman R. J., Fikes R. E., and Levesque H. J. (1983) Krypton: A functional approach to knowledge representation. Computer, 16(\0), p. 67-73.
Brachman R. J. and Levesque H. J. (Eds.) (1985) Readings in Knowledge Representation. Morgan Kaufmann, San Mateo, California.
Bradtke S. J. and Barto A. G. (1996) Linear least-squares algorithms for temporal difference learning. Machine Learning, 22, p. 33-57.
Brafman R. I. and Tennenholtz M. (2000) A near optimal polynomial time algorithm for learning in certain classes of stochastic games. Artificial Intelligence, 121, p. 31-47.
Braitenberg V. (1984) Vehicles: Experiments in Synthetic Psychology. MIT Press.
Bransford J. and Johnson M. (1973) Consideration of some problems in comprehension. In Chase W. G. (Ed.), Visual Information Processing. Academic Press, New York.
Bratko I. (1986) Prolog Programming for Artificial Intelligence (1st edition). Addison-Wesley, Reading, Massachusetts.
Bratko I. (2001) Prolog Programming for Artificial Intelligence (Third edition). Addison-Wesley, Reading, Massachusetts.
Bratman M. E. (1987) Intention, Plans, and Practical Reason. Harvard University Press, Cambridge, Massachusetts.
Bratman M. E. (1992) Planning and the stability of intention. Mindsand Machines, 2(1), p. 1-16.
Breese J. S. and Heckerman D. (1996) Decision-theoretic troubleshooting: A framework for repair and experiment. In Uncertainty in Artificial Intelligence: Proceedings of the Twelfth Conference, p. 124-132, Portland, Oregon. Morgan Kaufmann.
Breiman L. (1996) Bagging predictors. Machine Learning, 26(2), p. 123-140.
Breiman L., Friedman J., Olshen R. A., and Stone P. J. (1984) Classification and Regression Trees. Wadsworth International Group, Belmont, California.
Brelaz D. (1979) New methods to color the vertices of a graph. Communications of the Association for Computing Machinery, 22(4), p. 251—256.
Brent R. P. (1973) Algorithms for minimization without derivatives. Prentice-Hall, Upper Saddle River, New Jersey.
Bresnan J. (1982) The Mental Representation of Grammatical Relations. MIT Press, Cambridge, Massachusetts.
Brewka G., Dix J., and Konolige K. (1997) Nononotonic Reasoning: An Overview. CSLI Publications, Stanford, California.
Bridle J. S. (1990) Probabilistic interpretation of feedforward classification network outputs, with relationships to statistical pattern recognition. In Fogelman Soulie, F. and Herault J. (Eds.), Neurocomputing: Algorithms, Architectures and Applications. Springer-Verlag, Berlin.
Briggs R. (1985) Knowledge representation in Sanskrit and artificial intelligence. AI Magazine, 6(1), p. 32-39.
Brin S. and Page L. (1998) The anatomy of a large-scale hypertextual web search engine. In Proceedings of the Seventh World Wide Web Conference, Brisbane, Australia.
Broadbent D. E. (1958) Perception and communication. Pergamon, Oxford, UK.
Brooks R. A. (1986) A robust layered control system for a mobile robot. IEEE Journal of Robotics and Automation, 2, p. 14—23.
Brooks R. A. (1989) Engineering approach to building complete, intelligent beings. Proceedings of the SPIE — the International Society for Optical Engineering, 1002, p. 618-625.
Brooks R. A. (1990) Elephants don't play chess. Autonomous Robots, 6, p. 3-15.
Brooks R. A. (1991) Intelligence without representation. Artificial Intelligence, 47(1-3), p. 139-159.
Brooks R. A. and Lozano-Perez T. (1985) A subdivision algorithm in configuration space for findpath with rotation. IEEE Transactions on Systems, Man and Cybernetics, 15(2), p. 224—233.
Brown M., Grundy W., Lin D., Cristianini N., Sugnet C., Furey T., Arcs M., and Haussler D. (2000) Knowledge-based analysis of microarray gene expression data using support vector machines. In Proceedings of the national Academy of Sciences, Vol. 97, p. 262-267.
Brown P. F., Cocke J., Della Pietra S. A., Della Pietra V. J., Jelinek F., Mercer R. L., and Roossin P. (1988) A statistical approach to language translation. In Proceedings of the 12th International Conference on Computational Linguistics, p. 71-76, Budapest. John von Neumann Society for Computing Sciences.
Brown P. F., Della Pietra S. A., Della Pietra V. J., and Mercer R. L. (1993) The mathematics of statistical machine translation: Parameter estimation. Computational Linguistics, 19(2), p. 263-311.
Brownston L., Farrell R., Kant E., and Martin N. (1985) Programming expert systems in OPS5: An introduction to rule-based programming. Addison-Wesley, Reading, Massachusetts.
Brudno A. L. (1963) Bounds and valuations for shortening the scanning of variations. Problems of Cybernetics, 10, p. 225-241.
Bruner J. S., Goodnow J. J., and Austin G. A. (1957) A Study of Thinking. Wiley, New York.
Bryant R. E. (1992) Symbolic Boolean manipulation with ordered binary decision diagrams. ACM Computing Surveys, 24(3), p. 293—318.
Bryson A. E. and Ho Y.-C. (1969) Applied Optimal Control. Blaisdell, New York.
Buchanan B. G. and Mitchell T. M. (1978) Model-directed learning of production rules. In Waterman D. A. and Hayes-Roth F. (Eds.), Pattern-Directed Inference Systems, p. 297—312. Academic Press, New York.
Buchanan B. G., Mitchell T. M., Smith R. G., and Johnson C. R. (1978) Models of learning systems. In Encyclopedia of Computer Science and Technology, Vol. 11. Dekker, New York.
Buchanan B. G. and Shortliffe E. H. (Eds.) (1984) Rule-Based Expert Systems: The MYCIN Experiments of the Stanford Heuristic Programming Project. Addison-Wesley, Reading, Massachusetts.
Buchanan B. G., Sutherland G. L., and Feigenbaum E. A. (1969) Heuristic DENDRAL: A program for generating explanatory hypotheses in organic chemistry. In Meltzer B., Michie D., and Swann M. (Eds.), Machine Intelligence 4, p. 209-254. Edinburgh University Press, Edinburgh, Scotland.
Bundy A. (1999) A survey of automated deduction. In Wooldridge M. J. and Veloso M. (Eds.), Artificial intelligence today: Recent trends and developments, p. 153-174. Springer-Verlag, Berlin.
Bunt Н. С. (1985) The formal representation of (quasi-) continuous concepts. In Hobbs J. R. and Moore R. C. (Eds.), Formal Theories of the Commonsense World, chap. 2, p. 37-70. Ablex, Norwood, New Jersey.
Buigard W., Cremers A. B., Fox D., Halinel D., Lakemeyer G., Schulz D., Steiner W., and Thrun S. (1999) Experiences with an interactive museum tour-guide robot. Artificial Intelligence, 114(1-2), p. 3-55.
Buro M. (2002) Improving heuristic mini-max search by supervised learning. Artificial Intelligence, 134(1—2), p. 85-99.
Burstall R. M. (1974) Program proving as hand simulation with a little induction. In Information Processing '74, p. 308-312. Elsevier/North-Holland, Amsterdam, London, New York.
Burstall R. M. and Darlington J. (1977) A transformation system for developing recursive programs. Journal of the Association for Computing Machinery, 24( 1), p. 44—67.
Burstein J., Leacock C., and Swartz R. (2001) Automated evaluation of essays and short answers. In Fifth International Computer Assisted Assessment (CAA) Conference, Loughborough U.K. Loughborough University.
Bylander T. (1992) Complexity results for serial decomposability. In Proceedings of the Tenth National Conference on Artificial Intelligence (AAAI-92), p. 729-734, San Jose. AAAI Press.
Bylander T. (1994) The computational complexity of propositional strips planning. Artificial Intelligence, 69, p. 165—204.
Calvanese D., Lenzerini M., and Nardi D. (1999) Unifying class-based representation formalisms. Journal of Artificial Intelligence Research, 11, p. 199-240.
Campbell M. S., Hoane A. J., and Hsu F.-H. (2002) Deep Blue. Artificial Intelligence, 134(1-2), p. 57-83.
Canny J. and Reif J. (1987) New lower bound techniques for robot motion planning problems. IEEE Symposium on Foundations of Computer Science, p. 39—48.
Canny J. (1986) A computational approach to edge detection. IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 8, p. 679-698.
Canny J. (1988) The Complexity of Robot Motion Planning. MIT Press, Cambridge, Massachusetts.
Carbonell J. G. (1983) Derivational analogy and its role in problem solving. In Proceedings of the National Conference on Artificial Intelligence (AAAI-83), p. 64-69, Washington, DC. Morgan Kaufmann.
Carbonell J. G., Knoblock C. A., and Minton S. (1989) PRODIGY: An integrated architecture for planning and learning. Technical report CMU-CS-p. 89-189, Computer Science Department, Carnegie-Mellon University, Pittsburgh.
Carbonell J. R. and Collins A. M. (1973) Natural semantics in artificial intelligence. In Proceedings of the Third International Joint Conference on Artificial Intelligence (IJCAI-73), p. 344-351, Stanford, California. IJCAII.
Carnap R. (1928) Der logische Aufbau der Welt. Weltkreis-verlag, Berlin-Schlachtensee. Перевод на английский: Carnap R. (1967) The Logical Structure of the World & Pseudoproblems in Philosophy. University of California Press, Berkeley.
Camap R. (1948) On the application of inductive logic. Philosophy and Phenomenological Research, 8, p. 133-148.
Carnap R. (1950) Logical Foundations of Probability. University of Chicago Press, Chicago.
Carrasco R. C., Oncina J., and Calera J. (1998) Stochastic Inference of Regular Tree Languages, Vol. 1433 of Lecture Notes in Computer Science. Springer-Verlag, Berlin.
Cassandra A. R., Kaelbling L. P., and Littman M. L. (1994) Acting optimally in partially observable stochastic domains. In Proceedings of the Twelfth National Conference on Artificial Intelligence (AAAI-94), p. 1023-1028, Seattle. AAAI Press.
Ceri S., Gottlob G., and Tanca L. (1990) Logic programming and databases. Springer-Verlag, Berlin.
Chakrabarti Р. Р., Ghose S., Acharya A., and de Sarkar S. C. (1989) Heuristic search in restricted memory. Artificial Intelligence, 41(2), p. 197-222.
Chan W. P., Prete F., and Dickinson M. H. (1998) Visual input to the efferent control system of a fly's “gyroscope”. Science, 289, p. 289-292.
Chandra A. K. and Harel D. (1980) Computable queries for relational data bases. Journal of Computer and System Sciences, 21(2), p. 156—178.
Chandra A. K. and Merlin P. M. (1977) Optimal implementation of conjunctive queries in relational databases. In Proceedings of the 9th Annual ACM Symposium on Theory of Computing, p. 77—90, New York. ACM Press.
Chang C.-L. and Lee R. C.-T. (1973) Symbolic Logic and Mechanical Theorem Proving. Academic Press, New York.
Chapman D. (1987) Planning for conjunctive goals. Artificial Intelligence, 32(3), p. 333-377.
Charniak E. (1993) Statistical Language Learning. MIT Press, Cambridge, Massachusetts.
Charniak E. (1996) Tree-bank grammars. In Proceedings of the Thirteenth National Conference on Artificial Intelligence (AAAI-96), p. 1031 — 1036, Portland, Oregon. AAAI Press.
Charniak E. (1997) Statistical parsing with a context-free grammar and word statistics. In Proceedings of the Fourteenth National Conference on Artificial Intelligence (AAAI-97), p. 598-603, Providence, Rhode Island. AAAI Press.
Charniak E. and Goldman R. (1992) A Bayesian model of plan recognition. Artificial Intelligence, 64(\), p. 53-79.
Charniak E. and McDermott D. (1985) Introduction to Artificial Intelligence. Addison-Wesley, Reading, Massachusetts.
Charniak E., Riesbeck C., McDermott D., and Meehan J. (1987) Artificial Intelligence Programming (2nd edition). Lawrence Erlbaum Associates, Potomac, Maryland.
Chatfield C. (1989) The Analysis of Time Series: An Introduction (4th edition). Chapman and Hall, London.
Cheeseman P. (1985) In defense of probability. In Proceedings of the Ninth International Joint Conference on Artificial Intelligence (IJCAI-85), p. 1002-1009, Los Angeles. Morgan Kaufmann.
Cheeseman P. (1988) An inquiry into computer understanding. Computational Intelligence, 4(\), p. 58—66.
Cheeseman P., Kanefsky B., and Taylor W. (1991) Where the really hard problems are. In Proceedings of the Twelfth International Joint Conference on Artificial Intelligence (IJCAI-91), p. 331-337, Sydney. Morgan Kaufmann.
Cheeseman P., Self M., Kelly J., and Stutz J. (1988) Bayesian classification. In Proceedings of the Seventh National Conference on Artificial Intelligence (AAAI-88), Vol. 2, p. 607-611, St. Paul, Minnesota. Morgan Kaufmann.
Cheeseman P. and Stutz J. (1996) Bayesian classification (AutoClass): Theory and results. In Fayyad U., Piatesky-Shapiro G., Smyth P., and Uthurusamy R. (Eds.), Advances in Knowledge Discovery and Data Mining. AAAI Press/MIT Press, Menlo Park, California.
Cheng J. and Druzdzel M. J. (2000) AIS-BN: An adaptive importance sampling algorithm for evidential reasoning in large Bayesian networks. Journal of Artificial Intelligence Research, 13, p. 155-188.
Cheng J., Greiner R., Kelly J., Bell D. A., and Liu W. (2002) Learning Bayesian networks from data: An information-theory based approach. Artificial Intelligence, 137, p. 43-90.
Chierchia G. and McConnell-Ginet S. (1990) Meaning and Grammar. MIT Press, Cambridge, Massachusetts.
Chomsky N. (1956) Three models for the description of language. IRE Transactions on Information Theory, 2(3), p. 113-124.
Chomsky N. (1957) Syntactic Structures. Mouton, The Hague and Paris.
Chomsky N. (1980) Rules and representations. The Behavioral and Brain Sciences, 3, p. 1-61.
Choset H. (1996) Sensor Based Motion Planning: The Hierarchical Generalized Voronoi Graph. Ph.D. thesis, California Institute of Technology.
Chung K. L. (1979) Elementary Probability Theory with Stochastic Processes (3rd edition). SpringerVerlag, Berlin.
Church A. (1936) A note on the Entscheidungsproblem. Journal of Symbolic Logic, 1, p. 40-41 and 101-102.
Church K. and Patil R. (1982) Coping with syntactic ambiguity or how to put the block in the box on the table. American Journal of Computational Linguistics, 5(3—4), p. 139—149.
Church K. and Gale W. A. (1991) A comparison of the enhanced Good-Turing and deleted estimation methods for estimating probabilities of English bigrams. Computer Speech and Language, 5, p. 19-54.
Churchland P. M. (1979) Scientific Realism and the Plasticity of Mind. Cambridge University Press, Cambridge, UK.
Churchland P. M. and Churchland P. S. (1982) Functionalism, qualia, and intentionality. In Biro J. I. and Shahan R. W. (Eds.) Mind, Brain and Function: Essays in the Philosophy of Mind, p. 121 — 145. University of Oklahoma Press, Norman, Oklahoma.
Churchland P. S. (1986) Neurophilosophy: Toward a Unified Science of the Mind—Brain. MIT Press, Cambridge, Massachusetts.
Cimatti A., Roveri M., and Traverso P. (1998) Automatic OBDD-based generation of universal plans in non-deterministic domains. In Proceedings of the Fifteenth National Conference on Artificial Intelligence (AAAI-98), p. 875-881, Madison, Wisconsin. AAAI Press.
Clark K. L. (1978) Negation as failure. In Gallaire H. and Minker J. (Eds.), Logic and Data Bases, p. 293-322. Plenum, New York.
Clark P. and Niblett T. (1989) The CN2 induction algorithm. Machine Learning, 3, p. 261-283.
Clarke A. C. (1968a) 2001: A Space Odyssey. Signet.
Clarke A. C. (1968b) The world of2001. Vogue.
Clarke E. and Grumberg O. (1987) Research on automatic verification of finite-state concurrent systems. Annual Review of Computer Science, 2, p. 269—290.
Clarke E., Grumberg O., and Peled D. (1999) Model Checking. MIT Press, Cambridge, Massachusetts.
Clarke M. R. B. (Ed.) (1977) Advances in Computer Chess 1. Edinburgh University Press, Edinburgh, Scotland.
Clearwater S. H. (Ed.) (1996) Market-Based Control. World Scientific, Singapore and Teaneck, New Jersey.
Clocksin W. F. and Mellish C. S. (1994) Programming in Prolog (4th edition). Springer-Verlag, Berlin.
Clowes M. B. (1971) On seeing things. Artificial Intelligence, 2(1), p. 79-116.
Cobham A. (1964) The intrinsic computational difficulty of functions. In Bar-Hillel Y. (Ed.), Proceedings of the 1964 International Congress for Logic, Methodology, and Philosophy of Science, p. 24-30, Jerusalem. Elsevier/North-Holland.
Cobley P. (1997) Introducing Semiotics. Totem Books, New York.
Cohen J. (1988) A view of the origins and development of PROLOG. Communications of the Association for Computing Machinery, 31, p. 26—36.
Cohen P. R. (1995) Empirical methods for artificial intelligence. MIT Press, Cambridge, Massachusetts.
Cohen P. R. and Levesque H. J. (1990) Intention is choice with commitment. Artificial Intelligence, 42(2-3), p. 213-261.
Cohen Р. R., Morgan J., and Pollack M. E. (1990) Intentions in Communication. MIT Press, Cambridge, Massachusetts.
Cohen P. R. and Perrault C. R. (1979) Elements of a plan-based theory of speech acts. Cognitive Science, 3(3), p. 177-212.
Cohen W. W. and Page C. D. (1995) Learnability in inductive logic programming: Methods and results. New Generation Computing, 13(3—4), p. 369—409.
Cohn A. G., Bennett B., Gooday J. M., and Gotts N. (1997) RCC: A calculus for region based qualitative spatial reasoning. Geolnformatica, 1, p. 275-316.
Collins M. J. (1996) A new statistical parser based on bigram lexical dependencies. In Joshi A. K. and Palmer M. (Eds.), Proceedings of the Thirty-Fourth Annual Meeting of the Association for Computational Linguistics, p. 184-191, San Francisco. Morgan Kaufmann Publishers.
Collins M. J. (1999) Head-driven Statistical Models for Natural Language Processing. Ph.D. thesis, University of Pennsylvania.
3. Collins M. and Duffy K. (2002) New ranking algorithms for parsing and tagging: Kernels over discrete structures, and the voted perceptron. In Proceedings of the ACL.
Colmerauer A. (1975) Les grammaires de metamorphose. Tech, rep., Groupe d'Intelligence Artificielle, Universite de Marseille-Luminy.
Colmerauer A., Kanoui H., Pasero R., and Roussel P. (1973) Un systeme de communication homme—machine en Frangais. Rapport, Groupe d'Intelligence Artificielle, Universite d'Aix- Marseille II.
Condon J. H. and Thompson K. (1982) Belle chess hardware. In Clarke M. R. B. (Ed.), Advances in Computer Chess 3, p. 45-54. Pergamon, Oxford, UK.
Congdon С. B., Huber M., Kortenkamp D., Bidlack C., Cohen C., Huffman S., Koss F., Raschke U., and Weymouth T. (1992) CARMEL versus Flakey: A comparison of two robots. Tech. rep. Papers from the AAAI Robot Competition, RC-92-01, American Association for Artificial Intelligence, Menlo Park, CA.
Connell J. (1989) A Colony Architecture for an Artificial Creature. Ph.D. thesis, Artificial Intelligence Laboratory, MIT, Cambridge, MA. Предоставляется также под названием AI Technical Report 1151.
Cook S. A. (1971) The complexity of theorem-proving procedures. In Proceedings of the 3rd Annual ACM Symposium on Theory of Computing, p. 151 — 158, New York. ACM Press.
Cook S. A. and Mitchell D. (1997) Finding hard instances of the satisfiability problem: A survey. In Du D., Gu J., and Pardalos P. (Eds.), Satisfiability problems: Theory and applications. American Mathematical Society, Providence, Rhode Island.
Cooper G. (1990) The computational complexity of probabilistic inference using Bayesian belief networks. Artificial Intelligence, 42, p. 393-405.
Cooper G. and Herskovits E. (1992) A Bayesian method for the induction of probabilistic networks from data. Machine Learning, 9, p. 309-347.
Copeland J. (1993) Artificial Intelligence: A Philosophical Introduction. Blackwell, Oxford, UK.
Copernicus (1543) De Revolutionibus Orbium Coe lestium. Apud loh. Petreium, Nuremberg.
Cormen T. H., Leiserson С. E., and Ri vest R. (1990) Introduction to Algorithms. MIT Press, Cambridge, Massachusetts.
Cortes C. and Vapnik V. N. (1995) Support vector networks. Machine Learning, 20, p. 273-297.
Cournot A. (Ed.) (1838) Recherches sur les principes mathematiques de la theorie des richesses. L. Hachette, Paris.
Covington M. A. (1994) Natural Language Processing for Prolog Programmers. Prentice-Hall, Upper Saddle River, New Jersey.
Cowan J. D. and Sharp D. H. (1988a) Neural nets. Quarterly Reviews of Biophysics, 21, p. 365-427.
Cowan J. D. and Sharp D. H. (1988b) Neural nets and artificial intelligence. Daedalus, 117, p. 85-121.
Cox I. (1993) A review of statistical data association techniques for motion correspondence. International Journal of Computer Vision, 10, p. 53—66.
Cox I. and Hingorani S. L. (1994) An efficient implementation and evaluation of Reid's multiple hypothesis tracking algorithm for visual tracking. In Proceedings of the 12th International Conference on Pattern Recognition, Vol. 1, p. 437-442, Jerusalem, Israel. International Association for Pattern Recognition (IAPR).
Cox I. and Wilfong G. T. (Eds.) (1990) Autonomous Robot Vehicles. Springer Verlag, Berlin.
Cox R. T. (1946) Probability, frequency, and reasonable expectation. American Journal of Physics, 14CYv-1-13.
Craig J. (1989) Introduction to Robotics: Mechanics and Control (2nd Edition). Addison-Wesley Publishing, Inc., Reading, MA.
Craik K. J. (1943) The Nature of Explanation. Cambridge University Press, Cambridge, UK.
Crawford J. M. and Auton L. D. (1993) Experimental results on the crossover point in satisfiability problems. In Proceedings of the Eleventh National Conference on Artificial Intelligence (AAAI-93), p. 21-27, Washington, DC. AAAI Press.
Cristianini N. and Scholkopf B. (2002) Support vector machines and kernel methods: The new generation of learning machines. AI Magazine, 23(3), p. 31-41.
Cristianini N. and Shawe-Taylor J. (2000) An introduction to support vector machines and other kernelbased learning methods. Cambridge University Press, Cambridge, UK.
Crockett L. (1994) The Turing Test and the Frame Problem: AFs Mistaken Understanding of Intelligence. Ablex, Norwood, New Jersey.
Cross S. E. and Walker E. (1994) Dart: Applying knowledge based planning and scheduling to crisis action planning. In Zweben M. and Fox M. S. (Eds.), Intelligent Scheduling, p. 711-729. Morgan Kaufmann, San Mateo, California.
Cruse D. A. (1986) Lexical Semantics. Cambridge University Press.
Culberson J. and Schaeffer J. (1998) Pattern databases. Computational Intelligence, 14(4), p. 318-334.
Cullingford R. E. (1981) Integrating knowledge sources for computer “understanding” tasks. IEEE Transactions on Systems, Man and Cybernetics (SMC), 11.
Cussens J. and Dzeroski S. (2000) Learning Language in Logic, Vol. 1925 of Lecture Notes in Computer Science. Springer-Verlag, Berlin.
Cybenko G. (1988) Continuous valued neural networks with two hidden layers are sufficient. Technical report, Department of Computer Science, Tufts University, Medford, Massachusetts.
Cybenko G. (1989) Approximation by superpositions of a sigmoidal function. Mathematics of Controls, Signals, and Systems, 2, p. 303-314.
Daganzo C. (1979) Multinomial probit: The theory and its application to demand forecasting. Academic Press, New York.
Dagum P. and Luby M. (1993) Approximating probabilistic inference in Bayesian belief networks is NP-hard. Artificial Intelligence, 60(Y),p. 141-153.
Dahl O.-J., Myrhaug B., and Nygaard K. (1970) (Simula 67) common base language. Tech. rep. N. S-22, Norsk Regnesentral (Norwegian Computing Center), Oslo.
Dale R., Moisl H., and Somers H. (2000) Handbook of Natural Language Processing. Marcel Dekker, New York.
Dantzig G. B. (1949) Programming of interdependent activities: II. Mathematical model. Econometrica, 17, p. 200—211.
Darwiche A. (2001) Recursive conditioning. Artificial Intelligence, 126, p. 5—41.
Darwiche A. and Ginsberg M. L. (1992) A symbolic generalization of probability theory. In Proceedings of the Tenth National Conference on Artificial Intelligence (AAAI-92), p. 622—627, San Jose. AAAI Press.
Darwin C. (1859) On The Origin ofSpecies by Means of Natural Selection. J. Murray, London.
Darwin C. (1871) Descent of Man. J. Murray.
Dasgupta P., Chakrabarti P. P., and DeSarkar S. C. (1994) Agent searching in a tree and the optimality of iterative deepening. Artificial Intelligence, 71, p. 195—208.
Davidson D. (1980) Essays on Actions and Events. Oxford University Press, Oxford, UK.
Davies T. R. (1985) Analogy. Informal note IN-CSLI-85-4, Center for the Study of Language and Information (CSLI), Stanford, California.
Davies T. R. and Russell S. J. (1987) A logical approach to reasoning by analogy. In Proceedings of the Tenth International Joint Conference on Artificial Intelligence (IJCAI-87), Vol. 1, p. 264-270, Milan. Morgan Kaufmann.
Davis E. (1986) Representing and Acquiring Geographic Knowledge. Pitman and Morgan Kaufmann, London and San Mateo, California.
Davis E. (1990) Representations of Commonsense Knowledge. Morgan Kaufmann, San Mateo, California.
Davis К. H., Biddulph R., and Balashek S. (1952) Automatic recognition of spoken digits. Journal of the Acoustical Society of America, 24(f), p. 637—642.
Davis M. (1957) A computer program for Presburger's algorithm. In Robinson A. (Ed.), Proving Theorems (as Done by Man, Logician, or Machine), p. 215-233, Cornell University, Ithaca, New York. Communications Research Division, Institute for Defense Analysis. Proceedings of the Summer Institute for Symbolic Logic. Second edition; publication date is 1960.
Davis M., Logemann G., and Loveland D. (1962) A machine program for theorem-proving. Communications of the Association for Computing Machinery, 5, p. 394-397.
Davis M. and Putnam H. (1960) A computing procedure for quantification theory. Journal of the Association for Computing Machinery, 7(3), p. 201—215.
Davis R. and Lenat D. B. (1982) Knowledge-Based Systems in Artificial Intelligence. McGraw-Hill, New York.
Dayan P. (1992) The convergence ofTD(X) for general X. Machine Learning, 5(3-4), p. 341-362.
Dayan P. and Abbott L. F. (2001) Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems. MIT Press, Cambridge, Massachusetts.
de Dombal F. T., Leaper D. J., Horrocks J. C., and Staniland J. R. (1974) Human and computer- aided diagnosis of abdominal pain: Further report with emphasis on performance of clinicians. British Medical Journal, 1, p. 376-380.
de Dombal F. T., Staniland J. R., and Clamp S. E. (1981) Geographical variation in disease presentation. Medical Decision Making, 1, p. 59—69.
de Finetti B. (1937) Le prevision: ses lois logiques, ses sources subjectives. Ann. Inst. Poincaru, 7, p. 1-68.
de Freitas J. F. G., Niranjan M., and Gee A. H. (2000) Sequential Monte Carlo methods to train neural network models. Neural Computation, 12(4), p. 933-953.
de Kleer J. (1975) Qualitative and quantitative knowledge in classical mechanics. Tech. rep. AI-TR-352, MIT Artificial Intelligence Laboratory.
de Kleer J. (1986a) An assumption-based TMS. Artificial Intelligence, 28(2), p. 127-162.
de Kleer J. (1986b) Extending the ATMS. Artificial Intelligence, 28(2), p. 163-196.
de Kleer J. (1986c) Problem solving with the ATMS. Artificial Intelligence, 28(2), p. 197—224.
de Kleer J. (1989) A comparison of ATMS and CSP techniques. In Proceedings of the Eleventh International Joint Conference on Artificial Intelligence (IJCAI-89), Vol. 1, p. 290—296, Detroit. Morgan Kaufmann.
de Kleer J. and Brown J. S. (1985) A qualitative physics based on confluences. In Hobbs J. R. and Moore R. C. (Eds.), Formal Theories of the Commonsense World, chap. 4, p. 109-183. Ablex, Norwood, New Jersey.
de Marcken C. (1996) Unsupervised Language Acquisition. Ph.D. thesis, MIT.
De Morgan A. (1864) On the syllogism IV and on the logic of relations. Cambridge Philosophical Transactions, x, p. 331—358.
De Raedt L. (1992) Interactive Theory Revision: An Inductive Logic Programming Approach. Academic Press, New York.
de Saussure F. (1910; повторно опубликовано в 1993) Lectures on General Linguistics. Pergamon Press, Oxford, UK.
Deacon T. W. (1997) The symbolic species: The co-evolution of language and the brain. W. W. Norton, New York.
Deale M., Yvanovich M., Schnitzius D., Kautz D., Carpenter M., Zweben M., Davis G., and Daun B. (1994) The space shuttle ground processing scheduling system. In Zweben M. and Fox M. (Eds.), Intelligent Scheduling, p. 423-449. Morgan Kaufmann, San Mateo, California.
Dean T., Basye K., Chekaluk R., and Hyun S. (1990) Coping with uncertainty in a control system for navigation and exploration. In Proceedings of the Eighth National Conference on Artificial Intelligence (AAAI-90), Vol. 2, p. 1010-1015, Boston. MIT Press.
Dean T. and Boddy M. (1988) An analysis of time-dependent planning. In Proceedings of the Seventh National Conference on Artificial Intelligence (AAAI-88), p. 49—54, St. Paul, Minnesota. Morgan Kaufmann.
Dean T., Firby R. J., and Miller D. (1990) Hierarchical planning involving deadlines, travel time, and resources. Computational Intelligence, 6(1), 381—398.
Dean T., Kaelbling L. P., Kirman J., and Nicholson A. (1993) Planning with deadlines in stochastic domains. In Proceedings of the Eleventh National Conference on Artificial Intelligence (AAAI-93), p. 574-579, Washington, DC. AAAI Press.
Dean T. and Kanazawa K. (1989a) A model for projection and action. In Proceedings of the Eleventh International Joint Conference on Artificial Intelligence (IJCAI-89), p. 985—990, Detroit. Morgan Kaufmann.
Dean T. and Kanazawa K. (1989b) A model for reasoning about persistence and causation. Computational Intelligence, 5(3), p. 142-150.
Dean T., Kanazawa K., and Shewchuk J. (1990) Prediction, observation and estimation in planning and control. In Sth IEEE International Symposium on Intelligent Control, Vol. 2, p. 645-650, Los Alamitos, CA. IEEE Computer Society Press.
DeanT. and Wellman M. P. (1991) Planning and Control. Morgan Kaufmann, San Mateo, California.
Debevec P., Taylor C., and Malik J. (1996) Modeling and rendering architecture from photographs: a hybrid geometry- and image-based approach. In Proceedings of the 23rd Annual Conference on Computer Graphics (SIGGRAPH), p. 11-20.
Debreu G. (1960) Topological methods in cardinal utility theory. In Arrow K. J., Karlin S., and Suppes P. (Eds.), Mathematical Methods in the Social Sciences, 1959. Stanford University Press, Stanford, California.
Dechter R. (1990a) Enhancement schemes for constraint processing: Backjumping, learning and cutset decomposition. Artificial Intelligence, 41, p. 273-312.
Dechter R. (1990b) On the expressiveness of networks with hidden variables. In Proceedings of the Eighth National Conference on Artificial Intelligence (AAAI-90), p. 379—385, Boston. MIT Press.
Dechter R. (1992) Constraint networks. In Shapiro S. (Ed.), Encyclopedia of Artificial Intelligence (2nd edition), p. 276-285. Wiley and Sons, New York.
Dechter R. (1999) Bucket elimination: A unifying framework for reasoning. Artificial Intelligence, 113, p. 41-85.
Dechter R. and Frost D. (1999) Backtracking algorothms for constraint satisfaction problems. Tech, rep., Department of Information and Computer Science, University of California, Irvine.
Dechter R. and Pearl J. (1985) Generalized best-first search strategies and the optimality of A*. Journal of the Association for Computing Machinery, 32(3), p. 505—536.
Dechter R. and Pearl J. (1987) Network-based heuristics for constraint-satisfaction problems. Artificial Intelligence, 34( 1), p. 1—38.
Dechter R. and Pearl J. (1989) Tree clustering for constraint networks. Artificial Intelligence, 38(3), p. 353-366.
74. DeCoste D. and Scholkopf B. (2002) Training invariant support vector machines. Machine Learning, 46(\),p. 161-190.
Dedekind R. (1888) Was sind und wassollen dieZahlen. Braunschweig, Germany.
Deerwester S. C., Dumais S. T., Landauer T. K., Furnas G. W., and Harshman R. A. (1990) Indexing by latent semantic analysis. Journal of the American Society of Information Science, 41(6), p. 391—407.
DeGroot M. H. (1970) Optimal Statistical Decisions. McGraw-Hill, New York.
DeGroot M. H. (1989) Probability and Statistics (2nd edition). Addison-Wesley, Reading, Massachusetts.
De Jong G. (1981) Generalizations based on explanations. In Proceedings of the Seventh International Joint Conference on Artificial Intelligence (IJCAI-81), p. 67-69, Vancouver, British Columbia. Morgan Kaufmann.
DeJong G. (1982) An overview of the FRUMP system. In Lehnert W. and Ringle M. (Eds.), Strategies for Natural Language Processing, p. 149-176. Lawrence Erlbaum, Potomac, Maryland.
DeJong G. and Mooney R. (1986) Explanation-based learning: An alternative view. Machine Learning, 1, p. 145-176.
Dempster A. P. (1968) A generalization of Bayesian inference. Journal of the Royal Statistical Society, 30(Series B),p. 205-247.
Dempster A. P., Laird N., and Rubin D. (1977) Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society, 39 (Series B), p. 1-38.
Denes P. (1959) The design and operation of the mechanical speech recognizer at University College London. Journal of the British Institution of Radio Engineers, 19(4), p. 219—234.
Deng X. and Papadimitriou С. H. (1990) Exploring an unknown graph. In Proceedings 31st Annual Symposium on Foundations of Computer Science, p. 355—361, St. Louis. IEEE Computer Society Press.
Denis F. (2001) Learning regular languages from simple positive examples. Machine Learning, 44(1/2), p. 37-66.
Dennett D. C. (1971) Intentional systems. The Journal of Philosophy, 68(4), p. 87-106.
Dennett D. C. (1978) Why you can't make a computer that feels pain. Synthese, 38(3).
Dennett D. C. (1984) Cognitive wheels: the frame problem of AI. In Hookway C. (Ed.), Minds, Machines, and Evolution: Philosophical Studies, p. 129—151. Cambridge University Press, Cambridge, UK.
Deo N. and Pang C.-Y. (1984) Shortest path algorithms: Taxonomy and annotation. Networks, 14(2), p. 275-323.
Descartes R. (1637) Discourse on method. In Cottingham J., Stoothoff R., and Murdoch D. (Eds.), The Philosophical Writings of Descartes, Vol. I. Cambridge University Press, Cambridge, UK.
Descotte Y. and Latombe J.-C. (1985) Making compromises among antagonist constraints in a planner. Artificial Intelligence, 27, p. 183—217.
Devroye L. (1987) A course in density estimation. Birkhauser, Boston.
Devroye L, Gyorfi L, and Lugosi G. (1996) A probabilistic theory of pattern recognition. SpringerVerlag, Berlin.
Dickmanns E. D. and Zapp A. (1987) Autonomous high speed road vehicle guidance by computer vision. In Isermann R. (Ed.), Automatic Control— World Congress, 1987: Selected Papers from the 10th Triennial World Congress of the International Federation of Automatic Control, p. 221—226, Munich. Pergamon.
Dietterich T. (1990) Machine learning. Annual Review of Computer Science, 4, p. 255-306.
Dietterich T. (2000) Hierarchical reinforcement learning with the MAXQ value function decomposition. Journal of Artificial Intelligence Research, 13, p. 227—303.
DiGioia A. M., Kanade T., and Wells P. (1996) Final report of the second international workshop on robotics and computer assisted medical interventions. Computer Aided Surgery, 2, p. 69-101.
Dijkstra E. W. (1959) A note on two problems in connexion with graphs. Numerische Mathematik, 1, p. 269-271.
Dissanayake G., Newman P., Clark S., Durrant-Whyte H., and Csorba M. (2001) A solution to the simultaneous localisation and map building (SLAM) problem. IEEE Transactions of Robotics and Automation, 17(3),p. 229-241.
Do M. B. and Kambhampati S. (2001) Sapa: A domain-independent heuristic metric temporal planner. In Proceedings of the European Conference on Planning, Toledo, Spain. Springer-Verlag.
Domingos P. and Pazzani M. (1997) On the optimality of the simple Bayesian classifier under zero- one loss. Machine Learning, 29, p. 103—30.
Doran C., Egedi D., Hockey B. A., Srinivas B., and Zaidel M. (1994) XTAG system — a wide coverage grammar of English. In Nagao M. (Ed.), Proceedings of the 15th COLING, Kyoto, Japan.
Doran J. and Michie D. (1966) Experiments with the graph traverser program. Proceedings of the Royal Society of London, 294, Series A, p. 235-259.
Dorf R. C. and Bishop R. H. (1999) Modern Control Systems. Addison-Wesley, Reading, Massachusetts.
Doucet A. (1997) Monte Carlo methods for Bayesian estimation of hidden Markov models: Application to radiation signals. Ph.D. thesis, Universite de Paris-Sud, Orsay, France.
Dowling W. F. and Gallier J. H. (1984) Linear-time algorithms for testing the satisfiability of propositional Horn formulas. Journal of Logic Programming, 1, p. 267-284.
Dowty D., Wall R., and Peters S. (1991) Introduction to Montague Semantics. D. Reidel, Dordrecht, Netherlands.
Doyle J. (1979) A truth maintenance system. Artificial Intelligence, 12(3), p. 231—272.
Doyle J. (1983) What is rational psychology? Toward a modern mental philosophy. AI Magazine, 4(3), p. 50-53.
Doyle J. and Patil R. (1991) Two theses of knowledge representation: Language restrictions, taxonomic classification, and the utility of representation services. Artificial Intelligence, 48(3), p. 261-297.
Drabble B. (1990) Mission scheduling for spacecraft: Diaries of T-SCHED. In Expert Planning Systems, p. 76-81, Brighton, UK. Institute of Electrical Engineers.
Draper D., Hanks S., and Weld D. S. (1994) Probabilistic planning with information gathering and contingent execution. In Proceedings of the Second International Conference on AI Planning Systems, p. 31—36, Chicago. Morgan Kaufmann.
Dreyfus H. L. (1972) What Computers Can't Do: A Critique of Artificial Reason. Harper and Row, New York.
Dreyfus Н. L. (1992) What Computers Still Can’t Do: A Critique of Artificial Reason. MIT Press, Cambridge, Massachusetts.
Dreyfus H. L. and Dreyfus S. E. (1986) Mind over Machine: The Power of Human Intuition and Expertise in the Era of the Computer. Blackwell, Oxford, UK.
Dreyfus S. E. (1969) An appraisal of some shortest-paths algorithms. Operations Research, 17, p. 395-412.
Du D., Gu J., and Pardalos P. M. (Eds.) (1999) Optimization methods for logical inference. American Mathematical Society, Providence, Rhode Island.
Dubois D. and Prade H. (1994) A survey of belief revision and updating rules in various uncertainty models. International Journal of Intelligent Systems, 9(1), p. 61-100.
Duda R. O., Gaschnig J., and Hart P. E. (1979) Model design in the Prospector consultant system for mineral exploration. In Michie D. (Ed.), Expert Systems in the Microelectronic Age, p. 153—167. Edinburgh University Press, Edinburgh, Scotland.
Duda R. O. and Hart P. E. (1973) Pattern classification and scene analysis. Wiley, New York.
Duda R. O., Hart P. E., and Stork D. G. (2001) Pattern Classification. Wiley, New York.
Dudek G. and Jenkin M. (2000) Computational Principles of Mobile Robotics. Cambridge University Press, Cambridge CB2 2RU, UK.
Durfee E. H. and Lesser V. R. (1989) Negotiating task decomposition and allocation using partial global planning. In Huhns M. and Gasser L. (Eds.), Distributed AI, Vol. 2. Morgan Kaufmann, San Mateo, California.
Dyer M. (1983) In-Depth Understanding. MIT Press, Cambridge, Massachusetts.
Dzeroski S., Muggleton S. H., and Russell S. J. (1992) PAC-learnability of determinate logic programs. In Proceedings of the Fifth Annual ACM Workshop on Computational Learning Theory (COLT-92), p. 128-135, Pittsburgh, Pennsylvania. ACM Press.
Earley J. (1970) An efficient context-free parsing algorithm. Communications of the Association for Computing Machinery, 13(2), p. 94-102.
Ebeling C. (1987) All the Right Moves. MIT Press, Cambridge, Massachusetts.
Eco U. (1979) Theory of Semiotics. Indiana University Press, Bloomington, Indiana.
Edmonds J. (1965) Paths, trees, and flowers. Canadian Journal of Mathematics, 17, p. 449-467.
Edwards P. (Ed.) (1967) The Encyclopedia of Philosophy. Macmillan, London.
EiterT., Leone N., Mateis C., Pfeifer G., and Scarcello F. (1998) The KR system div: Progress report, comparisons and benchmarks. In Cohn A., Schubert L., and Shapiro S. (Eds.), Proceedings of the Sixth International Conference on Principles of Knowledge Representation and Reasoning, p. 406-417, Trento, Italy.
Elhadad M. (1993) FUF: The universal unifier— user manual. Technical report, Ben Gurion University of the Negev, Be'er Sheva, Israel.
Elkan C. (1993) The paradoxical success of fuzzy logic. In Proceedings of the Eleventh National Conference on Artificial Intelligence (AAAI-93), p. 698—703, Washington, DC. AAAI Press.
Elkan C. (1997) Boosting and naive Bayesian learning. Tech, rep., Department of Computer Science and Engineering, University of California, San Diego.
Elman J., Bates E., Johnson M., KarmilofT-Smith A., Parisi D., and Plunkett K. (1997) Rethinking Innateness. MIT Press, Cambridge, Massachusetts.
Empson W. (1953) Seven Types of Ambiguity. New Directions, New York.
Enderton H. B. (1972) A Mathematical Introduction to Logic. Academic Press, New York.
Erdmann M. A. and Mason M. (1988) An exploration of sensorless manipulation. IEEE Journal of Robotics and Automation, 4(4), p. 369-379.
Erman L. D., Hayes-Roth F., Lesser V. R., and Reddy R. (1980) The HEARSAY-II speech-understanding system: Integrating knowledge to resolve uncertainty. Computing Surveys, 12(2), p. 213-253.
Ernst Н. А. (1961) МН-1, a Computer-Operated Mechanical Hand. Ph.D. thesis, Massachusetts Institute of Technology, Cambridge, Massachusetts.
Ernst M., Millstein T., and Weld D. S. (1997) Automatic SAT-compilation of planning problems. In Proceedings of the Fifteenth International Joint Conference on Artificial Intelligence (IJCAI-97), p. 1169—1176, Nagoya, Japan. Morgan Kaufmann.
Erol K., Hendler J., and Nau D. S. (1994) HTN planning: Complexity and expressivity. In Proceedings of the Twelfth National Conference on Artificial Intelligence (AAAI-94), p. 1123-1128, Seattle. AAAI Press.
Erol K., Hendler J., and Nau D. S. (1996) Complexity results for HTN planning. Annals of Mathematics and Artificial Intelligence, 18(\),p. 69—93.
Etzioni O. (1989) Tractable decision-analytic control. In Proc, of 1st International Conference on Knowledge Representation and Reasoning, p. 114—125, Toronto.
Etzioni O., Hanks S., Weld D. S., Draper D., Lesh N., and Williamson M. (1992) An approach to planning with incomplete information. In Proceedings of the 3rd International Conference on Principles of Knowledge Representation and Reasoning, Cambridge, Massachusetts.
Etzioni O. and Weld D. S. (1994) A softbot-based interface to the Internet. Communications of the Association for Computing Machinery, 37(1), p. 72—76.
Evans T. G. (1968) A program for the solution of a class of geometric-analogy intelligence-test questions. In Minsky M. L. (Ed.), Semantic Information Processing, p. 271—353. MIT Press, Cambridge, Massachusetts.
Fagin R., Halpern J. Y., Moses Y., and Vardi M. Y. (1995) Reasoning about Knowledge. MIT Press, Cambridge, Massachusetts.
Fahlman S. E. (1974) A planning system for robot construction tasks. Artificial Intelligence, 5(1), p. 1-49.
Fahlman S. E. (1979) NETL: A System for Representing and Using Real-World Knowledge. MIT Press, Cambridge, Massachusetts.
Faugeras O. (1992) What can be seen in three dimensions with an uncalibrated stereo rig? In Sandini G. (Ed.), Proceedings of the European Conference on Computer Vision, Vol. 588 of Lecture Notes in Computer Science, p. 563—578. Springer-Verlag.
Faugeras O. (1993) Three-Dimensional Computer Vision: A Geometric Viewpoint. MIT Press, Cambridge, Massachusetts.
Faugeras O., Luong Q.-T., and Papadopoulo T. (2001) The Geometry of Multiple Images. MIT Press, Cambridge, Massachusetts.
Fearing R. S. and Hollerbach J. M. (1985) Basic solid mechanics for tactile sensing. International Journal of Robotics Research, 4(3), p. 40-54.
Featherstone R. (1987) Robot Dynamics Algorithms. Kluwer Academic Publishers, Boston, MA.
Feigenbaum E. A. (1961) The simulation of verbal learning behavior. Proceedings of the Western Joint Computer Conference, 79, p. 121-131.
Feigenbaum E. A., Buchanan B. G., and Lederberg J. (1971) On generality and problem solving: A case study using the DENDRAL program. In Meltzer B. and Michie D. (Eds.), Machine Intelligence 6, p. 165-190. Edinburgh University Press, Edinburgh, Scotland.
Feigenbaum E. A. and Feldman J. (Eds.) (1963) Computersand Thought. McGraw-Hill, New York.
Feldman J. and Sproull R. F. (1977) Decision theory and artificial intelligence II: The hungry monkey. Technical report, Computer Science Department, University of Rochester.
Feldman J. and Yakimovsky Y. (1974) Decision theory and artificial intelligence I: Semantics-based region analyzer. Artificial Intelligence, 5(4), p. 349-371.
Fellbaum C. (2001) Wordnet: An Electronic Lexical Database. MIT Press, Cambridge, Massachusetts.
Feller W. (1971) An Introduction to Probability Theory and its Applications, Vol. 2. John Wiley.
Ferraris Р. and Giunchiglia E. (2000) Planning as satisability in nondeterministic domains. In Proceedings of Seventeenth National Conference on Artificial Intelligence, p. 748-753. AAAI Press.
Fikes R. E., Hart P. E., and Nilsson N. J. (1972) Learning and executing generalized robot plans. Artificial Intelligence, 3(4), p. 251—288.
Fikes R. E. and Nilsson N. J. (1971) STRIPS: A new approach to the application of theorem proving to problem solving. Artificial Intelligence, 2(3-4), p. 189-208.
Fikes R. E. and Nilsson N. J. (1993) STRIPS, a retrospective. Artificial Intelligence, 59(1-2), p. 227-232.
Findlay J. N. (1941) Time: A treatment of some puzzles. Australasian Journal of Psychology and Philosophy, 19(3), p. 216-235.
Finney D. J. (1947) Probit analysis: A statistical treatment of the sigmoid response curve. Cambridge University Press, Cambridge, UK.
Firby J. (1994) Task networks for controlling continuous processes. In Hammond K. (Ed.), Proceedings of the Second International Conference on AI Planning Systems, p. 49-54, Menlo Park, CA. AAAI Press.
Firby R. J. (1996) Modularity issues in reactive planning. In Proceedings of the 3rd International Conference on Artificial Intelligence Planning Systems (AIPS-96), p. 78-85, Edinburgh, Scotland. AAAI Press.
Fischer M. J. and Ladner R. E. (1977) Propositional modal logic of programs. In Proceedings of the 9th ACM Symposium on the Theory of Computing, p. 286—294, New York. ACM Press.
Fisher R. A. (1922) On the mathematical foundations of theoretical statistics. Philosophical Transactions of the Royal Society of London, Series A 222, p. 309-368.
Fix E. and Hodges J. L. (1951) Discriminatory analysis — nonparametric discrimination: Consistency properties. Tech. rep. 21-49-004, USAF School of Aviation Medicine, Randolph Field, Texas.
Fogel D. B. (2000) Evolutionary Computation: Toward a New Philosophy of Machine Intelligence. IEEE Press, Piscataway, New Jersey.
Fogel L. J., Owens A. J., and Walsh M. J. (1966) Artificial Intelligence through Simulated Evolution. Wiley, New York.
Forbes J. (2002) Learning Optimal Control for Autonomous Vehicles. Ph.D. thesis, University of California, Berkeley.
Forbus K. D. (1985) The role of qualitative dynamics in naive physics. In Hobbs J. R. and Moore R. C. (Eds.), Formal Theories of the Commonsense World, chap. 5, p. 185—226. Ablex, Norwood, New Jersey.
Forbus K. D. and de Kleer J. (1993) Building Problem Solvers. MIT Press, Cambridge, Massachusetts.
Ford К. M. and Hayes P. J. (1995) Turing Test considered harmful. In Proceedings of the Fourteenth International Joint Conference on Artificial Intelligence (IJCAI-95), p. 972—977, Montreal. Morgan Kaufmann.
Forestier J.-P. and Varaiya P. (1978) Multilayer control of large Markov chains. IEEE Transactions on Automatic Control, 23(2), p. 298-304.
Forgy C. (1981) OPS5 user's manual. Technical report CMU-CS-81-135, Computer Science Department, Carnegie-Mellon University, Pittsburgh.
Forgy C. (1982) A fast algorithm for the many patterns/many objects match problem. Artificial Intelligence, 19( 1), p. 17—37.
Forsyth D. and Zisserman A. (1991) Reflections on shading. IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 13(1), p. 671-679.
Fortescue M. D. (1984) West Greenlandic. Croom Helm, London.
Foster D. W. (1989) Elegy by W. W.: A Study in Attribution. Associated University Presses, Cranbury, New Jersey.
Fourier J. (18 27) Analyse des travaux de Г Academic Royale des Sciences, pendant Гаппёе 18 24; partie mathematique. Histoire de TAcademie Royale des Sciences de France, 7, xlvii—Iv.
Fox D., Burgard W., Dellaert F., and Thrun S. (1999) Monte carlo localization: Efficient position estimation for mobile robots. In Proceedings of the National Conference on Artificial Intelligence (AAAI), Orlando, FL. AAAI.
Fox M. S. (1990) Constraint-guided scheduling: A short history of research at CMU. Computers in Industry, 74(1-3), p. 79-88.
Fox M. S., Allen B., and Strohm G. (1982) Job shop scheduling: An investigation in constraint- directed reasoning. In Proceedings of the National Conference on Artificial Intelligence (AAAI-82), p. 155—158, Pittsburgh, Pennsylvania. Morgan Kaufmann.
Fox M. S. and Long D. (1998) The automatic inference of state invariants in TIM. Journal of Artificial Intelligence Research, 9, p. 367—421.
Frakes W. and Baeza-Yates R. (Eds.) (1992) Information Retrieval: Data Structures and Algorithms. Prentice-Hall, Upper Saddle River, New Jersey.
Francis S. and Kucera H. (1967) Computing Analysis of Present-day American English. Brown University Press, Providence, Rhode Island.
Franco J. and Paull M. (1983) Probabilistic analysis of the Davis Putnam procedure for solving the satisfiability problem. Discrete Applied Mathematics, 5, p. 77—87.
Frank R. H. and Cook P. J. (1996) The Winner-Take-All Society. Penguin, New York.
Frege G. (1879) Begriffsschrift, eine der arithmetischen nachgebildete Formelsprache des reinen Denkens. Halle, Berlin. Английский перевод опубликован в [1532].
Freuder Е. С. (1978) Synthesizing constraint expressions. Communications of the Association for Computing Machinery, 21(\\), p. 958-966.
Freuder E. C. (1982) A sufficient condition for backtrack-free search. Journal of the Association for Computing Machinery, 29(1), p. 24—32.
Freuder E. C. (1985) A sufficient condition for backtrack-bounded search. Journal of the Association for Computing Machinery, 32(4), p. 755-761.
Freuder E. C. and Mackworth A. K. (Eds.) (1994) Constraint-based reasoning. MIT Press, Cambridge, Massachusetts.
Freund Y. and Schapire R. E. (1996) Experiments with a new boosting algorithm. In Proceedings of the Thirteenth International Conference on Machine Learning, Bari, Italy. Morgan Kaufmann.
Friedberg R. M. (1958) A learning machine: Part I. IBM Journal, 2, p. 2-13.
Friedberg R. M., Dunham B., and North T. (1959) A learning machine: Part IL IBM Journal of Research and Development, 3(3), p. 282-287.
Friedman G. J. (1959) Digital simulation of an evolutionary process. General Systems Yearbook, 4, p. 171-184.
Friedman J., Hastie T., and Tibshirani R. (2000) Additive logistic regression: A statistical view of boosting. Annals of Statistics, 28(2), p. 337-374.
Friedman N. (1998) The Bayesian structural EM algorithm. In Uncertainty in Artificial Intelligence: Proceedings of the Fourteenth Conference, Madison, Wisconsin. Morgan Kaufmann.
Friedman N. and Goldszmidt M. (1996) Learning Bayesian networks with local structure. In Uncertainty in Artificial Intelligence: Proceedings of the Twelfth Conference, p. 252—262, Portland, Oregon. Morgan Kaufmann.
Fry D. B. (1959) Theoretical aspects of mechanical speech recognition. Journal of the British Institution of Radio Engineers, 19(4), p. 211-218.
Fuchs J. J., Gasquet A., Olalainty B., and Currie K. W. (1990) PlanERS-1: An expert planning system for generating spacecraft mission plans. In First International Conference on Expert Planning Systems, p. 70-75, Brighton, UK. Institute of Electrical Engineers.
Fudenberg D. and Tirole J. (1991) Game theory. MIT Press, Cambridge, Massachusetts.
Fukunaga A. S., Rabideau G., Chien S., and Van D. (1997) ASPEN: A framework for automated planning and scheduling of spacecraft control and operations. In Proceedings of the International Symposium on AI, Robotics and Automation in Space, p. 181—187, Tokyo.
Fung R. and Chang К. C. (1989) Weighting and integrating evidence for stochastic simulation in Bayesian networks. In Proceedings of the Fifth Conference on Uncertainty in Artificial Intelligence (UAI-89), p. 209-220, Windsor, Ontario. Morgan Kaufmann.
Gaifman H. (1964) Concerning measures in first order calculi. Israel Journal of Mathematics, 2,p. 1-18.
Gallaire H. and Minker J. (Eds.) (1978) Logic and Databases. Plenum, New York.
Gallier J. H. (1986) Logic for Computer Science: Foundations of Automatic Theorem Proving. Harper and Row, New York.
Gallo G. and Pallottino S. (1988) Shortest path algorithms. Annals of Operations Research, 13, p. 3-79.
Gamba A., Gamberini L., Palmieri G., and Sanna R. (1961) Further experiments with PAPA. Nuovo Cimento Supplemento, 20(2), p. 221—231.
Carding J. (1992) Shape from texture for smooth curved surfaces in perspective projection. Journal of Mathematical Imaging and Vision, 2(4), p. 327—350.
Gardner M. (1968) Logic Machines, Diagrams and Boolean Algebra. Dover, New York.
Garey M. R. and Johnson D. S. (1979) Computers and Intractability. W. H. Freeman, New York.
Gaschnig J. (1977) A general backtrack algorithm that eliminates most redundant tests. In Proceedings of the Fifth International Joint Conference on Artificial Intelligence (IJCAI-77), p. 457, Cambridge, Massachusetts. IJCAII.
Gaschnig J. (1979) Performance measurement and analysis of certain search algorithms. Technical report CMU-CS-79-124, Computer Science Department, Carnegie-Mellon University.
Gasser R. (1995) Efficiently harnessing computational resources for exhaustive search. Ph.D. thesis, ETH Zurich, Switzerland.
Gasser R. (1998) Solving nine men's morris. In Nowakowski R. (Ed.) Games of No Chance. Cambridge University Press, Cambridge, UK.
Gat E. (1998) Three-layered architectures. In Kortenkamp D., Bonasso R. P., and Murphy R. (Eds.) Al-based Mobile Robots: Case Studies of Successful Robot Systems, p. 195-210. MIT Press.
Gauss K. F. (1809) Theoria Motus Corporum Coelestium in Sectionibus Conicis Solem Ambientium. Sumtibus F. Perthes et I. H. Besser, Hamburg.
Gauss K. F. (1829) Beitrage zur theorie der algebraischen gleichungen. Collected in Werke, Vol. 3, p. 71-102. K. Gesellschaft Wissenschaft, Gottingen, Germany, 1876.
Gawande A. (2002) Complications: A Surgeon's Notes on an Imperfect Science. Metropolitan Books, New York.
Ge N., Hale J., and Charniak E. (1998) A statistical approach to anaphora resolution. In Proceedings of the Sixth Workshop on Very Large Corpora, p. 161 — 171, Montreal. COLING-ACL.
Geiger D., Verma T., and Pearl J. (1990) Identifying independence in Bayesian networks. Networks, 20(5), p. 507-534.
Gelb A. (1974) Applied Optimal Estimation. MIT Press, Cambridge, Massachusetts.
Gelernter H. (1959) Realization of a geometry-theorem proving machine. In Proceedings of an International Conference on Information Processing, p. 273-282, Paris. UNESCO House.
Gelfond M. and Lifschitz V. (1988) Compiling circumscriptive theories into logic programs. In Reinfrank M., de Kleer J., Ginsberg M. L, and Sandewall E. (Eds.), Non-Monotonic Reasoning: 2nd International Workshop Proceedings, p. 74-99, Grassau, Germany. Springer-Verlag.
Gelman A., Carlin J. B., Stern H. S., and Rubin D. (1995) Bayesian Data Analysis. Chapman & Hall, London.
Geman S. and Genian D. (1984) Stochastic relaxation, Gibbs distributions, and Bayesian restoration of images. IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 6(6), p. 721 —741.
Genesereth M. R. (1984) The use of design descriptions in automated diagnosis. Artificial Intelligence, 24(1-3), p. 411-436.
Genesereth M. R. and Nilsson N. J. (1987) Logical Foundations of Artificial Intelligence. Morgan Kaufmann, San Mateo, California.
Genesereth M. R. and Nourbakhsh I. (1993) Time-saving tips for problem solving with incomplete information. In Proceedings of the Eleventh National Conference on Artificial Intelligence (AAAI-93), p. 724—730, Washington, DC. AAAI Press.
Genesereth M. R. and Smith D. E. (1981) Meta-level architecture. Memo HPP-81-6, Computer Science Department, Stanford University, Stanford, California.
Gentner D. (1983) Structure mapping: A theoretical framework for analogy. Cognitive Science, 7, p. 155-170.
Gentzen G. (1934) Untersuchungen liber das logische Schliessen. Mathematische Zeitschrift, 39, p. 176-210; p. 405-431.
GeoigefTM. P. and Lansky A. L. (1987) Reactive reasoning and planning. In Proceedings of the Sixth National Conference on Artificial Intelligence (AAAI-87), p. 677-682, Seattle. Morgan Kaufmann.
Gerevini A. and Schubert L. K. (1996) Accelerating partial-order planners: Some techniques for effective search control and pruning. Journal of Artificial Intelligence Research, 5, p. 95—137.
Gerevini A. and Serina I. (2002) LPG: A planner based on planning graphs with action costs. In Proceedings of the Sixth International Conference on AI Planning and Scheduling, p. 281—290, Menlo Park, California. AAAI Press.
Germann U., Jahr M., Knight K., Marcu D., and Yamada K. (2001) Fast decoding and optimal decoding for machine translation. In Proceedings of the Conference of the Association for Computational Linguistics (ACL), p. 228-235, Toulouse, France.
Gershwin G. (1937) Let's call the whole thing off. Песня.
Ghahramani Z. and Jordan M. I. (1997) Factorial hidden Markov models. Machine Learning, 29, p. 245-274.
Ghallab M., Howe A., Knoblock C. A., and McDermott D. (1998) PDDL — the planning domain definition language. Tech. rep. DCS TR-1165, Yale Center for Computational Vision and Control, New Haven, Connecticut.
Ghallab M. and Laruelle H. (1994) Representation and control in IxTeT, a temporal planner. In Proceedings of the 2nd International Conference on Artificial Intelligence Planning Systems (AIPS- 94), p. 61-67, Chicago. AAAI Press.
Giacomo G. D., Lesp6rance Y., and Levesque H. J. (2000) ConGolog, a concurrent programming language based on the situation calculus. Artificial Intelligence, 121, p. 109-169.
Gibson J. J. (1950) The Perception of the Visual World. Houghton Mifflin, Boston.
Gibson J. J. (1979) The Ecological Approach to Visual Perception. Houghton Mifflin, Boston.
Gibson J. J., Olum P., and Rosenblatt F. (1955) Parallax and perspective during aircraft landings. American Journal of Psychology, 68, p. 372—385.
Gilks W. R., Richardson S., and Spiegelhalter D. J. (Eds.) (1996) Markov chain Monte Carlo in practice. Chapman and Hall, London.
Gilks W. R., Thomas A., and Spiegelhalter D. J. (1994) A language and program for complex Bayesian modelling. The Statistician, 43, p. 169-178.
Gilmore P. C. (1960) A proof method for quantification theory: Its justification and realization. IBM Journal of Research and Development, 4, p. 28—35.
Ginsberg M. L. (1989) Universal planning: An (almost) universally bad idea. AI Magazine, 10(4), p. 40-44.
Ginsberg М. L. (1993) Essentials of Artificial Intelligence. Morgan Kaufmann, San Mateo, California.
Ginsberg M. L. (1999) GIB: Steps toward an expert-level bridge-playing program. In Proceedings of the Sixteenth International Joint Conference on Artificial Intelligence (IJCAI-99), p. 584—589, Stockholm. Morgan Kaufmann.
Ginsberg M. L, Frank M., Halpin M. P., and Torrance M. C. (1990) Search lessons learned from crossword puzzles. In Proceedings of the Eighth National Conference on Artificial Intelligence (AAAI- 90), Vol. 1, p. 210-215, Boston. MIT Press.
Gittins J. C. (1989) Multi-Armed Bandit Allocation Indices. Wiley, New York.
Glanc A. (1978) On the etymology of the word “robot”. SIGART Newsletter, 67, p. 12.
Glover F. (1989) Tabu search: 1. ORSA Journal on Computing, 7(3), p. 190-206.
Glover F. and Laguna M. (Eds.) (1997) Tabusearch. Kluwer, Dordrecht, Netherlands.
Godel K. (1930) Uber die Vollstandigkeit des Logikkalkiils. Ph.D. thesis, University of Vienna.
Godel K. (1931) Uber formal unentscheidbare Satze der Principia mathematica und verwandter Systeme I. Monatsheftefur Mathematik und Physik, 38, p. 173—198.
Goebel J., Volk K., Walker H., and Gerbault F. (1989) Automatic classification of spectra from the infrared astronomical satellite (IRAS). Astronomy and Astrophysics, 222, p. L5—L8.
Gold B. and Morgan N. (2000) Speech and Audio Signal Processing. Wiley, New York.
Gold E. M. (1967) Language identification in the limit. Information and Control, 10, p. 447—474.
Golden K. (1998) Leap before you look: Information gathering in the PUCCINI planner. In Proceedings of the 4th International Conference on Artificial Intelligence Planning Systems (AIPS-98), p. 70-77, Pittsburgh, Pennsylvania. AAAI Press.
Goldman N. (1975) Conceptual generation. In Schank R. (Ed.), Conceptual Information Processing, chap. 6. North-Holland, Amsterdam.
Goldman R. and Boddy M. (1996) Expressive planning and explicit knowledge. In Proceedings of the 3rd International Conference on Artificial Intelligence Planning Systems (AIPS-96), p. 110-117, Edinburgh, Scotland. AAAI Press.
Gomes C., Selman B., and Kautz H. (1998) Boosting combinatorial search through randomization. In Proceedings of the Fifteenth National Conference on Artificial Intelligence (AAAI-98), p. 431-437, Madison, Wisconsin. AAAI Press.
Good I. J. (1950) Contribution to the discussion of Eliot Slater's “Statistics for the chess computer and the factor of mobility”. In Symposium on Information Theory, p. 199, London. Ministry of Supply.
Good I. J. (1961) A causal calculus. British Journal of the Philosophy of Science, 11, p. 305-318.
Good I. J. (1965) Speculations concerning the first ultraintelligent machine. In Alt F. L. and Rubinoff M. (Eds.), Advances in Computers, Vol. 6, p. 31—88. Academic Press, New York.
Goodman D. and Keene R. (1997) Man versus Machine: Kasparov versus Deep Blue. H3 Publications, Cambridge, Massachusetts.
Goodman N. (1954) Fact, Fiction and Forecast. University of London Press, London.
Goodman N. (1977) The Structure of Appearance (3rd edition). D. Reidel, Dordrecht, Netherlands.
Gordon M. J., Milner A. J., and Wadsworth С. P. (1979) Edinburgh LCF. Springer-Verlag, Berlin.
Gordon N. J. (1994) Bayesian methods for tracking. Ph.D. thesis, Imperial College, University of London.
Gordon N. J., Salmond D. J., and Smith ARM. (1993) Novel approach to nonlinear/non-Gaussian Bayesian state estimation. IEE Proceedings F(Radar and Signal Processing), 140Q), p. 107-113.
Gorry G. A. (1968) Strategies for computer-aided diagnosis. Mathematical Biosciences, 2(3—4), p. 293-318.
Gorry G. A., Kassirer J. P., Essig A., and Schwartz W. B. (1973) Decision analysis as the basis for computer-aided management of acute renal failure. American Journal of Medicine, 55, p. 473—484.
Gottlob G., Leone N., and Scarcello F. (1999a) A comparison of structural CSP decomposition methods. In Proceedings of the Sixteenth International Joint Conference on Artificial Intelligence (IJCA1-99), p. 394-399, Stockholm. Morgan Kaufmann.
Gottlob G., Leone N., and Scarcello F. (1999b) Hypertree decompositions and tractable queries. In Proceedings of the 18th ACM International Symposium on Principles of Database Systems, p. 21—32, Philadelphia. Association for Computing Machinery.
Graham S. L., Harrison M. A., and Ruzzo W. L. (1980) An improved context-free recognizer. ACM Transactions on Programming Languages and Systems, 2(3), p. 415-462.
Grassmann H. (1861) Lehrbuch der Arithmetik. Th. Chr. Fr. Enslin, Berlin.
Grayson C. J. (1960) Decisions under uncertainty: Drilling decisions by oil and gas operators. Tech, rep., Division of Research, Harvard Business School, Boston.
Green B., Wolf A., Chomsky C., and Laugherty K. (1961) BASEBALL: An automatic question answerer. In Proceedings of the Western Joint Computer Conference, p. 219-224.
Green C. (1969a) Application of theorem proving to problem solving. In Proceedings of the First International Joint Conference on Artificial Intelligence (IJCAI-69), p. 219-239, Washington, DC. IJCAII.
Green C. (1969b) Theorem-proving by resolution as a basis for question-answering systems. In Meltzer B., Michie D., and Swann M. (Eds.), Machine Intelligence 4, p. 183—205. Edinburgh University Press, Edinburgh, Scotland.
Green C. and Raphael B. (1968) The use of theorem-proving techniques in question-answering systems. In Proceedings of the 23rd ACM National Conference, Washington, DC. ACM Press.
Greenblatt R. D., Eastlake D. E., and Crocker S. D. (1967) The Greenblatt chess program. In Proceedings of the Fall Joint Computer Conference, p. 801-810. American Federation of Information Processing Societies (AFIPS).
Greiner R. (1989) Towards a formal analysis of EBL. In Proceedings of the Sixth International Machine Learning Workshop, p. 450-453, Ithaca, NY. Morgan Kaufmann.
Grice H. P. (1957) Meaning. Philosophical Review, 66, p. 377-388.
Grosz B. J., Joshi A. K., and Weinstein S. (1995) Centering: A framework for modeling the local coherence of discourse. Computational Linguistics, 21(2), p. 203—225.
Grosz B. J. and Sidner C. L. (1986) Attention, intentions, and the structure of discourse. Computational Linguistics, 12(3), p. 175-204.
Grosz B. J., Sparck Jones K., and Webber B. L. (Eds.) (1986) Readings in Natural Language Processing. Morgan Kaufmann, San Mateo, California.
Grove W. and Meehl P. (1996) Comparative efficiency of informal (subjective, impressionistic) and formal (mechanical, algorithmic) prediction procedures: The clinical statistical controversy. Psychology, Public Policy, and Law, 2, p. 293-323.
Gu J. (1989) Parallel Algorithms and Architectures for Very Fast AI Search. Ph.D. thesis, University of Utah.
Guard J., Oglesby F., Bennett J., and Settle L. (1969) Semi-automated mathematics. Journal of the Association for Computing Machinery, 16, p. 49—62.
Guibas L. J., Knuth D. E., and Sharir M. (1992) Randomized incremental construction of Delaunay and Voronoi diagrams. Algorithmica, 7, 381—413. See also 17th Int. Coll, on Automata, Languages and Programming, 1990, p. 414-431.
Haas A. (1986) A syntactic theory of belief and action. Artificial Intelligence, 28(3), p. 245-292.
Hacking I. (1975) The Emergence of Probability. Cambridge University Press, Cambridge, UK.
Hald A. (1990) A History of Probability and Statistics and Their Applications before 1750. Wiley, New York.
Halpern J. Y. (1990) An analysis of first-order logics of probability. Artificial Intelligence, 46(3), p. 311-350.
Hamming R. W. (1991) The Art of Probability for Scientists and Engineers. Addison-Wesley, Reading, Massachusetts.
Hammond K. (1989) Case-Based Planning: Viewing Planning as a Memory Task. Academic Press, New York.
Hamscher W., Console L, and Kleer J. D. (1992) Readings in Model-based Diagnosis. Morgan Kaufmann, San Mateo, California.
Handschin J. E. and Mayne D. Q. (1969) Monte Carlo techniques to estimate the conditional expectation in multi-stage nonlinear filtering. International Journal of Control, 9(5), p. 547-559.
Hansen E. (1998) Solving POMDPs by searching in policy space. In Uncertainty in Artificial Intelligence: Proceedings of the Fourteenth Conference, p. 211—219, Madison, Wisconsin. Morgan Kaufmann.
Hansen E. and Zilberstein S. (2001) LAO*: a heuristic search algorithm that finds solutions with loops. Artificial Intelligence, 129(1—2), p- 35—62.
Hansen P. and Jaumard B. (1990) Algorithms for the maximum satisfiability problem. Computing, 44(4), p. 279-303.
Hanski I. and Cambefort Y. (Eds.) (1991) Dung Beetle Ecology. Princeton University Press, Princeton, New Jersey.
Hansson O. and Mayer A. (1989) Heuristic search as evidential reasoning. In Proceedings of the Fifth Workshop on Uncertainty in Artificial Intelligence, Windsor, Ontario. Morgan Kaufmann.
Hansson 0., Mayer A., and Yung M. (1992) Criticizing solutions to relaxed models yields powerful admissible heuristics. Information Sciences, 63(3), p. 207-227.
Haralick R. M. and Elliot G. L. (1980) Increasing tree search efficiency for constraint satisfaction problems. Artificial Intelligence, 14(3), p. 263—313.
Hardin G. (1968) The tragedy of the commons. Science, 162, p. 1243-1248.
Harel D. (1984) Dynamic logic. In Gabbay D. and Guenthner F. (Eds.), Handbook of Philosophical Logic, Vol. 2, p. 497-604. D. Reidel, Dordrecht, Netherlands.
Harman G. H. (1983) Change in View: Principles of Reasoning. MIT Press, Cambridge, Massachusetts.
Harsanyi J. (1967) Games with incomplete information played by Bayesian players. Management Science, 14, p. 159-182.
Hart P. E., Nilsson N. J., and Raphael B. (1968) A formal basis for the heuristic determination of minimum cost paths. IEEE Transactions on Systems Science and Cybernetics, SSC-4(2), p. 100—107.
Hart P. E., Nilsson N. J., and Raphael B. (1972) Correction to “A formal basis for the heuristic determination of minimum cost paths”. SIGART Newsletter, 37, p. 28-29.
Hart T. P. and Edwards D. J. (1961) The tree prune (TP) algorithm. Artificial intelligence project memo 30, Massachusetts Institute of Technology, Cambridge, Massachusetts.
Hartley R. and Zisserman A. (2000) Multiple view geometry in computer vision. Cambridge University Press, Cambridge, UK.
Haslum P. and Geffner H. (2001) Heuristic planning with time and resources. In Proceedings of the IJCAI-01 Workshop on Planning with Resources, Seattle.
Hastie T. and Tibshirani R. (1996) Discriminant adaptive nearest neighbor classification and regression. In Touretzky D. S., Mozer M. C., and Hasselmo M. E. (Eds.), Advances in Neural Information Processing Systems, Vol. 8, p. 409—15. MIT Press, Cambridge, Massachusetts.
Hastie T., Tibshirani R., and Friedman J. (2001) The Elements of Statistical Learning: Data Mining, Inference and Prediction. Springer-Verlag, Berlin.
Haugeland J. (Ed.) (1981) Mind Design. MIT Press, Cambridge, Massachusetts.
Haugeland J. (Ed.) (1985) Artificial Intelligence: The Very Idea. MIT Press, Cambridge, Massachusetts.
Haussler D. (1989) Learning conjunctive concepts in structural domains. Machine Learning, 4(1), p. 7-40.
63 3. Havelund К., Lowry М., Park S., Pecheur C., Penix J., Visser W., and White J. L. (2000) Formal analysis of the remote agent before and after flight. In Proceedings of the Sth NASA Langley Formal Methods Workshop, Williamsburg, VA.
Hayes P. J. (1978) The naive physics manifesto. In Michie D. (Ed.), Expert Systems in the Microelectronic Age. Edinburgh University Press, Edinburgh, Scotland.
Hayes P. J. (1979) The logic of frames. In Metzing D. (Ed.), Frame Conceptions and Text Understanding, p. 46-61. de Gruyter, Berlin.
Hayes P. J. (1985a) Naive physics I: Ontology for liquids. In Hobbs J. R. and Moore R. C. (Eds.), Formal Theories of the Commonsense World, chap. 3, p. 71-107. Ablex, Norwood, New Jersey.
Hayes P. J. (1985b) The second naive physics manifesto. In Hobbs J. R. and Moore R. C. (Eds.), Formal Theories of the Commonsense World, chap. 1, p. 1-36. Ablex, Norwood, New Jersey.
Hebb D. O. (1949) The Organization of Behavior. Wiley, New York.
Heckerman D. (1986) Probabilistic interpretation for MYCIN's certainty factors. In Kanai L. N. and Lemmer J. F. (Eds.), Uncertainty in Artificial Intelligence, p. 167—196. Elsevier/North-Holland, Amsterdam, London, New York.
Heckerman D. (1991) Probabilistic Similarity Networks. MIT Press, Cambridge, Massachusetts.
Heckerman D. (1998) A tutorial on learning with Bayesian networks. In Jordan M. I. (Ed.), Learning in graphical models. Kluwer, Dordrecht, Netherlands.
Heckerman D., Geiger D., and Chickering D. M. (1994) Learning Bayesian networks: The combination of knowledge and statistical data. Technical report MSR-TR-94-09, Microsoft Research, Redmond, Washington.
Heim I. and Kratzer A. (1998) Semantics in a Generative Grammar. Blackwell, Oxford, UK.
Heinz E. A. (2000) Scalable search in computer chess. Vieweg, Braunschweig, Germany.
Held M. and Karp R. M. (1970) The traveling salesman problem and minimum spanning trees. Operations Research, 18, p. 1138-1162.
Helmert M. (2001) On the complexity of planning in transportation domains. In Cesta A. and Barrajo D. (Eds.), Sixth European Conference on Planning (ECP-01), Toledo, Spain. Springer-Verlag.
Hendrix G. G. (1975) Expanding the utility of semantic networks through partitioning. In Proceedings of the Fourth International Joint Conference on Artificial Intelligence (IJCAI-75), p. 115-121, Tbilisi, Georgia. IJCAII.
Henrion M. (1988) Propagation of uncertainty in Bayesian networks by probabilistic logic sampling. In Lemmer J. F. and Kanai L. N. (Eds.), Uncertainty in Artificial Intelligence 2, p. 149-163. Elsevier/North-Holland, Amsterdam, London, New York.
Henzinger T. A. and Sastry S. (Eds.) (1998) Hybrid systems: Computation and control. Springer-Verlag, Berlin.
Herbrand J. (1930) Recherches sur la Theorie de la Demonstration. Ph.D. thesis, University of Paris.
Hewitt C. (1969) PLANNER: a language for proving theorems in robots. In Proceedings of the First International Joint Conference on Artificial Intelligence (IJCAI-69), p. 295—301, Washington, DC. IJCAII.
Hierholzer C. (1873) Uber die Moglichkeit einen Linienzug ohne Wiederholung und ohne Unterbrechung zu umfahren. Mathematische Annalen, 6, p. 30—32.
Hilgard E. R. and Bower G. H. (1975) Theories of Learning (4th edition). Prentice-Hall, Upper Saddle River, New Jersey.
Hintikka J. (1962) Knowledge and Belief. Cornell University Press, Ithaca, New York.
Hinton G. E. and Anderson J. A. (1981) Parallel Models of Associative Memory. Lawrence Erlbaum Associates, Potomac, Maryland.
Hinton G. E. and Nowlan S. J. (1987) How learning can guide evolution. Complex Systems, 7(3), p. 495-502.
Hinton G. E. and Sejnowski T. (1983) Optimal perceptual inference. In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, p. 448-453, Washington, DC. IEEE Computer Society Press.
Hinton G. E. and Sejnowski T. (1986) Learning and relearning in Boltzmann machines. In Rumelhart D. E. and McClelland J. L. (Eds.), Parallel Distributed Processing, chap. 7, p. 282-317. MIT Press, Cambridge, Massachusetts.
Hirsh H. (1987) Explanation-based generalization in a logic programming environment. In Proceedings of the Tenth International Joint Conference on Artificial Intelligence (IJCAI-87), Milan. Morgan Kaufmann.
Hirst G. (1981) Anaphora in Natural Language Understanding: A Survey, Vol. 119 of Lecture Notes in Computer Science. Springer Verlag, Berlin.
Hirst G. (1987) Semantic Interpretation against Ambiguity. Cambridge University Press, Cambridge, UK.
Hobbs J. R. (1978) Resolving pronoun references. Lingua, 44, p. 339-352.
Hobbs J. R. (1990) Literature and Cognition. CSLI Press, Stanford, California.
Hobbs J. R., Appelt D., Bear J., Israel D., Kameyama M., Stickel M. E., and Tyson M. (1997) FASTUS: A cascaded finite-state transducer for extracting information from natural-language text. In Roche E. and Schabes Y. (Eds.), Finite-State Devices for Natural Language Processing, p. 383— 406. MIT Press, Cambridge, Massachusetts.
Hobbs J. R. and Moore R. C. (Eds.) (1985) Formal Theories of the Commonsense World. Ablex, Norwood, New Jersey.
Hobbs J. R., Stickel M. E., Appelt D., and Martin P. (1993) Interpretation as abduction. Artificial Intelligence, 63(1-2), p. 69-142.
Hoffmann J. (2000) A heuristic for domain independent planning and its use in an enforced hillclimbing algorithm. In Proceedings of the 12th International Symposium on Methodologies for Intelligent Systems, p. 216-227, Charlotte, North Carolina. Springer-Verlag.
Hogan N. (1985) Impedance control: An approach to manipulation. Parts i, ii, and iii. Transactions ASME Journal of Dynamics, Systems, Measurement, and Control, 107(3), p. 1—24.
Holland J. H. (1975) Adaption in Natural and Artificial Systems. University of Michigan Press, Ann Arbor, Michigan.
Holland J. H. (1995) Hidden order: How adaptation builds complexity. Addison-Wesley, Reading, Massachusetts.
Holldobler S. and Schneeberger J. (1990) A new deductive approach to planning. New Generation Computing, 8(3), p. 225—244.
Holzmann G. J. (1997) The Spin model checker. ISSS Transactions on Software Engineering, 23(5), p. 279-295.
Hood A. (1824) Case 4th — 28 July 1824 (Mr. Hood's cases of injuries of the brain). The Phrenological Journal and Miscellany, 2, p. 82—94.
Hopfield J. J. (1982) Neurons with graded response have collective computational properties like those of two-state neurons. Proceedings of the National Academy of Sciences of the United States of America, 79, p. 2554-2558.
Horn A. (1951) On sentences which are true of direct unions of algebras. Journal of Symbolic Logic, 16, p. 14-21.
Horn В. К. P. (1970) Shape from shading: A method for obtaining the shape of a smooth opaque object from one view. Technical report 232, MIT Artificial Intelligence Laboratory, Cambridge, Massachusetts.
Horn В. К. P. (1986) Robot Vision. MIT Press, Cambridge, Massachusetts.
Horn В. К. P. and Brooks M. J. (1989) Shape from Shading. MIT Press, Cambridge, Massachusetts.
Horning J. J. (1969) A study of grammatical inference. Ph.D. thesis, Stanford University.
Horowitz Е. and Sahni S. (1978) Fundamentals of computer algorithms. Computer Science Press, Rockville, Maryland.
Horswill I. (2000) Functional programming of behavior-based systems. Autonomous Robots, 9, p. 83-93.
Horvitz E. J. (1987) Problem-solving design: Reasoning about computational value, trade-offs, and resources. In Proceedings of the Second Annual NASA Research Forum, p. 26—43, Moffett Field, California. NASA Ames Research Center.
Horvitz E. J. (1989) Rational metareasoning and compilation for optimizing decisions under bounded resources. In Proceedings of Computational Intelligence 89, Milan. Association for Computing Machinery.
Horvitz E. J. and Barry M. (1995) Display of information for time-critical decision making. In Uncertainty in Artificial Intelligence: Proceedings of the Eleventh Conference, p. 296-305, Montreal, Canada. Morgan Kaufmann.
Horvitz E. J., Breese J. S., Heckerman D., and Hovel D. (1998) The Lumiere project: Bayesian user modeling for inferring the goals and needs of software users. In Uncertainty in Artificial Intelligence: Proceedings of the Fourteenth Conference, p. 256—265, Madison, Wisconsin. Morgan Kaufmann.
Horvitz E. J., Breese J. S., and Henrion M. (1988) Decision theory in expert systems and artificial intelligence. International Journal of Approximate Reasoning, 2, p. 247—302.
Horvitz E. J. and Breese J. S. (1996) Ideal partition of resources for metareasoning. In Proceedings of the Thirteenth National Conference on Artificial Intelligence (AAAI-96), p. 1229-1234, Portland, Oregon. AAAI Press.
Horvitz E. J. and Heckerman D. (1986) The inconsistent use of measures of certainty in artificial intelligence research. In Kanai L. N. and Lemmer J. F. (Eds.), Uncertainty in Artificial Intelligence, p. 137-151. Elsevier/North-Holland, Amsterdam, London, New York.
Horvitz E. J., Heckerman D., and Langlotz С. P. (1986) A framework for comparing alternative formalisms for plausible reasoning. In Proceedings of the Fifth National Conference on Artificial Intelligence (AAAI-86), Vol. 1, p. 210-214, Philadelphia. Morgan Kaufmann.
Hovy E. (1988) Generating Natural Language under Pragmatic Constraints. Lawrence Erlbaum, Potomac, Maryland.
Howard R. A. (1960) Dynamic Programming and Markov Processes. MIT Press, Cambridge, Massachusetts.
Howard R. A. (1966) Information value theory. IEEE Transactions on Systems Science and Cybernetics, SSC-2, p. 22-26.
Howard R. A. (1977) Risk preference. In Howard R. A. and Matheson J. E. (Eds.), Readings in Decision Analysis, p. 429-465. Decision Analysis Group, SRI International, Menlo Park, California.
Howard R. A. (1989) Microrisks for medical decision analysis. International Journal of Technology Assessment in Health Care, 5, p. 357-370.
Howard R. A. and Matheson J. E. (1984) Influence diagrams. In Howard R. A. and Matheson J. E. (Eds.) Readings on the Principles and Applications of Decision Analysis, p. 721—762. Strategic Decisions Group, Menlo Park, California.
Hsu F.-H. (1999) IBM's Deep Blue chess grandmaster chips. IEEE Micro, 19(2), p. 70-80.
Hsu F.-H., Anantharaman T. S., Campbell M. S., and Nowatzyk A. (1990) A grandmaster chess machine. Scientific American, 263(4), p. 44—50.
Huang T., Koller D., Malik J., Ogasawara G., Rao B., Russell S. J., and Weber J. (1994) Automatic symbolic traffic scene analysis using belief networks. In Proceedings of the Twelfth National Conference on Artificial Intelligence (AAAI-94), p. 966-972, Seattle. AAAI Press.
Huang X. D., Acero A., and Hon H. (2001) Spoken Language Processing. Prentice Hall, Upper Saddle River, New Jersey.
Hubei D. H. (1988) Eye, Brain, and Vision. W. H. Freeman, New York.
Huddleston R. D. and Pullum G. K. (2002) The Cambridge Grammar of the English Language. Cambridge University Press, Cambridge, UK.
Huffman D. A. (1971) Impossible objects as nonsense sentences. In Meltzer B. and Michie D. (Eds.), Machine Intelligence 6, p. 295-324. Edinburgh University Press, Edinburgh, Scotland.
Hughes B. D. (1995) Random Walks and Random Environments, Vol. 1: Random Walks. Oxford University Press, Oxford, UK.
Huhns M. N. and Singh M. P. (Eds.) (1998) Readings in agents. Morgan Kaufmann, San Mateo, California.
Hume D. (1739) A Treatise of Human Nature (2nd edition). Republished by Oxford University Press, 1978, Oxford, UK.
Hunsberger L. and Grosz B. J. (2000) A combinatorial auction for collaborative planning. In International Conference on Multi-Agent Systems (ICMAS-2000).
Hunt E. B., Marin J., and Stone P. T. (1966) Experiments in Induction. Academic Press, New York.
Hunter L. and States D. J. (1992) Bayesian classification of protein structure. IEEE Expert, 7(4), p. 67-75.
Hurwicz L. (1973) The design of mechanisms for resource allocation. American Economic Review Papers and Proceedings, 63(1), p. 1-30.
Hutchins W. J. and Somers H. (1992) An Introduction to Machine Translation. Academic Press, New York.
Huttenlocher D. P. and Ullman S. (1990) Recognizing solid objects by alignment with an image. International Journal of Computer Vision, 5(2), p. 195—212.
Huygens C. (1657) Ratiociniis in ludo aleae. In van Schooten F. (Ed.), Exercitionum Mathematicorum. Elsevirii, Amsterdam.
Hwa R. (1998) An empirical evaluation of probabilistic lexicalized tree insertion grammars. In Proceedings of COLING-ACL '98, p. 557-563, Montreal. International Committee on Computational Linguistics and Association for Computational Linguistics.
Hwang С. H. and Schubert L. K. (1993) EL: A formal, yet natural, comprehensive knowledge representation. In Proceedings of the Eleventh National Conference on Artificial Intelligence (AAAI- 93), p. 676-682, Washington, DC. AAAI Press.
Indyk P. (2000) Dimensionality reduction techniques for proximity problems. In Proceedings of the Eleventh Annual ACM—SIAM Symposium on Discrete Algorithms, p. 371-378, San Francisco. Association for Computing Machinery.
Ingerman P. Z. (1967) Panini-Backus form suggested. Communications of the Association for Computing Machinery, 10(3), p. 137.
Inoue K. (2001) Inverse entailment for full clausal theories. In LICS-2001 Workshop on Logic and Learning, Boston. IEEE.
Intille S. and Bobick A. (1999) A framework for recognizing multi-agent action from visual evidence. In Proceedings of the Sixteenth National Conference on Artificial Intelligence (AAAI-99), p. 518—525, Orlando, Florida. AAAI Press.
Isard M. and Blake A. (1996) Contour tracking by stochastic propagation of conditional density. In Proceedings of Fourth European Conference on Computer Vision, p. 343—356, Cambridge, UK. Springer-Verlag.
Jaakkola T. and Jordan M. I. (1996) Computing upper and lower bounds on likelihoods in intractable networks. In Uncertainty in Artificial Intelligence: Proceedings of the Twelfth Conference, p. 340-348. Morgan Kaufmann, Portland, Oregon.
Jaakkola T., Singh S. P., and Jordan M. I. (1995) Reinforcement learning algorithm for partially observable Markov decision problems. In Tesauro G., Touretzky D., and Leen T. (Eds.) Advances in Neural Information Processing Systems 7, p. 345—352, Cambridge, Massachusetts. MIT Press.
Jaffar J. and Lassez J.-L. (1987) Constraint logic programming. In Proceedings of the Fourteenth ACM Conference on Principles of Programming Languages, p. 111 — 119, Munich. Association for Computing Machinery.
Jaffar J., Michaylov S., Stuckey P. J., and Yap R. H. C. (1992a) The CLP(R) language and system. ACM Transactions on Programming Languages and Systems, 14(3), p. 339—395.
Jaffar J., Stuckey P. J., Michaylov S., and Yap R. H. C. (1992b) An abstract machine for CLP(R). SIGPLAN Notices, 27(1), p. 128-139.
Jaskowski S. (1934) On the rules of suppositions in formal logic. Studia Logica, 1.
Jefferson G. (1949) The mind of mechanical man: The Lister Oration delivered at the Royal College of Surgeons in England. British Medical Journal, 7(25), p. 1105-1121.
1T1. Jeffrey R. C. (1983) The Logic of Decision (2nd edition). University of Chicago Press, Chicago.
Jeffreys H. (1948) Theory of Probability. Oxford, Oxford, UK.
Jelinek F. (1969) Fast sequential decoding algorithm using a stack. IBM Journal of Research and Development, 64, p. 5 3 2-556.
Jelinek F. (1976) Continuous speech recognition by statistical methods. Proceedings of the IEEE, 64(4), p. 532-556.
Jelinek F. (1997) Statistical methods for speech recognition. MIT Press, Cambridge, Massachusetts.
Jelinek F. and Mercer R. L. (1980) Interpolated estimation of Markov source parameters from sparse data. In Proceedings of the Workshop on Pattern Recognition in Practice, p. 381-397, Amsterdam, London, New York. North Holland.
Jennings H. S. (1906) Behavior of the lower organisms. Columbia University Press, New York.
Jensen F. V. (2001) Bayesian Networks and Decision Graphs. Springer-Verlag, Berlin.
Jespersen O. (1965) Essentials of English Grammar. University of Alabama Press, Tuscaloosa, Alabama.
Jevons W. S. (1874) The Principles of Science. Routledge/Thoemmes Press, London.
Jimenez P. and Torras C. (2000) An efficient algorithm for searching implicit AND/OR graphs with cycles. Artificial Intelligence, 124(\),p. 1-30.
Joachims T. (2001) A statistical learning model of text classification with support vector machines. In Proceedings of the 24th Conference on Research and Development in Information Retrieval (SIGIR), p. 128-136, New Orleans. Association for Computing Machinery.
Johnson W. W. and Story W. E. (1879) Notes on the “15” puzzle. American Journal of Mathematics, 2, p. 397-404.
Johnson-Laird P. N. (1988) The Computer and the Mind: An Introduction to Cognitive Science. Harvard University Press, Cambridge, Massachusetts.
Johnston M. D. and Adorf H.-M. (1992) Scheduling with neural networks: The case of the Hubble space telescope. Computers & Operations Research, 19(3—4), p. 209-240.
Jones N. D., Gomard С. K., and Sestoft P. (1993) Partial Evaluation and Automatic Program Generation. Prentice-Hall, Upper Saddle River, New Jersey.
Jones R., Laird J. E., and Nielsen P. E. (1998) Automated intelligent pilots for combat flight simulation. In Proceedings of the Fifteenth National Conference on Artificial Intelligence (AAAI-98), p. 1047-54, Madison, Wisconsin. AAAI Press.
Jonsson A., Morris P., Muscettola N., Rajan K., and Smith B. (2000) Planning in interplanetary space: Theory and practice. In Proceedings of the Sth International Conference on Artificial Intelligence Planning Systems (AIPS-00), p. 177—186, Breckenridge, Colorado. AAAI Press.
Jordan M. I. (1995) Why the logistic function? a tutorial discussion on probabilities and neural networks. Computational cognitive science technical report 9503, Massachusetts Institute of Technology.
Jordan M. I. (2003) An Introduction to Graphical Models. В печати.
Jordan М. L, Ghahramani Z., Jaakkola T., and Saul L. K. (1998) An introduction to variational methods for graphical models. In Jordan M. I. (Ed.) Learning in Graphical Models. Kluwer, Dordrecht, Netherlands.
Jordan M. I., Ghahramani Z., Jaakkola T., and Saul L. K. (1999) An introduction to variational methods for graphical models. Machine Learning, 37(2—3), p. 183—233.
Joshi A. K. (1985) Tree-adjoining grammars: How much context sensitivity is required to provide reasonable structural descriptions. In Dowty D., Karttunen L, and Zwicky A. (Eds.) Natural Language Parsing. Cambridge University Press, Cambridge, UK.
Joshi A. K., Webber B. L, and Sag I. (1981) Elements of Discourse Understanding. Cambridge University Press, Cambridge, UK.
Joslin D. and Pollack M. E. (1994) Least-cost flaw repair: A plan refinement strategy for partial-order planning. In Proceedings of the Twelfth National Conference on Artificial Intelligence (AAAI-94), p. 1506, Seattle. AAAI Press.
Jouannaud J.-P. and Kirchner C. (1991) Solving equations in abstract algebras: A rule-based survey of unification. In Lassez J.-L. and Plotkin G. (Eds.), Computational Logic, p. 257-321. MIT Press, Cambridge, Massachusetts.
Judd J. S. (1990) Neural Network Design and the Complexity of Learning. MIT Press, Cambridge, Massachusetts.
Juels A. and Wattenberg M. (1996) Stochastic hillclimbing as a baseline method for evaluating genetic algorithms. In Touretzky D. S., Mozer M. C., and Hasselmo M. E. (Eds.) Advances in Neural Information Processing Systems, Vol. 8, p. 430—436. MIT Press, Cambridge, Massachusetts.
Julesz B. (1971) Foundations of Cyclopean Perception. University of Chicago Press, Chicago.
Jurafsky D. and Martin J. H. (2000) Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition. Prentice-Hall, Upper Saddle River, New Jersey.
Kadane J. B. and Larkey P. D. (1982) Subjective probability and the theory of games. Management Science, 28(2), p. 113-120.
Kaelbling L. P., Littman M. L., and Cassandra A. R. (1998) Planning and action in partially observable stochastic domains. Artificial Intelligence, 101, p. 99-134.
Kaelbling L. P., Littman M. L., and Moore A. W. (1996) Reinforcement learning: A survey. Journal of Artificial Intelligence Research, 4, p. 237—285.
Kaelbling L. P. and Rosenschein S. J. (1990) Action and planning in embedded agents. Robotics and Autonomous Systems, 6(1-2), p. 35-48.
Kager R. (1999) Optimality Theory. Cambridge University Press, Cambridge, UK.
Kahneman D., Slovic P., and Tversky A. (Eds.) (1982) Judgment under Uncertainty: Heuristics and Biases. Cambridge University Press, Cambridge, UK.
Kaindl H. and Khorsand A. (1994) Memory-bounded bidirectional search. In Proceedings of the Twelfth National Conference on Artificial Intelligence (AAAI-94), p. 1359-1364, Seattle. AAAI Press.
Kalman R. (1960) A new approach to linear filtering and prediction problems. Journal of Basic Engineering, 82, p. 35—46.
Kambhampati S. (1994) Exploiting causal structure to control retrieval and refitting during plan reuse. Computational Intelligence, 10, p. 213-244.
Kambhampati S., Mali A. D., and Srivastava B. (1998) Hybrid planning for partially hierarchical domains. In Proceedings of the Fifteenth National Conference on Artificial Intelligence (AAAI-98), p. 882-888, Madison, Wisconsin. AAAI Press.
Kanai L. N. and Kumar V. (1988) Search in Artificial Intelligence. Springer-Verlag, Berlin.
Kanai L. N. and Lemmer J. F. (Eds.) (1986) Uncertainty in Artificial Intelligence. Elsevier/North- Holland, Amsterdam, London, New York.
Kanazawa К., Koller D., and Russell S. J. (1995) Stochastic simulation algorithms for dynamic probabilistic networks. In Uncertainty in Artificial Intelligence: Proceedings of the Eleventh Conference, p. 346—351, Montreal, Canada. Morgan Kaufmann.
Kaplan D. and Montague R. (1960) A paradox regained. Notre Dame Journal of Formal Logic, 7(3), p. 79-90.
Karmarkar N. (1984) A new polynomial-time algorithm for linear programming. Combinatorica, 4, p. 373-395.
Karp R. M. (1972) Reducibility among combinatorial problems. In Miller R. E. and Thatcher J. W. (Eds.) Complexity of Computer Computations, p. 85-103. Plenum, New York.
Kasami T. (1965) An efficient recognition and syntax analysis algorithm for context-free languages. Tech. rep. AFCRL-65-758, Air Force Cambridge Research Laboratory, Bedford, Massachusetts.
Kasparov G. (1997) IBM owes me a rematch. Time, 149(2V), p. 66, 67.
Kasper R. T. (1988) Systemic grammar and functional unification grammar. In Benson J. and Greaves W. (Eds.) Systemic Functional Approaches to Discourse. Ablex, Norwood, New Jersey.
Kaufmann M., Manolios P., and Moore J. S. (2000) Computer-Aided Reasoning: An Approach. Kluwer, Dordrecht, Netherlands.
Kautz H., McAllester D. A., and Selman B. (1996) Encoding plans in propositional logic. In Proceedings of the Fifth International Conference on Principles of Knowledge Representation and Reasoning, p. 374-384, Cambridge, Massachusetts. Morgan Kaufmann.
Kautz H. and Selman B. (1992) Planning as satisfiability. In ECAI 92: 10th European Conference on Artificial Intelligence Proceedings, p. 359—363, Vienna. Wiley.
Kautz H. and Selman B. (1998) BLACKBOX: A new approach to the application of theorem proving to problem solving. Working Notes of the AI PS-98 Workshop on Planning as Combinatorial Search.
Kavraki L., Svestka P., Latombe J.-C., and Overmars M. (1996) Probabilistic roadmaps for path planning in high-dimensional configuration spaces. IEEE Transactions on Robotics and Automation, 12(4),p. 566-580.
Kay M., Gawron J. M., and Norvig P. (1994) Verbmobil: A Translation System for Face-To-Face Dialog. CSLI Press, Stanford, California.
Kaye R. (2000) Minesweeper is NP-complete! Mathematical Intelligencer, 5(22), p. 9-15.
Kearns M. (1990) The Computational Complexity of Machine Learning. MIT Press, Cambridge, Massachusetts.
Kearns M., Mansour Y., and Ng A. Y. (2000) Approximate planning in large POMDPs via reusable trajectories. In Solla S. A., Leen T. K., and Muller K.-R. (Eds.), Advances in Neural Information Processing Systems 12. MIT Press, Cambridge, Massachusetts.
Kearns M. and Singh S. P. (1998) Near-optimal reinforcement learning in polynomial time. In Proceedings of the Fifteenth International Conference on Machine Learning, p. 260—268, Madison, Wisconsin. Morgan Kaufmann.
Kearns M. and Vazirani U. (1994) An Introduction to Computational Learning Theory. MIT Press, Cambridge, Massachusetts.
Keeney R. L. (1974) Multiplicative utility functions. Operations Research, 22, p. 22—34.
Keeney R. L. and Raiffa H. (1976) Decisions with Multiple Objectives: Preferences and Value Tradeoffs. Wiley, New York.
Kehler A. (1997) Probabilistic coreference in information extraction. In Cardie C. and Weischedel R. (Eds.), Proceedings of the Second Conference on Empirical Methods in Natural Language Processing, p. 163-173. Association for Computational Linguistics, Somerset, New Jersey.
Kemp M. (Ed.) (1989) Leonardo on Painting: An Anthology of Writings. Yale University Press, New Haven, Connecticut.
Kern С. and Greenstreet M. R. (1999) Formal verification in hardware design: A survey. ACM Transactions on Design Automation of Electronic Systems, 4(2), p. 123-193.
Keynes J. M. (1921) A Treatise on Probability. Macmillan, London.
Khatib O. (1986) Real-time obstacle avoidance for robot manipulator and mobile robots. The International Journal of Robotics Research, 5( 1), p. 90—98.
Kietz J.-U. and Dzeroski S. (1994) Inductive logic programming and learnability. SIGART Bulletin, 5(1), p. 22-32.
Kim J. H. (1983) CONVINCE: A Conversational Inference Consolidation Engine. Ph.D. thesis, Department of Computer Science, University of California at Los Angeles.
Kim J. H. and Pearl J. (1983) A computational model for combined causal and diagnostic reasoning in inference systems. In Proceedings of the Eighth International Joint Conference on Artificial Intelligence (IJCAI-83), p. 190-193, Karlsruhe, Germany. Morgan Kaufmann.
Kim J. H. and Pearl J. (1987) CONVINCE: A conversational inference consolidation engine. IEEE Transactions on Systems, Man, and Cybernetics, 17(2), p. 120-132.
King R. D., Muggleton S. H., Lewis R. A., and Sternberg M. J. E. (1992) Drug design by machine learning: The use of inductive logic programming to model the structure activity relationships of trimethoprim analogues binding to dihydrofolate reductase. Proceedings of the National Academy of Sciences of the United States of America, 89(23), p. 11322—11326.
Kirkpatrick S., Gelatt C. D., and Vecchi M. P. (1983) Optimization by simulated annealing. Science, 220, p. 671-680.
Kirkpatrick S. and Selman B. (1994) Critical behavior in the satisfiability of random Boolean expressions. Science, 264(5163), p. 1297-1301.
Kirousis L. M. and Papadimitriou С. H. (1988) The complexity of recognizing polyhedral scenes. Journal of Computer and System Sciences ,37(1), 14-38.
Kitano H., Asada M., Kuniyoshi Y., Noda L, and Osawa E. (1997) RoboCup: The robot world cup initiative. In Johnson W. L. and Hayes-Roth B. (Eds.) Proceedings of the First International Conference on Autonomous Agents, p. 340-347, New York. ACM Press.
Kjaerulff U. (1992) A computational scheme for reasoning in dynamic probabilistic networks. In Uncertainty in Artificial Intelligence: Proceedings of the Eighth Conference, p. 121-129, Stanford, California. Morgan Kaufmann.
Klein D. and Manning C. D. (2001) Parsing with treebank grammars: Empirical bounds, theoretical models, and the structure of the Penn treebank. In Proceedings of the 39th Annual Meeting of the ACL.
Kleinberg J. M. (1999) Authoritative sources in a hyperlinked environment. Journal of the ACM, 46(5), p. 604-632.
Knight K. (1999) A statistical mt tutorial workbook, prepared in connection with the Johns Hopkins University summer workshop.
Knoblock C. A. (1990) Learning abstraction hierarchies for problem solving. In Proceedings of the Eighth National Conference on Artificial Intelligence (AAAI-90), Vol. 2, p. 923—928, Boston. MIT Press.
Knuth D. E. (1968) Semantics for context-free languages. Mathematical Systems Theory, 2(2), p. 127-145.
Knuth D. E. (1973) The Art of Computer Programming (second edition). Vol. 2: Fundamental Algorithms. Addison-Wesley, Reading, Massachusetts.
Knuth D. E. (1975) An analysis of alpha—beta pruning. Artificial Intelligence, 6(4), p. 293-326.
Knuth D. E. and Bendix P. B. (1970) Simple word problems in universal algebras. In Leech J. (Ed.), Computational Problems in Abstract Algebra, p. 263—267. Pergamon, Oxford, UK.
Koditschek D. (1987) Exact robot navigation by means of potential functions: some topological considerations. In Proceedings of the 1987 IEEE International Conference on Robotics and Automation, Vol. 1, p. 1-6, Raleigh, North Carolina. IEEE Computer Society Press.
Koehler J., Nebel B., Hoffman J., and Dimopoulos Y. (1997) Extending planning graphs to an ADL subset. In Proceedings of the Fourth European Conference on Planning, p. 273—285, Toulouse, France. Springer-Verlag.
Koenderink J. J. (1990) Solid Shape. MIT Press, Cambridge, Massachusetts.
Koenderink J. J. and van Doorn A. J. (1975) Invariant properties of the motion parallax field due to the movement of rigid bodies relative to an observer. Optica Acta, 22(9), p. 773-791.
Koenderink J. J. and van Doorn A. J. (1991) Affine structure from motion. Journal of the Optical Society of America A, 8, p. 377-385.
Koenig S. (1991) Optimal probabilistic and decision-theoretic planning using Markovian decision theory. Master's report, Computer Science Division, University of California, Berkeley.
Koenig S. (2000) Exploring unknown environments with real-time search or reinforcement learning. In Solla S. A., Leen T. K., and Muller K.-R. (Eds.), Advances in Neural Information Processing Systems 12. MIT Press, Cambridge, Massachusetts.
Koenig S. and Simmons R. (1998) Solving robot navigation problems with initial pose uncertainty using real-time heuristic search. In aips98. AAAI Press, Menlo Park, California.
Kohn W. (1991) Declarative control architecture. Communications of the Association for Computing Machinery, 34(%), p. 65-79.
Koller D., Meggido N., and von Stengel B. (1996) Efficient computation of equilibria for extensive two-person games. Games and Economic Behaviour, 14(2), p. 247-259.
Koller D. and Pfeffer A. (1997) Representations and solutions for game-theoretic problems. Artificial Intelligence, 94(\—2), p. 167—215.
Koller D. and Pfeffer A. (1998) Probabilistic frame-based systems. In Proceedings of the Fifteenth National Conference on Artificial Intelligence (AAAI-98), p. 580-587, Madison, Wisconsin. AAAI Press.
Koller D. and Sahami M. (1997) Hierarchically classifying documents using very few words. In Proceedings of the Fourteenth International Conference on Machine Learning, p. 170-178. Morgan Kaufmann.
Kolmogorov A. N. (1941) Interpolation und extrapolation von stationaren zufalligen folgen. Bulletin of the Academy of Sciences of the USSR, Ser. Math. 5, p. 3—14.
Kolmogorov A. N. (1950) Foundations of the Theory of Probability. Chelsea, New York.
Kolmogorov A. N. (1963) On tables of random numbers. Sankhya, the Indian Journal of Statistics, Series A 25.
Kolmogorov A. N. (1965) Three approaches to the quantitative definition of information. Problems in Information Transmission, 7(1), p. 1—7.
Kolodner J. (1983) Reconstructive memory: A computer model. Cognitive Science, 7, p. 281-328.
Kolodner J. (1993) Case-Based Reasoning. Morgan Kaufmann, San Mateo, California.
Kondrak G. and van Beek P. (1997) A theoretical evaluation of selected backtracking algorithms. Artificial Intelligence, 89, p. 365-387.
Konolige K. (1997) COLBERT: A language for reactive control in Saphira. In KI-9 7: Advances in Artificial Intelligence, LNAI, p. 31—52. Springer Verlag.
Konolige K. (1982) A first order formalization of knowledge and action for a multi-agent planning system. In Hayes J. E., Michie D., and Pao Y.-H. (Eds.) Machine Intelligence 10. Ellis Horwood, Chichester, England.
Koopmans T. C. (1972) Representation of preference orderings over time. In McGuire С. B. and Radner R. (Eds.) Decision and Organization. Elsevier/North-Holland, Amsterdam, London, New York.
Korf R. E. (1985a) Depth-first iterative-deepening: an optimal admissible tree search. Artificial Intelligence, 27(1), p. 97-109.
Korf R. E. (1985b) Iterative-deepening A*: An optimal admissible tree search. In Proceedings of the Ninth International Joint Conference on Artificial Intelligence (IJCAI-85), p. 1034-1036, Los Angeles. Morgan Kaufmann.
Korf R. E. (1987) Planning as search: A quantitative approach. Artificial Intelligence, 33(1), p. 65-88.
Korf R. E. (1988) Optimal path finding algorithms. In Kanai L. N. and Kumar V. (Eds.) Search in Artificial Intelligence, chap. 1, p. 223-267. Springer-Verlag, Berlin.
Korf R. E. (1990) Real-time heuristic search. Artificial Intelligence, 42(3), p. 189-212.
Korf R. E. (1991) Best-first search with limited memory. UCLA Computer Science Annual.
Korf R. E. (1993) Linear-space best-first search. Artificial Intelligence, 62(1), p. 41-78.
Korf R. E. (1995) Space-efficient search algorithms. ACM Computing Surveys, 27(3), p. 3 3 7-3 39.
Korf R. E. and Chickering D. M. (1996) Best-first minimax search. Artificial Intelligence, 84(1—1), p. 299-337.
Korf R. E. and Felner A. (2002) Disjoint pattern database heuristics. Artificial Intelligence, 134(1—1), p. 9-22.
Korf R. E. and Zhang W. (2000) Divide-and-conquer frontier search applied to optimal sequence alignment. In Proceedings of the 17th National Conference on Artificial Intelligence, p. 910-916, Cambridge, Massachusetts. MIT Press.
Kortenkamp D., Bonasso R. P., and Murphy R. (Eds.) (1998) Al-based Mobile Robots: Case studies of successful robot systems, Cambridge, MA. MIT Press.
Kotok A. (1962) A chess playing program for the IBM 7090. Ai project memo 41, MIT Computation Center, Cambridge, Massachusetts.
Koutsoupias E. and Papadimitriou С. H. (1992) On the greedy algorithm for satisfiability. Information Processing Letters, 43(1), p. 53-55.
Kowalski R. (1974) Predicate logic as a programming language. In Proceedings of the IFIP-74 Congress, p. 569-574. Elsevier/North-Holland.
Kowalski R. (1979a) Algorithm = logic + control. Communications of the Association for Computing Machinery, 22, p. 424—436.
Kowalski R. (1979b) Logic for Problem Solving. Elsevier/North-Holland, Amsterdam, London, New York.
Kowalski R. (1988) The early years of logic programming. Communications of the Association for Computing Machinery, 31, p. 38-43.
Kowalski R. and Kuehner D. (1971) Linear resolution with selection function. Artificial Intelligence, 2(3-4), p. 227-260.
Kowalski R. and Sergot M. (1986) A logic-based calculus of events. New Generation Computing, 4(1), p. 67-95.
Koza J. R. (1992) Genetic Programming: On the Programming of Computers by Means of Natural Selection. MIT Press, Cambridge, Massachusetts.
Koza J. R. (1994) Genetic Programming II: Automatic discovery of reusable programs. MIT Press, Cambridge, Massachusetts.
Koza J. R., Bennett F. H., Andre D., and Keane M. A. (1999) Genetic Programming III: Darwinian invention and problem solving. Morgan Kaufmann, San Mateo, California.
Kraus S., Ephrati E., and Lehmann D. (1991) Negotiation in a non-cooperative environment. Journal of Experimental and Theoretical Artificial Intelligence, 3(4), 255—281.
Kripke S. A. (1963) Semantical considerations on modal logic. Acta Philosophica Fennica, 16, p. 83-94.
Krovetz R. (1993) Viewing morphology as an inference process. In Proceedings of the Sixteenth Annual International ACM-SIGIR Conference on Research and Development in Information Retrieval, p. 191-202, New York. ACM Press.
Kruppa Е. (1913) Zur Ermittlung eines Objecktes aus zwei Perspektiven mit innerer Orientierung. Sitz.-Ber. Akad. Wiss., Wien, Math. Naturw., KI. Abt. Ila, 122, p. 1939—1948.
Kuhn H. W. (1953) Extensive games and the problem of information. In Kuhn H. W. and Tucker A. W. (Eds.), Contributions to the Theory of Games IL Princeton University Press, Princeton, New Jersey.
Kuipers B. J. and Levitt T. S. (1988) Navigation and mapping in large-scale space. AI Magazine, 9(2), p. 25-43.
Kukich K. (1992) Techniques for automatically correcting words in text. ACM Computing Surveys, 24(A), p. 3 77-439.
Kumar P. R. and Varaiya P. (1986) Stochastic systems: Estimation, identification, and adaptive control. Prentice-Hall, Upper Saddle River, New Jersey.
Kumar V. (1992) Algorithms for constraint satisfaction problems: A survey. AI Magazine, 13(\), p. 32-44.
Kumar V. and Kanai L. N. (1983) A general branch and bound formulation for understanding and synthesizing and/or tree search procedures. Artificial Intelligence, 21, p. 179—198.
Kumar V. and Kanai L. N. (1988) The CDP: A unifying formulation for heuristic search, dynamic programming, and branch-and-bound. In Kanai L. N. and Kumar V. (Eds.), Search in Artificial Intelligence, chap. 1, p. 1-27. Springer-Verlag, Berlin.
Kumar V., Nau D. S., and Kanai L. N. (1988) A general branch-and-bound formulation for AND/OR graph and game tree search. In Kanai L. N. and Kumar V. (Eds.), Search in Artificial Intelligence, chap. 3, p. 91-130. Springer-Verlag, Berlin.
Kuper G. M. and Vardi M. Y. (1993) On the complexity of queries in the logical data model. Theoretical Computer Science, 116(1), p. 33-57.
Kurzweil R. (1990) The Age of Intelligent Machines. MIT Press, Cambridge, Massachusetts.
Kurzweil R. (2000) The Age of Spiritual Machines. Penguin.
Kyburg H. E. (1977) Randomness and the right reference class. The Journal of Philosophy, 74(9), p. 501-521.
Kyburg H. E. (1983) The reference class. Philosophy of Science, 50, p. 374-397.
La Mettrie J. O. (1748) L’homme machine. E. Luzac, Leyde, France.
La Mura P. and Shoham Y. (1999) Expected utility networks. In Uncertainty in Artificial Intelligence: Proceedings of the Fifteenth Conference, p. 366-373, Stockholm. Morgan Kaufmann.
Ladkin P. (1986a) Primitives and units for time specification. In Proceedings of the Fifth National Conference on Artificial Intelligence (AAAI-86), Vol. 1, p. 354—359, Philadelphia. Morgan Kaufmann.
Ladkin P. (1986b) Time representation: a taxonomy of interval relations. In Proceedings of the Fifth National Conference on Artificial Intelligence (AAAI-86), Vol. 1, p. 360—366, Philadelphia. Morgan Kaufmann.
Lafferty J. and Zhai C. (2001) Probabilistic relevance models based on document and query generation. In Proceedings of the Workshop on Language Modeling and Information retrieval.
Laird J. E., Newell A., and Rosenbloom P. S. (1987) SOAR: An architecture for general intelligence. Artificial Intelligence, 33(1), p. 1—64.
Laird J. E., Rosenbloom P. S., and Newell A. (1986) Chunking in Soar: The anatomy of a general learning mechanism. Machine Learning, 1, p. 11-46.
Lakoff G. (1987) Women, Fire, and Dangerous Things: What Categories Reveal about the Mind. University of Chicago Press, Chicago.
Lakoff G. and Johnson M. (1980) Metaphors We Live By. University of Chicago Press, Chicago.
Lamarck J. B. (1809) Philosophic zoologique. Chez Dentu et L'Auteur, Paris.
Langley Р., Simon Н. A., Bradshaw G. L, and Zytkow J. M. (1987) Scientific Discovery: Computational Explorations of the Creative Processes. MIT Press, Cambridge, Massachusetts.
Langton C. (Ed.) (1995) Artificial life. MIT Press, Cambridge, Massachusetts.
Laplace P. (1816) Essai philosophique sur les probability (3rd edition). Courcier Imprimeur, Paris.
Lappin S. and Leass H. J. (1994) An algorithm for pronominal anaphora resolution. Computational Linguistics, 20(4), p. 535-561.
Lari K. and Young S. J. (1990) The estimation of stochastic context-free grammars using the insideoutside algorithm. Computer, Speech and Language, 4, p. 35—56.
Larranaga P., Kuijpers C., Murga R., Inza L, and Dizdarevic S. (1999) Genetic algorithms for the travelling salesman problem: A review of representations and operators. Artificial Intelligence Review, 13, p. 129-170.
Latombe J.-C. (1991) Robot Motion Planning. Kluwer, Dordrecht, Netherlands.
Lauritzen S. (1995) The EM algorithm for graphical association models with missing data. Computational Statistics and Data Analysis, 19, p. 191—201.
Lauritzen S. (1996) Graphical models. Oxford University Press, Oxford, UK.
Lauritzen S., Dawid A., Larsen B., and Leimer H. (1990) Independence properties of directed Markov fields. Networks, 20(5), p. 491-505.
Lauritzen S. and Spiegelhalter D. J. (1988) Local computations with probabilities on graphical structures and their application to expert systems. Journal of the Royal Statistical Society, В 50(2), p. 157-224.
Lauritzen S. and Wermuth N. (1989) Graphical models for associations between variables, some of which are qualitative and some quantitative. Annals of Statistics, 17, p. 31—57.
Lavrac, N. and Dzeroski S. (1994) Inductive Logic Programming: Techniques and Applications. Ellis Horwood, Chichester, England.
Lawler E. L. (1985) The traveling salesman problem: A guided tour of combinatorial optimization. Wiley, New York.
Lawler E. L., Lenstra J. K., Kan A., and Shmoys D. B. (1992) The Travelling Salesman Problem. Wiley Interscience.
Lawler E. L., Lenstra J. K., Kan A., and Shmoys D. B. (1993) Sequencing and scheduling: algorithms and complexity. In Graves S. C., Zipkin P. H., and Kan A. H. G. R. (Eds.) Logistics of Production and Inventory: Handbooks in Operations Research and Management Science, Volume 4, p. 445—522. North-Holland, Amsterdam.
Lawler E. L. and Wood D. E. (1966) Branch-and-bound methods: A survey. Operations Research, 14(4), p. 699-719.
Lazanas A. and Latombe J.-C. (1992) Landmark-based robot navigation. In Proceedings of the Tenth National Conference on Artificial Intelligence (AAAI-92), p. 816—822, San Jose. AAAI Press.
Le Cun Y., Jackel L., Boser B., and Denker J. (1989) Handwritten digit recognition: Applications of neural network chips and automatic learning. IEEE Communications Magazine, 27(11), p. 41-46.
LeCun Y., Jackel L., Bottou L., Brunot A., Cortes C., Denker J., Drucker H., Guyon L, Muller U., Sackinger E., Simard P., and Vapnik V. N. (1995) Comparison of learning algorithms for handwritten digit recognition. In Fogelman F. and Gallinari P. (Eds.), International Conference on Artificial Neural Networks, p. 53—60, Berlin. Springer-Verlag.
Leech G., Rayson P., and Wilson A. (2001) Word Frequencies in Written and Spoken English: Based on the British National Corpus. Longman, New York.
Lefkovitz D. (1960) A strategic pattern recognition program for the game Go. Technical note 60-243, Wright Air Development Division, University of Pennsylvania, Moore School of Electrical Engineering.
Lenat D. B. (1983) EURISKO: A program that learns new heuristics and domain concepts: The nature of heuristics, III: Program design and results. Artificial Intelligence, 21(\-2), p. 61-98.
Lenat D. В. (1995) Сус: A large-scale investment in knowledge infrastructure. Communications of the ACM, 38(11).
Lenat D. B. and Brown J. S. (1984) Why AM and EURISKO appear to work. Artificial Intelligence, 23(3), p. 269-294.
Lenat D. B. and Guha R. V. (1990) Building Large Knowledge-Based Systems: Representation and Inference in the CYC Project. Addison-Wesley, Reading, Massachusetts.
Leonard H. S. and Goodman N. (1940) The calculus of individuals and its uses. Journal of Symbolic Logic, 5(2), p. 45-55.
Leonard J. J. and Durrant-Whyte H. (1992) Directed sonar sensing for mobile robot navigation. Kluwer, Dordrecht, Netherlands.
Lesniewski S. (1916) Podstawy ogdlnej teorii mnogosci. Moscow.
Lettvin J. Y., Maturana H. R., McCulloch W. S., and Pitts W. H. (1959) What the frog's eye tells the frog's brain. Proceedings of the IRE, 47( 11), p. 1940-1951.
Letz R., Schumann J., Bayerl S., and Bibel W. (1992) SETHEO: A high-performance theorem prover. Journal of Automated Reasoning, 5(2), p. 183—212.
Levesque H. J. and Brachman R. J. (1987) Expressiveness and tractability in knowledge representation and reasoning. Computational Intelligence, 3(2), p. 78-93.
Levesque H. J., Reiter R., Lesperance Y., Lin F., and Scherl R. (1997a) GOLOG: A logic programming language for dynamic domains. Journal of Logic Programming, 31, p. 59-84.
Levesque H. J., Reiter R., Lesperance Y., Lin F., and Scherl R. (1997b) GOLOG: A logic programming language for dynamic domains. Journal of Logic Programming, 31, p. 59-84.
Levitt G. M. (2000) The Turk, Chess Automaton. McFarland and Company.
Levy D. N. L. (Ed.) (1988a) Computer Chess Compendium. Springer-Verlag, Berlin.
Levy D. N. L. (Ed.) (1988b) Computer Games. Springer-Verlag, Berlin.
Lewis D. D. (1998) Naive Bayes at forty: The independence assumption in information retrieval. In Machine Learning: ECML-98. 10th European Conference on Machine Learning. Proceedings, p. 4—15, Chemnitz, Germany. Springer-Verlag.
Lewis D. K. (1966) An argument for the identity theory. The Journal of Philosophy, 63(1), p. 17-25.
Lewis D. K. (1972) General semantics. In Davidson D. and Harman G. (Eds.), Semantics of Natural Language, p. 169-218. D. Reidel, Dordrecht, Netherlands.
Lewis D. K. (1980) Mad pain and Martian pain. In Block N. (Ed.), Readings in Philosophy of Psychology, Vol. 1, p. 216—222. Harvard University Press, Cambridge, Massachusetts.
Li С. M. and Anbulagan (1997) Heuristics based on unit propagation for satisfiability problems. In Proceedings of the Fifteenth International Joint Conference on Artificial Intelligence (IJCAI-97), p. 366-371, Nagoya, Japan. Morgan Kaufmann.
Li M. and Vitanyi P. M. B. (1993) An Introduction to Kolmogorov Complexity and Its Applications. Springer-Verlag, Berlin.
Lifschitz V. (1986) On the semantics of STRIPS. In Georgeff M. P. and Lansky A. L. (Eds.), Reasoning about Actions and Plans: Proceedings of the 1986 Workshop, p. 1—9, Timberline, Oregon. Morgan Kaufmann.
Lifschitz V. (2001) Answer set programming and plan generation. Artificial Intelligence, 138(1—2), p. 39-54.
Lighthill J. (1973) Artificial intelligence: A general survey. In Lighthill J., Sutherland N. S., Needham R. M., Longuet-Higgins H. C., and Michie D. (Eds.), Artificial Intelligence: A Paper Symposium. Science Research Council of Great Britain, London.
Lin F. and Reiter R. (1997) How to progress a database. Artificial Intelligence, 92(1—2), p. 131-167.
Lin S. (1965) Computer solutions of the travelling salesman problem. Bell Systems Technical Journal, 44(10), 2245-2269.
Lin S. and Kernighan B. W. (1973) An effective heuristic algorithm for the travelling-salesman problem. Operations Research, 21(2), p. 498-516.
Linden T. A. (1991) Representing software designs as partially developed plans. In Lowry M. R. and McCartney R. D. (Eds.), Automating Software Design, p. 603-625. MIT Press, Cambridge, Massachusetts.
Lindsay R. K. (1963) Inferential memory as the basis of machines which understand natural language. In Feigenbaum E. A. and Feldman J. (Eds.), Computers and Thought, p. 217-236. McGraw-Hill, New York.
Lindsay R. K., Buchanan B. G., Feigenbaum E. A., and Lederberg J. (1980) Applications of Artificial Intelligence for Organic Chemistry: The DENDRAL Project. McGraw-Hill, New York.
Littman M. L. (1994) Markov games as a framework for multi-agent reinforcement learning. In Proceedings of the 11th International Conference on Machine Learning (ML-94), p. 157—163, New Brunswick, NJ. Morgan Kaufmann.
Littman M. L., Keim G. A., and Shazeer N. M. (1999) Solving crosswords with PROVERB. In Proceedings of the Sixteenth National Conference on Artificial Intelligence (AAAI-99), p. 914-915, Orlando, Florida. AAAI Press.
Liu J. S. and Chen R. (1998) Sequential Monte Carlo methods for dynamic systems. Journal of the American Statistical Association, 93, p. 1022—1031.
Lloyd J. W. (1987) Foundations of Logic Programming. Springer-Verlag, Berlin.
Locke J. (1690) An Essay Concerning Human Understanding. William Tegg.
Locke W. N. and Booth A. D. (1955) Machine Translation of Languages: Fourteen Essays. MIT Press, Cambridge, Massachusetts.
Lodge D. (1984) Small World. Penguin Books, New York.
Lohn J. D., Kraus W. F., and Colombano S. P. (2001) Evolutionary optimization of yagi-uda antennas. In Proceedings of the Fourth International Conference on Evolvable Systems, p. 236-243.
Longuet-Higgins H. C. (1981) A computer algorithm for reconstructing a scene from two projections. Nature, 293, p. 133-135.
Lovejoy W. S. (1991) A survey of algorithmic methods for partially observed Markov decision processes. Annals of Operations Research, 28(\—4), p. 47—66.
Loveland D. (1968) Mechanical theorem proving by model elimination. Journal of the Association for Computing Machinery, 15(2), p. 236-251.
Loveland D. (1970) A linear format for resolution. In Proceedings of the IRIA Symposium on Automatic Demonstration, p. 147-162, Berlin. Springer-Verlag.
Loveland D. (1984) Automated theorem-proving: A quarter-century review. Contemporary Mathematics, 29, p. 1—45.
Lowe D. G. (1987) Three-dimensional object recognition from single two-dimensional images. Artificial Intelligence, 31, p. 355—395.
Lowenheim L. (1915) Uber Moglichkeiten im Relativkalkiil. Mathematische Annalen, 76, p. 447—470.
Lowerre В. T. (1976) The HARPY Speech Recognition System. Ph.D. thesis, Computer Science Department, Carnegie-Mellon University, Pittsburgh, Pennsylvania.
Lowerre В. T. and Reddy R. (1980) The HARPY speech recognition system. In Lea W. A. (Ed.), Trends in Speech Recognition, chap. 15. Prentice-Hall, Upper Saddle River, New Jersey.
Lowry M. R. and McCartney R. D. (1991) Automating Software Design. MIT Press, Cambridge, Massachusetts.
Loyd S. (1959) Mathematical Puzzles of Sam Loyd: Selected and Edited by Martin Gardner. Dover, New York.
Lozano-Perez T. (1983) Spatial planning: A configuration space approach. IEEE Transactions on Computers, C-32(2), p. 108—120.
Lozano-Perez T., Mason M., and Taylor R. (1984) Automatic synthesis of fine-motion strategies for robots. International Journal of Robotics Research, 3(1), p. 3-24.
Luby M., Sinclair A., and Zuckerman D. (1993) Optimal speedup of Las Vegas algorithms. Information Processing Letters, 47, p. 173-180.
Luby M. and Vigoda E. (1999) Fast convergence of the glauber dynamics for sampling independent sets. Random Structures and Algorithms, 15(3-4), p. 229—241.
Lucas J. R. (1961) Minds, machines, and Gddel. Philosophy, 36.
Lucas J. R. (1976) This Gudel is killing me: A rejoinder. Philosophia, 6(1), p. 145—148.
Lucas P. (1996) Knowledge acquisition for decision-theoretic expert systems. AISB Quarterly, 94, p. 23-33.
Luce D. R. and Raiffa H. (1957) Games and Decisions. Wiley, New York.
Luger G. F. (Ed.) (1995) Computation and intelligence: Collected readings. AAAI Press, Menlo Park, California.
MacKay D. J. C. (1992) A practical Bayesian framework for back-propagation networks. Neural Computation, 4(3), p. 448—472.
Mackworth A. K. (1973) Interpreting pictures of polyhedral scenes. Artificial Intelligence, 4, p. 121-137.
Mackworth A. K. (1977) Consistency in networks of relations. Artificial Intelligence, <?(1), p. 99-118.
Mackworth A. K. (1992) Constraint satisfaction. In Shapiro S. (Ed.) Encyclopedia of Artificial Intelligence (second edition), Vol. 1, p. 285-293. Wiley, New York.
Mahanti A. and Daniels C. J. (1993) A SIMD approach to parallel heuristic search. Artificial Intelligence, 60(2), p. 243—282.
Majercik S. M. and Littman M. L. (1999) Planning under uncertainty via stochastic satisfiability. In Proceedings of the Sixteenth National Conference on Artificial Intelligence, p. 549-556.
Malik J. (1987) Interpreting line drawings of curved objects. International Journal of Computer Vision, 7(1), p. 73-103.
Malik J. and Rosenholtz R. (1994) Recovering surface curvature and orientation from texture distortion: A least squares algorithm and sensitivity analysis. In Eklundh J.-O. (Ed.) Proceedings of the Third European Conf, on Computer Vision, p. 353—364, Stockholm. Springer-Verlag.
Malik J. and Rosenholtz R. (1997) Computing local surface orientation and shape from texture for curved surfaces. International Journal of Computer Vision, 23(2), p. 149-168.
Mann W. C. and Thompson S. A. (1983) Relational propositions in discourse. Tech. rep. RR-83-115, Information Sciences Institute.
Mann W. C. and Thompson S. A. (1988) Rhetorical structure theory: Toward a functional theory of text organization. Text, 8(3), p. 243—281.
Manna Z. and Waldinger R. (1971) Toward automatic program synthesis. Communications of the Association for Computing Mach inery, 14( 3), p. 151—165.
Manna Z. and Waldinger R. (1985) The Logical Basis for Computer Programming: Volume 1: Deductive Reasoning. Addison-Wesley, Reading, Massachusetts.
Manna Z. and Waldinger R. (1986) Special relations in automated deduction. Journal of the Association for Computing Machinery, 33(1), p. 1—59.
Manna Z. and Waldinger R. (1992) Fundamentals of deductive program synthesis. IEEE Transactions on Software Engineering, 18(S), p. 674—704.
Manning C. D. and Schiitze H. (1999) Foundations of Statistical Natural Language Processing. MIT Press.
Marbach P. and Tsitsiklis J. N. (1998) Simulation-based optimization of Markov reward processes. Technical report LIDS-P-2411, Laboratory for Information and Decision Systems, Massachusetts Institute of Technology.
Marcus М. Р., Santorini В., and Marcinkiewicz М. А. (1993) Building a large annotated corpus of english: The penn treebank. Computational Linguistics, 19(2), p. 313-330.
Markov A. A. (1913) An example of statistical investigation in the text of “Eugene Onegin” illustrating coupling of “tests” in chains. Proceedings of the Academy of Sciences of St. Petersburg, 7.
Maron M. E. (1961) Automatic indexing: An experimental inquiry. Journal of the Association for Computing Machinery, 8(3), p. 404-417.
Maron M. E. and Kuhns J.-L. (1960) On relevance, probabilistic indexing and information retrieval. Communications of the ACM, 7, p. 219-244.
Marr D. (1982) Vision: A Computational Investigation into the Human Representation and Processing of Visual Information. W. H. Freeman, New York.
Marriott K. and Stuckey P. J. (1998) Programming with Constraints: An Introduction. MIT Press, Cambridge, Massachusetts.
Marsland A. T. and Schaeffer J. (Eds.) (1990) Computers, Chess, and Cognition. Springer-Verlag, Berlin.
Martelli A. and Montanari U. (1976) Unification in linear time and space: A structured presentation. Internal report В 76-16, Istituto di Elaborazione della Informazione, Pisa, Italy.
Martelli A. and Montanari U. (1978) Optimizing decision trees through heuristically guided search. Communications of the Association for Computing Machinery, 21, p. 1025—1039.
Marthi B., Pasula H., Russell S. J., and Peres Y. (2002) Decayed MCMC filtering. In Uncertainty in Artificial Intelligence: Proceedings of the Eighteenth Conference, p. 319-326, Edmonton, Alberta. Morgan Kaufmann.
Martin J. H. (1990) A Computational Model of Metaphor Interpretation. Academic Press, New York.
Martin P. and Shmoys D. B. (1996) A new approach to computing optimal schedules for the job-shop scheduling problem. In Proceedings of the Sth International IPCO Conference, p. 389-403. Springer-Verlag.
Maslov S. Y. (1964) An inverse method for establishing deducibility in classical predicate calculus. Doklady Akademii nauk SSSR, 159, p. 17-20.
Maslov S. Y. (1967) An inverse method for establishing deducibility of nonprenex formulas of the predicate calculus. Doklady Akademii nauk SSSR, 172, p. 22—25.
Mason M. (1993) Kicking the sensing habit. AI Magazine, 14(\), p. 58-59.
Mason M. (2001) Mechanics of Robotic Manipulation. MIT Press.
Mason M. and Salisbury J. (1985) Robot hands and the mechanics of manipulation. MIT Press.
Mataric M. J. (1997) Reinforcement learning in the multi-robot domain. Autonomous Robots, 4(\), p. 73-83.
Mates B. (1953) Stoic Logic. University of California Press, Berkeley and Los Angeles.
Maxwell J. and Kaplan R. (1993) The interface between phrasal and functional constraints. Computational Linguistics, 19(4), p. 571-590.
Maxwell J. and Kaplan R. (1995) A method for disjunctive constraint satisfaction. In Dalrymple M., Kaplan R., Maxwell J., and Zaenen A. (Eds.) Formal Issues in Lexical-Functional Grammar, No. 47 in CSLI Lecture Note Series, chap. 14, p. 381-481. CSLI Publications.
McAllester D. A. (1980) An outlook on truth maintenance. Ai memo 551, MIT AI Laboratory, Cambridge, Massachusetts.
McAllester D. A. (1988) Conspiracy numbers for min-max search. Artificial Intelligence, 35(3), p. 287-310.
McAllester D. A. (1989) Ontic: A Knowledge Representation System for Mathematics. MIT Press, Cambridge, Massachusetts.
McAllester D. A. (1998) What is the most pressing issue facing ai and the aaai today? Candidate statement, election for Councilor of the American Association for Artificial Intelligence.
McAllester D. A. and Givan R. (1992) Natural language syntax and first-order inference. Artificial Intelligence, 56(1), p. 1-20.
McAllester D. A. and Rosenblitt D. (1991) Systematic nonlinear planning. In Proceedings of the Ninth National Conference on Artificial Intelligence (AAAI-91), Vol. 2, p. 634—639, Anaheim, California. AAAI Press.
McCarthy J. (1958) Programs with common sense. In Proceedings of the Symposium on Mechanisation of Thought Processes, Vol. 1, p. 77—84, London. Her Majesty's Stationery Office.
McCarthy J. (1963) Situations, actions, and causal laws. Memo 2, Stanford University Artificial Intelligence Project, Stanford, California.
McCarthy J. (1968) Programs with common sense. In Minsky M. L. (Ed.) Semantic Information Processing, p. 403-418. MIT Press, Cambridge, Massachusetts.
McCarthy J. (1980) Circumscription: A form of non-monotonic reasoning. Artificial Intelligence, /3(1-2), p. 27-39.
McCarthy J. and Hayes P. J. (1969) Some philosophical problems from the standpoint of artificial intelligence. In Meltzer B., Michie D., and Swann M. (Eds.) Machine Intelligence 4, p. 463-502. Edinburgh University Press, Edinburgh, Scotland.
McCarthy J., Minsky M. L., Rochester N., and Shannon С. E. (1955) Proposal for the Dartmouth summer research project on artificial intelligence. Tech, rep., Dartmouth College.
McCawley J. D. (1988) The Syntactic Phenomena of English, Vol. 2 volumes. University of Chicago Press.
McCawley J. D. (1993) Everything That Linguists Have Always Wanted to Know about Logic but Were Ashamed to Ask (Second edition). University of Chicago Press, Chicago.
McCulloch W. S. and Pitts W. (1943) A logical calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biophysics, 5, p. 115-137.
McCune W. (1992) Automated discovery of new axiomatizations of the left group and right group calculi. Journal of Automated Reasoning, 9(1), p. 1—24.
McCune W. (1997) Solution of the rabbins problem. Journal of Automated Reasoning, 19(3), p. 263-276.
McDermott D. (1976) Artificial intelligence meets natural stupidity. SIGART Newsletter, 57, p. 4-9.
McDermott D. (1978a) Planning and acting. Cognitive Science, 2(2), p. 71-109.
McDermott D. (1978b) Tarskian semantics, or, no notation without denotation! Cognitive Science, 2(3).
McDermott D. (1987) A critique of pure reason. Computational Intelligence, 3(3), p. 151-237.
McDermott D. (1996) A heuristic estimator for means-ends analysis in planning. In Proceedings of the Third International Conference on AI Planning Systems, p. 142-149, Edinburgh, Scotland. AAAI Press.
McDermott D. and Doyle J. (1980) Non-monotonic logic: i. Artificial Intelligence, /3(1-2), p. 41-72.
McDermott J. (1982) RI: A rule-based configurer of computer systems. Artificial Intelligence, 19(\), p. 39-88.
McEliece R. J., MacKay D. J. C, and Cheng J.-F. (1998) Turbo decoding as an instance of Pearl's “belief propagation” algorithm. IEEE Journal on Selected Areas in Communications, 16(2), p. 140-152.
McGregor J. J. (1979) Relational consistency algorithms and their application in finding subgraph and graph isomorphisms. Information Sciences, 19(3), p. 229-250.
McKeown K. (1985) Text Generation: Using Discourse Strategies and Focus Constraints to Generate Natural Language Text. Cambridge University Press, Cambridge, UK.
McLachlan G. J. and Krishnan T. (1997) The EM Algorithm and Extensions. Wiley, New York.
McMillan K. L. (1993) Symbolic Model Checking. Kluwer, Dordrecht, Netherlands.
Meehl P. (1955) Clinical vs. Statistical Prediction. University of Minnesota Press, Minneapolis.
Melcuk I. A. and Polguere A. (1988) A formal lexicon in the meaning-text theory (or how to do lexica with words) Computational Linguistics, /3(3—4), p. 261-275.
Mendel G. (1866) Versuche liber pflanzen-hybriden. Verhandlungen des Naturforschenden Vereins, Abhandlungen, Brunn, 4, p. 3-47. Translated into English by С. T. Druery, published by Bateson (1902).
Mercer J. (1909) Functions of positive and negative type and their connection with the theory of integral equations. Philos. Trans. Roy. Soc. London, A, 209, p. 415-446.
Metropolis N., Rosenbluth A., Rosenbluth M., Teller A., and Teller E. (1953) Equations of state calculations by fast computing machines. Journal of Chemical Physics, 21, p. 1087-1091.
Mezard M. and Nadal J.-P. (1989) Learning in feedforward layered networks: The tiling algorithm. Journal of Physics, 22, p. 2191-2204.
Michalski R. S. (1969) On the quasi-minimal solution of the general covering problem. In Proceedings of the First International Symposium on Information Processing, p. 125—128.
Michalski R. S., Carbonell J. G., and Mitchell T. M. (Eds.) (1983) Machine Learning: An Artificial Intelligence Approach, Vol. 1. Morgan Kaufmann, San Mateo, California.
Michalski R. S., Carbonell J. G., and Mitchell T. M. (Eds.) (1986a) Machine Learning: An Artificial Intelligence Approach, Vol. 2. Morgan Kaufmann, San Mateo, California.
Michalski R. S., Mozetic I., Hong J., and Lavrad, N. (1986b) The multi-purpose incremental learning system aql5 and its testing application to three medical domains. In Proceedings of the Fifth National Conference on Artificial Intelligence (AAAI-86), p. 1041-1045, Philadelphia. Morgan Kaufmann.
Michel S. and Plamondon P. (1996) Bilingual sentence alignment: Balancing robustness and accuracy. In Proceedings of the Conference of the Association for Machine Translation in the Americas (AMTA).
Michie D. (1966) Game-playing and game-learning automata. In Fox L. (Ed.), Advances in Programming and Non-Numerical Computation, p. 183-200. Pergamon, Oxford, UK.
Michie D. (1972) Machine intelligence at Edinburgh. Management Informatics, 2(1), p. 7—12.
Michie D. (1974) Machine intelligence at Edinburgh. In On Intelligence, p. 143-155. Edinburgh University Press.
Michie D. and Chambers R. A. (1968) BOXES: An experiment in adaptive control. In Dale E. and Michie D. (Eds.), Machine Intelligence 2, p. 125-133. Elsevier/North-Holland, Amsterdam, London, New York.
Michie D., Spiegelhalter D. J., and Taylor C. (Eds.) (1994) Machine Learning, Neural and Statistical Classification. Ellis Horwood, Chichester, England.
Milgrom P. (1997) Putting auction theory to work: The simultaneous ascending auction. Tech. rep. Technical Report 98-0002, Stanford University Department of Economics.
Mill J. S. (1843) A System of Logic, Ratiocinative and Inductive: Being a Connected View of the Principles of Evidence, and Methods of Scientific Investigation. J. W. Parker, London.
Mill J. S. (1863) Utilitarianism. Parker, Son and Bourn, London.
Miller A. C, Merkhofer M. M., Howard R. A., Matheson J. E., and Rice T. R. (1976) Development of automated aids for decision analysis. Technical report, SRI International, Menlo Park, California.
Minsky M. L. (Ed.) (1968) Semantic Information Processing. MIT Press, Cambridge, Massachusetts.
Minsky M. L. (1975) A framework for representing knowledge. In Winston P. H. (Ed.), The Psychology of Computer Vision, p. 211-277. McGraw-Hill, New York. Originally an MIT AI Laboratory memo; the 1975 version is abridged, but is the most widely cited.
Minsky M. L. and Papert S. (1969) Perceptrons: An Introduction to Computational Geometry (first edition). MIT Press, Cambridge, Massachusetts.
Minsky M. L. and Papert S. (1988) Perceptrons: An Introduction to Computational Geometry (Expanded edition). MIT Press, Cambridge, Massachusetts.
Minton S. (1984) Constraint-based generalization: Learning game-playing plans from single examples. In Proceedings of the National Conference on Artificial Intelligence (AAAI-84), p. 251—254, Austin, Texas. Morgan Kaufmann.
Minton S. (1988) Quantitative results concerning the utility of explanation-based learning. In Proceedings of the Seventh National Conference on Artificial Intelligence (AAAI-88), p. 564—569, St. Paul, Minnesota. Morgan Kaufmann.
Minton S., Johnston M. D., Philips A. B., and Laird P. (1992) Minimizing conflicts: A heuristic repair method for constraint satisfaction and scheduling problems. Artificial Intelligence, 55(1—3), p. 161-205.
Mitchell M. (1996) An Introduction to Genetic Algorithms. MIT Press, Cambridge, Massachusetts.
Mitchell M., Holland J. H., and Forrest S. (1996) When will a genetic algorithm outperform hill climbing? In Cowan J., Tesauro G., and Alspector J. (Eds.), Advances in Neural Information Processing Systems, Vol. 6. MIT Press, Cambridge, Massachusetts.
Mitchell T. M. (1977) Version spaces: A candidate elimination approach to rule learning. In Proceedings of the Fifth International Joint Conference on Artificial Intelligence (IJCAI-77), p. 305— 310, Cambridge, Massachusetts. IJCAII.
Mitchell T. M. (1982) Generalization as search. Artificial Intelligence, 18(2), p. 203-226.
Mitchell T. M. (1990) Becoming increasingly reactive (mobile robots). In Proceedings of the Eighth National Conference on Artificial Intelligence (AAAI-90), Vol. 2, p. 1051-1058, Boston. MIT Press.
Mitchell T. M. (1997) Machine Learning. McGraw-Hill, New York.
Mitchell T. M., Keller R., and Kedar-Cabelli S. (1986) Explanation-based generalization: A unifying view. Machine Learning, 1, p. 47—80.
Mitchell T. M., Utgoff P. E., and Baneiji R. (1983) Learning by experimentation: Acquiring and refining problem-solving heuristics. In Michalski R. S., Carbonell J. G., and Mitchell T. M. (Eds.), Machine Learning: An Artificial Intelligence Approach, p. 163-190. Morgan Kaufmann, San Mateo, California.
Mitkov R. (2002) Anaphora Resolution. Longman, New York.
Mohr R. and Henderson T. C. (1986) Arc and path consistency revisited. Artificial Intelligence, 28(2), p. 225-233.
Mohri M., Pereira F., and Riley M. (2002) Weighted finite-state transducers in speech recognition. Computer Speech and Language, 16(\), p. 69—88.
Montague P. R., Dayan P., Person C., and Sejnowski T. (1995) Bee foraging in uncertain environments using predictive Hebbian learning. Nature, 377, p. 725-728.
Montague R. (1970) English as a formal language. In Linguaggi nella Societa e nella Tecnica, p. 189— 224. Edizioni di Comunita, Milan.
Montague R. (1973) The proper treatment of quantification in ordinary English. In Hintikka K. J. J., Moravcsik J. M. E., and Suppes P. (Eds.) Approaches to Natural Language. D. Reidel, Dordrecht, Netherlands.
Montanari U. (1974) Networks of constraints: Fundamental properties and applications to picture processing. Information Sciences, 7(2), p. 95—132.
Montemerlo M., Thrun S., Koller D., and Wegbreit B. (2002) FastSLAM: A factored solution to the simultaneous localization and mapping problem. In Proceedings of the Eighteenth National Conference on Artificial Intelligence (AAAI-02), Edmonton, Alberta. AAAI Press.
Mooney R. (1999) Learning for semantic interpretation: Scaling up without dumbing down. In Cussens J. (Ed.), Proceedings of the 1st Workshop on Learning Language in Logic, p. 7—15. Springer-Verlag.
Mooney R. J. and CalifTM. E. (1995) Induction of first-order decision lists: Results on learning the past tense of English verbs. Journal of AI Research, 3, p. 1—24.
Moore A. W. and Atkeson C. G. (1993) Prioritized sweeping — reinforcement learning with less data and less time. Machine Learning, 13, p. 103-130.
Moore E. F. (1959) The shortest path through a maze. In Proceedings of an International Symposium on the Theory of Switching, Part II, p. 285-292. Harvard University Press, Cambridge, Massachusetts.
Moore J. S. and Newell A. (1973) How can Merlin understand? In Gregg L. (Ed.), Knowledge and Cognition. Lawrence Erlbaum Associates, Potomac, Maryland.
Moore R. C. (1980) Reasoning about knowledge and action. Artificial intelligence center technical note 191, SRI International, Menlo Park, California.
Moore R. C. (1985) A formal theory of knowledge and action. In Hobbs J. R. and Moore R. C. (Eds.), Formal Theories of the Commonsense World, p. 319-358. Ablex, Norwood, New Jersey.
Moravec H. P. (1983) The Stanford cart and the emu rover. Proceedings of the IEEE, 71(1), p. 872-884.
Moravec H. P. and Elfes A. (1985) High resolution maps from wide angle sonar. In 1985 IEEE International Conference on Robotics and Automation, p. 116—121, St. Louis, Missouri. IEEE Computer Society Press.
Moravec H. P. (1988) Mind Children: The Future of Robot and Human Intelligence. Harvard University Press, Cambridge, Massachusetts.
108 5. Moravec H. P. (2000) Robot: Mere Machine to Transcendent Mind. Oxford University Press.
Morgenstern L. (1987) Knowledge preconditions for actions and plans. In Proceedings of the Tenth International Joint Conference on Artificial Intelligence (IJCAI-87), p. 867-874, Milan. Morgan Kaufmann.
Morgenstern L. (1998) Inheritance comes of age: Applying nonmonotonic techniques to problems in industry. Artificial Intelligence, 103, p. 237-271.
Moijaria M. A., Rink F. J., Smith W. D., Klempner G., Burns C., and Stein J. (1995) Elicitation of probabilities for belief networks: Combining qualitative and quantitative information. In Proceedings of the Conference on Uncertainty in Artificial Intelligence, p. 141-148. Morgan Kaufmann.
Morrison P. and Morrison E. (Eds.) (1961) Charles Babbage and His Calculating Engines: Selected Writings by Charles Babbage and Others. Dover, New York.
Moskewicz M. W., Madigan C. F., Zhao Y., Zhang L., and Malik S. (2001) Chaff: Engineering an efficient SAT solver. In Proceedings of the 38th Design Automation Conference (DAC 2001), p. 530535. ACM Press.
Mosteller F. and Wallace D. L. (1964) Inference and Disputed Authorship: The Federalist. Addison- Wesley.
Mostow J. and Prieditis A. E. (1989) Discovering admissible heuristics by abstracting and optimizing: A transformational approach. In Proceedings of the Eleventh International Joint Conference on Artificial Intelligence (1JCAI-89), Vol. 1, p. 701—707, Detroit. Morgan Kaufmann.
Motzkin T. S. and Schoenberg I. J. (1954) The relaxation method for linear inequalities. Canadian Journal of Mathematics, 6(3), p. 393-404.
Moussouris J., Holloway J., and Greenblatt R. D. (1979) CHEOPS: A chess-oriented processing system. In Hayes J. E., Michie D., and Mikulich L. I. (Eds.), Machine Intelligence 9, p. 351-360. Ellis Horwood, Chichester, England.
Moutarlier P. and Chatila R. (1989) Stochastic multisensory data fusion for mobile robot location and environment modeling. In Sth Int. Symposium on Robotics Research, Tokyo.
Muggleton S. H. (1991) Inductive logic programming. New Generation Computing, 8, p. 295-318.
Muggleton S. H. (1992) Inductive Logic Programming. Academic Press, New York.
Muggleton S. H. (1995) Inverse entailment and Progol. New Generation Computing, Special issue on Inductive Logic Programming, 75(3-4), p. 245—286.
Muggleton S. H. (2000) Learning stochastic logic programs. Proceedings of the AAAI 2000 Workshop on Learning Statistical Models from Relational Data.
Muggleton S. H. and Buntine W. (1988) Machine invention of first-order predicates by inverting resolution. In Proceedings of the Fifth International Conference on Machine Learning, p. 339-352. Morgan Kaufmann.
Muggleton S. Н. and De Raedt L (1994) Inductive logic programming: Theory and methods. Journal of Logic Programming, 19/20, p. 629-679.
Muggleton S. H. and Feng C. (1990) Efficient induction of logic programs. In Proceedings of the Workshop on Algorithmic Learning Theory, p. 368—381, Tokyo. Ohmsha.
Muller M. (2002) Computer Go. Artificial Intelligence, 134(1—2), p. 145—179.
Mundy J. and Zisserman A. (Eds.) (1992) Geometric Invariance in Computer Vision. MIT Press, Cambridge, Massachusetts.
Murphy K., Weiss Y., and Jordan M. I. (1999) Loopy belief propagation for approximate inference: An empirical study. In Uncertainty in Artificial Intelligence: Proceedings of the Fifteenth Conference, p. 467-475, Stockholm. Morgan Kaufmann.
Murphy K. and Russell S. J. (2001) Rao-blackwellised particle filtering for dynamic bayesian networks. In Doucet A., de Freitas N., and Gordon N. J. (Eds.) Sequential Monte Carlo Methods in Practice. Springer-Verlag, Berlin.
Murphy R. (2000) Introduction to AI Robotics. MIT Press, Cambridge, Massachusetts.
Muscettola N., Nayak P., Pell B., and Williams B. (1998) Remote agent: To boldly go where no ai system has gone before. Artificial Intelligence, 103, p. 5-48.
Myerson R. B. (1991) Game Theory: Analysis of Conflict. Harvard University Press, Cambridge.
Nagel T. (1974) What is it like to be a bat? Philosophical Review, 83, p. 435-450.
Nalwa V. S. (1993) A Guided Tour of Computer Vision. Addison-Wesley, Reading, Massachusetts.
Nash J. (1950) Equilibrium points in N-person games. Proceedings of the National Academy of Sciences of the United States of America, 36, p. 48-49.
Nau D. S. (1980) Pathology on game trees: A summary of results. In Proceedings of the First Annual National Conference on Artificial Intelligence (AAAI-80), p. 102-104, Stanford, California. AAAI.
Nau D. S. (1983) Pathology on game trees revisited, and an alternative to minimaxing. Artificial Intelligence, 21(1—2), p. 221-244.
Nau D. S., Kumar V., and Kanai L. N. (1984) General branch and bound, and its relation to A* and AO*. Artificial Intelligence, 23, p. 29-58.
Naur P. (1963) Revised report on the algorithmic language Algol 60. Communications of the Association for Computing Machinery, 6( 1), p. 1 — 17.
Nayak P. and Williams B. (1997) Fast context switching in real-time propositional reasoning. In Proceedings of the Fourteenth National Conference on Artificial Intelligence (AAAI-97), p. 50—56, Providence, Rhode Island. AAAI Press.
Neal R. (1996) Bayesian Learning for Neural Networks. Springer-Verlag, Berlin.
Nebel B. (2000) On the compilability and expressive power of propositional planning formalisms. Journal of AI Research, 72, p. 271 -315.
Nelson G. and Oppen D. C. (1979) Simplification by cooperating decision procedures. ACM Transactions on Programming Languages and Systems, 1(2), p. 245—257.
Netto E. (1901) Lehrbuch derCombinatorik. B. G. Teubner, Leipzig.
Nevill-Manning C. G. and Witten I. H. (1997) Identifying hierarchical structures in sequences: A linear-time algorithm. Journal of AI Research, 7, p. 67-82.
Nevins A. J. (1975) Plane geometry theorem proving using forward chaining. Artificial Intelligence, 6(1), p. 1-23.
Newell A. (1982) The knowledge level. Artificial Intelligence, 18(1), p. 82—127.
Newell A. (1990) Unified Theories of Cognition. Harvard University Press, Cambridge, Massachusetts.
Newell A. and Ernst G. (1965) The search for generality. In Kalenich W. A. (Ed.), Information Processing 1965: Proceedings of I FIP Congress 1965, Vol. 1, p. 17-2 4, Chicago. Spartan.
Newell A., Shaw J. C., and Simon H. A. (1957) Empirical explorations with the logic theory machine. Proceedings of the Western Joint Computer Conference, 15, p. 218-239. Перепечатано в [459].
Newell A., Shaw J. C., and Simon H. A. (1958) Chess playing programs and the problem of complexity. IBM Journal of Research and Development, 4(2), p. 320—335.
Newell A. and Simon H. A. (1961) GPS, a program that simulates human thought. In Billing H. (Ed.) Lernende Automaten, p. 109-124. R. Oldenbourg, Munich.
Newell A. and Simon H. A. (1972) Human Problem Solving. Prentice-Hall, Upper Saddle River, New Jersey.
Newell A. and Simon H. A. (1976) Computer science as empirical inquiry: Symbols and search. Communications of the Association for Computing Machinery, 19, p. 113—126.
Newton I. (1664-1671) Methodus fluxionum et serierum infinitarum. Неопубликованные заметки.
Ng A. Y., Harada D., and Russell S. J. (1999) Policy invariance under reward transformations: Theory and application to reward shaping. In Proceedings of the Sixteenth International Conference on Machine Learning, Bled, Slovenia. Morgan Kaufmann.
Ng A. Y. and Jordan M. I. (2000) PEGASUS: A policy search method for large MDPs and POM DPs. In Uncertainty in Artificial Intelligence: Proceedings of the Sixteenth Conference, p. 406- 415, Stanford, California. Morgan Kaufmann.
Nguyen X. and Kambhampati S. (2001) Reviving partial order planning. In Proceedings of the Seventeenth International Joint Conference on Artificial Intelligence (IJCAI-01), p. 459—466, Seattle. Morgan Kaufmann.
Nguyen X., Kambhampati S., and Nigenda R. S. (2001) Planning graph as the basis for deriving heuristics for plan synthesis by state space and CSP search. Tech, rep., Computer Science and Engineering Department, Arizona State University.
Nicholson A. and Brady J. M. (1992) The data association problem when monitoring robot vehicles using dynamic belief networks. In ECAI 92: 10th European Conference on Artificial Intelligence Proceedings, p. 689—693, Vienna, Austria. Wiley.
Niemela, I., Simons P., and Syijanen T. (2000) Smodels: A system for answer set programming. In Proceedings of the Sth International Workshop on Non-Monotonic Reasoning.
Nilsson D. and Lauritzen S. (2000) Evaluating influence diagrams using LIMIDs. In Uncertainty in Artificial Intelligence: Proceedings of the Sixteenth Conference, p. 436—445, Stanford, California. Morgan Kaufmann.
Nilsson N. J. (1965) Learning Machines: Foundations of Trainable Pattern-Classifying Systems. McGraw-Hill, New York, republished in 1990.
Nilsson N. J. (1971) Problem-Solving Methods in Artificial Intelligence. McGraw-Hill, New York.
Nilsson N.J. (1980) Principles of Artificial Intelligence. Morgan Kaufmann, San Mateo, California.
Nilsson N. J. (1984) Shakey the robot. Technical note 323, SRI International, Menlo Park, California.
Nilsson N. J. (1986) Probabilistic logic. Artificial Intelligence, 28(1), p. 71-87.
Nilsson N. J. (1991) Logic and artificial intelligence. Artificial Intelligence, 47(1-3), p. 31-56.
Nilsson N. J. (1998) Artificial Intelligence: A New Synthesis. Morgan Kaufmann, San Mateo, California.
Norvig P. (1988) Multiple simultaneous interpretations of ambiguous sentences. In Proceedings of the 10th Annual Conference of the Cognitive Science Society.
Norvig P. (1992) Paradigms of Artificial Intelligence Programming: Case Studies in Common Lisp. Morgan Kaufmann, San Mateo, California.
Nowick S. M., Dean M. E., Dill D. L, and Horowitz M. (1993) The design of a high-performance cache controller: A case study in asynchronous syntiiesis. Integration: The VLSI Journal, 15(3), p. 241-262.
Nunberg G. (1979) The non-uniqueness of semantic solutions: Polysemy. Language and Philosophy, 3(2), p. 143-184.
Nussbaum M. C. (1978) Aristotle's “De Motu Animalium”. Princeton University Press, Princeton, New Jersey.
Ogawa S., Lee T.-M., Kay A. R., and Tank D. W. (1990) Brain magnetic resonance imaging with contrast dependent on blood oxygenation. Proceedings of the National Academy of Sciences of the United States of America, 87, p. 9868-9872.
Olawsky D. and Gini M. (1990) Deferred planning and sensor use. In Sycara К. P. (Ed.), Proceedings, DARPA Workshop on Innovative Approaches to Planning, Scheduling, and Control, San Diego, California. Defense Advanced Research Projects Agency (DARPA), Morgan Kaufmann.
Olesen K. G. (1993) Causal probabilistic networks with both discrete and continuous variables. IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 15(3), p. 275—279.
Oliver R. M. and Smith J. Q. (Eds.) (1990) Influence Diagrams, Belief Nets and Decision Analysis. Wiley, New York.
Olson C. F. (1994) Time and space efficient pose clustering. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, p. 251-258, Washington, DC. IEEE Computer Society Press.
Oncina J. and Garcia P. (1992) Inferring regular languages in polynomial update time. In Perez, Sanfeliu, and Vidal (Eds.) Pattern Recognition and Image Analysis, p. 49—61. World Scientific.
O'Reilly U.-M. and Oppacher F. (1994) Program search with a hierarchical variable length representation: Genetic programming, simulated annealing and hill climbing. In Davidor Y., Schwefel H.-Р., and Manner R. (Eds.) Proceedings of the Third Conference on Parallel Problem Solving from Nature, p. 397—406, Jerusalem, Israel. Springer-Verlag.
115 9. Ormoneit D. and Sen S. (2002) Kernel-based reinforcement learning. Machine Learning, 49(2—3), p. 161-178.
Ortony A. (Ed.) (1979) Metaphorand Thought. Cambridge University Press, Cambridge, UK.
Osborne M. J. and Rubinstein A. (1994) A Course in Game Theory. MIT Press, Cambridge, Massachusetts.
Osherson D. N., Stob M., and Weinstein S. (1986) Systems That Learn: An Introduction to Learning Theory for Cognitive and Computer Scientists. MIT Press, Cambridge, Massachusetts.
Page C. D. and Srinivasan A. (2002) ILP: A short look back and a longer look forward. Submitted to Journal of Machine Learning Research.
Рак I. (2001) On mixing of certain random walks, cutoff phenomenon and sharp threshold of random matroid processes. DAMATH: Discrete Applied Mathematics and Combinatorial Operations Research and Computer Science, 110, p. 251—272.
Palay A. J. (1985) Searching with Probabilities. Pitman, London.
Palmer D. A. and Hearst M. A. (1994) Adaptive sentence boundary disambiguation. In Proceedings of the Conference on Applied Natural Language Processing, p. 78—83. Morgan Kaufmann.
Palmer S. (1999) Vision Science: Photons to Phenomenology. MIT Press, Cambridge, Massachusetts.
Papadimitriou С. H. (1994) Computational Complexity. Addison Wesley.
Papadimitriou С. H., Tamaki H., Raghavan P., and Vempala S. (1998) Latent semantic indexing: A probabilistic analysis. In Proceedings of the ACM Conference on Principles of Database Systems (PODS), p. 159-168, New York. ACM Press.
Papadimitriou С. H. and Tsitsiklis J. N. (1987) The complexity of markov decision processes. Mathematics of Operations Research, 12(3), p. 441—450.
Papadimitriou С. H. and Yannakakis M. (1991) Shortest paths without a map. Theoretical Computer Science, 84(1), p. 127-150.
Papavassiliou V. and Russell S. J. (1999) Convergence of reinforcement learning with general function approximators. In Proceedings of the Sixteenth International Joint Conference on Artificial Intelligence (IJCAI-99), p. 748-757, Stockholm. Morgan Kaufmann.
Parekh R. and Honavar V. (2001) Dfa learning from simple examples. Machine Learning, 44, p. 9—35.
Parisi G. (1988) Statistical field theory. Addison-Wesley, Reading, Massachusetts.
Parker D. B. (1985) Learning logic. Technical report TR-47, Center for Computational Research in Economics and Management Science, Massachusetts Institute of Technology, Cambridge, Massachusetts.
Parker L. E. (1996) On the design of behavior-based multi-robot teams. Journal of Advanced Robotics, 10(6)
Parr R. and Russell S. J. (1998) Reinforcement learning with hierarchies of machines. In Jordan M. I., Kearns M., and Solla S. A. (Eds.), Advances in Neural Information Processing Systems 10. MIT Press, Cambridge, Massachusetts.
Parzen E. (1962) On estimation of a probability density function and mode. Annals of Mathematical Statistics, 33, p. 1065—1076.
Pasula H. and Russell S. J. (2001) Approximate inference for first-order probabilistic languages. In Proceedings of the Seventeenth International Joint Conference on Artificial Intelligence (IJCAI-01), Seattle. Morgan Kaufmann.
Pasula H., Russell S. J., Ostland M., and Ritov Y. (1999) Tracking many objects with many sensors. In Proceedings of the Sixteenth International Joint Conference on Artificial Intelligence (IJCA1-99), Stockholm. Morgan Kaufmann.
Paterson M. S. and Wegman M. N. (1978) Linear unification. Journal of Computer and System Sciences, 16, p. 158—167.
Patrick B. G., Almulla M., and Newborn M. M. (1992) An upper bound on the time complexity of iterative-deepening-A*. Annals of Mathematics and Artificial Intelligence, 5(2—4), p. 265-278.
Patten T. (1988) Systemic Text Generation as Problem Solving. Studies in Natural Language Processing. Cambridge University Press, Cambridge, UK.
Paul R. P. (1981) Robot Manipulators: Mathematics, Programming, and Control. MIT Press, Cambridge, Massachusetts.
Peano G. (1889) Arithmetices principia, nova methodo exposita. Fratres Восса, Turin.
Pearl J. (1982a) Reverend Bayes on inference engines: A distributed hierarchical approach. In Proceedings of the National Conference on Artificial Intelligence (AAAI-82), p. 133—136, Pittsburgh, Pennsylvania. Morgan Kaufmann.
Pearl J. (1982b) The solution for the branching factor of the alpha-beta pruning algorithm and its optimality. Communications of the Association for Computing Machinery, 25(f), p. 559—564.
Pearl J. (1984) Heuristics: Intelligent Search Strategies for Computer Problem Solving. Addison-Wesley, Reading, Massachusetts.
Pearl J. (1986) Fusion, propagation, and structuring in belief networks. Artificial Intelligence, 29, p. 241-288.
Pearl J. (1987) Evidential reasoning using stochastic simulation of causal models. Artificial Intelligence, 32, p. 247-257.
Pearl J. (1988) Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference. Morgan Kaufmann, San Mateo, California.
Pearl J. (2000) Causality: Models, Reasoning, and Inference. Cambridge University Press, Cambridge, UK.
Pearl J. and Verma T. (1991) A theory of inferred causation. In Allen J. A., Fikes R., and Sandewall E. (Eds.), Proceedings of the 2nd International Conference on Principles of Knowledge Representation and Reasoning, p. 441-452, San Mateo, California. Morgan Kaufmann.
Pearson J. and Jeavons P. (1997) A survey of tractable constraint satisfaction problems. Technical report CSD-TR-97-15, Royal Holloway College U. of London.
Pednault Е. Р. D. (1986) Formulating multiagent, dynamic-world problems in the classical planning framework. In Georgeff M. P. and Lansky A. L. (Eds.) Reasoning about Actions and Plans: Proceedings of the 1986 Workshop, p. 47-82, Timberline, Oregon. Morgan Kaufmann.
Peirce C. S. (1870) Description of a notation for the logic of relatives, resulting from an amplification of the conceptions of Boole's calculus of logic. Memoirs of the American Academy of Arts and Sciences, 9, p. 317-378.
Peirce C. S. (1883) A theory of probable inference. Note B. The logic of relatives. In Studies in Logic by Members of the Johns Hopkins University, p. 187-203, Boston.
Peirce C. S. (1902) Logic as semiotic: The theory of signs. Неопубликованная рукопись; перепечатана в Buehler В. (1955) Philosopical Writings of Peirce. Dover Publications, New York.
Peirce C. S. (1909) Existential graphs. Неопубликованная рукопись; перепечатана в Buehler В. (1955) Philosopical Writings of Peirce. Dover Publications, New York.
Pelikan M., Goldberg D. E., and Cantu-Paz E. (1999) BOA: The Bayesian optimization algorithm. In GECCO-99: Proceedings of the Genetic and Evolutionary Computation Conference, p. 525—532, Orlando, Florida. Morgan Kaufmann.
Pemberton J. C. and Korf R. E. (1992) Incremental planning on graphs with cycles. In Hendler J. (Ed.), Artificial Intelligence Planning Systems: Proceedings of the First International Conference, p. 525-532, College Park, Maryland. Morgan Kaufmann.
Penberthy J. S. and Weld D. S. (1992) UCPOP: A sound, complete, partial order planner for ADL. In Proceedings of KR-92, p. 103-114. Morgan Kaufmann.
Peng J. and Williams R. J. (1993) Efficient learning and planning within the Dyna framework. Adaptive Behavior, 2, p. 437-454.
Penrose R. (1989) The Emperor's New Mind. Oxford University Press, Oxford, UK.
Penrose R. (1994) Shadows of the Mind. Oxford University Press, Oxford, UK.
Peot M. and Smith D. E. (1992) Conditional nonlinear planning. In Hendler J. (Ed.), Proceedings of the First International Conference on AI Planning Systems, p. 189-197, College Park, Maryland. Morgan Kaufmann.
Pereira F. and Shieber S. M. (1987) Prolog and Natural-Language Analysis. Center for the Study of Language and Information (CSLI), Stanford, California.
Pereira F. and Warren D. H. D. (1980) Definite clause grammars for language analysis: A survey of the formalism and a comparison with augmented transition networks. Artificial Intelligence, 13, p. 231-278.
Peterson C. and Anderson J. R. (1987) A mean field theory learning algorithm for neural networks. Complex Systems, 7(5), p. 995-1019.
Pfeffer A. (2000) Probabilistic Reasoning for Complex Systems. Ph.D. thesis, Stanford University, Stanford, California.
PinkerS. (1989) Learnability and Cognition. MIT Press, Cambridge, MA.
PinkerS. (1995) Language acquisition. In Gleitman L. R., Liberman M., and Osherson D. N. (Eds.), An Invitation to Cognitive Science (second edition), Vol. 1. MIT Press, Cambridge, Massachusetts.
Pinker S. (2000) The Language Instinct: How the Mind Creates Language. MIT Press, Cambridge, Massachusetts.
Plaat A., Schaeffer J., Pijls W., and de Bruin A. (1996) Best-first fixed-depth minimax algorithms. Artificial Intelligence Journal, 87(\-2), p. 255-293.
Place U. T. (1956) Is consciousness a brain process? British Journal of Psychology, 47, p. 44—50.
Plotkin G. (1971) Automatic Methods of Inductive Inference. Ph.D. thesis, Edinburgh University.
Plotkin G. (1972) Building-in equational theories. In Meltzer B. and Michie D. (Eds.), Machine Intelligence 7, p. 73—90. Edinburgh University Press, Edinburgh, Scotland.
Pnueli А. (1977) The temporal logic of programs. In Proceedings of the 18th IEEE Symposium on the Foundations of Computer Science (FOCS-77), p. 46-57, Providence, Rhode Island. IEEE, IEEE Computer Society Press.
Pohl I. (1969) Bi-directional and heuristic search in path problems. Tech. rep. 104, SLAC (Stanford Linear Accelerator Center), Stanford, California.
Pohl I. (1970) First results on the effect of error in heuristic search. In Meltzer B. and Michie D. (Eds.), Machine Intelligence 5, p. 219-236. Elsevier/North-Holland, Amsterdam, London, New York.
Pohl I. (1971) Bi-directional search. In Meltzer B. and Michie D. (Eds.) Machine Intelligence 6, p. 127-140. Edinburgh University Press, Edinburgh, Scotland.
Pohl I. (1973) The avoidance of (relative) catastrophe, heuristic competence, genuine dynamic weighting and computational issues in heuristic problem solving. In Proceedings of the Third International Joint Conference on Artificial Intelligence (IJCAI-73), p. 20-23, Stanford, California. IJCAII.
Pohl I. (1977) Practical and theoretical considerations in heuristic search algorithms. In Elcock E. W. and Michie D. (Eds.), Machine Intelligence 8, p. 55-72. Ellis Horwood, Chichester, England.
Pomerleau D. A. (1993) Neural Network Perception for Mobile Robot Guidance. Kluwer, Dordrecht, Netherlands.
Ponte J. M. and Croft W. B. (1998) A language modeling approach to information retrieval. In Research and Development in Information Retrieval, p. 275—281.
Poole D. (1993) Probabilistic Horn abduction and Bayesian networks. Artificial Intelligence, 64, p. 81-129.
Poole D., Mackworth A. K., and Goebel R. (1998) Computational intelligence: A logical approach. Oxford University Press, Oxford, UK.
Popper K. R. (1959) The Logic of Scientific Discovery. Basic Books, New York.
Popper K. R. (1962) Conjectures and Refutations: The Growth of Scientific Knowledge. Basic Books, New York.
Porter M. F. (1980) An algorithm for suffix stripping. Program, 13(3), p. 130-137.
Post E. L. (1921) Introduction to a general theory of elementary propositions. American Journal of Mathematics, 43, p. 163-185.
Pradhan M., Provan G. M., Middleton B., and Henrion M. (1994) Knowledge engineering for large belief networks. In Uncertainty in Artificial Intelligence: Proceedings of the Tenth Conference, p. 484— 490, Seattle, Washington. Morgan Kaufmann.
Pratt V. R. (1976) Semantical considerations on Floyd-Hoare logic. In Proceedings of the 17th IEEE Symposium on the Foundations of Computer Science, p. 109-121. IEEE Computer Society Press.
Prawitz D. (1960) An improved proof procedure. Theoria, 26, 102-139.
Prawitz D. (1965) Natural Deduction: A Proof Theoretical Study. Almquist and Wiksell, Stockholm.
Press W. H., Teukolsky S. A., Vetterling W. T., and Flannery В. P. (2002) Numerical Recipes in C++: The Art of Scientific Computing (Second edition). Cambridge University Press, Cambridge, UK.
Prieditis A. E. (1993) Machine discovery of effective admissible heuristics. Machine Learning, 12(\- 3),p. 117-141.
Prinz D. G. (1952) Robot chess. Research, 5, p. 261-266.
Prior A. N. (1967) Past, Present, and Future. Oxford University Press, Oxford, UK.
Prosser P. (1993) Hybrid algorithms for constraint satisfaction problems. Computational Intelligence, 9, p. 268-299.
Pryor L. and Collins G. (1996) Planning for contingencies: A decision-based approach. Journal of Artificial Intelligence Research, 4, p. 287—339.
Pullum G. K. (1991) The Great Eskimo Vocabulary Hoax (and Other Irreverent Essays on the Study of Language). University of Chicago Press, Chicago.
Pullum G. К. (1996) Learnability, hyperlearning, and the poverty of the stimulus. In 22nd Annual Meeting of the Berkeley Linguistics Society.
Puterman M. L. (1994) Markov Decision Processes: Discrete Stochastic Dynamic Programming. Wiley, New York.
Puterman M. L. and Shin M. C. (1978) Modified policy iteration algorithms for discounted Markov decision problems. Management Science, 24(11), p. 1127—1137.
Putnam H. (1960) Minds and machines. In Hook S. (Ed.), Dimensions of Mind, p. 13 8—164. Macmillan, London.
Putnam H. (1963) “Degree of confirmation” and inductive logic. In Schilpp P. A. (Ed.) The Philosophy of Rudolf Carnap, p. 270-292. Open Court, La Salle, Illinois.
Putnam H. (1967) The nature of mental states. In Capitan W. H. and Merrill D. D. (Eds.) Art, Mind, and Religion, p. 37-48. University of Pittsburgh Press, Pittsburgh.
Pylyshyn Z. W. (1974) Minds, machines and phenomenology: Some reflections on Dreyfus' “What Computers Can't Do”. International Journal of Cognitive Psychology, 3(1), p. 57—77.
Pylyshyn Z. W. (1984) Computation and Cognition: Toward a Foundation for Cognitive Science. MIT Press, Cambridge, Massachusetts.
Quillian M. R. (1961) A design for an understanding machine. Paper presented at a colloquium: Semantic Problems in Natural Language, King's College, Cambridge, England.
Quine W. V. (1953) Two dogmas of empiricism. In From a Logical Point of View, p. 20-46. Harper and Row, New York.
Quine W. V. (1960) Word and Object. MIT Press, Cambridge, Massachusetts.
Quine W. V. (1982) Methods of Logic (Fourth edition). Harvard University Press, Cambridge, Massachusetts.
Quinlan E. and O'Brien S. (1992) Sublanguage: Characteristics and selection guidelines for MT. In AI and Cognitive Science *92: Proceedings of Annual Irish Conference on Artificial Intelligence and Cognitive Science *92, p. 342-345, Limerick, Ireland. Springer-Verlag.
Quinlan J. R. (1979) Discovering rules from large collections of examples: A case study. In Michie D. (Ed.), Expert Systems in the Microelectronic Age. Edinburgh University Press, Edinburgh, Scotland.
Quinlan J. R. (1986) Induction of decision trees. Machine Learning, 7, 81-106.
Quinlan J. R. (1990) Learning logical definitions from relations. Machine Learning, 5(3), p. 239-266.
Quinlan J. R. (1993) C4.5: Programs for machine learning. Morgan Kaufmann, San Mateo, California.
Quinlan J. R. and Cameron-Jones R. M. (1993) FOIL: a midterm report. In Brazdil P. B. (Ed.), European Conference on Machine Learning Proceedings (ECML-93), p. 3—20, Vienna. Springer-Verlag.
Quirk R., Greenbaum S., Leech G., and Svartvik J. (1985) A Comprehensive Grammar of the English Language. Longman, New York.
Rabani Y., Rabinovich Y., and Sinclair A. (1998) A computational view of population genetics. Random Structures and Algorithms, 12(4), p. 313-334.
Rabiner L. R. and Juang B.-H. (1993) Fundamentals of Speech Recognition. Prentice-Hall, Upper Saddle River, New Jersey.
Ramakrishnan R. and Ullman J. D. (1995) A survey of research in deductive database systems. Journal of Logic Programming, 23(2), p. 125—149.
Ramsey F. P. (1931) Truth and probability. In Braithwaite R. B. (Ed.), The Foundations of Mathematics and Other Logical Essays. Harcourt Brace Jovanovich, New York.
Raphson J. (1690) Analysis aequationum universalis. Apud Abelem Swalle, London.
Rassenti S., Smith V., and Bulfin R. (1982) A combinatorial auction mechanism for airport time slot allocation. Bell Journal of Economics, 13, p. 402-417.
Ratner D. and Warmuth M. (1986) Finding a shortest solution for the n x n extension of the 15- puzzle is intractable. In Proceedings of the Fifth National Conference on Artificial Intelligence (AAAI- 86), Vol. 1, p. 168-172, Philadelphia. Morgan Kaufmann.
Rauch H. E., Tung F., and Striebel С. T. (1965) Maximum likelihood estimates of linear dynamic systems. AIAA Journal, 3(8), p. 1445-1450.
Rechenberg I. (1965) Cybernetic solution path of an experimental problem. Library translation 1122, Royal Aircraft Establishment.
Rechenberg I. (1973) Evolutionsstrategie: Optimierung technischer Systeme nach Prinzipien der biologischen Evolution. Frommann-Holzboog, Stuttgart, Germany.
Regin J. (1994) A filtering algorithm for constraints of difference in CSPs. In Proceedings of the Twelfth National Conference on Artificial Intelligence (AAAI-94), p. 362-367, Seattle. AAAI Press.
Reichenbach H. (1949) The Theory of Probability: An Inquiry into the Logical and Mathematical Foundations of the Calculus of Probability (Second edition). University of California Press, Berkeley and Los Angeles.
Reif J. (1979) Complexity of the mover's problem and generalizations. In Proceedings of the 20th IEEE Symposium on Foundations of Computer Science, p. 421-427, San Juan, Puerto Rico. IEEE, IEEE Computer Society Press.
Reiter E. and Dale R. (2000) Building Natural Language Generation Systems. Studies in Natural Language Processing. Cambridge University Press, Cambridge, UK.
Reiter R. (1980) A logic for default reasoning. Artificial Intelligence, 13(\-2), p. 81-132.
Reiter R. (1991) The frame problem in the situation calculus: A simple solution (sometimes) and a completeness result for goal regression. In Lifschitz V. (Ed.) Artificial Intelligence and Mathematical Theory of Computation: Papers in Honor of John McCarthy, p. 359—380. Academic Press, New York.
Reiter R. (2001a) On knowledge-based programming with sensing in the situation calculus. ACM Transactions on Computational Logic, 2(4), p. 433-457.
Reiter R. (2001b) Knowledge in Action: Logical Foundations for Specifying and Implementing Dynamical Systems. MIT Press, Cambridge, Massachusetts.
Reitman W. and Wilcox B. (1979) The structure and performance of the INTERIM.2 Go program. In Proceedings of the Sixth International Joint Conference on Artificial Intelligence (IJCAI-79), p. 711-719, Tokyo. IJCAII.
Remus H. (1962) Simulation of a learning machine for playing Go. In Proceedings IFIP Congress, p. 428-432, Amsterdam, London, New York. Elsevier/North-Holland.
Riinyi A. (1970) Probability Theory. Elsevier/North-Holland, Amsterdam, London, New York.
Rescher N. and Urquhart A. (1971) Temporal Logic. Springer-Verlag, Berlin.
Reynolds C. W. (1987) Flocks, herds, and schools: A distributed behavioral model. Computer Graphics, 21, p. 25-34. SIGGRAPH *87 Conference Proceedings.
Rich E. and Knight K. (1991) Artificial Intelligence (second edition). McGraw-Hill, New York.
Richardson M., Bilmes J., and Diorio C. (2000) Hidden-articulator Markov models: Performance improvements and robustness to noise. In ICASSP-2000: 2000 International Conference on Acoustics, Speech, and Signal Processing, Los Alamitos, CA. IEEE Computer Society Press.
Rieger C. (1976) An organization of knowledge for problem solving and language comprehension. Artificial Intelligence, 7, p. 89-127.
Ringle M. (1979) Philosophical Perspectives in Artificial Intelligence. Humanities Press, Atlantic Highlands, New Jersey.
Rintanen J. (1999) Improvements to the evaluation of quantified boolean formulae. In Proceedings of the Sixteenth International Joint Conference on Artificial Intelligence (IJCAI-99), p. 1192-1197, Stockholm. Morgan Kaufmann.
Ripley В. D. (1996) Pattern Recognition and Neural Networks. Cambridge University Press, Cambridge, UK.
Rissanen J. (1984) Universal coding, information, prediction, and estimation. IEEE Transactions on Information Theory, IT-30(^), p. 629-636.
Ritchie G. D. and Hanna F. K. (1984) AM: A case study in AI methodology. Artificial Intelligence, 23(3), p. 249-268.
Rivest R. (1987) Learning decision lists. Machine Learning, 2(3), p. 229-246.
Roberts L. G. (1963) Machine perception of three-dimensional solids. Technical report 315, MIT Lincoln Laboratory.
Robertson N. and Seymour P. D. (1986) Graph minors, ii. Algorithmic aspects of tree-width. Journal of Algorithms, 7(3), p. 309-322.
Robertson S. E. (1977) The probability ranking principle in ir. Journal of Documentation, 33, p. 294— 304.
Robertson S. E. and Sparck Jones K. (1976) Relevance weighting of search terms. Journal of the American Society for Information Science, 27, p. 129—146.
Robinson J. A. (1965) A machine-oriented logic based on the resolution principle. Journal of the Association for Computing Machinery, 12, p. 23—41.
Roche E. and Schabes Y. (1997) Finite-State Language Processing (Language, Speech and Communication). Bradford Books, Cambridge.
Rock I. (1984) Perception. W. H. Freeman, New York.
Rorty R. (1965) Mind-body identity, privacy, and categories. Review of Metaphysics, 19(Y), p. 24—54.
Rosenblatt F. (1957) The perceptron: A perceiving and recognizing automaton. Report 85-460-1, Project PARA, Cornell Aeronautical Laboratory, Ithaca, New York.
Rosenblatt F. (1960) On the convergence of reinforcement procedures in simple perceptrons. Report VG-1196-G-4, Cornell Aeronautical Laboratory, Ithaca, New York.
Rosenblatt F. (1962) Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Spartan, Chicago.
Rosenblatt M. (1956) Remarks on some nonparametric estimates of a density function. Annals of Mathematical Statistics, 27, p. 832-837.
Rosenblueth A., Wiener N., and Bigelow J. (1943) Behavior, purpose, and teleology. Philosophy of Science, 10, p. 18—24.
Rosenschein J. S. and Zlotkin G. (1994) Rules of Encounter. MIT Press, Cambridge, Massachusetts.
Rosenschein S. J. (1985) Formal theories of knowledge in AI and robotics. New Generation Computing, 3(4), p. 345-357.
Rosenthal D. M. (Ed.) (1971) Materialism and the Mind-Body Problem. Prentice-Hall, Upper Saddle River, New Jersey.
Ross S. M. (1988) A First Course in Probability (third edition). Macmillan, London.
Roussel P. (1975) Prolog: Manual de reference et d'utilization. Tech, rep., Groupe d'Intelligence Artificielle, Universite d'Aix-Marseille.
Rouveirol C. and Puget J.-F. (1989) A simple and general solution for inverting resolution. In Proceedings of the European Working Session on Learning, p. 201—210, Porto, Portugal. Pitman.
Rowat P. F. (1979) Representing the Spatial Experience and Solving Spatial problems in a Simulated Robot Environment. Ph.D. thesis, University of British Columbia, Vancouver, BC, Canada.
Roweis S. T. and Ghahramani Z. (1999) A unifying review of Linear Gaussian Models. Neural Computation, 7 7(2), p. 305-345.
Rubin D. (1988) Using the SIR algorithm to simulate posterior distributions. In Bernardo J. M., de Groot M. H., Lindley D. V., and Smith A. F. M. (Eds.) Bayesian Statistics 3, p. 395—402. Oxford University Press, Oxford, UK.
Rumelhart D. E., Hinton G. E., and Williams R. J. (1986a) Learning internal representations by error propagation. In Rumelhart D. E. and McClelland J. L. (Eds.) Parallel Distributed Processing, Vol. 1, chap. 8, p. 318-362. MIT Press, Cambridge, Massachusetts.
Rumelhart D. E., Hinton G. E., and Williams R. J. (1986b) Learning representations by back- propagating errors. Nature, 323, p. 533-536.
Rumelhart D. E. and McClelland J. L. (Eds.) (1986) Parallel Distributed Processing. MIT Press, Cambridge, Massachusetts.
Ruspini E. H., Lowrance J. D., and Strat T. M. (1992) Understanding evidential reasoning. International Journal of Approximate Reasoning, 6(3), p. 401-424.
Russell J. G. B. (1990) Is screening for abdominal aortic aneurysm worthwhile? Clinical Radiology, 41, p. 182-184.
Russell S. J. (1985) The compleat guide to MRS. Report STAN-CS-85-1080, Computer Science Department, Stanford University.
Russell S. J. (1986) A quantitative analysis of analogy by similarity. In Proceedings of the Fifth National Conference on Artificial Intelligence (AAAI-86), p. 284-288, Philadelphia. Morgan Kaufmann.
Russell S. J. (1988) Tree-structured bias. In Proceedings of the Seventh National Conference on Artificial Intelligence (AAAI-88), Vol. 2, p. 641-645, St. Paul, Minnesota. Morgan Kaufmann.
24. Russell S. J. (1992) Efficient memory-bounded search methods. In ECAI 92: 10th European Conference on Artificial Intelligence Proceedings, p. 1—5, Vienna. Wiley.
Russell S. J. (1998) Learning agents for uncertain environments (extended abstract). In Proceedings of the Eleventh Annual ACM Workshop on Computational Learning Theory (COLT-98), p. 101-103, Madison, Wisconsin. ACM Press.
Russell S. J., Binder J., Koller D., and Kanazawa K. (1995) Local learning in probabilistic networks with hidden variables. In Proceedings of the Fourteenth International Joint Conference on Artificial Intelligence (IJCAI-95), p. 1146-52, Montreal. Morgan Kaufmann.
Russell S. J. and Grosof B. (1987) A declarative approach to bias in concept learning. In Proceedings of the Sixth National Conference on Artificial Intelligence (AAAI-87), Seattle. Morgan Kaufmann.
Russell S. J. and Norvig P. (1995) Artificial Intelligence: A Modern Approach. Prentice-Hall, Upper Saddle River, New Jersey.
Russell S. J. and Subramanian D. (1995) Provably bounded-optimal agents. Journal of Artificial Intelligence Research, 3, p. 575-609.
Russell S. J., Subramanian D., and Parr R. (1993) Provably bounded optimal agents. In Proceedings of the Thirteenth International Joint Conference on Artificial Intelligence (IJCAI-93), p. 338-345, Chambery, France. Morgan Kaufmann.
Russell S. J. and Wefald E. H. (1989) On optimal game-tree search using rational meta-reasoning. In Proceedings of the Eleventh International Joint Conference on Artificial Intelligence (IJCAI-89), p. 334-340, Detroit. Morgan Kaufmann.
Russell S. J. and Wefald E. H. (1991) Do the Right Thing: Studies in Limited Rationality. MIT Press, Cambridge, Massachusetts.
Rustagi J. S. (1976) Variational Methods in Statistics. Academic Press, New York.
Ryder J. L. (1971) Heuristic analysis of large trees as generated in the game of Go. Memo AIM-155, Stanford Artificial Intelligence Project, Computer Science Department, Stanford University, Stanford, California.
Sabin D. and Freuder E. C. (1994) Contradicting conventional wisdom in constraint satisfaction. In ECAI 94:11th European Conference on Artificial Intelligence. Proceedings, p. 125-129, Amsterdam. Wiley.
Sacerdoti Е. D. (1974) Planning in a hierarchy of abstraction spaces. Artificial Intelligence, 5(2), p. 115-135.
Sacerdoti E. D. (1975) The nonlinear nature of plans. In Proceedings of the Fourth International Joint Conference on Artificial Intelligence (1JCAI-75), p. 206-214, Tbilisi, Georgia. IJCAII.
Sacerdoti E. D. (1977) A Structure for Plans and Behavior. Elsevier/North-Holland, Amsterdam, London, New York.
Sacerdoti E. D., Fikes R. E., Reboh R., Sagalowicz D., Waldinger R., and Wilber В. M. (1976) QLISP — a language for the interactive development of complex systems. In Proceedings of the AFI PS National Computer Conference, p. 349-356.
Sacks E. and Joskowicz L. (1993) Automated modeling and kinematic simulation of mechanisms. Computer Aided Design, 25(2), p. 106-118.
Sadri F. and Kowalski R. (1995) Variants of the event calculus. In International Conference on Logic Programming, p. 67-81.
Sag I. and Wasow T. (1999) Syntactic Theory: An Introduction. CSLI Publications, Stanford, California.
Sager N. (1981) Natural Language Information Processing: A Computer Grammar of English and Its Applications. Addison-Wesley, Reading, Massachusetts.
Sahami M., Dumais S. T., Heckerman D., and Horvitz E. J. (1998) A Bayesian approach to filtering junk E-mail. In Learning for Text Categorization: Papers from the 1998 Workshop, Madison, Wisconsin. AAAI Technical Report WS-98-05.
Sahami M., Hearst M. A., and Saund E. (1996) Applying the multiple cause mixture model to text categorization. In Saitta L. (Ed.), Proceedings of ICML-96, 13th International Conference on Machine Learning, p. 435—443, Bari, Italy. Morgan Kaufmann Publishers.
Salomaa A. (1969) Probabilistic and weighted grammars. Information and Control, 15, p. 529—544.
Salton G. and McGill M. J. (1983) Introduction to Modern Information Retrieval. McGraw-Hill, New York, NY.
Salton G., Wong A., and Yang C. S. (1975) A vector space model for automatic indexing. Communications of the ACM, 18( 11), p. 613-620.
Samuel A. L. (1959) Some studies in machine learning using the game of checkers. IBM Journal of Research and Development, 3(3), p. 210-229.
Samuel A. L. (1967) Some studies in machine learning using the game of checkers II — Recent progress. IBM Journal of Research and Development, 77(6), p. 601-617.
Samuelsson C. and Rayner M. (1991) Quantitative evaluation of explanation-based learning as an optimization tool for a large-scale natural language system. In Proceedings of the Twelfth International Joint Conference on Artificial Intelligence (IJCAI-91), p. 609-615, Sydney. Morgan Kaufmann.
Sato T. and Kameya Y. (1997) PRISM: A symbolic-statistical modeling language. In Proceedings of the Fifteenth International Joint Conference on Artificial Intelligence (IJCAI-97), p. 1330—1335, Nagoya, Japan. Morgan Kaufmann.
Saul L. K., Jaakkola T., and Jordan M. I. (1996) Mean field theory for sigmoid belief networks. Journal of Artificial Intelligence Research, 4, p. 61—76.
Savage L. J. (1954) The Foundations of Statistics. Wiley, New York.
Sayre K. (1993) Three more flaws in the computational model. Paper presented at the APA (Central Division) Annual Conference, Chicago, Illinois.
Schabes Y., Abeille A., and Joshi A. K. (1988) Parsing strategies with lexicalized grammars: Application to tree adjoining grammars. In Vargha D. (Ed.), Proceedings of the 12th International Conference on Computational Linguistics (COLING), Vol. 2, p. 578—583, Budapest. John von Neumann Society for Computer Science.
Schaeffer J. (1997) One Jump Ahead: Challenging Human Supremacy in Checkers. Springer-Verlag, Berlin.
Schank R. C. and Abelson R. P. (1977) Scripts, Plans, Goals, and Understanding. Lawrence Erlbaum Associates, Potomac, Maryland.
Schank R. C. and Riesbeck C. (1981) Inside Computer Understanding: Five Programs Plus Miniatures. Lawrence Erlbaum Associates, Potomac, Maryland.
Schapire R. E. (1999) Theoretical views of boosting and applications. In Algorithmic Learning Theory: Proceedings of the 10th International Conference (ALT99), p. 13—25. Springer-Verlag, Berlin.
Schapire R. E. (1990) The strength of weak learnability. Machine Learning, 5(2), p. 197—227.
Schmolze J. G. and Lipkis T. A. (1983) Classification in the KL-ONE representation system. In Proceedings of the Eighth International Joint Conference on Artificial Intelligence (IJCAI-83), p. 330— 332, Karlsruhe, Germany. Morgan Kaufmann.
Schofield P. D. A. (1967) Complete solution of the eight puzzle. In Dale E. and Michie D. (Eds.), Machine Intelligence 2, p. 125—133. Elsevier/North-Holland, Amsterdam, London, New York.
ScholkopfB. and Smola A. J. (2002) Leamingwith Kernels. MIT Press, Cambridge, Massachusetts.
Schoning T. (1999) A probabilistic algorithm for k-SAT and constraint satisfaction problems. In 40th Annual Symposium on Foundations of Computer Science, p. 410—414, New York. IEEE Computer Society Press.
Schoppers M. J. (1987) Universal plans for reactive robots in unpredictable environments. In Proceedings of the Tenth International Joint Conference on Artificial Intelligence (IJCAI-87), p. 1039— 1046, Milan. Morgan Kaufmann.
Schoppers M. J. (1989) In defense of reaction plans as caches. AI Magazine, 10(4), p. 51-60.
Schroder E. (1877) DerOperationskreis des Logikkalkills. B. G. Teubner, Leipzig.
Schultz W., Dayan P., and Montague P. R. (1997) A neural substrate of prediction and reward. Science, 275, p. 1593.
Schiitze H. (1995) Ambiguity in Language Learning: Computational and Cognitive Models. Ph.D. thesis, Stanford University. Also published by CSLI Press, 1997.
Schwartz J. T., Scharir M., and Hopcroft J. (1987) Planning, Geometry and Complexity of Robot Motion. Ablex Publishing Corporation, Norwood, NJ.
Schwartz S. P. (Ed.) (1977) Naming, Necessity, and Natural Kinds. Cornell University Press, Ithaca, New York.
Scott D. and Krauss P. (1966) Assigning probabilities to logical formulas. In Hintikka J. and Suppes P. (Eds.) Aspects of Inductive Logic. North-Holland, Amsterdam.
13 74. Scriven M. (195 3) The mechanical concept of mind. Mind, 62, p. 230-240.
Searle J. R. (1969) Speech Acts: An Essay in the Philosophy of Language. Cambridge University Press, Cambridge, UK.
Searle J. R. (1980) Minds, brains, and programs. Behavioral and Brain Sciences, 3, p. 417—457.
Searle J. R. (1984) Minds, Brains and Science. Harvard University Press, Cambridge, Massachusetts.
13 78. Searle J. R. (1990) Is the brain's mind a computer program? Scientific American, 262, p. 26-31.
Searle J. R. (1992) The Rediscovery of the Mind. MIT Press, Cambridge, Massachusetts.
Selman B., Kautz H., and Cohen B. (1996) Local search strategies for satisfiability testing. In DIMACS Series in Discrete Mathematics and Theoretical Computer Science, Volume 26, p. 521—532. American Mathematical Society, Providence, Rhode Island.
Selman B. and Levesque H. J. (1993) The complexity of path-based defeasible inheritance. Artificial Intelligence, 62(2), p. 303-339.
Selman В., Levesque Н. J., and Mitchell D. (1992) A new method for solving hard satisfiability problems. In Proceedings of the Tenth National Conference on Artificial Intelligence (AAAI-92), p. 440-446, San Jose. AAAI Press.
Shachter R. D. (1986) Evaluating influence diagrams. Operations Research, 34, p. 871-882.
Shachter R. D. (1998) Bayes-ball: The rational pastime (for determining irrelevance and requisite information in belief networks and influence diagrams). In Uncertainty in Artificial Intelligence: Proceedings of the Fourteenth Conference, p. 480-487, Madison, Wisconsin. Morgan Kaufmann.
Shachter R. D., D*Ambrosio B., and Del Favero B. A. (1990) Symbolic probabilistic inference in belief networks. In Proceedings of the Eighth National Conference on Artificial Intelligence (AAAI-90), p. 126-131, Boston. MIT Press.
Shachter R. D. and Kenley C. R. (1989) Gaussian influence diagrams. Management Science, 35(5), p. 527-550.
Shachter R. D. and Peot M. (1989) Simulation approaches to general probabilistic inference on belief networks. In Proceedings of the Fifth Conference on Uncertainty in Artificial Intelligence (UAI-89), Windsor, Ontario. Morgan Kaufmann.
Shafer G. (1976) A Mathematical Theory of Evidence. Princeton University Press, Princeton, New Jersey.
Shafer G. and Pearl J. (Eds.) (1990) Readings in Uncertain Reasoning. Morgan Kaufmann, San Mateo, California.
Shahookar K. and Mazumder P. (1991) VLSI cell placement techniques. Computing Surveys, 23(2), p. 143-220.
Shanahan M. (1997) Solving the Frame Problem. MIT Press, Cambridge, Massachusetts.
Shanahan M. (1999) The event calculus explained. In Wooldridge M. J. and Veloso M. (Eds.) Artificial Intelligence Today, p. 409-430. Springer-Verlag, Berlin.
Shankar N. (1986) Proof-Checking Metamathematics. Ph.D. thesis, Computer Science Department, University of Texas at Austin.
Shannon С. E. and Weaver W. (1949) The Mathematical Theory of Communication. University of Illinois Press, Urbana, Illinois.
Shannon С. E. (1950) Programming a computer for playing chess. Philosophical Magazine, 41(4), p. 256-275.
Shapiro E. (1981) An algorithm that infers theories from facts. In Proceedings of the Seventh International Joint Conference on Artificial Intelligence (IJCAI-81), p. 1064, Vancouver, British Columbia. Morgan Kaufmann.
Shapiro S. C. (Ed.) (1992) Encyclopedia of Artificial Intelligence (second edition). Wiley, New York.
Shapley S. (1953) Stochastic games. In Proceedings of the National Academy of Sciences, Vol. 39, p. 1095-1100.
Shavlik J. and Dietterich T. (Eds.) (1990) Readings in Machine Learning. Morgan Kaufmann, San Mateo, California.
Shelley M. (1818) Frankenstein: or, the Modern Prometheus. Pickering and Chatto.
Shenoy P. P. (1989) A valuation-based language for expert systems. International Journal of Approximate Reasoning, 3(5), p. 383—411.
Shi J. and Malik J. (2000) Normalized cuts and image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 22(8), p. 8 88-905.
Shoham Y. (1987) Temporal logics in AI: Semantical and ontological considerations. Artificial Intelligence, 33(1), p. 89-104.
Shoham Y. (1993) Agent-oriented programming. Artificial Intelligence, 60(\), p. 51-92.
Shoham Y. (1994) Artificial Intelligence Techniques in Prolog. Morgan Kaufmann, San Mateo, California.
ShortlifFe Е. Н. (1976) Computer-Based Medical Consultations: MYCIN. Elsevier/North-Holland, Amsterdam, London, New York.
Shwe M. and Cooper G. (1991) An empirical analysis of likelihood-weighting simulation on a large, multiply connected medical belief network. Computers and Biomedical Research, 1991(5), p. 453—475.
Siekmann J. and Wrightson G. (Eds.) (1983) Automation of Reasoning. Springer-Verlag, Berlin.
Sietsma J. and Dow R. J. F. (1988) Neural net pruning — why and how. In IEEE International Conference on Neural Networks, p. 325—333, San Diego. IEEE.
Siklossy L. and Dreussi J. (1973) An efficient robot planner which generates its own procedures. In Proceedings of the Third International Joint Conference on Artificial Intelligence (IJCAI-73), p. 423— 430, Stanford, California. IJCAII.
Silverstein C., Henzinger M., Marais H., and Moricz M. (1998) Analysis of a very large altavista query log. Tech. rep. 1998-014, Digital Systems Research Center.
Simmons R. and Koenig S. (1995) Probabilistic robot navigation in partially observable environments. In Proceedings of IJCAI-95, p. 1080-1087, Montreal, Canada. IJCAI, Inc.
Simmons R. and Slocum J. (1972) Generating english discourse from semantic networks. Communications of the ACM, 15(\Q), p. 891—905.
Simon H. A. (1947) Administrative behavior. Macmillan, New York.
Simon H. A. (1957) Models of Man: Social and Rational. John Wiley, New York.
Simon H. A. (1963) Experiments with a heuristic compiler. Journal of the Association for Computing Machinery, 10, p. 493-506.
Simon H. A. (1981) The Sciences of the Artificial (second edition). MIT Press, Cambridge, Massachusetts.
Simon H. A. (1982) Models of Bounded Rationality, Volume 1. The MIT Press, Cambridge, Massachusetts.
Simon H. A. and Newell A. (1958) Heuristic problem solving: The next advance in operations research. Operations Research, 6, p. 1-10.
Simon H. A. and Newell A. (1961) Computer simulation of human thinking and problem solving. Datamation, June/July, p. 35—37.
Simon J. C. and Dubois O. (1989) Number of solutions to satisfiability instances — applications to knowledge bases. Int. J. Pattern Recognition and Artificial Intelligence, 3, p. 53-65.
Sirovitch L. and Kirby M. (1987) Low-dimensional procedure for the characterization of human faces. Journal of the Optical Society of America A, 2, p. 586-591.
Skinner B. F. (1953) Science and Human Behavior. Macmillan, London.
Skolem T. (1920) Logisch-kombinatorische Untersuchungen Uber die Erfbllbarkeit Oder Beweisbarkeit mathematischer Satze nebst einem Theoreme uber die dichte Mengen. Videnskapsselskapets skrifter I. Matematisk-naturvidenskabelig klasse, 4.
Skolem T. (1928) Uber die mathematische Logik. Norsk matematisk tidsskrift, 10, p. 125-142.
Slagle J. R. (1963a) A heuristic program that solves symbolic integration problems in freshman calculus. Journal of the Association for Computing Machinery, 10(4)
Slagle J. R. (1963b) Game trees, m & n minimaxing, and the m & n alpha-beta procedure. Artificial intelligence group report 3, University of California, Lawrence Radiation Laboratory, Livermore, California.
Slagle J. R. and Dixon J. K. (1969) Experiments with some programs that search game trees. Journal of the Association for Computing Machinery, 16(2), 189-207.
Slate D. J. and Atkin L. R. (1977) CHESS 4.5 — Northwestern University chess program. In Frey P. W. (Ed.) Chess Skill in Man and Machine, p. 82-118. Springer-Verlag, Berlin.
Slater Е. (1950) Statistics for the chess computer and the factor of mobility. In Symposium on Information Theory, p. 150—152, London. Ministry of Supply.
Sleator D. and Temperley D. (1993) Parsing English with a link grammar. In Third Annual Workshop on Parsing technologies.
Sloman A. (1978) The Computer Revolution in Philosophy. Harvester Press, Hassocks, Sussex, UK.
Smallwood R. D. and Sondik E. J. (1973) The optimal control of partially observable Markov processes over a finite horizon. Operations Research, 21, p. 1071-1088.
Smith D. E., Genesereth M. R., and Ginsberg M. L. (1986) Controlling recursive inference. Artificial Intelligence, 30(3), p. 343-389.
Smith D. R. (1990) KIDS: a semiautomatic program development system. IEEE Transactions on Software Engineering, 16(9), p. 1024-1043.
Smith D. R. (1996) Machine support for software development. In Proceedings of the 18th International Conference on Software Engineering, p. 167—168, Berlin. IEEE Computer Society Press.
Smith D. E. and Weld D. S. (1998) Conformant Graphplan. In Proceedings of the Fifteenth National Conference on Artificial Intelligence (AAAI-98), p. 889-896, Madison, Wisconsin. AAAI Press.
Smith J. Q. (1988) Decision Analysis. Chapman and Hall, London.
Smith J. M. and Szathmdry E. (1999) The Origins of Life: From the Birth of Life to the Origin of Language. Oxford University Press, Oxford, UK.
Smith R. C. and Cheeseman P. (1986) On the representation and estimation of spatial uncertainty. International Journal of Robotics Research, 5(4), p. 56—68.
Smith S. J. J., Nau D. S., and Throop T. A. (1998) Success in spades: Using ai planning techniques to win the world championship of computer bridge. In Proceedings of the Fifteenth National Conference on Artificial Intelligence (AAAI-98), p. 1079-1086, Madison, Wisconsin. AAAI Press.
Smolensky P. (1988) On the proper treatment of connectionism. Behavioral and Brain Sciences, 2, p. 1-74.
Smyth P., Heckerman D., and Jordan M. I. (1997) Probabilistic independence networks for hidden Markov probability models. Neural Computation, 9(2), p. 227-269.
Soderland S. and Weld D. S. (1991) Evaluating nonlinear planning. Technical report TR-91-02-03, University of Washington Department of Computer Science and Engineering, Seattle, Washington.
SolomonofFR. J. (1964) A formal theory of inductive inference. Information and Control, 7, p. 1-22; 224-254.
Sondik E. J. (1971) The Optimal Control of Partially Observable Markov Decision Processes. Ph.D. thesis, Stanford University, Stanford, California.
Sosic R. and Gu J. (1994) Efficient local search with conflict minimization: A case study of the n-queens problem. IEEE Transactions on Knowledge and Data Engineering, 6(5), p. 661—668.
Sowa J. (1999) Knowledge Representation: Logical, Philosophical, and Computational Foundations. Blackwell, Oxford, UK.
Spiegelhalter D. J. (1986) Probabilistic reasoning in predictive expert systems. In Kanai L. N. and Lemmer J. F. (Eds.) Uncertainty in Artificial Intelligence, p. 47-67. Elsevier/North-Holland, Amsterdam, London, New York.
Spiegelhalter D. J., Dawid P., Lauritzen S., and Cowell R. (1993) Bayesian analysis in expert systems. Statistical Science, 8, p. 219—282.
Spielberg S. (2001) AI. Кинофильм.
Spirtes P., Glymour C., and Schemes R. (1993) Causation, prediction, and search. Springer-Verlag, Berlin.
Springsteen B. (1992) 57 channels (and nothin' on). In Human Touch. Sony.
Srinivasan A., Muggleton S. H., King R. D., and Sternberg M. J. E. (1994) Mutagenesis: ILP experiments in a non-determinate biological domain. In Wrobel S. (Ed.) Proceedings of the 4th International Workshop on Inductive Logic Programming, Vol. 237, p. 217-232. Gesellschaft fur Mathematik und Datenverarbeitung MBH.
Srivas M. and Bickford M. (1990) Formal verification of a pipelined microprocessor. IEEE Software, 7(5), p. 52-64.
Stallman R. M. and Sussman G. J. (1977) Forward reasoning and dependency-directed backtracking in a system for computer-aided circuit analysis. Artificial Intelligence, 9(2), p. 135—196.
Stanfill C. and Waltz D. (1986) Toward memory-based reasoning. Communications of the Association for Computing Machinery, 29( 12), p. 1213-1228.
Stefik M. (1995) Introduction to Knowledge Systems. Morgan Kaufmann, San Mateo, California.
Stein L. A. (2002) Interactive Programming in Java (pre-publication draft). Morgan Kaufmann, San Mateo, California.
Steinbach M., Karypis G., and Kumar V. (2000) A comparison of document clustering techniques. In KDD Workshop on Text Mining, p. 109—110. ACM Press.
Stevens K. A. (1981) The information content of texture gradients. Biological Cybernetics, 42, p. 95-105.
Stickel M. E. (1985) Automated deduction by theory resolution. Journal of Automated Reasoning, 7(4), p. 333-355.
Stickel M. E. (1988) A Prolog Technology Theorem Prover: implementation by an extended Prolog compiler. Journal of Automated Reasoning, 4, p. 353-380.
Stiller L. B. (1992) KQNKRR. ICCA Journal, 15CY p. 16-18.
Stillings N. A., Weisler S., Feinstein M. H., Garfield J. L, and Rissland E. L. (1995) Cognitive Science: An Introduction (second edition). MIT Press, Cambridge, Massachusetts.
Stockman G. (1979) A minimax algorithm better than alpha-beta? Artificial Intelligence, 12(2), p. 179-196.
Stolcke A. and Omohundro S. (1994) Inducing probabilistic grammars by Bayesian model merging. In Proceedings of the Second International Colloquium on Grammatical Inference and Applications (ICGI-94), p. 106—118, Alicante, Spain. Springer-Verlag.
Stone P. (2000) Layered Learning in Multi-Agent Systems: A Winning Approach to Robotic Soccer. MIT Press, Cambridge, Massachusetts.
Strachey C. (1952) Logical or non-mathematical programmes. In Proceedings of the Association for Computing Machinery (ACM), p. 46-49, Toronto, Canada.
Subramanian D. (1993) Artificial intelligence and conceptual design. In Proceedings of the Thirteenth International Joint Conference on Artificial Intelligence (IJCAI-93), p. 800-809, Chambery, France. Morgan Kaufmann.
Subramanian D. and Feldman R. (1990) The utility of EBL in recursive domain theories. In Proceedings of the Eighth National Conference on Artificial Intelligence (AAAI-90), Vol. 2, p. 942949, Boston. MIT Press.
Subramanian D. and Wang E. (1994) Constraint-based kinematic synthesis. In Proceedings of the International Conference on Qualitative Reasoning, p. 228—239. AAAI Press.
Sugihara K. (1984) A necessary and sufficient condition for a picture to represent a polyhedral scene. IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 6(5), p. 578-586.
Sussman G. J. (1975) A Computer Model of Skill Acquisition. Elsevier/North-Holland, Amsterdam, London, New York.
Sussman G. J. and Winograd T. (1970) MICRO-PLANNER Reference Manual. Ai memo 203, MIT AI Lab, Cambridge, Massachusetts.
Sutherland I. (1963) Sketchpad: A man-machine graphical communication system. In Proceedings of the Spring Joint Computer Conference, p. 329-346. IFIPS.
Sutton R. S. (1988) Learning to predict by the methods of temporal differences. Machine Learning, 3, p. 9-44.
Sutton R. S., McAllester D. A., Singh S. P., and Mansour Y. (2000) Policy gradient methods for reinforcement learning with function approximation. In Solla S. A., Leen T. K., and Muller K.-R. (Eds.), Advances in Neural Information Processing Systems 12, p. 1057—1063. MIT Press, Cambridge, Massachusetts.
Sutton R. S. (1990) Integrated architectures for learning, planning, and reacting based on approximating dynamic programming. In Machine Learning: Proceedings of the Seventh International Conference, p. 216-224, Austin, Texas. Morgan Kaufmann.
Sutton R. S. and Barto A. G. (1998) Reinforcement Learning: An Introduction. MIT Press, Cambridge, Massachusetts.
Swade D. D. (1993) Redeeming Charles Babbage's mechanical computer. Scientific American, 268(2), p. 86-91.
Swerling P. (1959) First order error propagation in a stagewise smoothing procedure for satellite observations. Journal of Astronautical Sciences, 6, p. 46—52.
Swift T. and Warren D. S. (1994) Analysis of SLG-WAM evaluation of definite programs. In Logic Programming. Proceedings of the 1994 International Symposium, p. 219—235, Ithaca, NY. MIT Press.
Syijanen T. (2000) Lparse 1.0 user's manual.
http: //saturn. tcs.hut. fi/Software/smodels.
Tadepalli P. (1993) Learning from queries and examples with tree-structured bias. In Proceedings of the Tenth International Conference on Machine Learning, p. 322—329, Amherst, Massachusetts. Morgan Kaufmann.
Tait P. G. (1880) Note on the theory of the “15 puzzle”. Proceedings of the Royal Society of Edinburgh, 10, p. 664—665.
Tamaki H. and Sato T. (1986) OLD resolution with tabulation. In Third International Conference on Logic Programming, p. 84-98, London. Springer-Verlag.
Tambe M., Newell A., and Rosenbloom P. S. (1990) The problem of expensive chunks and its solution by restricting expressiveness. Machine Learning, 5, p. 299-348.
Taijan R. E. (1983) Data Structures and Network Algorithms. CBMS-NSF Regional Conference Series in Applied Mathematics. SIAM (Society for Industrial and Applied Mathematics, Philadelphia.
Tarski A. (1935) Die Wahrheitsbegriffin den formalisierten Sprachen. Studia Philosophica, 1, p. 261-405.
Tarski A. (195 6) Logic, Semantics, Metamathematics: Papers from 1923 to 1938. Oxford University Press, Oxford, UK.
Tash J. K. and Russell S. J. (1994) Control strategies for a stochastic planner. In Proceedings of the Twelfth National Conference on Artificial Intelligence (AAAI-94), p. 1079-1085, Seattle. AAAI Press.
Tate A. (1975a) Interacting goals and their use. In Proceedings of the Fourth International Joint Conference on Artificial Intelligence (IJCAI-75), p. 215-218, Tbilisi, Georgia. IJCAII.
Tate A. (1975b) Using Goal Structure to Direct Search in a Problem Solver. Ph.D. thesis, University of Edinburgh, Edinburgh, Scotland.
Tate A. (1977) Generating project networks. In Proceedings of the Fifth International Joint Conference on Artificial Intelligence (IJCAI-77), p. 888-893, Cambridge, Massachusetts. IJCAII.
Tate A. and Whiter A. M. (1984) Planning with multiple resource constraints and an application to a naval planning problem. In Proceedings of the First Conference on AI Applications, p. 410—416, Denver, Colorado.
Tatman J. A. and Shachter R. D. (1990) Dynamic programming and influence diagrams. IEEE Transactions on Systems, Man and Cybernetics, 20(2), p. 365—379.
Tesauro G. (1989) Neurogammon wins computer olympiad. Neural Computation, 7(3), p. 321-323.
Tesauro G. (1992) Practical issues in temporal difference learning. Machine Learning, 5(3-4), p. 257-277.
Tesauro G. (1995) Temporal difference learning and TD-Gammon. Communications of the Association for Computing Machinery, 38(3), p. 58-68.
Tesauro G. and Sejnowski T. (1989) A parallel network that learns to play backgammon. Artificial Intelligence, 39(3), p. 357-390.
Thagard P. (1996) Mind: Introduction to Cognitive Science. MIT Press, Cambridge, Massachusetts.
Thaler R. (1992) The Winners Curse: Paradoxes and Anomalies of Economic Life. Princeton University Press, Princeton, New Jersey.
Thielscher M. (1999) From situation calculus to fluent calculus: State update axioms as a solution to the inferential frame problem. Artificial Intelligence, 7 7 7(1—2), p. 277-299.
Thomason R. H. (Ed.) (1974) Formal Philosophy: Selected Papers of Richard Montague. Yale University Press, New Haven, Connecticut.
Thompson D. W. (1917) On Growth and Form. Cambridge University Press, Cambridge, UK.
Thrun S. (2000) Towards programming tools for robots that integrate probabilistic computation and learning. In Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), San Francisco, CA. IEEE.
Thrun S. (2002) Robotic mapping: A survey. In Lakemeyer G. and Nebel B. (Eds.), Exploring Artificial Intelligence in the New Millenium. Morgan Kaufmann. Готовится к выпуску.
Titterington D. M., Smith A. F. M., and Makov U. E. (1985) Statistical analysis of finite mixture distributions. Wiley, New York.
Toffler A. (1970) Future Shock. Bantam.
Tomasi C. and Kanade T. (1992) Shape and motion from image streams under orthography: A factorization method. International Journal of Computer Vision, 9, p. 137—154.
Touretzky D. S. (1986) The Mathematics of Inheritance Systems. Pitman and Morgan Kaufmann, London and San Mateo, California.
Trucco E. and Verri A. (1998) Introductory Techniques for 3-D Computer Vision. Prentice Hall, Upper Saddle River, New Jersey.
Tsang E. (1993) Foundations of Constraint Satisfaction. Academic Press, New York.
Tsitsiklis J. N. and Van Roy B. (1997) An analysis of temporal-difference learning with function approximation. IEEE Transactions on Automatic Control, 42(5), p. 674-690.
Turner K. and Wolpert D. (2000) Collective intelligence and braess* paradox. In Proceedings of the AAAI/IAAI, p. 104-109.
Turcotte M., Muggleton S. H., and Sternberg M. J. E. (2001) Automated discovery of structural signatures of protein fold and function. Journal of Molecular Biology, 306, p. 591—605.
Turing A. (1936) On computable numbers, with an application to the Entscheidungsproblem. Proceedings of the London Mathematical Society, 2nd series, 42, p. 230—265.
Turing A. (1948) Intelligent machinery. Tech, rep., National Physical Laboratory. Перепечатано в Ince D. C. (Ed.) (1992) The Collected Works of A. M. Turing. Volume 3. North-Holland, Amsterdam.
Turing A. (1950) Computing machinery and intelligence. Mind, 59, p. 433-460.
Turing A., Strachey C., Bates M. A., and Bowden В. V. (1953) Digital computers applied to games. In Bowden В. V. (Ed.) Faster than Thought, p. 286—310. Pitman, London.
Turtle H. R. and Croft W. B. (1992) A comparison of text retrieval models. The Computer Journal, 35( l),p. 279-289.
1523.Tversky A. and Kahneman D. (1982) Causal schemata in judgements under uncertainty. In Kahneman D., Slovic P., and Tversky A. (Eds.) Judgement Under Uncertainty: Heuristics and Biases. Cambridge University Press, Cambridge, UK.
Ullman J. D. (1985) Implementation of logical query languages for databases. ACM Transactions on Database Systems, 10(3), p. 289-321.
Ullman J. D. (1989) Principles of Database and Knowledge-Base Bystems. Computer Science Press, Rockville, Maryland.
Ullman S. (1979) The Interpretation of Visual Motion. MIT Press, Cambridge, Massachusetts.
Vaessens R. J. M., Aarts E. H. I., and Lenstra J. K. (1996) Job shop scheduling by local search. INFORMS J. on Computing, 8, p. 302-117.
Valiant L. (1984) A theory of the learnable. Communications of the Association for Computing Machinery, 27, p. 1134-1142.
van Benthem J. (1983) The Logic of Time. D. Reidel, Dordrecht, Netherlands.
Van Emden M. H. and Kowalski R. (1976) The semantics of predicate logic as a programming language. Journal of the Association for Computing Machinery, 23(4), p. 733—742.
van Harmelen F. and Bundy A. (1988) Explanation-based generalisation = partial evaluation. Artificial Intelligence, 36(3), p. 401-412.
van Heijenoort J. (Ed.) (1967) From Frege to Godel: A Source Book in Mathematical Logic, 1879— 1931. Harvard University Press, Cambridge, Massachusetts.
Van Hentenryck P., Saraswat V., and Deville Y. (1998) Design, implementation, and evaluation of the constraint language cc(fd). Journal of Logic Programming, 37(1—3), p. 139—164.
van Nunen J. A. E. E. (1976) A set of successive approximation methods for discounted Markovian decision problems. Zeitschrift fur Operations Research, Serie A, 20(5), p. 203-208.
van Roy B. (1998) Learning and value function approximation in complex decision processes. Ph.D. thesis, Laboratory for Information and Decision Systems, MIT, Cambridge, Massachusetts.
Van Roy P. L. (1990) Can logic programming execute as fast as imperative programming? Report UCB/CSD 90/600, Computer Science Division, University of California, Berkeley, California.
Vapnik V. N. (1998) Statistical Learning Theory. Wiley, New York.
Vapnik V. N. and Chervonenkis A. Y. (1971) On the uniform convergence of relative frequencies of events to their probabilities. Theory of Probability and Its Applications, 16, p. 264—280.
Varian H. R. (1995) Economic mechanism design for computerized agents. In USENIX Workshop on Electronic Commerce, p. 13—21.
Veloso M. and Carbonell J. G. (1993) Derivational analogy in PRODIGY: Automating case acquisition, storage, and utilization. Machine Learning, 10, p. 249-278.
Vere S. A. (1983) Planning in time: Windows and durations for activities and goals. IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 5, p. 246-267.
Vinge V. (1993) The coming technological singularity: How to survive in the post-human era. In VISION-21 Symposium. NASA Lewis Research Center and the Ohio Aerospace Institute.
Viola P. and Jones M. (2002) Robust real-time object detection. International Journal of Computer Vision. В печати.
von Mises R. (1928) Wahrscheinlichkeit, Statistik und Wahrheit. J. Springer, Berlin.
von Neumann J. (1928) ZurTheorie der Gesellschaftsspiele. Mathematische Annalen, 100, p. 295-320.
von Neumann J. and Morgenstern O. (1944) Theory of Games and Economic Behavior (first edition). Princeton University Press, Princeton, New Jersey.
von Winterfeldt D. and Edwards W. (1986) Decision Analysis and Behavioral Research. Cambridge University Press, Cambridge, UK.
Voorhees Е. М. (1993) Using WordNet to disambiguate word senses for text retrieval. In Sixteenth Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, p. 171-80, Pittsburgh. Association for Computing Machinery.
Vossen T., Ball M., Lotem A., and Nau D. S. (2001) Applying integer programming to ai planning. Knowledge Engineering Review, 16, p. 85—100.
Waibel A. and Lee K.-F. (1990) Readings in Speech Recognition. Morgan Kaufmann, San Mateo, California.
Waldinger R. (1975) Achieving several goals simultaneously. In Elcock E. W. and Michie D. (Eds.) Machine Intelligence 8, p. 94-138. Ellis Horwood, Chichester, England.
Waltz D. (1975) Understanding line drawings of scenes with shadows. In Winston P. H. (Ed.) The Psychology of Computer Vision. McGraw-Hill, New York.
Wanner E. (1974) On remembering, forgetting and understanding sentences. Mouton, The Hague and Paris.
Warren D. H. D. (1974) WARPLAN: A System for Generating Plans. Department of Computational Logic Memo 76, University of Edinburgh, Edinburgh, Scotland.
Warren D. H. D. (1976) Generating conditional plans and programs. In Proceedings of the AISB Summer Conference, p. 344-354.
Warren D. H. D. (1983) An abstract Prolog instruction set. Technical note 309, SRI International, Menlo Park, California.
Warren D. H. D., Pereira L. M., and Pereira F. (1977) PROLOG: The language and its implementation compared with LISP. SIGPLAN Notices, 12$), p. 109-115.
Watkins C. J. (1989) Models of Delayed Reinforcement Learning. Ph.D. thesis, Psychology Department, Cambridge University, Cambridge, UK.
Watson J. D. and Crick F. H. C. (1953) A structure for deoxyribose nucleic acid. Nature, 171, p. 737.
Webber B. L. (1983) So what can we talk about now? In Brady M. and Berwick R. (Eds.) Computational Models of Discourse. MIT Press, Cambridge, Massachusetts.
Webber B. L. (1988) Tense as discourse anaphora. Computational Linguistics, 14(2), p. 61—73.
Webber B. L. and Nilsson N. J. (Eds.) (1981) Readings in Artificial Intelligence. Morgan Kaufmann, San Mateo, California.
Weidenbach C. (2001) SPASS: Combining superposition, sorts and splitting. In Robinson A. and Voronkov A. (Eds.) Handbook of Automated Reasoning. Volume 11. p. 1965-2013, Elsevier Science.
Weiss G. (1999) Multiagent systems. MIT Press, Cambridge, Massachusetts.
Weiss S. and Kulikowski C. A. (1991) Computer Systems That Learn: Classification and Prediction Methods from Statistics, Neural Nets, Machine Learning, and Expert Systems. Morgan Kaufmann, San Mateo, California.
Weizenbaum J. (1976) Computer Power and Human Reason. W. H. Freeman, New York.
Weld D. S. (1994) An introduction to least commitment planning. AI Magazine, 15(4), p. 27-61.
Weld D. S. (1999) Recent advances in ai planning. AI Magazine,-20(2), p. 93-122.
Weld D. S., Anderson C. R., and Smith D. E. (1998) Extending graphplan to handle uncertainty and sensing actions. In Proceedings of the Fifteenth National Conference on Artificial Intelligence (AAAI-98), p. 897—904, Madison, Wisconsin. AAAI Press.
Weld D. S. and de Kleer J. (1990) Readings in Qualitative Reasoning about Physical Systems. Morgan Kaufmann, San Mateo, California.
Weld D. S. and Etzioni O. (1994) The first law of robotics: A call to arms. In Proceedings of the Twelfth National Conference on Artificial Intelligence (AAAI-94), Seattle. AAAI Press.
Wellman M. P. (1985) Reasoning about preference models. Technical report MIT/LCS/TR-340, Laboratory for Computer Science, MIT, Cambridge, Massachusetts.
Wellman М. Р. (1988) Formulation of Tradeoffs in Planning under Uncertainty. Ph.D. thesis, Massachusetts Institute of Technology, Cambridge, Massachusetts.
Wellman M. P. (1990a) Fundamental concepts of qualitative probabilistic networks. Artificial Intelligence, 44(3), p. 257-303.
Wellman M. P. (1990b) The STRIPS assumption for planning under uncertainty. In Proceedings of the Eighth National Conference on Artificial Intelligence (AAAI-90), p. 198-203, Boston. MIT Press.
Wellman M. P. (1995) The economic approach to artificial intelligence. ACM Computing Surveys, 27(3),p. 360-362.
Wellman M. P., Breese J. S., and Goldman R. (1992) From knowledge bases to decision models. Knowledge Engineering Review, 7(1), p. 35—53.
Wellman M. P. and Doyle J. (1992) Modular utility representation for decision-theoretic planning. In Proceedings, First International Conference on AI Planning Systems, p. 236—242, College Park, Maryland. Morgan Kaufmann.
Werbos P. (1974) Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. Ph.D. thesis, Harvard University, Cambridge, Massachusetts.
Werbos P. (1977) Advanced forecasting methods for global crisis warning and models of intelligence. General Systems Yearbook, 22, p. 25-38.
Wesley M. A. and Lozano-Perez T. (1979) An algorithm for planning collision-free paths among polyhedral objects. Communications of the ACM, 22(10), p. 560—5 70.
Wheatstone C. (1838) On some remarkable, and hitherto unresolved, phenomena of binocular vision. Philosophical Transactions of the Royal Society of London, 2, p. 371—394.
Whitehead A. N. (1911) An Introduction to Mathematics. Williams and Northgate, London.
Whitehead A. N. and Russell B. (1910) Principia Mathematica. Cambridge University Press, Cambridge, UK.
Whorf B. (1956) Language, Thought, and Reality. MIT Press, Cambridge, Massachusetts.
Widrow B. (1962) Generalization and information storage in networks of adaline “neurons”. In Yovits M. C., Jacobi G. T., and Goldstein G. D. (Eds.) Self-Organizing Systems 1962, p. 435-461, Chicago, Illinois. Spartan.
Widrow B. and Hoff M. E. (1960) Adaptive switching circuits. In 1960 IRE WESCON Convention Record, p. 96-104, New York.
Wiener N. (1942) The extrapolation, interpolation, and smoothing of stationary time series. Osrd 370, Report to the Services 19, Research Project DIC-6037, MIT, Cambridge, Massachusetts.
Wiener N. (1948) Cybernetics. Wiley, New York.
Wilensky R. (1978) Understanding goal-based stories. Ph.D. thesis, Yale University, New Haven, Connecticut.
Wilensky R. (1983) Planning and Understanding. Addison-Wesley, Reading, Massachusetts.
Wilkins D. E. (1980) Using patterns and plans in chess. Artificial Intelligence, 14(2), p. 165-203.
Wilkins D. E. (1988) Practical Planning: Extending the AI Planning Paradigm. Morgan Kaufmann, San Mateo, California.
Wilkins D. E. (1990) Can AI planners solve practical problems? Computational Intelligence, 6(4), p. 232-246.
Wilkins D. E., Myers K. L, Lowrance J. D., and Wesley L. P. (1995) Planning and reacting in uncertain and dynamic environments. Journal of Experimental and Theoretical AI, 7(1), p. 197—227.
Wilks Y. (1975) An intelligent analyzer and understander of English. Communications of the ACM, 18(5), p. 264-274.
Williams R. J. (1992) Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8, p. 229—256.
Williams R. J. and Baird L. С. I. (1993) Tight performance bounds on greedy policies based on imperfect value functions. Tech. rep. NU-CCS-93-14, College of Computer Science, Northeastern University, Boston.
Wilson R. A. and Keil F. C. (Eds.) (1999) The MIT Encyclopedia of the Cognitive Sciences. MIT Press, Cambridge, Massachusetts.
Wi nograd S. and Cowan J. D. (1963) Reliable Computation in the Presence of Noise. MIT Press, Cambridge, Massachusetts.
Winograd T. (1972) Understanding natural language. Cognitive Psychology, 3(1), p. 1-191.
Winston P. H. (1970) Learning structural descriptions from examples. Technical report MAC-TR- 76, Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology, Cambridge, Massachusetts.
Winston P. H. (1992) Artificial Intelligence (Third edition). Addison-Wesley, Reading, Massachusetts.
With R. and O'Rorke P. (1991) Constraints on predicate invention. In Machine Learning: Proceedings of the Eighth International Workshop (ML-91), p. 457—461, Evanston, Illinois. Morgan Kaufmann.
Witten I. H. and Bell T. C. (1991) The zero-frequency problem: Estimating the probabilities of novel events in adaptive text compression. IEEE Transactions on Information Theory, 37(4), p. 1085-1094.
Witten I. H., Moffat A., and Bell T. C. (1999) Managing Gigabytes: Compressing and Indexing Documents and Images (second edition). Morgan Kaufmann, San Mateo, California.
Wittgenstein L. (1922) Tractatus Logico-Philosophicus (second edition). Routledge and Kegan Paul, London. Перепечатано в 1971 году под редакцией Д.Ф. Пирса (D. F. Pears) и Б.Ф. Макгин- неса (В. F. McGuinness). На титульных листах этого английского перевода приведен оригинальный текст Витгенштейна на немецком языке; кроме того, включено предисловие Бертрана Рассела к изданию 1922 года.
Wittgenstein L. (1953) Philosophical Investigations. Macmillan, London.
Wojciechowski W. S. and Wojcik A. S. (1983) Automated design of multiple-valued logic circuits by automated theorem proving techniques. IEEE Transactions on Computers, C-32(9), p. 785—798.
Wojcik A. S. (1983) Formal design verification of digital systems. In ACM IEEE 20th Design Automation Conference Proceedings, p. 228—234, Miami Beach, Florida. IEEE.
Wood M. K. and Dantzig G. B. (1949) Programming of interdependent activities, i. general discussion. Econometrica, 17, p. 193-199.
Woods W. A. (1973) Progress in natural language understanding: An application to lunar geology. In AFI PS Conference Proceedings, Vol. 42, p. p. 441—450.
Woods W. A. (1975) What's in a link? Foundations for semantic networks. In Bobrow D. G. and Collins A. M. (Eds.) Representation and Understanding: Studies in Cognitive Science, p. 35-82. Academic Press, New York.
Woods W. A. (1978) Semantics and quantification in natural language question answering. In Advances in Computers. Academic Press.
Wooldridge M. and Rao A. (Eds.) (1999) Foundations of rational agency. Kluwer, Dordrecht, Netherlands.
Wos L., Carson D., and Robinson G. (1964) The unit preference strategy in theorem proving. In Proceedings of the Fall Joint Computer Conference, p. 615—621.
Wos L., Carson D., and Robinson G. (1965) Efficiency and completeness of the set-of-support strategy in theorem proving. Journal of the Association for Computing Machinery, 12, p. 536—541.
Wos L., Overbeek R., Lusk E., and Boyle J. (1992) Automated Reasoning: Introduction and Applications (second edition). McGraw-Hill, New York.
Wos L. and Robinson G. (1968) Paramodulation and set of support. In Proceedings of the IRIA Symposium on Automatic Demonstration, p. 276—310. Springer-Verlag.
Wos L, Robinson G., Carson D., and Shalla L. (1967) The concept of demodulation in theorem proving. Journal of the Association for Computing Machinery, 14, p. 698-704.
Wos L. and Winker S. (1983) Open questions solved with the assistance of AURA. In Bledsoe W. W. and Loveland D. (Eds.) Automated Theorem Proving: After 25 Years: Proceedings of the Special Session of the 89th Annual Meeting of the American Mathematical Society, p. 71-88, Denver, Colorado. American Mathematical Society.
Wright S. (1921) Correlation and causation. Journal of Agricultural Research, 20, p. 557—585.
Wright S. (1931) Evolution in Mendelian populations. Genetics, 16, p. 97-159.
Wright S. (1934) The method of path coefficients. Annals of Mathematical Statistics, 5, p. 161-215.
Wu D. (1993) Estimating probability distributions over hypotheses with variable unification. In Proceedings of the Thirteenth International Joint Conference on Artificial Intelligence (IJCAI-93), p. 790-795, Chambery, France. Morgan Kaufmann.
Wygant R. M. (1989) CLIPS — a powerful development and delivery expert system tool. Computers and Industrial Engineering, 17, p. 546—549.
Yamada K. and Knight K. (2001) A syntax-based statistical translation model. In Proceedings of the Thirty Ninth Annual Conference of the Association for Computational Linguistics, p. 228-235.
Yang Q. (1990) Formalizing planning knowledge for hierarchical planning. Computational Intelligence, 6, p. 12-24.
Yang Q. (1997) Intelligent planning: A decomposition and abstraction based approach. Springer-Verlag, Berlin.
Yedidia J., Freeman W., and Weiss Y. (2001) Generalized belief propagation. In Leen T. K., Dietterich T., and Tresp V. (Eds.) Advances in Neural Information Processing Systems 13. MIT Press, Cambridge, Massachusetts.
Yip К. M.-K. (1991) KAM: A System for Intelligently Guiding Numerical Experimentation by Computer. MIT Press, Cambridge, Massachusetts.
Yngve V. (1955) A model and an hypothesis for language structure. In Locke W. N. and Booth A. D. (Eds.) Machine Translation of Languages, p. 208—226. MIT Press, Cambridge, Massachusetts.
Yob G. (1975) Hunt the wumpus! Creative Computing, Sep/Oct.
Yoshikawa T. (1990) Foundations of Robotics: Analysis and Control. MIT Press, Cambridge, Massachusetts.
Young R. M., Pollack M. E., and Moore J. D. (1994) Decomposition and causality in partial order planning. In Proceedings of the 2nd International Conference on Artificial Intelligence Planning Systems (AIPS-94), p. 188-193, Chicago.
Younger D. H. (1967) Recognition and parsing of context-free languages in time n3. Information and Control, 10(2), p. 189-208.
Zadeh L. A. (1965) Fuzzy sets. Information and Control, 8, p. 338-353.
Zadeh L. A. (1978) Fuzzy sets as a basis for a theory of possibility. Fuzzy Sets and Systems, 1, p. 3-28.
Zaritskii V. S., Svetnik V. B., and Shimelevich L. I. (1975) Monte-Carlo technique in problems of optimal information processing. Automation and Remote Control, 36, p. 2015-22.
Zelle J. and Mooney R. J. (1996) Learning to parse database queries using inductive logic programming. In Proceedings of the Thirteenth National Conference on Artificial Intelligence, p. 1050-1055.
164LZermelo E. (1913) Uber Eine Anwendung der Mengenlehre auf die Theorie des Schachspiels. In Proceedings of the Fifth International Congress of Mathematicians, Vol. 2, p. 501-504.
Zermelo Е. (1976) An application of set theory to the theory of chess-playing. Firbush News, 6, p. 37-42. Перевод на английский работы [1641].
Zhang N. L. and Poole D. (1994) A simple approach to bayesian network computations. In Proceedings of the 10th Canadian Conference on Artificial Intelligence, p. 171-178, Banff, Alberta. Morgan Kaufmann.
Zhang N. L. and Poole D. (1996) Exploiting causal independence in Bayesian network inference. Journal of Artificial Intelligence Research, 5, p. 301—328.
Zhou R. and Hansen E. (2002) Memory-bounded A* graph search. In Proceedings of the 15th International Flairs Conference.
Zhu D. J. and Latombe J.-C. (1991) New heuristic algorithms for efficient hierarchical path planning. IEEE Transactions on Robotics and Automation, 7(1), p. 9—20.
Zilberstein S. and Russell S. J. (1996) Optimal composition of real-time systems. Artificial Intelligence, 83, p. 181-213.
Zimmermann H.-J. (Ed.) (1999) Practical applications of fuzzy technologies. Kluwer, Dordrecht, Netherlands.
Zimmermann H.-J. (2001) Fuzzy Set Theory — And Its Applications (Fourth edition). Kluwer, Dordrecht, Netherlands.
Zobrist A. L. (1970) Feature Extraction and Representation for Pattern Recognition and the Game of Go. Ph.D. thesis, University of Wisconsin.
Zuse K. (1945) The Plankalkbl. Report 175, Gesellschaft fur Mathematik und Datenverarbeitung, Bonn, Germany.
Zweig G. and Russell S. J. (1998) Speech recognition with dynamic Bayesian networks. In Proceedings of the Fifteenth National Conference on Artificial Intelligence (AAAI-98), p. 173—180, Madison, Wisconsin. AAAI Press.
Предметный указатель
1
1 -совместимость, 223
2
2-совместимость, 223
3
3SAT
ThreeSAT, 213 3-совместимость, 223
А
AAAI
American Association for AI, 72
ABO
Asymptotic Bounded Optimality, 1240 ADL
Action Description Language, 519
ADP
Adaptive Dynamic Programming, 990; 1011 AFSM
Augmented Finite State Machine, 1184 AISB
Artificial Intelligence and Simulation of
Behaviour, 73
AUV
Autonomous Underwater Vehicle, 1154
В
BDD
Binary Decision Diagram, 559
BNF
Backus-Naur Form, 1023; 1252 BO
Bounded Optimality, 1239
c
CCD
Charge-Coupled Device, 1115
CDP
Composite Decision Process, 202
CFG
Context-Free Grammar, 1106
CMAC
Cerebellar Model Articulation Controller, 1014
CMU
Carnegie-Mellon University, 55; 265
CNF
Conjunctive Normal Form, 310; 413
CSP
Constraint Satisfaction Problem, 211; 411 CWA
Closed-World Assumption, 486
D
DARPA
Defense Advanced Research Project Agency, 70
DART
Dynamic Analysis and Replanning, 70
DB
Data Base, 173
DBN
Dynamic Bayesian Network, 739
DCG
Definite Clause Grammar, 1040
DDN
Dynamic Decision Network, 823
DEC
Digital Equipment Corporation, 65; 402
DL
Decision List, 876
DT
Decision Tree, 876
E
EBL
Explanation-Based Learning, 898
EI
Existential Instantiation, 386
EKF
Extended Kalman Filter, 1164
EM
expectation-maximization, 1081
EMNLP
Empirical Methods in Natural Language
Processing, 1110
EMV
Expected Monetary Value, 776
Entscheidungsproblem, 44
EPAM
Elementary Perceiver And Memorizer, 880
F
FIFO
First-In-First-Out, 127
FMP
Fine-Motion Planning, 1177 FSA
Finite-State Automaton, 1095
G
GA
Genetic Algorithm, 183
GLIE
Greedy in the Limit of Infinite Exploration, 997
GOFAI
Good Old-Fashioned AI, 1209
GPS
General Problem Solver, 57; 556
Global Positioning System, 84; 1156 GRL
Generic Robot Language, 1188
G-множество, 893
H
HMM
Hidden Markov Model, 67
Homo sapiens, 34
HPP
Heuristic Programming Project, 63
HTN
Hierarchical Task Network, 520
I
IE
Iterative Expansion, 202
IJCAI
International Joint Conference on AI, 72 IKBS
Intelligent Knowledge-Based Systems, 65 ILP
Inductive Logic Programming, 900; 1063
Internet, 67
К
KB
Knowledge Base, 286
KBIL
Knowledge-Based Inductive Learning, 900 к-совместимость, 223
L
LFG
Lexical-Functional Grammar, 1066
LIFO
Last-In-First-Out, 130
LP
Linear Programming, 204
LRTA*
Learning Real-Time A*, 197
LT
Logic Theorist, 56
M
MA*
Memory-bounded A*, 166
MAC
Maintaining Arc Consistency, 221
MAP
Maximum A Posteriori, 930
MCC
Microelectronics and Computer Technology
Corporation, 65
MCL
Monte Carlo Localization, 1163
MDL
Minimum Description Length, 881
MDP
Markov Decision Process, 46; 806; 986; 1176
MEMS
Micro-ElectroMechanical System, 1234 MGU
Most General Unifier, 391
MIT
Massachussets Institute of Technlogies, 55
ML
Maximum Likelihood, 931
MPI
Mutual Preferential Independence, 784
MRV
Minimum Remaining Values, 219
MST
Minimum Spanning Tree, 207
N
Newell A., 37
NLP
Natural Language Processing, 36
NP
Nondeterministic Polynomial, 1245
Noun Phrase, 1023
NP-полнота, 44
NP-полный, 118; 213; 305; 307; 337; 503; 678;
1135;1149; 1245; 1246; 1251
P
PAC
Probably Approximately Correct, 873
РАС-обучение, 873; 881; 905
PCFG
Probabilistic Context-Free Grammar, 1078
PDDL
Planning Domain Definition Language, 520
PDP
Parallel Distributed Processing, 978
PD-контроллер, 1181
PEAS
Performance, Environment, Actuators,
Sensors, 83
PI D-контроллер,1182
POMDP
Partially Observable MDP, 819; 1176
POP
Partial-Order Planning, 530
PP
Prepositional Phrhse, 1029
PSPACE-полный, 544; 556
PUMA
Programmable Universal Machine for
Assembly, 1195
P-контроллер,1180
Q
QALY
Quality-Adjusted Life Year, 780
Q-обучение,986; 1000
Q-функция,986
R
RAPS
Reactive Action Plan System, 1188
RBFS
Recursive Best-First Search, 164
RBL
Relevance-Based Learning, 899
RelClause
Relative Clause, 1029
rete-алгоритм, 401
rete-сеть, 402
ROC
Receiver Operating Characteristic, 1087
RST
Rhetorical Structure Theory, 1068
s
s
Sentence, 1029
SIGART
Special Interest Group in Artificial
Intelligence, 73
Simon H. A., 37
SLAM
Simultaneous Localization And Mapping, 1165
SLD
Straight Line Distance, 156
SMA*
Simplified MA*, 166
sos
set of support, 425; 426
SRI, 379
Stanford Research Institute, 58
SSD
Sum of Squared Differences, 1127 SVM
Support Vector Machine, 881
S-множество, 893
T
TAG
Tree-Adjoining Grammar, 1066 TD
Temporal Difference, 992
TREC
Text REtrieval Conference, 1092 TSP
Traveling Salesperson Problem, 121; 146; 207
U
UAV
Unmanned Air Vehicle, 1154 UI
Universal Instantiation, 385
ULV
Unmanned Land Vehicle, 1154 UNA
Unique Names Assumption, 486
V
VC
Vapnik-Chervonenkis, 881
VC-размерность, 881
VP
Verb Phrase, 1023
VPI
Value of Perfect Information, 790
W
WAM
Warren Abstract Machine, 408
Web-узел, 68
сопровождающий, 25
WorldWideWeb, 68; 1074; 1082; 1086; 1089;
1112
A
Абстрагирование, 115
действий, 115
описаний состояний, 115
Австралия,211;212; 219; 229; 516
Автомат, 1224; 1229
AFSM, 1184
конечный, 1024
конечный дополненный, 1184; 1186
ситуационный, 1198
шахматный, 272
Автомобиль
гоночный, 1241
Автономность, 82; 515Автопилот, 436Агент, 39; 103автономный, 288в мире вампуса, 620; 1114водитель такси, 102; 1237гибридный, 334действующий на основе теории решений, 769действующий на основе цели, 98; 104действующий с учетом полезности, 99; 104;824; 986для мира вампуса, 290; 367жадный, 995интеллектуальный, 24; 25; 71; 75; 1225логический,286; 379на основе знаний, 284на основе логического вывода, 335на основе логической схемы, 327; 335на основе цели, 105наивный, 1026непрерывно планирующий, 598обучающийся, 105обучающийся активный, 994обучающийся пассивный, 987общающийся, 1027основанный на знаниях, 50; 344; 1233основанный на модели, 96перепланирующий, 593; 609программный, 85рациональный, 39; 75; 78; 104; 796; 1233рациональный ограниченный, 472реагирующий на текущую ситуацию, 1211 рефлексный, 93; 96; 103; 807; 987 решающий задачи, ПОАгент-пылесос, 77; 78АгентствоDARPA, 70; 764NASA, 69; 435; 504; 553; 610; 708; 1154космическое европейское, 610Агрегирование, 569Адалины, 59Адамс Дж., 468Азимов А., 1195Аксиома, 363вероятности, 1248возможности, 457декомпонуемости, 773исключения действия, 550китайской комнаты, 1221мира вампуса, 367окружения, 458; 461Пеано, 364; 378; 398полезная, 426полезности, 774предусловия, 549проблемной области, 446Автономность, 82; 515Автопилот, 436Агент, 39; 103автономный, 288в мире вампуса, 620; 1114водитель такси, 102; 1237гибридный, 334действующий на основе теории решений, 769действующий на основе цели, 98; 104действующий с учетом полезности, 99; 104;824; 986для мира вампуса, 290; 367жадный, 995интеллектуальный, 24; 25; 71; 75; 1225логический,286; 379на основе знаний, 284на основе логического вывода, 335на основе логической схемы, 327; 335на основе цели, 105наивный, 1026непрерывно планирующий, 598обучающийся, 105обучающийся активный, 994обучающийся пассивный, 987общающийся, 1027основанный на знаниях, 50; 344; 1233основанный на модели, 96перепланирующий, 593; 609программный, 85рациональный, 39; 75; 78; 104; 796; 1233рациональный ограниченный, 472реагирующий на текущую ситуацию, 1211 рефлексный, 93; 96; 103; 807; 987 решающий задачи, ПОАгент-пылесос, 77; 78АгентствоDARPA, 70; 764NASA, 69; 435; 504; 553; 610; 708; 1154космическое европейское, 610Агрегирование, 569Адалины, 59Адамс Дж., 468Азимов А., 1195Аксиома, 363вероятности, 1248возможности, 457декомпонуемости, 773исключения действия, 550китайской комнаты, 1221мира вампуса, 367окружения, 458; 461Пеано, 364; 378; 398полезная, 426полезности, 774предусловия, 549проблемной области, 446
Автономность, 82; 515
Автопилот, 436
Агент, 39; 103
автономный, 288
в мире вампуса, 620; 1114
водитель такси, 102; 1237
гибридный, 334
действующий на основе теории решений, 769
действующий на основе цели, 98; 104
действующий с учетом полезности, 99; 104;
824; 986
для мира вампуса, 290; 367
жадный, 995
интеллектуальный, 24; 25; 71; 75; 1225
логический,286; 379
на основе знаний, 284
на основе логического вывода, 335
на основе логической схемы, 327; 335
на основе цели, 105
наивный, 1026
непрерывно планирующий, 598
обучающийся, 105
обучающийся активный, 994
обучающийся пассивный, 987
общающийся, 1027
основанный на знаниях, 50; 344; 1233
основанный на модели, 96
перепланирующий, 593; 609
программный, 85
рациональный, 39; 75; 78; 104; 796; 1233
рациональный ограниченный, 472
реагирующий на текущую ситуацию, 1211 рефлексный, 93; 96; 103; 807; 987 решающий задачи, ПО
Агент-пылесос, 77; 78
Агентство
DARPA, 70; 764
NASA, 69; 435; 504; 553; 610; 708; 1154
космическое европейское, 610
Агрегирование, 569
Адалины, 59
Адамс Дж., 468
Азимов А., 1195
Аксиома, 363
вероятности, 1248
возможности, 457
декомпонуемости, 773
исключения действия, 550
китайской комнаты, 1221
мира вампуса, 367
окружения, 458; 461
Пеано, 364; 378; 398
полезная, 426
полезности, 774
предусловия, 549
проблемной области, 446
Автономность, 82; 515
Автопилот, 436
Агент, 39; 103
автономный, 288
в мире вампуса, 620; 1114
водитель такси, 102; 1237
гибридный, 334
действующий на основе теории решений, 769
действующий на основе цели, 98; 104
действующий с учетом полезности, 99; 104;
824; 986
для мира вампуса, 290; 367
жадный, 995
интеллектуальный, 24; 25; 71; 75; 1225
логический,286; 379
на основе знаний, 284
на основе логического вывода, 335
на основе логической схемы, 327; 335
на основе цели, 105
наивный, 1026
непрерывно планирующий, 598
обучающийся, 105
обучающийся активный, 994
обучающийся пассивный, 987
общающийся, 1027
основанный на знаниях, 50; 344; 1233
основанный на модели, 96
перепланирующий, 593; 609
программный, 85
рациональный, 39; 75; 78; 104; 796; 1233
рациональный ограниченный, 472
реагирующий на текущую ситуацию, 1211 рефлексный, 93; 96; 103; 807; 987 решающий задачи, ПО
Агент-пылесос, 77; 78
Агентство
DARPA, 70; 764
NASA, 69; 435; 504; 553; 610; 708; 1154
космическое европейское, 610
Агрегирование, 569
Адалины, 59
Адамс Дж., 468
Азимов А., 1195
Аксиома, 363
вероятности, 1248
возможности, 457
декомпонуемости, 773
исключения действия, 550
китайской комнаты, 1221
мира вампуса, 367
окружения, 458; 461
Пеано, 364; 378; 398
полезная, 426
полезности, 774
предусловия, 549
проблемной области, 446
результата, 457
ситуационного исчисления, 457 состояния-преемника, 339; 458; 500 теории множеств, 365
теории натуральных чисел, 364 теории полезности, 773 уникального действия, 460 уникальных имен, 460
Аксиоматизация
равенства, 423 Аксиомы
Strips, 558
вероятностей,635
Колмогорова, 634
Аксон, 48
Акт
речевой,1021; 1064; 1065
речевой декларативный, 1021
речевой непрямой, 1021
Алгебра
Робинса, 430
Алгоритм
“ожидания-максимизации”, 942 АС-3, 222
Boxes, 1007
CSP,218
DPLL,318
EKF, 1164
EM, 942; 944; 946; 948
EM структурный, 951
LRTA*, 205
MCL, 1163
MGSS*, 275
Pegasus, 1010
POP, 530
Q-обучения,1154
RBFS, 164
Reinforce, 1010
SSS*, 275
Unify, 390
венгерский, 1141
Витерби, 759 внутренний-внешний, 1081 выравнивания, 1143 генетический, 183; 997 диаграммного синтаксического ана ра,1033
Дэвиса-Патнем, 318 заполнения мозаики, 967 итерации по значениям, 812 итерации по стратегиям, 817; 987 локализации Монте-Карло, 1163 локального поиска, 320 Метрополиса, 203; 705 минимакса, 585 минимаксный, 246; 832 Монте-Карло, 679
Монте-Карло на основе цепи Маркова, 686;705 неинформированный, 110 непротиворечивый, 303; 397 обратного логического вывода, 317; 403 обратного распространения, 964; 975 обучающий слабый, 871 обучения с подкреплением, 1002 ожидания-максимизации, 1081 оптимально эффективный, 163 оптимального повреждения мозга, 967 перебора с возвратами, 1150 поиска в графе, 138 поиска в дереве общий, 125 поиска общий, 144 поиска с наименьшим вкладом, 893 полный, 303; 398 прямого логического вывода, 315; 396 резолюции, 311; 413 с отсечением по времени, 1237 силуэта, 1197 симплексный, 204 согласования строк Бойера-Мура, 430 сортировки,441 унификации, 391 управляемого конфликтами обратного перехода, 226 усиления, 871 фильтрации, 823 шифрования RSA, 430 эмуляции отжига, 690
Аллен В., 757
Алфавит
фонетический, 751
Альберти Л.Б., 1146 Альтруизм, 625 Альфа-бета-отсечение, 248; 278 Альфа-бета-поиск, 271; 273 Альхазен, 1147 аль-Хорезми, 43 Анализ, 1025 алгоритмов, 1243 асимптотический, 1244 байесовский, 45 обесценивания, 843 проблемы принятия решений, 793 синтаксический,1026; 1030 синтаксический восходящий, 1030 синтаксический нисходящий, 1030 скрытых закономерностей в данных, 67 сложности, 1245 сложности алгоритма, 128 содержимого узкий, 1216 содержимого широкий, 1216 чувствительности, 796
Анализатор синтаксический диаграммный, 1033
синтаксический по левому углу, 1036 Аномалия
Зюссмана, 556; 561
Ансамбль
гипотез, 869
Антецедент, 297
Аппарат
космический Deep Space One, 105; 553; 610
космический Remote Agent, 431
опорно-двигательный, 91
Аппроксиматор
функции,1004
Аппроксимация
функциональная, 1002
Аристотель, 38; 41; 42; 47; 104; 105; 336; 378;
43 2; 498; 502; 1147;1229
Арно А., 43; 769
Арность, 353; 398
Артефакт, 35
Архитектура, 91
ACT*, 922
Soar, 434
агента, 68
гибридная, 1185; 1236
классной доски, 765
когнитивная, 402
компьютерная параллельная, 206
обобщающая, 1185
обобщения, 613
программного обеспечения, 1185
продукционной системы, 402
рефлексивная, 1238
средств распознавания речи, 67
трехуровневая, 1187
управления в реальном времени, 436
Ассистент
математика, 107
Астроном, 709
Атанасов Дж., 51
Атрибут, 856
последовательности состояний, 809
Аукцион
английский, 839
Викри, 840
с запечатанными предложениями, 840
Ацикличность, 331
Б
База
Эрбрана, 421
База данных
дедуктивная, 432; 435
с непересекающимися шаблонами, 174
с шаблонами, 173
шаблонов, 202
База знаний, 286; 334
логическая,380хорновская, 425Байес Т., 45; 642; 651Бандитп-рукий,996 Банкдеревьев, 1107Бартлетт Ф., 50 БашняПизанская, 102Беззель М., 146Бекон Ф., 41Беллман Р., 812Бергер Г, 47Бернулли Д., 801Бернулли Дж., 45; 652Берри К., 51Бета-распределение, 938 Библиотекапланов, 572Бигелоу Дж., 53Биоинформатика, 1107Биометрия, 1135Бит, 862Бихевиоризм, 49; 53; 105Блокирование, 428Бонапарт Н., 272БрандейсЛ., 1225Братья Райт, 37Брахмагупта, 234Бриджкарточная игра, 74Брока П., 47Брунеллески Ф., 1146Буль Дж., 43; 379Бэббидж Ч., 52; 272Бэтмен, 614Бьюкенен Б., 62ВВал рас Л., 45Вампус, 288Вашингтон Дж., 468Вебер Й„ 1127Вездеходмарсианский автономный, 107Вейценбаум Дж., 1224Векторподдерживающий, 969Вёлер Ф., 1213Венский кружок, 42Вероятностьапостериорная, 624; 630априорная, 624; 628; 650безусловная, 624; 628логическая,380хорновская, 425Байес Т., 45; 642; 651Бандитп-рукий,996 Банкдеревьев, 1107Бартлетт Ф., 50 БашняПизанская, 102Беззель М., 146Бекон Ф., 41Беллман Р., 812Бергер Г, 47Бернулли Д., 801Бернулли Дж., 45; 652Берри К., 51Бета-распределение, 938 Библиотекапланов, 572Бигелоу Дж., 53Биоинформатика, 1107Биометрия, 1135Бит, 862Бихевиоризм, 49; 53; 105Блокирование, 428Бонапарт Н., 272БрандейсЛ., 1225Братья Райт, 37Брахмагупта, 234Бриджкарточная игра, 74Брока П., 47Брунеллески Ф., 1146Буль Дж., 43; 379Бэббидж Ч., 52; 272Бэтмен, 614Бьюкенен Б., 62ВВал рас Л., 45Вампус, 288Вашингтон Дж., 468Вебер Й„ 1127Вездеходмарсианский автономный, 107Вейценбаум Дж., 1224Векторподдерживающий, 969Вёлер Ф., 1213Венский кружок, 42Вероятностьапостериорная, 624; 630априорная, 624; 628; 650безусловная, 624; 628
логическая,380
хорновская, 425
Байес Т., 45; 642; 651
Бандит
п-рукий,996 Банк
деревьев, 1107
Бартлетт Ф., 50 Башня
Пизанская, 102
Беззель М., 146
Бекон Ф., 41
Беллман Р., 812
Бергер Г, 47
Бернулли Д., 801
Бернулли Дж., 45; 652
Берри К., 51
Бета-распределение, 938 Библиотека
планов, 572
Бигелоу Дж., 53
Биоинформатика, 1107
Биометрия, 1135
Бит, 862
Бихевиоризм, 49; 53; 105
Блокирование, 428
Бонапарт Н., 272
БрандейсЛ., 1225
Братья Райт, 37
Брахмагупта, 234
Бридж
карточная игра, 74
Брока П., 47
Брунеллески Ф., 1146
Буль Дж., 43; 379
Бэббидж Ч., 52; 272
Бэтмен, 614
Бьюкенен Б., 62
В
Вал рас Л., 45
Вампус, 288
Вашингтон Дж., 468
Вебер Й„ 1127
Вездеход
марсианский автономный, 107
Вейценбаум Дж., 1224
Вектор
поддерживающий, 969
Вёлер Ф., 1213
Венский кружок, 42
Вероятность
апостериорная, 624; 630
априорная, 624; 628; 650
безусловная, 624; 628
логическая,380
хорновская, 425
Байес Т., 45; 642; 651
Бандит
п-рукий,996 Банк
деревьев, 1107
Бартлетт Ф., 50 Башня
Пизанская, 102
Беззель М., 146
Бекон Ф., 41
Беллман Р., 812
Бергер Г, 47
Бернулли Д., 801
Бернулли Дж., 45; 652
Берри К., 51
Бета-распределение, 938 Библиотека
планов, 572
Бигелоу Дж., 53
Биоинформатика, 1107
Биометрия, 1135
Бит, 862
Бихевиоризм, 49; 53; 105
Блокирование, 428
Бонапарт Н., 272
БрандейсЛ., 1225
Братья Райт, 37
Брахмагупта, 234
Бридж
карточная игра, 74
Брока П., 47
Брунеллески Ф., 1146
Буль Дж., 43; 379
Бэббидж Ч., 52; 272
Бэтмен, 614
Бьюкенен Б., 62
В
Вал рас Л., 45
Вампус, 288
Вашингтон Дж., 468
Вебер Й„ 1127
Вездеход
марсианский автономный, 107
Вейценбаум Дж., 1224
Вектор
поддерживающий, 969
Вёлер Ф., 1213
Венский кружок, 42
Вероятность
апостериорная, 624; 630
априорная, 624; 628; 650
безусловная, 624; 628
класса, 883
конъюнктивная, 662
маргинальная, 638
переходная, 687
условная,624;630; 650; 662
Версия
поднятая, 390
поднятая правила резолюции, 415
Вертхеймер М., 1148
Вершина, 1033
детерминированная, 667
трехгранная, 1134
утечки, 667
Вещество, 453
временное, 466
нитроароматическое, 920
подслащивающее искусственное, 1213
пространственное, 466
Взвешивание
динамическое, 201
с учетом правдоподобия, 683; 705; 746
Взгляды
дуалистические на человеческий разум. 1229
Взрыв
комбинаторный, 62
Взятый без кавычек, 471
Вивер У., 1109
Видеокамера, 1156
CCD, 1151
Виленский Р., 1220
Винер Н., 53; 242; 1109
Вино
Шато Латур, 1213
Виноград Т., 64
Витгенштейн Л., 42
Вклад
наименьший, 529
онтологический, 349; 350; 378; 623; 696
эпистемологический, 349; 350; 3 78
Влияние
причинное, 664
Вложение
процедурное, 483
Возможности
нейронной сети,55
Вознаграждение, 103; 806; 852; 985
аддитивное, 809
обесцениваемое, 809
отрицательное, 806
среднее, 810
Возражение
противника, 193
Возрождение
итальянское, 651
Война
Вторая мировая, 46; 762
ВокансонЖ., 1195
Воля
свободная, 41
Вопрос
искусственного интеллекта фундаментальный, 1001
могут ли машины мыслить, 1205
Восприятие,75; 76; 1025
активное, 1113
зрительное, 38
робототехническое, 1159
тактильное,1113
трехцветное, 1119
Врач
санитарный, 265
Вращение
трехмерное, 1125
Время
ожидания ответа, 1087
Всеведение
логическое, 471
Всезнание, 80
Вулси К., 1006
Вундт В., 49; 1147
Выбор
места размещения аэропорта, 781
площадки для строительства аэропорта, 786
Выборка, 679
изображений, 1136
с исключением, 681
Вывод
вероятностный, 637; 658
грамматики индуктивный, 1061; 1068
логический, 286; 294; 384
логический непротиворечивый, 334
логический обратный, 403; 435
логический прямой, 337; 394; 396; 434
логический прямой инкрементный, 400
логический чисто индуктивный, 853
от фактов к цели, 337
символический вероятностный, 704
формы на основе оттенения, 1149
формы на основе текстуры, 1149
Выделение
основы, 1088
Выигрыш
наилучший возможный, 780
Выметание
с учетом приоритетов, 994
Выполнение, 112
действий правильное, 35
правильных действий, 40; 1238
Выполнимость, 304
Выработка, 1025
Выражение, 309
единичное, 309; 319; 424
импликационное, 433
определенное, 314; 395
пустое, 312
регулярное,1093
с указанием времени, 1112
хорновское, 314; 426; 913
Высказывание, 286; 626
атомарное, 297; 354; 360; 378
в базе знаний,334
диахронное, 368
истинное, 355
как элемент физической конфигурации
агента, 296
контрапозитивное, 429
неявное, 380
с кванторами, 378
с оценкой знаний,330
синхронное, 368
сложное, 297; 355; 378
явное, 380
Вычисления
нейронные, 955
Вычислимость, 44
Выявление
противоречия,305
Г
Габор За За, 800
Галилей Г., 34; 102; 920
Гаусс К.Ф., 146
Гёдель К., 44; 413; 433
Гексапод,1183
Гелернтер Г., 57
Гельмгольц Г., 1147
Генезерет М.Р., 288; 1202
Генератор
вариантов среды, 90
проблем,101
Гессиан, 190
Гефест, 1195
Гештальт-психология, 1148
Гильберт Д., 43
Гиперграф
ограничений, 214
Гиперпараметр, 938
Гипотеза, 853
максимальная апостериорная, 930
приблизительно правильная, 874
приблизительно правильная с определен
ной вероятностью, 873
Сапира-Уорфа, 347
текущая наилучшая, 880; 889
физической символической системы, 57
Гироскоп,1156
Гистограмма
векторного поля, 1198
Глаз, 1113; 1117; 1147 Глаза
мухи,1144
Глубина, 124 резкости пространственного изображения, 1117
Гоббс Т., 41
Голова
выражения, 314; 403 Головоломка
игра в восемь, 172 криптоарифметическая, 214 с зеброй,239
Голосование мажоритарное, 860; 884
Голубь, 50
Гольджи К., 47 Горизонт, 1116 бесконечный, 808 конечный, 808
Город
Вена, 1215
Государство
Ноуноу, 395
Гофер, 1190
Градиент
ландшафта, 189 стратегии, 1009 текстуры, 1131; 1148 целевой функции, 189 эмпирический, 189; 1009 Грамматика, 1022; 1252
PCFG лексикализованная, 1080 арифметических выражений расширенная, 1045 атрибутов, 1065 вероятностная контекстно-свободная, 1078 вероятностная лексикализованная, 1108 зависимостей, 1066 категориальная, 1066 контекстно-зависимая, 1024 контекстно-свободная, 1024 контекстно-свободная вероятностная, 1107 лексически-функциональная, 1066 метаморфоз, 1065 определенных выражений, 1040; 1065 регулярная, 1024 рекурсивно перечислимая, 1023 системная, 1052 универсальная, 1068 формальная, 1027
Граф
AND-OR, 316 видимости, 1197 двухдольный взвешенный, 1141 ограничений, 211; 230 ориентированный ациклический, 659; 703
планирования, 538; 555
планирования выровненный, 539
планирования последовательный, 541
строго к-совместимый, 223
Эйлера, 205
экзистенциальный, 480
График
счастливый, 864
Графика
компьютерная, 1114
Греция, 335
Грин К., 58
Группа
базовая, 1095
Гюйгенс X., 844
д
да Винчи Л., 41; 1147
Дальномер, 1155
лазерный, 1155
Данные
недостающие, 868
Дарвин Ч., 186
Датчик, 75; 84; 1113; 1153
активный, 1155
вращающего момента, 1156
изображения, 1156
инерционный, 1156
мусора локальный, 143
пассивный, 1155
положения, 143
проприоцептивный, 1156
расстояния, 1155
усилия,1156
Движение, 1126
в сторону,179
кажущееся, 1126
охраняемое, 1177
позиционирующее, 1168
приспособляемое, 1177
ситуационное, 68
согласующее, 1168
де Маркен К., 1072
де Финетти Б., 635
Деградация
трагическая общих пастбищ, 838
Дедукция
натуральная, 433
Дейкстра Э., 1229
Действие, 75; 144; 827
по восприятию, 581; 788
по сбору информации, 1176
по сбору информации с помощью датчи
ков, 591
применимое, 518
примитивное, 571
рациональное, 42
релевантное, 525рефлекторное, 39совместимое, 526совместное, 604сохраняющее, 539условное, 612Декарт Р., 41; 1147; 1229ДекодерА*, 759Декодированиестека, 1107Декомпозициядействий рекурсивная, 577действия,571древовидная, 232иерархическая,571исчерпывающая, 448плана, 615ячеек, 1171ячеек точная, 1173Декомпонуемостьлотереи, 774Дельта-правило, 1004Дельфин, 47; 1020Демодулятор, 427; 441Демодуляция, 423; 437Дендрит, 48Деннет Д., 1213Деньзимний, 1212летний,1212Деревогенеалогическое, 382; 911доказательства, 397категорий, 1089поиска, 122; 123регрессии, 868решений, 798; 855; 856; 857; 879решений одноузловое, 872связующее минимальное, 202; 207 синтаксического анализа, 1026 соединения, 678упакованное, 1071Детекторкрая Кэнни, 973Дефектплана, 601Дешифраторугла поворота вала, 1156Деятельностьрациональная, 71творческая, 54Джевоне У.С., 337Джеймс Г, 50Джеймс У., 50Джефферсон Дж., 1212Джоуль Дж., 920релевантное, 525рефлекторное, 39совместимое, 526совместное, 604сохраняющее, 539условное, 612Декарт Р., 41; 1147; 1229ДекодерА*, 759Декодированиестека, 1107Декомпозициядействий рекурсивная, 577действия,571древовидная, 232иерархическая,571исчерпывающая, 448плана, 615ячеек, 1171ячеек точная, 1173Декомпонуемостьлотереи, 774Дельта-правило, 1004Дельфин, 47; 1020Демодулятор, 427; 441Демодуляция, 423; 437Дендрит, 48Деннет Д., 1213Деньзимний, 1212летний,1212Деревогенеалогическое, 382; 911доказательства, 397категорий, 1089поиска, 122; 123регрессии, 868решений, 798; 855; 856; 857; 879решений одноузловое, 872связующее минимальное, 202; 207 синтаксического анализа, 1026 соединения, 678упакованное, 1071Детекторкрая Кэнни, 973Дефектплана, 601Дешифраторугла поворота вала, 1156Деятельностьрациональная, 71творческая, 54Джевоне У.С., 337Джеймс Г, 50Джеймс У., 50Джефферсон Дж., 1212Джоуль Дж., 920
релевантное, 525
рефлекторное, 39
совместимое, 526
совместное, 604
сохраняющее, 539
условное, 612
Декарт Р., 41; 1147; 1229
Декодер
А*, 759
Декодирование
стека, 1107
Декомпозиция
действий рекурсивная, 577
действия,571
древовидная, 232
иерархическая,571
исчерпывающая, 448
плана, 615
ячеек, 1171
ячеек точная, 1173
Декомпонуемость
лотереи, 774
Дельта-правило, 1004
Дельфин, 47; 1020
Демодулятор, 427; 441
Демодуляция, 423; 437
Дендрит, 48
Деннет Д., 1213
День
зимний, 1212
летний,1212
Дерево
генеалогическое, 382; 911
доказательства, 397
категорий, 1089
поиска, 122; 123
регрессии, 868
решений, 798; 855; 856; 857; 879
решений одноузловое, 872
связующее минимальное, 202; 207 синтаксического анализа, 1026 соединения, 678
упакованное, 1071
Детектор
края Кэнни, 973
Дефект
плана, 601
Дешифратор
угла поворота вала, 1156
Деятельность
рациональная, 71
творческая, 54
Джевоне У.С., 337
Джеймс Г, 50
Джеймс У., 50
Джефферсон Дж., 1212
Джоуль Дж., 920
релевантное, 525
рефлекторное, 39
совместимое, 526
совместное, 604
сохраняющее, 539
условное, 612
Декарт Р., 41; 1147; 1229
Декодер
А*, 759
Декодирование
стека, 1107
Декомпозиция
действий рекурсивная, 577
действия,571
древовидная, 232
иерархическая,571
исчерпывающая, 448
плана, 615
ячеек, 1171
ячеек точная, 1173
Декомпонуемость
лотереи, 774
Дельта-правило, 1004
Дельфин, 47; 1020
Демодулятор, 427; 441
Демодуляция, 423; 437
Дендрит, 48
Деннет Д., 1213
День
зимний, 1212
летний,1212
Дерево
генеалогическое, 382; 911
доказательства, 397
категорий, 1089
поиска, 122; 123
регрессии, 868
решений, 798; 855; 856; 857; 879
решений одноузловое, 872
связующее минимальное, 202; 207 синтаксического анализа, 1026 соединения, 678
упакованное, 1071
Детектор
края Кэнни, 973
Дефект
плана, 601
Дешифратор
угла поворота вала, 1156
Деятельность
рациональная, 71
творческая, 54
Джевоне У.С., 337
Джеймс Г, 50
Джеймс У., 50
Джефферсон Дж., 1212
Джоуль Дж., 920
Диагноз
медицинский, 70; 370; 788; 1225
Диагностика, 621
заболеваний зубов, 621
медицинская, 63; 653; 665; 698; 705
Диаграмма, 1033
Вороного, 1197
решения бинарная, 559
Диаметр
пространства состояний, 132
Дизъюнкт, 297
Дизъюнкция, 297
без дизъюнктов, 312
Дилемма
заключенного, 828
Диофант, 234
Директива, 1021
Дискретизация, 189; 668
Дифференцирование, 900
символическое, 441
Длина
волны, 1119
минимальная описания, 881
Довод
исходящий из неспособности, 1206
исходящий из неформализуемости, 1209
Доказательство, 307
математических теорем автоматиче
ское, 437
математической теоремы, 60; 74
неконструктивное, 418
полноты резолюции, 419
теорем, 556; 613
теорем автоматическое, 426
Документ
релевантный, 1082
Доминирование, 479
слабое, 829
стохастическое, 782;797
строгое, 781; 829
эвристики,171
Домоводство, 79
Дополнение, 487
глагола, 1042
Кларка, 487; 503
отглагольное, 1043
Допустимость, 304
Дреббель К., 52
Дуализм, 41; 1229
Дуга
совместимая, 221
Душа, 1229
Дюрер А., 1147
Е
Евклид,43;1146
Европа,64
Единица
QALY, 798
Единорог, 341
Ж
Жаккард Ж., 52
ЖишингЧ., 268
Жук, 347
навозный, 81; 106
Журнал
по искусственному интеллекту, 72
3
Зависимость
функциональная, 906; 923
Задача, 113; 144
“Дары волхвов”, 577
3SAT, 213;222
CSP, 222
CSP бинарная, 214
CSP булева, 213
MDP, 843; 1176
MDP частично наблюдаемая, 1176
NP-полная, 146; 909; 978
SLAM, 1165
TSP, 202
выбора площадки для размещения аэро
порта, 801
игры в восемь, 117; 145; 147; 149;
168;172; 201
игры в пятнадцать, 145; 201
коммивояжера, 121; 146; 202; 207
коммутативная, 216
многоатрибутной теории полезности, 809
недостаточно ограниченная, 322
неразрешимая, 44
обратного маятника, 1007
обучения нереализуемая, 854
обучения реализуемая, 854
одновременной локализации и составления
карты, 1165
оптимизации, 176
ослабленная, 171; 172; 527; 528; 537
оценки стратегии, 987
планирования обхода, 120
планирования пути, 1168 последовательного принятия решений, 804; 843
похищения, 1161
раскрашивания карты четырьмя цветами, 235
реальная,116
решения кроссворда, 87
робототехнической сборки, 1177
с п ферзями, 322
с n-руким бандитом, 996
с бесконечным горизонтом, 843
с восемью ферзями, 118; 146; 177
с запасным колесом, 521
с лабиринтом, 192
с миллионом ферзей, 229; 236
с миссионерами и каннибала
ми, 145;148;497
с обезьяной и бананами, 148; 560
с полковником Уэстом, 395
с рестораном, 856
стремя заключенными, 656
смены колеса со стертой покрышкой, 521
со скользящими фишками, 118
удовлетворения ограничений, 210; 411
упорядочения сборки, 121
управления навигацией робота, 121
упрощенная, 116
фильтрации, 821; 1160
частично декомпонуемая, 516
Заключение
импликации, 297
Закон
Мура, 1227
мышления, 39
Мэрфи, 108; 141; 152
общественный, 606
Заменяемость
лотерей,773
Замыкание
резолюционное, 313; 421
Запоминание, 411; 901
Запрос, 1082
конъюнктивный, 435
логический, 361
Затенение, 1126
Зверь
Хопкинса, 1195
Землетрясение, 660
Зима
искусственного интеллекта, 65
Знак, 1020
Знания
априорные, 852; 886; 898; 909
диагностические, 643
общие, 58
основанные на модели, 644
предварительные, 81
фоновые, 286; 417; 897
фоновые обыденные, 1211
Знания и действия, 42
Значение, 211
заданное по умолчанию, 483
ожидаемое, 260
ожидаемое денежное, 776
ожидаемое минимаксное, 261; 276
полезности нормализованное, 780
Зог, 897
Золото, 288
Зона
Брока, 47
Зрение
машинное, см. Система технического зрения
низкого уровня, 1115
И
Иголка в стоге сена, 295
Игра, 46; 241
“Дипломатия”, 247
Almanac Game, 799
Minesweeper, 337
Qubic, 267
административная, 848
азартная, 45
бридж, 264
в двадцать четыре, 118
в крестики-нолики, 243; 272; 277
в нарды, 267
в пятнадцать, 118
в чет и нечет на двух пальцах, 826
гекс, 276
го, 268
гомоку, 267
калах, 273
карточная, 263
координационная, 831
Мельница, 267
минный тральщик, 337
осмотр, 827
Отелло, 242; 267
повторяющаяся, 835
покер, 654
против природы, 585
реверси,242; 267
роботизированная с людьми, 1202
с жеребьевкой, 263
с ненулевой суммой, 280
с нулевой суммой, 831
с постоянной суммой, 831
с частичной информацией, 837
со ставками, 636
Игрок, 827
Игрушка
Radio Rex, 764
Идентификация
в пределе, 878; 881
Иерархия
обобщения, 896
таксономическая, 65; 448
Избегание
риска, 777
Извлечение
информации, 1074; 1093; 1106
характеристик, 1113
Изменение
непрерывное, 466 ИИ
искусственный интеллект, 24
ИЛИ-параллелизм, 409
Имитатор
среды общего назначения, 90
Импликация, 297
двусторонняя, 297 Имя
длинное составное, 375
Индекс
Гиттинса, 997; 1013
инвертированный, 1091
Индексальный, 1066
Индексация
по второму параметру, 393
по предикатам, 392
фактов в базе знаний, 392
Индивидуализация, 453
Индивидуум, 183
Индия, 54; 234
Индукция, 853
конструктивная, 913
математическая, 44
Инженер
по знаниям, 370
Инженерия
знаний, 370; 444; 662; 1080
знаний для экспертных систем, 794
онтологическая, 444
Институт
MIT, 1197
SRI, 556; 798
Массачусетсский технологический, 55; 56
Интегрирование
символическое, 896
Интегрируемость, 1132
Интеллект
искусственный, 24; 56
искусственный добрый старый, 1209
искусственный реального времени, 1237
искусственный сильный, 1204
искусственный слабый, 1204
Интеллектуальность, 35
Интервал
времени, 464; 507
временной,500
защиты, 531
Интерпретатор
Prolog, 408
Интерпретация, 353
вероятностная нейронной сети, 961
намеченная, 353
прагматическая, 1026
расширенная, 356
семантическая, 1026; 1066; 1070
Интроспекция, 37
И-параллелизм, 409
Исключение, 445
взаимное, 539
из суммы, 638
путем суммирования, 676
Искусственный интеллект, 34
направления, 34
определение, 35
проектирование рациональных
агентов, 39
универсальная научная область, 34
Использование
совместное подзадач, 575
Исправление
орфографических ошибок, 1109
Исследование
операций, 46; 104; 146; 201; 610
ситуации, 81
среды, 987; 996
Истинность, 292
История
пребывания в среде, 806
Исчисление,188
вариационное, 204
гедонистическое, 797
ситуационное, 455; 462; 499
событий, 462; 500; 1046
флюентных высказываний, 461; 466; 500
Итерация
по значениям, 811; 843
по стратегиям, 817; 843
по стратегиям асинхронная, 819
по стратегиям модифицированная, 819 ИТЕФ
институт теоретической и экспериментальной физики, 273
К
Калман Р., 732
Камера-обскура, 1116
Кардано Дж., 45; 651
Карнап Р., 42; 633; 652
Карта
дорожная вероятностная, 1174 коэффициентов отражения, 1132 Румынии, 114
Каспаров Г, 69; 265
Категория, 447
события, 507
Кахал С., 47
Качество, 1217; 1219; 1230
Квантование
векторное, 753
Квантор,355;378
всеобщности, 355; 385
существования, 357
Кванторы
вложенные, 358
Кеведо Л., 272
Кей М., 1098
Кемпе А., 1209
Кент К., 470
Кеплер Й., 1147
Кибернетика, 52; 53
Килиманджаро, 1020
Кинематика, 1170
обратная, 1170
Кинофильм
“Attack of the Cat People”, 1053
“Take the Money and Run”, 757 Класс
вариантов среды, 90 задач PS РАСЕ, 1246 закрытый, 1028 открытый, 1028 референтный, 632; 652
Классификация, 879; 1089
в описательной логике, 484
документов, 1089
Кластеризация, 678; 703
агломеративная, 1090
документов, 1089
неконтролируемая,942; 943
Клинтон У. Дж., 1136
Клуб
Разума, 977
Ключ
хэш-таблицы комбинированный, 393 Книга
“Port-Royal Logic”, 769; 797
Principia Mathematica, 56
Ko-NP-полный, 303; 337
Коартикуляция, 755
Ковальский Р., 405
Когнитология, 37; 51; 72
Код
открытый, 408
Количество
оставшихся значений минимальное, 218
Колледж
Дартмутский,55
Коммутативность, 216 Комната
китайская, 1231
Компания
Du Pont, 65
General Motors, 1195
Hitachi, 579
IBM, 56; 57; 69; 265; 266; 765
Jaguar Cars, 610
Microsoft, 707
Price Waterhouse, 610
Sun Microsystems, 1225
Westinghouse, 610
Xerox, 1097
Компиляция, 409
Композициональность, 345
Композиция
подстановок, 404
Компонент
обучающий, 100
производительный, 100; 102
смешанного распределения, 943
Компоновка
СБИС, 121; 146; 182
ячеек, 121
Компрометация
проверочных данных, 864
Компьютер, 51
АВС, 51
Colossus, 51
ENIAC,51
IBM 704, 267
NavLab, 69
Snare, 55
VAX, 434
Z-3,51
вычислительные ресурсы, 49
Конкретизация высказывания с квантором всеобщности, 385 высказывания с квантором существования, 386
Конкуренция, 608
Коннекционизм, 66; 955
Консеквент, 297
Константа
сколемовская, 386; 433
Консультация юридическая, 74
Контекст, 346 формы, 1141 целостный, 1210
Контроллер, 104; 1180
опорный, 1180
оптимальный, 1180
строго стабильный, 1181
Контроль
выполнения, 581; 593; 609; 613
действий,593; 594; 595
плана, 593; 596
Контур, 1126
равных f-стоимостей в пространстве состояний, 161
Конъюнкт, 297
Конъюнкция, 297
Кора
головного мозга, 48
Корень
квадратный, 93
Корпорация
Honda, 1154
Корпус, 1159
Коррекция
орфографических ошибок, 1088
Корреляция
взаимная, 1127
Кортеж, 351
Коэффициент
ветвления,126; 170; 904
ветвления эффективный, 170; 201; 252
квантования, 752
конкурентоспособности, 193
обесценивания, 809; 988
приращения, 868
уверенности, 64
усиления контроллера, 1180
Край,1121; 1133
Крамник В., 266
Краткость, 332
Кривая
ROC, 1087
обучения,864;879; 966
Критерий
коэффициента приращения, 884
Критик
обучающегося агента, 101
Кроссворд, 70
Крыса, 50
Крэг К. Дж., 50
Ктесибий из Александрии, 52
Кубик
Рубика,145; 172; 1126
Культ
компьютероцентризма, 1205
Кэнни Дж., 1123
Л
Лаборатория
ATT Bell Labs, 764
Лавлейс А., 52
Лампа
электронная, 55
Ландшафт
пространства состояний, 176
Лаплас П., 45; 652; 694
Ларсон Г., 897
Лёвенхейм Л., 379
Ледерберг Дж., 63
Лейбниц Г.В., 41; 188; 336; 652; 844
Лексикон,1091
Лемма
поднятия, 419; 422
Робинсона, 422
ЛенатД.Б., 509
Лес
упакованный, 1038
Лимб, 1133
Лингвистика, 72
вычислительная, 54
компьютерная, 72
Линеаризация, 1164
плана,530
Линза, 1117
Линии
параллельные, 1116
Линия
базисная, ИЗО
Вороного, 1174
задержки, 328
Линней К., 498
Литерал, 297; 517
базовый, 517
не содержащий функций, 517
ответа, 418
отрицаемый, 428
отрицательный, 297; 518
положительный, 297; 518
Литералы
взаимно обратные, 309
Лицо
анализирующее решения, 793
принимающее решения, 793
Ллойд С., 145
Ловушка
предсказуемости, 88
Логика, 38
булева, 296; 336
временная, 349; 499
высокого порядка, 349
динамическая, 499
индуктивная, 633; 652
модальная, 470; 501
немонотонная, 491; 503
нечеткая, 623; 696; 707
описательная, 480; 484; 497;503
первого порядка, 285; 344; 348
пропозициональная, 285; 296; 345
система обозначений, 38
умолчания, 492; 503
формальная, 43
Логит-распределение, 671; 704
Логицизм, 38
Логическое
программирование в ограничениях, 236
ЛоджД., 1241
Лозунг
“Мозг рождает разум”, 1215
Локализация, 1160
глобальная, 1161
марковская, 1196
Монте-Карло, 1163
Локальность, 696
Локатор
звуковой,1155
Локк Дж., 41
Лотерея, 772; 800
стандартная, 780
Лошадь, 1215
Луллий Р., 41
Любовь, 1206
Любопытство, 998
М
Макаллестер Д.А., 66
Макдональд Р., 348
Мак-Каллок У., 53
Маккарти Дж., 55; 57; 1220
Макнили С., 1225
Макрооперация ,610
Максвелл Дж., 694; 1147
Максимин, 832
Максимум
локальный, 178
нормализованный, 815
Малик Дж., 1127
Мандела Н., 1136
Манипулятор
станфордский, 1157
Маргинализация, 638
Мартышка-верветка, 1020
Маршрутизация
каналов, 121
Маслов С., 434
Масс-спектрометр, 63
Мат, 136
Математик
древнегреческий, 432
советский, 634
Математика, 43; 56
Материализм, 41; 1229
элиминирующий, 1230
Матрица
вознаграждений, 827
переходов, 712
Махавиракарья, 651
Машина
Demonstrator Стенхоупа, 336
WAM,436
аналитическая, 52
Больцмана, 979
обучающаяся, 100
поддерживающих векторов, 878; 881; 967;
972;980
поддерживающих векторов виртуальная, 972
разностная, 52
рука-глаз, 1196 сверхинтеллектуальная, 1227
Тьюринга, 44; 881
Уоррена абстрактная, 408; 436
Мегапеременная, 728
Мендель Г, 186
Менингит, 655
Мера, 452
Мереология, 501
Метаданные, 1088
Метаправило, 412
Метарассуждения
на основе теории решений, 1237
Метафизика, 42
Метафора, 1055; 1067
Метка
в плане,587; 617
линии,1133
Метод
EKF, 1166
SLD-резолюции, 435 безмодельный, 1000 временной разности, 992 инверсный, 434 итерационный, 813 кластеризации по к средним, 1090 критического пути, 567 локализации Монте-Карло, 1163 магических множеств, 435
Монте-Карло на основе цепи Маркова, 702;746 надежный, 1176
непосредственной оценки полезности, 988
Ньютона-Рафсона, 190
обнаружения краев Кэн ни, 1149
обратного перехода, 225
обратного распространения, 978
обратного распространения ошибки, 963 перевода с помощью памяти, 1099 передачи, 1099
предпочтения единичных выражений, 424
резолюции, 58; 61 скелетирования, 1197
слабый, 62
соединения, 434
усиления, 871; 880
устранения моделей, 435
Метонимия, 1054; 1067
Механизм, 838
защиты стратегии, 840 исполнительный, 75; 84; 1153 поиска общего назначения, 62
Механика
статистическая, 65; 978
Микромир, 58; 59; 61
Микрошанс
смерти,780; 798; 801
Милл Дж.С., 43
Миллер Дж., 51
Минимизация
логическая, 450
Минский М.Л., 55; 58; 72
Мир
блоков,59; 64; 504; 522; 598
вампуса, 288; 339; 367; 445; 651; 657; 1021
возможный, 292
минного тральщика, 341
пылесоса, 77; 78; 107; 116; 152; 588
пылесоса с альтернативным двойным зако
ном Мэрфи, 591
пылесоса с двойным законом Мэр
фи, 585
пылесоса с тройным законом Мэр
фи, 587
Миры
возможные, 501
Мистицизм, 48
Мичи Д., 72
Множества
непересекающиеся, 448
Множество
в логике первого порядка, 365
граничное, 893
конфликтное, 225; 226
магическое, 403
нечеткое, 707
обучающее, 858; 864; 879
обучающее взвешенное, 870
обучающее тиражированное, 870
ответов, 490
поддержки, 425; 426
проверочное, 864; 879
разрыва цикла, 232
случайное, 701
состояний, 588
строк,1022
Модальность
сенсорная,1113
Моделирование
мира, 1216
языковое, 1084
Модель, 292
НММ, 765
IBM Model 3,1103; 1112
n-словных сочетаний, 1075
акустическая, 751; 1056
байесовская наивная, 1085
векторного пространства, 1092; 1108
восприятия,716;729; 734; 762; 820; 1160
графическая, 659
движения, 1160
двухсловных сочетаний, 757; 1075
двухсловных сочетаний вероятностная, 1088
ключевых слов булева, 1083
марковская скрытая, 67; 713; 740; 762; 763
минимальная, 488; 492
мира, 96; 1056
мыслительная, 1056
наблюдения, 820
наивная байесовская, 646; 947
однословных сочетаний, 1075
перевода, 1100; 1102
перехода, 748; 805; 822; 988; 1160
постоянного отказа, 744
причинная, 665
прогностическая, 985
реляционная вероятностная, 691
скрытой семантической индексации, 1107
среды, 987
стохастического движения, 805 трехсловных сочетаний, 758; 1075 фертильности, 1104
ядерная, 954
языковая, 751; 1056; 1100; 1101; 1104
языковая вероятностная, 1075
языковая двухсловная, 1075
языковая однословная, 1075
Модуль
Office Assistant, 703
Printer Wizard, 703
Мозг, 54
вычислительные ресурсы, 49
Мозг и разум, 48
Монотонность, 307
предпочтений, 773
эвристической функции, 161
Моргенштерн О., 45
Мороженое, 625
Мочевина
искусственная, 1213
Мочли Дж., 51
Музей
науки лондонский, 52
Музыка, 52
Мультимножество
слов, 1085
Мур Т.,55
Мураками Т., 267
Мутация, 61; 185
Муха
летящая, 1128
Мышление, 46
Мышь
летучая, 614
механическая Theseus, 880
Н
Наблюдения независимые и одинаково распределенные, 929
Набор
результирующий, 1082
Навыки
моторные, 74
Наказание
вечное,835
Намерение, 1025
Нарды, 276; 1003
Наслаждение
земляникой,1206
Наследование, 447; 481; 511
множественное, 482
Насыщение, 421
Наука
прикладная, 72
проектирования рациональных агентов, 68
теоретическая, 72
Неврология, 46
вычислительная, 955
Невычислимость, 44 Недетерминированность неограниченная, 581 ограниченная, 580
Недоказуемость, 44
Недопроизводство, 1029
Независимость, 641
абсолютная, 641; 650
взаимная по полезностям, 785
взаимная по предпочтениям, 784
маргинальная, 641
по предпочтениям, 801
подцелей, 527
полезностей,785
предпочтений, 784
условная,645;649;651; 655; 666; 702; 723
Незнание, 696; 699
Нейробиология, 1150
Нейрон, 47; 54; 1218
Немонотонность, 491
Неоднозначность, 346
лексическая, 1053
синтаксическая, 1053
структурная,1053
Неоднородность
сосредоточенная, 1121
Неопределенность, 64; 68; 445; 620;
699;1211
идентичности, 693
реляционная, 693
управления, 1178
Неосведомленность, 696
Неполнота
системы Prolog, 410
Непрерывность
предпочтений, 773
Непрозрачность
ссылочная, 470; 501
Непротиворечивость
логического вывода, 295
Неравенство
треугольника, 161
Неразрешимость, 44; 61
Нерациональность, 35; 772
Никсон Р., 492; 1056
Нили Р., 267
Нильссон Н., 1202
Номенклатура
биноминальная, 498
Номер
гёделевский, 420
телефона, 472
Норвиг П., 452
Нормализация, 638
Нуль-гипотеза, 866
Ньютон И., 34; 93; 188; 718
Ньюэлл А., 37; 51; 55
О
Обеспечение
аппаратное нейронной сети, 55
Область
действия кванторов, 1066
определения, 211
определения бесконечная, 213
определения конечная, 212; 411
определения непрерывная, 213
определения случайной переменной, 627
проблемная в логике первого порядка, 350
проблемная в представлении знаний, 361
проблемная родства, 362
проблемная семейных отношений, 362
проблемная электронных схем, 373
Обнаружение
краев, 1121; 1122
Обновление
Беллмана, 813
Беллмана упрощенное, 818
Обобщение, 426; 853; 889; 890
в описательной логике, 484
на основе объяснения, 269
Оболочка
для извлечения информации из Web-
страницы, 478
Обоснование, 296; 489
Обработка
естественного языка, 54
изображения, 1146
параллельная распределенная, 955
потока данных, 328
специальных ограничений, 223
текстов на естественных языках, 36
Обусловленность
причинная, 300; 644
Обучение, 24; 81; 288; 850; 1080; 1211
активное, 987
ансамбля,869
байесовское, 872; 928; 974
в мире блоков, 59
игре в шашки, 57
индуктивное,175; 879
индуктивное на основе базы знаний, 910
индуктивное на основе знаний, 900; 921
инкрементное, 893; 897
классификации, 856
контролируемое, 851; 1003; 1136; 1211
кумулятивное, 921
машинное, 36; 39
на опыте, 1206
на основе накопления знаний, 913
на основе объяснения, 898; 921; 922
на основе опыта, 68
на основе релевантности, 921
на основе экземпляра, 952; 1014
нейронной сети, 55
неконтролируемое, 852
непараметрическое, 952
оперативное, 1003
параметрам, 932
параметрам с максимальным правдоподо
бием, 935
параметрическое, 951
пассивное, 987
путем обратного распространения, 62; 66
регрессии, 856
с подкреплением, 852; 986; 1211
с подкреплением иерархическое, 1015
с учетом релевантности, 899; 907
хеббовское, 55
Общение, 1020
Общество
по искусственному интеллекту, 72
Объект, 348; 354
составной, 449
Объективизм, 632
Объяснение, 496; 698; 902
Овеществление, 447; 469
ОТенри, 577
Ограничение, 211
“самое большее”, 224
AlldifT, 223
бинарное, 214
линейное, 213
логического следствия, 896; 912; 921
на предпочтение, 772
на ресурсы, 568
нелинейное, 213
неравенства, 536
предпочтения, 215
ресурсное, 224связи,1169состояния, 520; 550унарное, 214упорядочения, 531; 535целостности,314Одометрия, 1156Оккам У., 854; 879Октант, 1134Олдисс Б., 1228Омофон, 751Онтология, 371; 374; 375верхняя,445; 496Оператормодальный, 470; 499Операцияунификации, 433факторизации, 416ОписаниеPEAS, 83; 85косвенное, 491; 503косвенное с приоритетами, 492с помощью переменных, 902; 903снега словесное, 347Оплодотворениеискусственное, 1213Определение, 906; 923; 925логическое, 363минимальное, 909ограничений с помощью обучения, 227потенциальное, 887рационального агента, 79рекурсивное,915условий выбора множества разрыва цикла, 232Опровержение, 305Оптимальностьалгоритма поиска, 126; 144ограниченная, 1239ограниченная асимптотическая, 1240Оптимизаторлокальный, 579Оптимизациякомпилятора, 578с ограничениями, 190ОрганизацияIEEE, 498Open Mind Initiative, 498Sigir, 1110Орнитоид, 614Оса-сфекс, 81; 597Основа, 1210Осуществимостьлогического вывода, 485Осязание, 1113ресурсное, 224связи,1169состояния, 520; 550унарное, 214упорядочения, 531; 535целостности,314Одометрия, 1156Оккам У., 854; 879Октант, 1134Олдисс Б., 1228Омофон, 751Онтология, 371; 374; 375верхняя,445; 496Оператормодальный, 470; 499Операцияунификации, 433факторизации, 416ОписаниеPEAS, 83; 85косвенное, 491; 503косвенное с приоритетами, 492с помощью переменных, 902; 903снега словесное, 347Оплодотворениеискусственное, 1213Определение, 906; 923; 925логическое, 363минимальное, 909ограничений с помощью обучения, 227потенциальное, 887рационального агента, 79рекурсивное,915условий выбора множества разрыва цикла, 232Опровержение, 305Оптимальностьалгоритма поиска, 126; 144ограниченная, 1239ограниченная асимптотическая, 1240Оптимизаторлокальный, 579Оптимизациякомпилятора, 578с ограничениями, 190ОрганизацияIEEE, 498Open Mind Initiative, 498Sigir, 1110Орнитоид, 614Оса-сфекс, 81; 597Основа, 1210Осуществимостьлогического вывода, 485Осязание, 1113
ресурсное, 224
связи,1169
состояния, 520; 550
унарное, 214
упорядочения, 531; 535
целостности,314
Одометрия, 1156
Оккам У., 854; 879
Октант, 1134
Олдисс Б., 1228
Омофон, 751
Онтология, 371; 374; 375
верхняя,445; 496
Оператор
модальный, 470; 499
Операция
унификации, 433
факторизации, 416
Описание
PEAS, 83; 85
косвенное, 491; 503
косвенное с приоритетами, 492
с помощью переменных, 902; 903
снега словесное, 347
Оплодотворение
искусственное, 1213
Определение, 906; 923; 925
логическое, 363
минимальное, 909
ограничений с помощью обучения, 227
потенциальное, 887
рационального агента, 79
рекурсивное,915
условий выбора множества разрыва цикла, 232
Опровержение, 305
Оптимальность
алгоритма поиска, 126; 144
ограниченная, 1239
ограниченная асимптотическая, 1240
Оптимизатор
локальный, 579
Оптимизация
компилятора, 578
с ограничениями, 190
Организация
IEEE, 498
Open Mind Initiative, 498
Sigir, 1110
Орнитоид, 614
Оса-сфекс, 81; 597
Основа, 1210
Осуществимость
логического вывода, 485
Осязание, 1113
ресурсное, 224
связи,1169
состояния, 520; 550
унарное, 214
упорядочения, 531; 535
целостности,314
Одометрия, 1156
Оккам У., 854; 879
Октант, 1134
Олдисс Б., 1228
Омофон, 751
Онтология, 371; 374; 375
верхняя,445; 496
Оператор
модальный, 470; 499
Операция
унификации, 433
факторизации, 416
Описание
PEAS, 83; 85
косвенное, 491; 503
косвенное с приоритетами, 492
с помощью переменных, 902; 903
снега словесное, 347
Оплодотворение
искусственное, 1213
Определение, 906; 923; 925
логическое, 363
минимальное, 909
ограничений с помощью обучения, 227
потенциальное, 887
рационального агента, 79
рекурсивное,915
условий выбора множества разрыва цикла, 232
Опровержение, 305
Оптимальность
алгоритма поиска, 126; 144
ограниченная, 1239
ограниченная асимптотическая, 1240
Оптимизатор
локальный, 579
Оптимизация
компилятора, 578
с ограничениями, 190
Организация
IEEE, 498
Open Mind Initiative, 498
Sigir, 1110
Орнитоид, 614
Оса-сфекс, 81; 597
Основа, 1210
Осуществимость
логического вывода, 485
Осязание, 1113
Отбор, 184
Ответ
системный, 1220
Ответственность
правовая,1225
Отделение, 696
Отжиг, 181
Отзывы
касающиеся релевантности, 1089 Отказ
датчика, 742; 743
Отклик, 50
Открытие
научное, 881
Отладка, 372
автоматизированная, 924
базы знаний, 377
Отметка, 1162
Отношение, 348
взаимно исключающее, 555
взаимного исключения, 555
зашумленного OR, 667
нейтральное к риску, 778
предпочтения стационарное, 809
равенства, 423
Отношения
причинно-следственные, 300; 369
связности,1059
связности речи, 1068
Отплата
“зуб за зуб”, 836
Отражение
диффузное, 1118
зеркальное, 1118
Отражения
взаимные, 1132
Отрицание, 297
как недостижение цели, 406
Отсечение, 163; 242; 866
в задачах с непредвиденными ситуа
циями, 262
ветвей дерева решений, 866
ветви, 904
ненужных ходов, 266
поддерева, 163
предварительное, 257
хи-квадрат, 867
Отслеживание
траектории, 1161
Отсутствие
практических знаний, 622
теоретических знаний, 622
Отчет
ALPAC, 1110
Лайтхилла, 62; 65
Олви, 65
парламентский, 1100; 1112
Оценка
вероятностная, 632
позы, 1138
согласованная, 681
степени уверенности с интервальным зна
чениями, 696
стратегии, 817
Очередь, 125
FIFO, 127
LIFO, 130
по приоритету, 1091
последовательная, 127
Ошибка
гипотезы, 874
скрытая, 671
случайная, 626; 664
случайная булева, 627
случайная непрерывная, 668; 704
Перемещение
связок -л внутрь выражений, 414
Перепланирование, 581; 594; 613
Перепроизводство, 1029
Пересмотр
убеждений,494
Переход
к общим заключениям, 897
корректный к более примитивному поведению, 825
П
обратный, 236 принудительный, 611
Падение
монеты, 697
Память
ассоциативная, 979
долговременная, 402
кратковременная, 402
рабочая,923
Панини, 54
Пара
“переменная-терм”, 362
Парадокс, 501
Никсона, 492
санкт-петербургский, 797; 801
Параллакс
движения, 1129; 1146
Параметр, 669
Парамодуляция, 423; 437
Пари
Паскаля, 797
Паскалина, 41
Паскаль Б., 41; 45; 651
Пенроуз Р., 1208
Перевод
машинный, 61; 74; 1074; 1096
машинный статистический, 1100
принудительный, 582
текста на естественном языке, 61
Перезапись
термов, 437
Переименование, 396
Перейра Ф., 1025
Перекрытие
заданного по умолчанию значения, 483
Переменная, 211
вспомогательная ,214
запроса, 671
индикаторная,944
латентная, 941
логическая, 356; 407
свидетельства, 671
фазовый, 338
Периферия, 124
Перл Дж., 660
Персептрон, 975; 977
простой, 982
с голосованием, 978
Перспектива, 1146
Перфокарта, 52
Перцептрон, 59
репрезентативные возможности, 62
с двумя входами, 62
Петля
обратной связи, 698
ПЗС
прибор с зарядовой связью, 1115
Пивзавод, 613
Пикассо П., 1213
Пиквик Г., 1213
Пиксел, 1115
Пингвин, 614
Пинг-понг, 74
Пирс Ч.С., 235; 480
Питтс У., 53
План
действий в непредвиденных ситуациях, 145
нелинейный, 557
совместный, 603
согласованный, 532
универсальный, 613
условный, 609; 793
Планетоход, 1154
Планирование, 98; 271; 456; 514
HTN, 1015
авиапутешествий, 120
без использования датчиков, 581
без чередования, 562
в мире блоков, 59
военных операций, 120
движений тонкое, 1177
история развития, 556
классическое, 514
линейное, 556
маршрута, 58
многотельное, 604
мультиагентное, 602; 603
на основе прецедентов, 611
неклассическое, 514
непрерывное, 582; 598; 599; 613
операций авианосца, 613
покрытия пола, 238
прогрессивное, 524
производства, 566
реактивное, 613
регрессивное, 526
с помощью иерархической сети
задач, 609
с регрессией от цели, 557
с учетом непредвиденных ситуаций, 581
с частичным упорядочением, 530
совместимое, 581; 1177
согласованное, 611
условное, 581; 621
Планировщик
FastForward, 558
PRS,614
Remote Agent, 553
Плато, 179
Платон, 3 36; 500; 1229
Поведение
стохастическое, 88
эмерджентное, 607; 1184
Поверхность
ламбертова, 1118; 1131; 1151
Подбрасывание
монеты, 699; 801; 862
Подгонка
чрезмерно тщательная, 866; 966
Поддержка
несогласованная, 540
связи,88
Подкрепление, 852; 985
Подмножество
английского языка, 1027
Поднятие, 390
Подсобытие, 464
Подстановка, 362; 385
Compose, 404
Подход
“разделяй и властвуй”, 553
близорукий,793
декларативный, 287; 345
логицистский, 379
процедурный, 287; 345
Подцели
упорядочиваемые, 553
Поездка
в аэропорт, 620
Поза, 1125; 1142; 1157
Позитивизм
логический,42
Позиция
пропозициональная, 469
спокойная, 256; 273
целенаправленная, 1230
Поиск, 98; 112; 144
А*, 158
А* с итеративным углублением, 164; 202
А* с ограничением памяти, 166; 202
В*, 275
LRTA*, 197
в Internet, 122
в автономном режиме, 191
в глубину, 130; 144
в глубину с итеративным углублением, 133
в непрерывном пространстве, 204
в оперативном режиме, 191
в реальном времени, 205
в ширину, 127; 144
двунаправленный, 135; 136; 145; 202; 561
жадный, 178
жадный локальный, 178
жадный по первому наилучшему совпаде
нию, 156
информационный, 1074; 1082; 1108
информированный, 127; 154; 155
линейный, 190
локальный, 154; 176; 236; 322; 337
локальный лучевой, 182
лучевой, 182
маршрута, 120
минимаксный, 250; 269; 271
неинформированный, 127; 129; 146
параллельный, 206
паросочетаний, 1141
по критерию стоимости, 129; 144
по первому наилучшему совпадению,
155;199
при переводе, 1104
противоречий,434
рекурсивный по первому наилучшему совпадению, 164;202
с возвратами, 131; 216; 229; 235
с возвратами динамический, 236
с возвратами хронологический, 225
с восхождением к вершине, 177; 196; 209
с восхождением к вершине и перезапуском случайным образом, 180
с запретами, 203
с итеративным углублением, 133; 145;
146;256; 428
с итеративным удлинением, 135; 149
с ограничением глубины, 132; 144
с перезапуском случайным образом, 209
с частичной информацией, 139
с эмуляцией отжига, 181; 209
слепой,127
спокойных позиций, 256
стохастический лучевой, 183
стохастический с восхождением к вер
шине, 180
стратегии, 1007
текущей наилучшей гипотезы, 889
эвристический, 127;200
эвристический с ограничением памяти, 202
Показатели
производительности, 621
производительности водителя, 83
Показатель
производительности, 78; 79; 771
связности, 1076
Покрытие
марковское, 666; 711
Поле
потенциалов, 1173
Полезность, 99; 242; 806
ожидаемая, 105; 625; 769; 770; 776
ожидаемая максимальная, 625; 770; 774;
797
состояния, 811
Полет
искусственный, 37
Полидерево, 677; 702
Политика
оптимальная, 1176
Полковник
Уэст, 395
Полнота, 333
алгоритма поиска, 126; 144
выборки, 1086
доказательства, 295; 413
опровержения, 310; 419
процедуры доказательства, 334
резолюции, 312; 419
Полуход, 244
Получение
высказывания, 295
Понимание, 1022
естественного языка, 59; 64
речи, 750
языка, 54
Понятие
человек, 363
Понятия
хорошего или плохого, 770
Популяция, 183
Попытка, 988
Порфирий, 502
Последовательность
актов восприятия, 76; 79
состояний, 811
Последствие
действия, 520
Последствия
побочные, 839
Поток
оптический,1126; 1145; 1148
Потомок
вершины в байесовской сети, 666
Потребление
полученных результатов, 996
Потребность
в памяти,128
Почта
электронная нежелательная, 1111
Поэзия, 34
Правдоподобие
максимальное, 931; 933
Правила, 613
Правило
“экономии количества ставок”, 774
if-then, 94
Modus Ponens, 305
Байеса, 45; 642; 644; 651; 655; 750
введения квантора существования, 438
Видроу-Хоффа, 1004
вывода в логике первого порядка, 388
де Моргана, 360
демодуляции,423
Демпстера, 699
диагностическое, 369
единичной резолюции, 309
если-то,297
импликации, 297
леворекурсивное,1031
логического вывода, 305; 309; 335
логического вывода для кванторов, 385
модус поненс, 305
обновления, 55
отделения, 305; 336; 425; 431; 440; 471
отделения обобщенное, 389; 431
парамодуляции, 423
перезаписи,427; 441
подстановки,1023; 1252
полной резолюции, 309
правой ассоциации,1056
применяемое по умолчанию, 492
причинное, 369
произведения, 631
прохождения,433
резолюции, 308; 433
резолюции для логики первого порядка,
415
ситуация-действие, 94
удаления двухсторонней импликации, 306
удаления связки "И’’, 306
условие-действие, 94; 276
хеббовского обучения, 55
цепное, 663
Правительствобританское, 62Прагматика, 1022Превосходствотехнологическое, 1227Пределглубины, 256Предикат, 1045append, 408assert, 406perm, 441Person, 363retract, 406sorted, 441ввода-вывода, 406целевой, 856Предложение, 1029Гёделя, 1207констатирующее, 42относительное, 1029Предположение, 496Strips, 518Гольдбаха, 925марковское,762о замкнутом мире, 486; 517о марковости, 716о независимости предпочтений, 809об открытом мире, 547об уникальности имен, 460; 486Предположенияисходные, 1126Предпосылка, 297Предпочтение, 624; 774моделей, 491монотонное, 775Предпочтениячеловека, 809ПредсказаниеСаймона, 60Представление, 210в виде модели, 50времени, 499знаний, 36; 54; 58; 64знаний аналогическое, 380наивное байесовское, 653стратегии стохастическое, 1008Предусловие, 517внешнее, 573открытое, 531; 600Предусловиязнаний,473Предшественникузла,136Преемник, 525узла,136Преемственностьэвристической функции, 161Правительствобританское, 62Прагматика, 1022Превосходствотехнологическое, 1227Пределглубины, 256Предикат, 1045append, 408assert, 406perm, 441Person, 363retract, 406sorted, 441ввода-вывода, 406целевой, 856Предложение, 1029Гёделя, 1207констатирующее, 42относительное, 1029Предположение, 496Strips, 518Гольдбаха, 925марковское,762о замкнутом мире, 486; 517о марковости, 716о независимости предпочтений, 809об открытом мире, 547об уникальности имен, 460; 486Предположенияисходные, 1126Предпосылка, 297Предпочтение, 624; 774моделей, 491монотонное, 775Предпочтениячеловека, 809ПредсказаниеСаймона, 60Представление, 210в виде модели, 50времени, 499знаний, 36; 54; 58; 64знаний аналогическое, 380наивное байесовское, 653стратегии стохастическое, 1008Предусловие, 517внешнее, 573открытое, 531; 600Предусловиязнаний,473Предшественникузла,136Преемник, 525узла,136Преемственностьэвристической функции, 161
Правительство
британское, 62
Прагматика, 1022
Превосходство
технологическое, 1227
Предел
глубины, 256
Предикат, 1045
append, 408
assert, 406
perm, 441
Person, 363
retract, 406
sorted, 441
ввода-вывода, 406
целевой, 856
Предложение, 1029
Гёделя, 1207
констатирующее, 42
относительное, 1029
Предположение, 496
Strips, 518
Гольдбаха, 925
марковское,762
о замкнутом мире, 486; 517
о марковости, 716
о независимости предпочтений, 809
об открытом мире, 547
об уникальности имен, 460; 486
Предположения
исходные, 1126
Предпосылка, 297
Предпочтение, 624; 774
моделей, 491
монотонное, 775
Предпочтения
человека, 809
Предсказание
Саймона, 60
Представление, 210
в виде модели, 50
времени, 499
знаний, 36; 54; 58; 64
знаний аналогическое, 380
наивное байесовское, 653
стратегии стохастическое, 1008
Предусловие, 517
внешнее, 573
открытое, 531; 600
Предусловия
знаний,473
Предшественник
узла,136
Преемник, 525
узла,136
Преемственность
эвристической функции, 161
Правительство
британское, 62
Прагматика, 1022
Превосходство
технологическое, 1227
Предел
глубины, 256
Предикат, 1045
append, 408
assert, 406
perm, 441
Person, 363
retract, 406
sorted, 441
ввода-вывода, 406
целевой, 856
Предложение, 1029
Гёделя, 1207
констатирующее, 42
относительное, 1029
Предположение, 496
Strips, 518
Гольдбаха, 925
марковское,762
о замкнутом мире, 486; 517
о марковости, 716
о независимости предпочтений, 809
об открытом мире, 547
об уникальности имен, 460; 486
Предположения
исходные, 1126
Предпосылка, 297
Предпочтение, 624; 774
моделей, 491
монотонное, 775
Предпочтения
человека, 809
Предсказание
Саймона, 60
Представление, 210
в виде модели, 50
времени, 499
знаний, 36; 54; 58; 64
знаний аналогическое, 380
наивное байесовское, 653
стратегии стохастическое, 1008
Предусловие, 517
внешнее, 573
открытое, 531; 600
Предусловия
знаний,473
Предшественник
узла,136
Преемник, 525
узла,136
Преемственность
эвристической функции, 161
Президент, 468
Преимущество
материальное, 255
Премия
Американской академии киноискус
ства, 614
Нобелевская, 46; 47; 63
Оскар,614
страховая, 777
Тьюринга, 1250
Фредкина, 274
Пренебрежение
служебными обязанностями, 1225
Преобразователь
каскадный с конечными автоматами, 1095
Препятствие
вертикальное, 1171
Пресли Э., 467
Приведение
к абсурду, 305
к нижнему регистру, 1087
Привод
гидравлический, 1159
дифференциальный, 1158
пневматический, 1159
синхронный, 1158
Пригодность
операционная, 904
Приемник
GPS, 1156
Приз
Лебнера, 73
Приложение, 1043
Применение
эталонных тестов, 1243
Пример, 853
ложно отрицательный, 888
ложно положительный, 888
отрицательный, 856
положительный, 856
Принуждение, 581
Принцип
"сформулировать, найти, выполнить", 112
“разделяй и властвуй”, 766
безразличия, 633; 652
бритвы Оккама, 854; 879; 881; 897; 916; 931
индукции, 42
модифицированной итерации по стратеги
ям, 990
непритязательности, 1239
полезности,774
ранжирования вероятностей, 1084
Принятие
решений в условиях неопределенности, 624
решений людьми, 778
решений последовательное, 788
Приобретение
знаний, 64; 371
надежное, 777
Приращение
информации, 863; 866; 879
Присваивание, 211
допустимое, 211
полное, 211
совместимое, 211
Пробит-распределение, 671; 704
Проблема
выводимого окружения, 458
индукции,853
исследования, 140
непредвиденных ситуаций, 140; 143
неразрешимая, 73
окружения, 458; 499
останова машин Тьюринга, 388
отсутствия датчиков, 140
поиска решения, 44
полуразрешимости, 388
понимания языка, 54
представительного окружения, 458; 518
разума и тела, 1214
распространения последствий, 459
совместимости, 140
спецификации, 458; 520; 581; 620; 1211
существования полной процедуры доказа
тельства, 412
трудноразрешимая, 73
удовлетворения ограничений, 211
Пробуксовка, 167
Проведение
метарассуждений, 270
рассуждений, 58
формальных юридических рассуждений, 74
Проверка, 430
вхождения, 391; 407
значимости, 866
перекрестная, 867; 967; 984
перекрестная с исключением одного при
мера, 867
по моделям, 294
показателя интеллекта, 59; 73
предварительная, 220
схемы, 377
терминального состояния, 243
цели,114; 144; 212; 524; 1031
Программа
агента, 91
Программа
Absolver, 172
Advice Taker, 58; 63
Analogy, 59
Aura, 430
BKG, 276
Bridge Baron, 271
Chess 4.5, 146
Chill, 1063
Chinook, 267; 280
DarkThought, 275
Deep Blue, 69; 265; 266
Dendral, 62
EQP, 430
Fritz, 266
Geometry Theorem Prover, 57
GIB, 268
Go4++, 268
Goemate, 268
GPS, 57
Kaissa, 274
Logic Theorist, 56; 337
Logistello, 267
LT, 56
MacHack 6, 274
Mycin, 64
Neurogammon, 1006
Otter, 426
Prolog, 405
Proverb, 70
PTTP, 428
Remote Agent, 69; 105; 610
Saint, 59
Shrdlu, 60
Student, 59
TD-Gammon, 1014
автоматического доказательства геометрических теорем, 57
автоматического доказательства теорем, 437
агента, 77; 91; 103
логик-теоретик, 56
общего решателя задач, 57
планирования автономная бортовая, 69 проверки моделей Spin, 431 частичная, 1015 шахматная ITEP, 273
шахматная NSS, 273 Программирование
агентно-ориентированное, 105 генетическое, 204
динамическое, 201; 411; 724; 843; 1032 динамическое адаптивное, 990 динамическое непоследовательное, 704 индуктивное логическое, 900; 922; 924 линейное, 190; 204; 213; 834 логическое, 314; 379; 403; 405; 436 логическое в ограничениях, 411; 412; 436 логическое табулированное, 411; 435; 436 множества ответов, 490 объектно-ориентированное, 52 функциональное, 436
Продление
причинной связи, 600
Продолжение, 409
Продукция, 94
Проект
Deep Thought, 265
Linguistic String Project, 1065
Shakey, 58
Soar, 68
компьютера пятого поколения, 65
эвристического программирования, 63
Проектирование, 456
агента, 826
механизма, 827; 838
молекулы белка, 122
Проекция
ортогональная масштабированная, 1116
перспективная, 1116; 1126
Прозрачность
ссылочная, 470
Проигрыш
наихудший возможный, 780
Произведение
точечное, 675
Проникновение, 201
Пропозиционализация, 387
Проставление
обратных отметок, 236
Простота
конструирования, 333
Пространство
версий,880;892; 893
гипотез, 853; 888
доверительных состояний, 145
занятое, 1171
конфигураций, 1168; 1169
рабочее, 1169
свободное, 1171
состояний, 114; 123; 144; 210
состояний метауровневое, 168
состояний объектно-уровневое, 168
Протагор, 1065
Протез
мозга, 1217; 1231
Противодействие
языка синонимии, 1088
Противоречие, 427
Профиль
стратегии, 828
Процедура
доказательства, 44
логического вывода, 372
логического вывода полная, 416
Процесс, 465
инженерии знаний, 371
марковский, 716
обнаружения края Кэнни, 1123
принятия решений комплексный, 202
принятия решений марковский, 46; 806; 841; 986 принятия решений марковский в частично наблюдаемой среде, 819; 843
Процессор текстовый Microsoft Word, 1093
Псевдокод, 1253
Псевдоэксперимент, 993 Психология когнитивная, 50 народная, 505; 1230 обывательская, 50 экспериментальная, 37; 49
Психофизика, 1150
Путь, 114; 144; 567
кратчайший, 150 критический, 567 опорный, 1180 Пятно светочувствительное, 1144 Пьеса
R.U.R., 1194
Р
Работы разведочные, 789
Равновесие, 992
Байеса-Нэша, 837 детализированное, 688 доминантных стратегий, 829 максиминное, 833 Нэша, 830; 833
Радар, 46
Разбиение на лексемы, 1095
Разбор синтаксический, 1030
Развертывание итеративное, 202 состояния, 122
Раздача карт в покере, 654
Разделение переменных, 646
Разделитель
линейный, 959; 968
линейный оптимальный, 968
Разложение в ряд Тейлора, 1164 Разметка линий, 1133
Разновидность естественная, 450
Разработка генетических алгоритмов, 61
Разрешение
ссылок, 1057
Разум, 35; 1229
как физическая система, 41
Ракурс, ИЗО
Рамсей Ф., 45
Ранг
обратный, 1087
Рандомизация, 76; 95
Раскрашивание
графа, 235
карты, 235
Расписание,567
Распознавание
введенных вручную цифр, 1136
лица, 1139
объекта, 1124
объектов,1135
плана,607
речи,67; 728; 750; 764; 765; 1025
рукописного текста, 1136
рукописных цифр, 1137
с учетом характеристик, 1138
с учетом яркости, 1138; 1139
символов оптическое, 1025
Распределение
априорных вероятностей, 629
априорных вероятностей оптимистическое, 998
априорных вероятностей равномерное, 931
вероятностей, 269; 671
вероятностей полное совместное, 629; 650;
658
вероятностей совместное, 629
гауссово линейное, 669; 704
гауссово смешанное, 943; 946
гауссово условное, 670
Дирихле скрытое, 1107
каноническое, 667
линейное гауссово, 732
с широким хвостом, 203
связки v по л, 415
смешанное, 943
сопряженное априорных вероятностей, 938
стационарное, 688
Распространение
единичных выражений, 319
обратное, 963
ограничений, 59
ограничения,221
оценок степени уверенности, 706
пределов, 225
Рассел Б., 42; 53; 54; 56
Рассел С Дж., 452
Рассогласование, 1129
Расстояние
измеряемое в городских кварталах, 169
манхэттенское, 169
по прямой, 156
Рассуждение
управляемое данными, 317
управляемое целями, 317
Рассуждения
межпричинные, 698 пространственные, 504 психологические, 505 управляемые целью, 271
Расширение одинарное, 257 предиката, 887 существующих правил грамматики, 1039 теории умолчаний, 493
Расщепление символа, 551
Рациональность, 35; 80; 105 вычислительная, 56; 1239 идеальная, 40; 1238 ограниченная, 40; 1239
Ребро,1033 полное, 1033
Ребус
числовой,214
Регистрация
ограничения,236
Регрессия, 879 линейная, 937
Регулятор
паровой машины, 52
Режим
разделения времени, 58 релейного управления, 1007
Резерв
времени, 567 минимальный, 570
Резолюция, 412; 432; 433; 926
бинарная, 416
единичная, 424 линейная, 425; 918 обратная,916; 924 пропозициональная, 412 с входными высказываниями, 425 с линейным входным выражением, 428 теории,437
Резольвента, 425; 917
Резонанс
магнитный функциональный, 47
Результат, 517; 518
внешний, 573 внутренний, 574 вторичный, 573 игры, 828 неявный, 459 оптимальный согласно принципу Парето, 829
отрицательный, 561 первичный, 573 положительный, 526
Рождество, 1213
Розенблют А., 53
Россия, 762
Результаты
дизъюнктивные, 584
знаний,473
условные, 584
Рейс М., 268
Релевантность, 300; 899; 923
Репозитарий
кода, 90
Ресурс
повторно применяемый, 568
потребляемый, 568
Ресурсы
в планировании,608
Речь,1057
Решатель
задач универсальный, 37
Решение, 112; 115; 144; 211; 532
в планировании,518
единоразовое, 771
задач, 62
задачи MDP, 1176
игры, 828
минимаксное, 245
надежное, 1176
оптимальное, 115
последовательное, 771
рациональное, 621; 769; 793
Решетка
обобщения, 393; 439
прямоугольная, 137
Рисунок
контурный, 1132
Роббинс Г,430
Робинсон А., 434
Робинсон Дж.А., 58
Робинсон Дж.Э., 413; 419
Робот, 1153; 1194
Carmel, 1196
Helpmate, 1190
PUMA, 1195
Shakey, 105; 556; 562; 613; 1195
Sojourner, 1154
Unimate, 1195
голономный, 1158
мобильный, 1153
неголономный, 1158
программный, 85
шестиногий, 1183
Робот-гуманоид, 1154
Робот-манипулятор, 1153
Робототехника, 36; 742; 1154; 1195
когнитивная,500
Робот-футболист 107; 242
Рост
сложности экспоненциальный, 44
Рочестер Н., 55; 57
Румельхарт Д.Э., 66
Румыния, 111; 211
С
Саймон Г.Э., 37; 46; 51; 55; 265
Самоанализ, 73
Самодвижение, 1127
Самолет
беспилотный, 1191
Самюэл А.Л., 55; 57; 266; 1014
Санскрит, 1065
СБИС
сверхбольшая степень интеграции, 146
Сбор
информации, 81
информации с помощью датчиков, 611
информации с помощью датчиков автома
тический, 591
информации с помощью датчиков актив
ный, 591
Сборка
космических аппаратов, 610
Свертка, 1151
Свертывание
пространства версий, 895
Свидетельство, 623
Свойства
отражательные, 1118; 1131
проблемной среды, 86
Свойство
внешнее, 454
внутреннее, 454
как унарное отношение, 348
локальности, 331
марковости,727; 762
марковское, 805
Связка
“исключительное ИЛИ”, 300
логическая, 55; 297;355
Связь
IS-A, 502
взаимно исключающая, 539
инверсная, 482
обратная тактильная, 1197
овеществленная, 482
причинная, 531
Сглаживание, 1120; 1122
Гуда-Тьюринга, 1107
нулевых результатов, 1076
оперативное, 730
с добавлением единицы, 1076
с линейной интерполяцией, 1076
с удалением путем интерполяции, 1107
Сегментация,448; 1077; 112 3
изображения, 1137
речи,757
Селфридж ОТ., 55
Семантика, 72; 1022
композиционная, 1044
логики первого порядка, 350
логическая, 334
предпочтений, 1067
пропозициональной логики, 299
языка, 292
Семейство
языков Planner, 64
Семинар
Дартмутский, 55; 56
Семиотика, 1065
Сетчатка, 1113
Сеть
байесовская, 68; 658
байесовская гибридная, 669
байесовская динамическая, 713; 739; 762;
763;806; 823
беспроводная,1159
задач, 557
задач иерархическая, 520; 571
качественная вероятностная, 707; 783
многосвязная, 678
нейронная,55; 59; 65; 268; 955
нейронная многослойная, 62; 966
нейронная многослойная с прямым рас
пространением, 975
нейронная однослойная, 958
нейронная с прямым распространени
ем, 957
нейронная с радиальной базисной функци
ей, 979
односвязная, 677
принятия решений, 659; 769; 786; 787; 797;
798;823
принятия решений динамическая,
823; 842
различительная, 880
рекуррентная,957;979
с прямым распространением, 957
семантическая, 480; 502
Хопфилда, 979
Сжатие, 814; 1002
Силлогизм, 38; 336; 432
Символ
константный, 352; 354; 378
начальный, 1252
нетерминальный, 1023; 1024; 1252
предикатный, 352; 378
пропозициональный, 297
равенства, 360 терминальный, 1022; 1252 функциональный, 352; 354; 378 чистый, 319
Синапс, 48
Синоним, 1088
Синтаксис, 64; 292
логики первого порядка, 350 логический, 334
Синтез, 430; 1025 алгоритмов, 431 дедуктивный, 431 программ автоматизированный, 612
СирлДж.Р., 1215; 1217; 1230 Система
cHUGIN, 704
Core Language Engine, 1065
Deep Blue, 274
Deep Thought, 274
Fastus, 1095
GPS дифференциальная, 1156
HipNav, 70
Pengi, 613
PTTP, 437 RI, 65 Shrdlu, 64 TD-Gammon, 1006 Wordnet, 1110 World Wide Web, 474 Xeon,402 десятичная Дьюи, 448 динамическая, 762 жизнеобеспечения интеллектуальная, 1154 истинностно-функциональная, 703 компьютерного зрения Alvinn, 69 координат, 1125 логическая на основе правил, 695 логического программирования, 432 локально структурированная, 663 многотельная, 1154 мультиагентная, 827 на основе правил, 1210 обеспечения истинности, 236 обозначений арифметических, 38 обозначений инфиксная, 364 обозначений логических, 38 обозначений префиксная, 365 операционная MicrosoftWindows, 703 основанная на знаниях, 1001 перевода Taum-Meteo, 1110 планирования путешествий, 120 планирования регрессивная, 43 поддержки истинности, 494; 504; 1230 поддержки истинности на основе обоснований, 494 поддержки истинности на основе предположения, 495
позиционирования глобальная, 1156 продукционная, 384; 402; 432; 434 разреженная, 663
с разомкнутой обратной связью, 113 символическая физическая, 57 тележка-шест, 1007
технического зрения, 36; 39; 49; 59; 235 технического зрения активная, 1211 формальная грамматическая, 1023 экспертная, 63; 402;497;695;793;797;925 экспертная Meta-Dendral, 880 экспертная в условиях неопределенности, 68
экспертная впервые созданная, 63 экспертная медицинская, 70; 706; 12 2 5 экспертная на основе Prolog, 405 экспертная нормативная, 68
экспертная первая коммерческая, 65
Ситуационность, 68
Ситуация, 455; 770
Скелет
пространства конфигураций, 1174 Скелетирование, 1173
Скиннер Б.Ф., 53
Сколемизация, 386; 414
Скорость
обучения, 992
Скрещивание, 184
Следствие, 293
логическое, 293
логическое обратное, 918
Слияние
байесовских моделей, 1082
структур, 1096
Словарь, 1028
электронный, 61
Слово, 1021; 1022
“tomato”, 755
запретное, 1091
сложное, 1095
Словосочетание, 1023
глагольное, 1023; 1029
именное, 1023; 1029
предложное, 1029
указательное, 1050
флюентное, 1050
Сложность
алгоритмическая, 881 временная, 126; 144 выборочная, 875
данных, 400; 435
колмогоровская, 881
оценки ожидаемых минимаксных значений, 262
пространственная, 126; 144
Служба
перевода Systran, 1097
Случай
обусловливающий, 661
Смещение
декларативное, 909
СмитА., 45
Событие, 444; 671
атомарное, 628
вневременное, 465
дискретное, 465
обобщенное, 463
Совершенство, 81
Совместимость, 888
дуги,221; 223
пути,223;235
с гипотезой, 853
узла,223
Совокупность, 450
текстов, 1074
Согласование
с учетом деформации, 1140
с шаблоном, 398
Соединенные Штаты Америки, 69; 218; 788
Сожаление, 778
Создание
мультимножеств, 880
новых предикатов, 919
Сознание, 47; 1217; 1218
Сократ, 38
Сокращение, 489
Соломонов Р.Дж., 55
Сома, 48
Сонет, 1212
Сообщение
о погоде, 1097
Соревнования
Robocup,1196
Составление
карты, 1164
кроссворда, 238
Состояние, 124; 466
внутреннее, 96
динамическое, 1157; 1179
доверительное,141;588;625;718; 820; 1159
кинематическое, 1157
мира, 111
мозга, 1215
наиболее вероятное, 1175
начальное, 113; 144; 212; 243; 10 3 0
повторяющееся, 137
психическое, 1215
текущее в локальном поиске, 176
терминальное, 243
Софтбот, 85
Сохранение
истинности в логическом выводе, 295
Сочетание
гауссовых распределений, 753
двухсловное, 1088
Сочленение
призматическое, 1157
Спам, 1111
Список, 366
добавления, 518
закрытый, 138
одновременных действий, 605
открытый, 138
позиций, 1091
решений, 875
связывания, 362
субкатегоризации, 1042
удаления, 518
Способ
представления, 1083
сведения, 1250
Способности
сенсорные, 74
человека, 35
Способность
мутагенная, 920
отражательная, 1118
порождающая, 1023; 1044
Спуск
градиентный, 181
Спутник
Земли искусственный, 61
Среда, 75
ведения игры, 280
вождения, 83
детерминированная, 86; 113
динамическая, 87
дискретная, 87; 113
доступная, 86
искусственная, 84
конкурентная, 88
кооперативная, 88
мультиагентная, 8 8; 469; 602
наблюдаемая, 113
недетерминированная. См. среда стохастическая
недоступная, 86
непрерывная, 87
неэпизодическая. См. Среда последовательная
одноагентная, 88
однократная, 87
полностью наблюдаемая, 86; 805; 819
полудинамическая, 87
последовательная, 86; 87
проблемная, 82; 83
статическая, 87
стохастическая, 86
стратегическая, 87
функционирования такси, 83
частично наблюдаемая, 86; 819
эпизодическая, 87
Средства
цифровой связи, 1159
Средство
автоматизированного формирования рас- суждений, 426
автоматического доказательства теорем, 426
общения, 346
представления, 346
проверки доказательства, 429
транспортное автономное, 69
транспортное воздушное автоматическое, 1154
транспортное наземное автоматиче
ское, 1154
транспортное подводное автономное, 1154 формирования рассуждений сократовское, 430
Срез
временной,714
Срок
существования агента, 92
СССР, 273
Стабильность
контроллера, 1181
Стандарт
Semantic Web, 498
XML, 498
Стандартизация
отличий, 440
отличия,390
переменных, 414
Станок
жаккардов, 52
ткацкий,52
ткацкий Жаккарда, 1195
Статья
научная советская, 61
Стационарность, 873
предпочтений, 809
Стек, 130
контрольный, 407
пространств фокусов, 1061
Стекло
спиновое, 978
Степень
подтверждения, 652
свободы, 1157
свободы управляемая, 1158
свободы эффективная, 1158
уверенности, 622; 635
Стереограмма
со случайными точками, 1148
Стереоданные
бинокулярные, 1126; 1129; 1145; 1147
Стимул, 50
Стирка
белья,1073
Стоимость
информации, 797; 799; 803; 821
материала, 254
оптимального решения подзадачи, 173
поиска, 126
поиска суммарная, 126
полной информации, 790
пути, 114; 144; 212
решения, 126
уровневая, 541
этапа, 115
Стратегия, 244; 806; 842
“взаимно гарантированного уничтоже
ния”, 835
доминантная, 829
игры, 827
нестационарная, 808
оптимальная, 807
поиска, 122
правильная,810;1016
с наименьшим вкладом, 529
с преимущественным использованием еди
ничных выражений, 424
смешанная, 828
стационарная, 808
чистая, 828
Страхование
жизни, 779
от автомобильной аварии, 779
Стремление
к риску, 777
Строка
в логике, 470
Структура
агента, 91
данных узла, 124
словосочетания, 1023
Субкатегоризация, 1042
глагола, 1041
Субъективизм, 632
Суждение
субъективное, 706
Суждения
о вероятностях, 665
Сулавеси, 230
Сумма
бесконечных геометрических рядов, 810
квадратичных ошибок, 937
квадратов разностей, 1127
Супермен, 346; 469; 470
Супермозг, 45
Существительное
исчисляемое, 453
неисчисляемое, 453
Схема
G LIE, 997
в генетическом алгоритме, 187
действия,517
жадная в пределе бесконечного исследова
ния, 997
логическая ацикличная, 331
логическая цикличная, 331
математической индукции, 419
последовательная логическая, 327
правила, 1044
Сходимость
итерации по значениям, 814
США, 50; 764; 800; 971; 973; 1223
т
Таблица
“действие-полезность”, 787
истинностная, 299; 337
поисковая, 966
транспозиций,252
треугольная, 613
условных вероятностей, 661
Табуляция
функции агента, 76
Тавтология, 304
Такси,83
автоматизированное, 83; 102
в Афинах, 656
Таксономия, 448; 476; 498
Талое, 1195
Тарский А., 43; 430
Тасмания, 229
Тезис
Чёрча-Тьюринга, 44
Тексел, ИЗО
Текст
анкера, 474
Текстура, 1126; ИЗО
Телевидение,1020
Телескоп, 709
космический Хаббл, 213; 229; 565; 610
Тело
выражения, 314; 403
клетки, 48
твердое трехгранное, 1134
Теннис
настольный, 74
парный, 603; 607
Теорема, 363
дедукции, 304
Нэша, 830
о неполноте, 44; 413; 419; 1207
о полноте, 413
о раскраске карты четырьмя цветами, 1209 представления, 783
резолюции базовая, 419
резолюции основная, 313
сходимости перцептрона, 59
Эрбрана,398;421;433
Теоретик, 66
Теория
Болдуина, 187
вероятностей, 45; 67; 349; 622; 796
возможностей, 707
вычислительного обучения, 873; 878; 879;
881; 978
Демпстера-Шефера, 696; 707
жидкостей, 504
игр, 46; 804; 826
игр обратная,838
информации, 862; 880
Ламарка, 187
многоатрибутной полезности, 781; 797; 798
моделей, 379
мышления, 37
нормативная, 778
описательная, 778
оптимального управления, 204
оптимальности, 1067
оптимизации, 204
подтверждения, 42
полезности,624;796
принятия решений, 796
равномерной сходимости, 881
решений, 46; 67; 625
решеток, 430
риторической структуры, 1068
синтаксическая, 470
ссылок, 43
стоимости информации, 788; 1211
суперструн, 463
управления,52;53;104;556; 977;1007; 1181
управления адаптивная, 988
функциональной спецификации, 1229
ценности информации, 1237
чисел, 925
Терм
базовый, 356; 385
в логике, 354
квантифицированный, 1048
с кванторами, 1050
сложный, 378
Термостат, 52
Тесауро Г., 268; 1006
Тест
Тьюринга, 36; 39; 72; 73; 1020; 1206
Тьюринга полный, 36
Техника
вычислительная, 51
Тинсли М., 267
Тип
соединения,1135
Точка ближайшая соседняя, 1140; 1142 выбора, 407 критическая, 323 разбиения, 868 схода, 1116 фиксированная, 316; 397; 814
Точность, 1086
функции оценки, 253
Тракт
голосовой, 754
Трактат
Органон, 336; 498
Транзитивность
предпочтений, 772; 773
Транспорт
грузовой воздушный, 520
Трассировка
луча,1119
Требования к памяти,133
Тренажер, 85
Трещина, 1134
Троянский ГТ, 1109
Тупик,194
Турок,272
ТьюрингА., 36; 44; 54; 55; 57; 242; 1100;
1206;1209; 1212; 1219; 1231; 1242
У
Уайтхед А.Н., 54
Уатт Дж., 52
Убеждения, 469
Убыточность
стратегии, 816
Углубление
итеративное, 134
Угол
наклона,1125
поворота, 1125
Удаление
асбестовых изделий, 780
кванторов всеобщности, 415
потенциальных гипотез, 892 условий,890
Удовлетворение, 46
ограничений, 59
Узел, 124
дерева поиска, 123
жеребьевки, 259; 786
значения, 787
листовой,125
поисковый, 122
полезности, 787
принятия решений, 786
родительский, 124
Уилкинс Д.Э., 271
Уильямс Р., 800
Университет
CMU, 69; 274; 765
Йельский, 64
Карнеги-Меллона, 55; 56
Кембриджский, 50
Лейпцигский, 49
Пенсильванский,51
Принстонский, 55
Станфордский, 56; 58; 62; 63; 379
Универсум
Эрбрана, 421; 433; 434
Унификатор, 390
наиболее общий, 391; 393; 422; 439
Унификация, 384; 390; 431
с учетом равенства, 424
Уолтер Г., 1195
Уоррен Д.Г.Д., 408
Уотсон Дж., 49
Упорядочение
конъюнктов, 399
переменных, 218
Упорядочиваемость, 773
Управление
движением в поперечном направлении, 1145
движением в продольном направле
нии, 1145
нечеткое, 701
оптимальное стохастическое, 53
реактивное, 1183
Упрощение
синтаксическое, 365; 405
Уравнение
Беллмана, 812
Витерби, 1077
временной разности, 992
диофантово, 234
дифференциальное, 1179
Ковальского,405
фильтрации рекурсивное, 821
Уровень
алгоритмический, 1187
в графе планирования, 538
знаний, 287; 335
исполнительный, 1187
реактивный, 1187
реализации, 287
Усвоение, 1026
Усиление, 870; 879
Условие
завершения, 1177
монотонности, 201
преемственности, 201
Усовершенствование
стратегии, 817
Усреднение
по прогнозам, 264
Устойчивость
динамическая, 1158
статическая, 1158
Устранение
импликации, 414
неоднозначности, 1026
переменной, 674; 677; 702; 704; 745
Устройство
Heath Robinson, 51
гомеостатическое, 977
протезное, 1154
Уступ,179
Утверждение
логическое, 361
Утилитаризм, 43
Утка
механическая, 1195
Уточнение, 889; 890
Учет
неопределенности, 622
Учитель, 851
Ф
Факт, 314
Фактор
определенности, 698; 706
устранения переменной, 675
Факторизация, 310
Фальстарт, 157
Фейгенбаум Э.А., 62; 72
Фельдман Дж., 72
Ферма П., 45; 651
Фертильность, 1102
Фигура
речи,1055
Физика
качественная, 453; 504
Фиксация, 1129
Филон из Мегары, 336
Философия, 40; 104
разума, 1229; 1231
Фильм
A.I., 1227
The Matrix, 1226
The Terminator, 1226
Фильтр
Калмана, 713; 736; 740; 762; 763; 1163
Калмана переключательный, 739
Калмана расширенный, 1164
с гауссовой характеристикой, 1120
частиц, 1196
Фильтрация, 718; 722
калмановская, 732; 763
частиц, 748; 764
Флюентный, 455
Фокус, 1117
внимания, 1061
расширения, 1128
фон Гельмгольц Г, 49
фон Кемпелен В., 272
фон Нейман Дж., 45; 53
Фонд
Рокфеллера, 1109
Фонема, 751
Форма, 1125
3-CNF, 310
k-CNF,310
Бэкуса-Наура, 1023; 1252
квазилогическая, 1048; 1066
Ковальского, 342
нормальная импликативная, 342
нормальная конъюнктивная, 310; 413
нормальная Хомского, 1082
представления синтаксиса, 292
промежуточная, 1048
хорновская, 314; 336
Формирование
вознаграждения, 1015
выборок логическое, 705
выборок последовательное повторное, 764
выборок с учетом важности, 705
изображения, 1146
логических выводов автоматическое, 36
ослабленной задачи автоматическое, 172 рассуждений в условиях неопределенности, 68
рассуждений на основе модели, 370
рассуждений по умолчанию, 695
состояния, 122
Формирователь
выборок Гиббса, 689; 705
Формула
VPI, 791
Формулировка
задачи, 111
инкрементная,118; 212
полного состояния, 119; 177
с полным состоянием, 212
цели, 111;582
Фортепьяно
логическое, 337
Фотограмметрия, 1147
Фотометрия, 1118
Фрагмент
речи,1021
речи неоднозначный, 1026
Фраза
сложная, 1096
Франкенштейн, 1226 Фреге Г, 43; 378; 433 Фрейм, 64; 502; 75 3 Фреквентизм, 632 Функционализм, 105; 1219; 1229
Аристотеля, 1229
Функциональность истинностная, 697
Функция, 348
“действие-значение”, 986
“деления на два”, 814
Den, 471
softmax, 1008
агента, 76; 91; 807
активации, 956
активации пороговая, 958
базисная, 1002
булева, 957
вознаграждения, 243; 625; 822; 842; 988
вычислимая, 44
Гашнига, 207
доверительная,699
единиц измерения, 452
значения, 779
значения аддитивная, 785
исключительного ИЛИ, 982 исследования, 998; 1000 линейная взвешенная, 254 линейно разделимая, 959; 975 мажоритарная, 858; 958 навигации, 1176
определения преемника, 113; 199; 212;
243;1030
определения четности, 858 оценки, 155;242;253; 1002 оценки линейная, 175 плотности вероятностей, 630; 1249 полезности, 99; 243; 770;774;806;812; 986;1003
полезности мультипликативная, 785
полезности порядковая, 779
полностью определенная, 352
пригодности, 184
сжатия, 814
сколемовская, 415; 433 целевая, 53;176; 211 эвристическая,155;515 эвристическая допустимая, 158 эвристическая на основе манхэттенского расстояния, 169
эвристическая определения расстояния по прямой,156
ядерная полиномиальная, 970
Футбол
робототехнический, 614; 1192
X
Шахматы, 52; 60; 136; 146; 242; 272
Характеристика, 1002 акустическая, 753 состояния, 175
Хебб Д.О., 55; 59
Хекерман Д., 799
Хемпель К., 42
Хивуд П., 1209
Химик-аналитик, 63
Химия, 63
Хинтон Дж.Э., 66
Холостяк, 449
Хомский Н., 51; 54
Хребет, 179
Хронология, 500
Хэш-таблица, 393
с контролем времени, 87
Шахтер Р.Д., 780
Шашки, 57; 106; 276
Шелински Р., 1126
Шенк Р.К., 64
Шеннон К.Э., 55; 242
Шеффер Дж., 267
Шиккард В., 41
Шимпанзе, 1020
Ширина
гипердерева, 237
дерева, 237
индуцированная, 237
Школа
бизнеса гарвардская, 779
мегарская, 336; 499
ц
Целенаправленность, 1230
Цель, 97; 111; 144; 517
логического вывода, 361
обучения,168
отрицаемая, 417
Ценность
вычислений, 1237
стратегии, 1009
Цепь
Маркова, 688
марковская, 716
Цузе К., 51
стоическая, 336; 499
Шортлифф Э.Г., 63
Шоу
игровое, 776
Штраф, 103
Шум, 860; 895; 909; 927
Э
Эванс Т.Г., 73
Эволюция, 74; 186; 187; 346
машин, 61
Эвристика, 155; 199 допустимая, 527 единичного выражения, 319
Ч
максимального уровня,541
Чапек К., 1194; 1226
Чарняк Ю., 64
Частота
дискретизации, 752
Часть, 449
Чатбот, 1206
Человек
пещерный, 897
Чередование
поиска и действия, 144
Чёрч Э., 44
Число
конспиративное, 275
натуральное, 364
множественного уровня, 541
независимая от проблемной области, 515
плавания вдоль берегов, 1176
с минимальным количеством оставшихся
значений,218
с минимальными конфликтами, 228; 236
с наиболее ограниченной переменной, 235; 399;537
с наименее ограничительным значением, 219
с пустым списком удаления, 528
составная,173
степенная, 219
чистого символа, 319
Эдинбург, 924; 1197
Ш
Эдмондс Д., 55
Эйнштейн А., 34
Шаг
итерации, 813
Шанкар Н., 430
Шанс
на победу, 253
Шарнир
поворотный, 1157
Эквивалент
определенности, 777
Эквивалентность
логическая, 304
с точки зрения логического вывода, 386
Экерт Дж., 51
Экземпляр
схемы, 187типичный, 451Экономика, 45; 104; 775 Экономияусилий, 622 Экспериментмозг в колбе, 1216 Экспериментатор, 66 Электродвигатель, 1159 Электростанцияатомная, 708Электроэнцефалограф, 47 Элементлогический в логике, 373обучающий, 850проблемной области, 350 производительный, 850 с зарядовой связью, 1115 скрытый, 957Эмпиризм, 41Эмуляцияотжига, 181; 203 Эпифеноменальный, 1218 Эпсилон-шар, 874 Эрбран Ж., 387; 433 Эскимос, 347 Этапизбыточный, 600условный, 584ЭффектБолдуина, 187горизонта, 256 Эффективностьвычислительная, 332 ээгэлекгроэнцефалограф, 47юЮм Д., 41ЮнгТ., 1119ЯЯзык, 1020ADL, 519; 556ALisp, 1189Buffalo, 1072CES, 1189CLIPS, 435Datalog, 396; 410; 435Fortran, 58Golog, 1189GRL, 1188HTML, 1095k-DL, 876k-DT, 876Lisp, 354; 471; 876; 1188схемы, 187типичный, 451Экономика, 45; 104; 775 Экономияусилий, 622 Экспериментмозг в колбе, 1216 Экспериментатор, 66 Электродвигатель, 1159 Электростанцияатомная, 708Электроэнцефалограф, 47 Элементлогический в логике, 373обучающий, 850проблемной области, 350 производительный, 850 с зарядовой связью, 1115 скрытый, 957Эмпиризм, 41Эмуляцияотжига, 181; 203 Эпифеноменальный, 1218 Эпсилон-шар, 874 Эрбран Ж., 387; 433 Эскимос, 347 Этапизбыточный, 600условный, 584ЭффектБолдуина, 187горизонта, 256 Эффективностьвычислительная, 332 ээгэлекгроэнцефалограф, 47юЮм Д., 41ЮнгТ., 1119ЯЯзык, 1020ADL, 519; 556ALisp, 1189Buffalo, 1072CES, 1189CLIPS, 435Datalog, 396; 410; 435Fortran, 58Golog, 1189GRL, 1188HTML, 1095k-DL, 876k-DT, 876Lisp, 354; 471; 876; 1188
схемы, 187
типичный, 451
Экономика, 45; 104; 775 Экономия
усилий, 622 Эксперимент
мозг в колбе, 1216 Экспериментатор, 66 Электродвигатель, 1159 Электростанция
атомная, 708
Электроэнцефалограф, 47 Элемент
логический в логике, 373
обучающий, 850
проблемной области, 350 производительный, 850 с зарядовой связью, 1115 скрытый, 957
Эмпиризм, 41
Эмуляция
отжига, 181; 203 Эпифеноменальный, 1218 Эпсилон-шар, 874 Эрбран Ж., 387; 433 Эскимос, 347 Этап
избыточный, 600
условный, 584
Эффект
Болдуина, 187
горизонта, 256 Эффективность
вычислительная, 332 ээг
элекгроэнцефалограф, 47
ю
Юм Д., 41
ЮнгТ., 1119
Я
Язык, 1020
ADL, 519; 556
ALisp, 1189
Buffalo, 1072
CES, 1189
CLIPS, 435
Datalog, 396; 410; 435
Fortran, 58
Golog, 1189
GRL, 1188
HTML, 1095
k-DL, 876
k-DT, 876
Lisp, 354; 471; 876; 1188
схемы, 187
типичный, 451
Экономика, 45; 104; 775 Экономия
усилий, 622 Эксперимент
мозг в колбе, 1216 Экспериментатор, 66 Электродвигатель, 1159 Электростанция
атомная, 708
Электроэнцефалограф, 47 Элемент
логический в логике, 373
обучающий, 850
проблемной области, 350 производительный, 850 с зарядовой связью, 1115 скрытый, 957
Эмпиризм, 41
Эмуляция
отжига, 181; 203 Эпифеноменальный, 1218 Эпсилон-шар, 874 Эрбран Ж., 387; 433 Эскимос, 347 Этап
избыточный, 600
условный, 584
Эффект
Болдуина, 187
горизонта, 256 Эффективность
вычислительная, 332 ээг
элекгроэнцефалограф, 47
ю
Юм Д., 41
ЮнгТ., 1119
Я
Язык, 1020
ADL, 519; 556
ALisp, 1189
Buffalo, 1072
CES, 1189
CLIPS, 435
Datalog, 396; 410; 435
Fortran, 58
Golog, 1189
GRL, 1188
HTML, 1095
k-DL, 876
k-DT, 876
Lisp, 354; 471; 876; 1188
Micro-Planner, 434
MRS,412
Perl, 471
Planner, 434
Prolog, 64;405; 557; 916
Qlisp, 437
SGML, 1095
SQL, 486
WAM,408
XML, 1095
английский, 61; 74; 1097
английский компании Caterpillar, 1097
быстрой разработки прототипов, 405
высокого уровня Lisp, 57
естественный, 39; 346; 1022
запросов, 1082
итальянский,1097
композициональный, 345
мышления, 346
ограничений, 213
поведения, 1188
португальский, 898
представления знаний, 286; 334; 344
программирования, 345
программирования Ada, 52
программирования Plankalkul, 51
программирования Prolog, 1065
программирования для искусственного интеллекта, 57
программирования робототехнический, 1188
продукционных систем Ops-5, 434
промежуточный, 1098
псевдокода, 91
робототехнический универсальный, 1188
русский, 61
санскрит, 497
формальный, 1022
шведский, 74
Яма
бездонная, 288
Япония, 65
Яркость, 1118
Научно-популярное издание
Стюарт Рассел, Питер Норвиг
Искусственный интеллект: современный подход2-е издание
Литературный редактор Верстка Художественный редактор КорректорыЛитературный редактор Верстка Художественный редактор КорректорыИ.А. Попова
Литературный редактор Верстка Художественный редактор Корректоры
Литературный редактор Верстка Художественный редактор Корректоры
О. В. Линник
С.А. Чернокозинский
З.В. Александрова, Л.А. Гордиенко,
О. В. Мишу тина, Т.А. Корзун
Издательский дом “Вильямс”.101509, Москва, ул. Лесная, д. 43, стр. 1.
Подписано в печать 26.09.2005. Формат 70x100/16.
Гарнитура Times. Печать офсетная.
Усл. печ. л. 113,52. Уч.-изд. л. 106,1.
Тираж 3000 экз. Заказ № 6321.
Отпечатано с диапозитивовв ФГУП “Печатный двор” им. А. М. ГорькогоФедерального агентства по печати и массовым коммуникациям.
197110, Санкт-Петербург, Чкаловский пр., 15.
8 Многие цитируют в качестве возможного более раннего источника работу Александра Гуда [673].
1 Если агент для выбора своих действий использует определенную рандомизацию, то может потребоваться проверить каждую последовательность многократно, чтобы определить вероятность каждого действия. На первый взгляд кажется, что выбор действий случайным образом является довольно неразумным, но ниже в этой главе будет показано, что такая организация функционирования может оказаться весьма интеллектуальной.
В некоторых задачах повторяющиеся состояния являются неизбежными. К ним относятся все задачи, в которых действия являются обратимыми, такие как задачи поиска маршрута и игры со скользящими фишками. Деревья поиска для этих проблем бесконечны, но если мы отсечем некоторые из повторяющихся состояний, то сможем уменьшить дерево поиска до конечного размера, формируя только ту часть дерева, которая охватывает весь граф пространства состояний. Рассматривая только часть дерева поиска вплоть до некоторой постоянной глубины, можно легко обнаружить ситуации, в которых удаление повторяющихся состояний позволяет достичь экспоненциального уменьшения стоимости поиска. В крайнем случае пространство состояний размером d+1 (рис. 3.11, а) становится деревом с 2d листьями (рис. 3.11, б).
Более реалистичным примером может служить М прямоугольная решетка, как показано на рис. 3.11, в. В решетке каждое состояние имеет четырех преемников, поэтому дерево поиска, включающее повторяющиеся состояния, имеет 4d листьев, но существует приблизительно только 2d2 различных состояний с d этапами достижения любого конкретного состояния. Для d=20 это означает, что существует около триллиона узлов, но лишь примерно 800 различных состояний.
Таким образом, неспособность алгоритма обнаруживать повторяющиеся состоя
11 Существует много вариантов этого правила выбора. Можно показать, что при использовании метода отсеивания, в котором отбрасываются все индивидуумы с оценками ниже заданного порога, алгоритм сходится быстрее, чем при использовании версии со случайным выбором [81].
Гарантируется, что агент LRTA* найдет цель в любой конечной, безопасно исследуемой среде. Однако, в отличие от А*, в бесконечных пространствах состояний применяемый в этом агенте алгоритм становится неполным, поскольку в некоторых случаях этот алгоритм может вовлечь агента в бесконечные блуждания. В наихудшем случае данный алгоритм позволяет исследовать среду с п состояниями за 0(п2) этапов, но чаще всего действует намного лучше. Агент LRTA* представляет собой лишь один пример из большого семейства агентов, выполняющих поиск в оперативном режиме, которые могут быть определены путем задания правила выбора действия и правила обновления различными способами. Это семейство агентов, которое было первоначально разработано для стохастических вариантов среды, рассматривается в главе 21.
Обучение в ходе поиска в оперативном режиме
То, что агенты, выполняющие поиск в оперативном режиме, на первых порах находятся в полном неведении, открывает некоторые возможности для обучения. Во-первых, агенты изучают “карту” своей среды (а точнее, результаты каждого' действия в каждом состоянии), регистрируя результаты каждого из своих опытов. (Обратите внимание на то, что из предположения о детерминированности среды следует, что для изучения любого действия достаточно проведения одного эксперимента.) Во-вторых, агенты, выполняющие локальный поиск, получают все более точные оценки значения каждого состояния, используя локальные правила обновления, как в алгоритме LRTA*. В главе 21 будет показано, что в конечном итоге такие обновления сходятся к точным значениям для каждого состояния, при условии, что агент исследует пространство состояний правильным способом. А после того как станут известными точные значения, оптимальные решения могут быть приняты путем перемещения к преемнику с наи-
В табл. 7.2 воспроизведен в более точной форме процесс формирования рассуждений, который проиллюстрирован на рис. 7.4. Общий алгоритм определения логи-
тенка, поэтому может применяться и к судам.