Книга
← К списку книгЗагрузка разделов…
активнаАктивные записи участвуют в каталоге и синках. Неактивная книга скрыта, но не удалена из базы.
Книга
ЧАСТЬ I
Основы
Введение
Эта часть книги заставит вас задуматься о вопросах, связанных с разработкой и анализом алгоритмов. Она была запланирована как вводный курс, в котором рассматриваются способы определения алгоритмов, некоторые стратегии их разработки, использующиеся в этой книге, а также применяемые при анализе алгоритмов различные основополагающие идеи. Кратко рассмотрим содержание глав первой части.
В главе 1 рассматривается понятие алгоритма и его роль в современных вычислительных системах. В ней приводится определение алгоритма и даются некоторые примеры. Здесь также обосновывается положение о том, что алгоритмы — это такой же технологический продукт, как, например, аппаратное обеспечение, графические интерфейсы пользователя, объектно-ориентированные системы или сети.
В главе 2 читатель получит возможность ознакомиться с алгоритмами, с помощью которых решается задача о сортировке последовательности из п чисел. Эти алгоритмы сформулированы в виде псевдокода. Несмотря на то, что используемый псевдокод напрямую не преобразуется ни в один из общепринятых языков программирования, он вполне адекватно передает структуру алгоритма, поэтому достаточно компетентный программист легко сможет реализовать его на любом языке программирования. Для изучения выбраны алгоритм сортировки вставкой, в котором используется инкрементный подход, и алгоритм сортировки слиянием, который характеризуется применением рекурсивного метода, известного также как метод “разделяй и властвуй” (метод разбиения). В обоих алгоритмах время выполнения возрастает с ростом количества сортируемых элементов, однако скорость этого роста зависит от выбранного алгоритма. В этой главе будет определено время работы изучаемых алгоритмов; кроме того, вы познакомитесь со специальными обозначениями для выражения времени работы алгоритмов.
В главе 3 дается точное определение обозначений, введенных в главе 2 (которые называются асимптотическими обозначениями). В начале главы 3 определяется несколько асимптотических обозначений для оценки времени работы алгоритма сверху и/или снизу. Остальные разделы главы в основном посвящены описанию математических обозначений. Их предназначение не столько в том, чтобы ознакомить читателя с новыми математическими концепциями, сколько в том, чтобы он смог убедиться, что используемые им обозначения совпадают с принятыми в данной книге.
В главе 4 представлено дальнейшее развитие метода “разделяй и властвуй”, введенного в главе 2. В частности, в главе 4 представлены методы решения рекуррентных соотношений, с помощью которых описывается время работы рекурсивных алгоритмов. Большая часть главы посвящена обоснованию “метода контроля” (master method), который используется для решения рекуррентных соотношений,
возникающих в алгоритмах разбиения. Заметим, что изучение доказательств можно опустить без ущерба для понимания материала книги.
Глава 5 служит введением в анализ вероятностей и рандомизированные алгоритмы (т.е. такие, которые основаны на использовании случайных чисел). Анализ вероятностей обычно применяется для определения времени работы алгоритма в тех случаях, когда оно может изменяться для различных наборов входных параметров, несмотря на то, что эти наборы содержат одно и то же количество параметров. В некоторых случаях можно предположить, что распределение входных величин описывается некоторым известным законом распределения вероятностей, а значит, время работы алгоритма можно усреднить по всем возможным наборам входных параметров. В других случаях распределение возникает не из-за входных значений, а в результате случайного выбора, который делается во время работы алгоритма. Алгоритм, поведение которого определяется не только входными значениями, но и величинами, полученными с помощью генератора случайных чисел, называется рандомизированным алгоритмом.
В приложениях A-В содержится дополнительный математический материал, который окажется полезным в процессе чтения книги. Скорее всего, вы уже знакомы с основной частью материала, содержащегося в приложениях (хотя некоторые из встречавшихся вам ранее обозначений иногда могут отличаться от тех, что приняты в данной книге). Поэтому к приложениям следует относиться как к справочному материалу. С другой стороны, не исключено, что вы еще незнакомы с большинством вопросов, рассматриваемых в части I.
ГЛАВА 1
Роль алгоритмов в вычислениях
Что такое алгоритмы? Стоит ли тратить время на их изучение? Какова роль алгоритмов и как они соотносятся с другими компьютерными технологиями? Эта глава дает ответы на поставленные вопросы.
Алгоритмы
Говоря неформально, алгоритм (algorithm) — это любая корректно определенная вычислительная процедура, на вход (input) которой подается некоторая величина или набор величин, и результатом выполнения которой является выходная (output) величина или набор значений. Таким образом, алгоритм представляет собой последовательность вычислительных шагов, преобразующих входные величины в выходные.
Алгоритм также можно рассматривать как инструмент, предназначенный для решения корректно поставленной вычислительной задачи (computational problem). В постановке задачи в общих чертах задаются отношения между входом и выходом. В алгоритме описывается конкретная вычислительная процедура, с помощью которой удается добиться выполнения указанных отношений.
Например, может понадобиться выполнить сортировку последовательности чисел в неубывающем порядке. Эта задача часто возникает на практике и служит благодатной почвой для ознакомления на ее примере со многими стандартными методами разработки и анализа алгоритмов. Задача сортировки (sorting problem) формально определяется следующим образом.
Вход: последовательность из п чисел (ci, 02,..., ап\
Выход: перестановка (изменение порядка) (0^,02,... ,а^) входной последовательности таким образом, что для ее членов выполняется соотношение а^ а'2- а'п.
Например, если на вход подается последовательность (31,41,59,26,41,58), то вывод алгоритма сортировки должен быть таким: (26,31,41,41,58,59). Подобная входная последовательность называется экземпляром (instance) задачи сортировки. Вообще говоря, экземпляр задачи состоит из ввода (удовлетворяющего всем ограничениям, наложенным при постановке задачи), необходимого для решения задачи.
В информатике сортировка является основополагающей операцией (во многих программах она используется в качестве промежуточного шага), в результате чего появилось большое количество хороших алгоритмов сортировки. Выбор наиболее подходящего алгоритма зависит от многих факторов, в том числе от количества сортируемых элементов, от их порядка во входной последовательности, от возможных ограничений, накладываемых на члены последовательности, а также от того, какое устройство используется для хранения последовательности: основная память, магнитные диски или накопители на магнитных лентах.
Говорят, что алгоритм корректен (correct), если для каждого ввода результатом его работы является корректный вывод. Мы говорим, что корректный алгоритм решает данную вычислительную задачу. Если алгоритм некорректный, то для некоторых вводов он может вообще не завершить свою работу или выдать ответ, отличный от ожидаемого. Правда, некорректные алгоритмы иногда могут оказаться полезными, если в них есть возможность контролировать частоту возникновения ошибок. Такой пример рассматривается в главе 31, в которой изучаются алгоритмы определения простых чисел, намного превышающих единицу. Тем не менее, обычно мы заинтересованы только в корректных алгоритмах.
Алгоритм может быть задан на естественном языке, в виде компьютерной программы или даже воплощен в аппаратном обеспечении. Единственное требование — его спецификация должна предоставлять точное описание вычислительной процедуры, которую требуется выполнить.
Какие задачи решаются с помощью алгоритмов?
Вычислительные задачи, для которых разработаны алгоритмы, отнюдь не ограничиваются сортировкой. (Возможно, об их разнообразии можно судить по объему данной книги.) Практическое применение алгоритмов чрезвычайно широко, о чем свидетельствуют приведенные ниже примеры.
Целью проекта по расшифровке генома человека является идентификация всех 100 000 генов, входящих в состав ДНК человека, определение последо-
вательностей, образуемых 3 миллиардами базовых пар, из которых состоит ДНК, сортировка этой информации в базах данных и разработка инструментов для ее анализа. Для реализации всех перечисленных этапов нужны сложные алгоритмы. Решение разнообразных задач, являющихся составными частями данного проекта, выходит за рамки настоящей книги, однако идеи, описанные во многих ее главах, используются для решения упомянутых биологических проблем. Это позволяет ученым достигать поставленных целей, эффективно используя вычислительные ресурсы. При этом экономится время (как машинное, так и затрачиваемое сотрудниками) и деньги, а также повышается эффективность использования лабораторного оборудования.
Internet позволяет пользователям в любой точке мира быстро получать доступ к информации и извлекать ее в больших объемах. Управление и манипуляция этими данными осуществляется с помощью хитроумных алгоритмов. В число задач, которые необходимо решить, входит определение оптимальных маршрутов, по которым перемещаются данные (методы для решения этой задачи описываются в главе 24), и быстрый поиск страниц, на которых находится та или иная информация, с помощью специализированных поисковых машин (соответствующие методы приводятся в главах 11 и 32).
Электронная коммерция позволяет заключать сделки и предоставлять товары и услуги с помощью электронных технических средств. Для того чтобы она получила широкое распространение, важно иметь возможность защищать такую информацию, как номера кредитных карт, пароли и банковские счета. В число базовых технологий в этой области входят криптография с открытым ключом и цифровые подписи (они описываются в главе 31), основанные на численных алгоритмах и теории чисел.
В производстве и коммерции очень важно распорядиться ограниченными ресурсами так, чтобы получить максимальную выгоду. Нефтяной компании может понадобиться информация о том, где пробурить скважины, чтобы получить от них как можно более высокую прибыль. Кандидат в президенты может задаться вопросом, как потратить деньги, чтобы максимально повысить свои шансы победить на выборах. Авиакомпаниям важно знать, какую минимальную цену можно назначить за билеты на тот или иной рейс, чтобы уменьшить количество свободных мест и не нарушить при этом законы, регулирующие авиаперевозку пассажиров. Поставщик услуг Internet должен уметь так размещать дополнительные ресурсы, чтобы повышался уровень обслуживания клиентов. Все эти задачи можно решить с помощью линейного программирования, к изучению которого мы приступим в главе 29.
Несмотря на то, что некоторые детали представленных примеров выходят за рамки настоящей книги, в ней приводятся основные методы, применяющиеся для
их решения. В книге также показано, как решить многие конкретные задачи, в том числе те, что перечислены ниже.
Пусть имеется карта дорог, на которой обозначены расстояния между каждой парой соседних перекрестков. Наша цель — определить кратчайший путь от одного перекрестка к другому. Количество возможных маршрутов может быть огромным, даже если исключить те из них, которые содержат самопересечения. Как найти наиболее короткий из всех возможных маршрутов? При решении этой задачи карта дорог (которая сама по себе является моделью настоящих дорог) моделируется в виде графа (мы подробнее познакомимся с графами в главе 10 и приложении Б). Задача будет заключаться в определении кратчайшего пути от одной вершины графа к другой. Эффективное решение этой задачи представлено в главе 24.
Пусть дана последовательность (Л1, Л2, • • •, А^, образованная п матрицами, и нам нужно найти произведение этих матриц. Поскольку матричное произведение обладает свойством ассоциативности, существует несколько корректных порядков умножения. Например, если п = 4, перемножение матриц можно выполнять любым из следующих способов (определяемых скобками): (Л1 (Л2 (Л3Л4))), (Л1 ((Л2Л3) Л4)), ((Л1Л2) (Л3Л4)), ((Л1 (Л2Л3)) Л4) или (((Л1Л2) Л3) Л4). Если все эти матрицы квадратные (те. одинакового размера), порядок перемножения не влияет на продолжительность процедуры. Если же матрицы различаются по размеру (но при этом их размеры соответствуют правилам матричного умножения), то порядок их перемножения может очень сильно влиять на время выполнения процедуры. Количество всевозможных вариантов, различающихся порядком перемножения матриц, растет с увеличением количества матриц по экспоненциальному закону, поэтому для перебора всех этих вариантов может потребоваться довольно длительное время. Из главы 15 мы узнаем, как эта задача намного эффективнее решается с помощью общего метода, известного как динамическое программирование.
Пусть имеется уравнение ах = b (modn), где а, b и п — целые числа, и нужно найти все целые х по модулю п, удовлетворяющие этому уравнению. Оно может не иметь решения, может иметь одно или несколько решений. Можно попытаться применить метод, заключающийся в последовательной подстановке в уравнение чисел ж = 0,1,..., n — 1, но в главе 31 представлен более эффективный метод.
Пусть имеется п принадлежащих плоскости точек, и нужно найти выпуклую оболочку этих точек. Выпуклой оболочкой точек называется минимальный выпуклый многоугольник, содержащий эти точки. Для решения этой задачи удобно воспользоваться такой наглядной картиной: если представить точки в виде вбитых в доску и торчащих из нее гвоздей, то выпуклую оболочку
можно получить, намотав на них резинку таким образом, чтобы все гвозди вошли внутрь замкнутой линии, образуемой резинкой. Каждый гвоздь, вокруг которого обвивается резинка, становится вершиной выпуклой оболочки (рис. 33.6). В качестве набора вершин может выступать любое из 2П подмножеств множества точек. Однако недостаточно знать, какие точки являются вершинами выпуклой оболочки, нужно еще указать порядок их обхода. Таким образом, чтобы найти выпуклую оболочку, приходится перебрать множество вариантов. В главе 33 описаны два хороших метода определения выпуклой оболочки.
Приведенные выше случаи применения алгоритмов отнюдь не являются исчерпывающими, однако на их примере выявляются две общие характеристики, присущие многим интересным алгоритмам.
Есть множество вариантов-кандидатов, большинство из которых решениями не являются. Поиск среди них нужной комбинации является довольно трудоемким.
Задачи имеют практическое применение. Простейший пример среди перечисленных задач — определение кратчайшего пути, соединяющего два перекрестка. Любая компания, занимающаяся авто- или железнодорожными перевозками, финансово заинтересована в том, чтобы определить кратчайший маршрут. Это способствовало бы снижению затрат труда и расходов горючего. Маршрутизатору Internet также нужно иметь возможность находить кратчайшие пути в сети, чтобы как можно быстрее доставлять сообщения.
Структуры данных
В книге представлен ряд структур данных. Структура данных (data structure) — это способ хранения и организации данных, облегчающий доступ к этим данным и их модификацию. Ни одна структура данных не является универсальной и не может подходить для всех целей, поэтому важно знать преимущества и ограничения, присущие некоторым из них.
Методические указания
Данную книгу можно рассматривать как “сборник рецептов” для алгоритмов. Правда, однажды вам встретится задача, для которой вы не сможете найти опубликованный алгоритм (например, таковы многие из приведенных в книге упражнений и задач). Данная книга научит вас методам разработки алгоритмов и их анализа. Это позволит вам разрабатывать корректные алгоритмы и оценивать их эффективность самостоятельно.
Сложные задачи
Большая часть этой книги посвящена эффективным алгоритмам. Обычной мерой эффективности для нас является скорость и время, в течение которого алгоритм выдает результат. Однако существуют задачи, для которых неизвестны эффективные методы их решения. В главе 34 рассматривается интересный вопрос, имеющий отношение к подобным задачам, известным как NP-полные.
Почему же NP-полные задачи представляют интерес? Во-первых, несмотря на то, что до сих пор не найден эффективный алгоритм их решения, также не доказано, что такого алгоритма не существует. Другими словами, неизвестно, существует ли эффективный алгоритм для NP-полных задач. Во-вторых, набор NP- полных задач обладает замечательным свойством. Оно заключается в том, что если эффективный алгоритм существует хотя бы для одной из этих задач, то его можно сформулировать и для всех остальных. Эта взаимосвязь между NP-полными задачами и отсутствие методов их эффективного решения вызывает еще больший интерес к ним. В третьих, некоторые NP-полные задачи похожи (но не идентичны) на задачи, для которых известны эффективные алгоритмы. Небольшое изменение формулировки задачи может значительно ухудшить эффективность самого лучшего из всех известных алгоритмов.
Полезно располагать знаниями о NP-полных задачах, поскольку в реальных приложениях некоторые из них возникают неожиданно часто. Если перед вами встанет задача найти эффективный алгоритм для NP-полной задачи, скорее всего, вы потратите много времени на безрезультатные поиски. Если же вы покажете, что данная задача принадлежит к разряду NP-полных, то можно будет вместо самого лучшего из всех возможных решений попробовать найти достаточно эффективное.
Рассмотрим конкретный пример. Компания грузового автотранспорта имеет один центральный склад. Каждый день грузовики загружаются на этом складе и отправляются по определенному маршруту, доставляя груз в несколько мест. В конце рабочего дня грузовик должен вернуться на склад, чтобы на следующее утро его снова можно было загрузить. Чтобы сократить расходы, компании нужно выбрать оптимальный порядок доставки груза в различные точки. При этом расстояние, пройденное грузовиком, должно быть минимальным. Эта задача хорошо известна как “задача о коммивояжере”, и она является NP-полной. Эффективный алгоритм решения для нее неизвестен, однако при некоторых предположениях можно указать такие алгоритмы, в результате выполнения которых полученное расстояние будет ненамного превышать минимально возможное. Подобные “приближенные алгоритмы” рассматриваются в главе 35.
Упражнения
1. Приведите реальные примеры задач, в которых возникает одна из таких вычислительных задач: сортировка, определение оптимального порядка перемножения матриц, поиск выпуклой оболочки.
2. Какими еще параметрами, кроме скорости, можно характеризовать алгоритм на практике?
3. Выберите одну из встречавшихся вам ранее структур данных и опишите ее преимущества и ограничения.
4. Что общего между задачей об определении кратчайшего пути и задачей о коммивояжере? Чем они различаются?
5. Сформулируйте задачу, в которой необходимо только наилучшее решение. Сформулируйте также задачу, в которой может быть приемлемым решение, достаточно близкое к наилучшему.
Алгоритмы как технология
Предположим, быстродействие компьютера и объем его памяти можно увеличивать до бесконечности. Была бы в таком случае необходимость в изучении алгоритмов? Была бы, но только для того, чтобы продемонстрировать, что метод решения имеет конечное время работы и что он дает правильный ответ.
Если бы компьютеры были неограниченно быстрыми, подошел бы любой корректный метод решения задачи. Возможно, вы бы предпочли, чтобы реализация решения была выдержана в хороших традициях программирования (т.е. качественно разработана и аккуратно занесена в документацию), но чаще всего выбирался бы метод, который легче всего реализовать.
Конечно же, сегодня есть весьма производительные компьютеры, но их быстродействие не может быть бесконечно большим. Память тоже дешевеет, но она не может быть бесплатной. Таким образом, время вычисления — это такой же ограниченный ресурс, как и объем необходимой памяти. Этими ресурсами следует распоряжаться разумно, чему и способствует применение алгоритмов, эффективных в плане расходов времени и памяти.
Эффективность
Алгоритмы, разработанные для решения одной и то же задачи, часто очень сильно различаются по эффективности. Эти различия могут быть намного значительнее, чем те, что вызваны применением неодинакового аппаратного и программного обеспечения.
В качестве примера можно привести два алгоритма сортировки, которые рассматриваются в главе 2. Для выполнения первого из них, известного как сортировка вставкой, требуется время, которое оценивается как cin, где п — количество сортируемых элементов, a ci — константа, не зависящая от п. Таким образом, время работы этого алгоритма приблизительно пропорционально п2. Для выполнения второго алгоритма, сортировки слиянием, требуется время, приблизительно равное C2nlgn, где 1g п — краткая запись log2 п. а С2 — некоторая другая константа, не зависящая от п. Обычно константа метода вставок меньше константы метода слияния, т.е. ci < С2. Мы убедимся, что постоянные множители намного меньше влияют на время работы алгоритма, чем множители, зависящие от п. Для двух приведенных методов последние относятся как 1g п к п. Для небольшого количества сортируемых элементов сортировка включением обычно работает быстрее, однако когда п становится достаточно большим, все заметнее проявляется преимущество сортировки слиянием, возникающее благодаря тому, что для больших п незначительная величина 1g п по сравнению с п полностью компенсирует разницу величин постоянных множителей. Не имеет значения, во сколько раз константа ci меньше, чем С2. С ростом количества сортируемых элементов обязательно будет достигнут переломный момент, когда сортировка слиянием окажется более производительной.
В качестве примера рассмотрим два компьютера — А и Б. Компьютер А более быстрый, и на нем работает алгоритм сортировки вставкой, а компьютер Б более медленный, и на нем работает алгоритм сортировки методом слияния. Оба компьютера должны выполнить сортировку множества, состоящего из миллиона чисел. Предположим, что компьютер А выполняет миллиард инструкций в секунду, а компьютер Б — лишь десять миллионов. Таким образом, компьютер А работает в 100 раз быстрее, чем компьютер Б. Чтобы различие стало еще большим, предположим, что код для метода вставок (т.е. для компьютера А) написан самым лучшим в мире программистом с использованием команд процессора, и для сортировки п чисел надо выполнить 2п2 команд (т.е. ci = 2). Сортировка же методом слияния (на компьютере Б) реализована программистом-середнячком с помощью языка высокого уровня. При этом компилятор оказался не слишком эффективным, и в результате получился код, требующий выполнения 50n 1g п команд (т.е. С2 = = 50). Для сортировки миллиона чисел компьютеру А понадобится
рядок меньше процессорного времени! Если же нужно выполнить сортировку 10 миллионов чисел, то преимущество метода слияния становится еще более очевидным: если для сортировки вставкой потребуется приблизительно 2.3 дня, то для сортировки слиянием — меньше 20 минут. Общее правило таково: чем больше количество сортируемых элементов, тем заметнее преимущество сортировки слиянием.
Алгоритмы и другие технологии
Приведенный выше пример демонстрирует, что алгоритмы, как и аппаратное обеспечение компьютера, представляют собой технологию. Общая производительность системы настолько же зависит от эффективности алгоритма, как и от мощности применяющегося аппаратного обеспечения. В области разработки алгоритмов происходит такое же быстрое развитие, как и в других компьютерных технологиях.
Возникает вопрос, действительно ли так важны алгоритмы, работающие на современных компьютерах, если и так достигнуты выдающиеся успехи в других областях высоких технологий, таких как:
аппаратное обеспечение с высокими тактовыми частотами, конвейерной обработкой и суперскалярной архитектурой;
легкодоступные, интуитивно понятные графические интерфейсы (GUI);
объектно-ориентированные системы;
локальные и глобальные сети.
Ответ — да, безусловно. Несмотря на то, что иногда встречаются приложения, которые не требуют алгоритмического наполнения (например, некоторые простые Web-приложения), для большинства приложений определенное алгоритмическое наполнение необходимо. Например, рассмотрим Web-службу, определяющую, как добраться из одного места в другое (во время написания книги существовало несколько таких служб). В основе ее реализации лежит высокопроизводительное аппаратное обеспечение, графический интерфейс пользователя, глобальная сеть и, возможно, объектно-ориентированный подход. Кроме того, для определенных операций, выполняемых данной Web-службой, необходимо использование алгоритмов — например, таких как вычисление квадратных корней (что может потребоваться для определения кратчайшего пути), визуализации карт и интерполяции адресов.
Более того, даже приложение, не требующее алгоритмического наполнения на высоком уровне, сильно зависит от алгоритмов. Ведь известно, что работа приложения зависит от производительности аппаратного обеспечения, а при его разработке применяются разнообразные алгоритмы. Все мы также знаем, что
приложение тесно связано с графическим интерфейсом пользователя, а для разработки любого графического интерфейса пользователя требуются алгоритмы. Вспомним приложения, работающие в сети. Чтобы они могли функционировать, необходимо осуществлять маршрутизацию, которая, как уже говорилось, основана на ряде алгоритмов. Чаще всего приложения составляются на языке, отличном от машинного. Их код обрабатывается компилятором или интерпретатором, которые интенсивно используют различные алгоритмы. И таким примерам нет числа.
Кроме того, ввиду постоянного роста вычислительных возможностей компьютеров, они применяются для решения все более сложных задач. Как мы уже убедились на примере сравнительного анализа двух методов сортировки, с ростом сложности решаемой задачи различия в эффективности алгоритмов проявляются все значительнее.
Знание основных алгоритмов и методов их разработки — одна из характеристик, отличающих умелого программиста от новичка. Располагая современными компьютерными технологиями, некоторые задачи можно решить и без основательного знания алгоритмов, однако знания в этой области позволяют достичь намного большего.
Упражнения
1. Приведите пример приложения, для которого необходимо алгоритмическое наполнение на уровне приложений, и дайте характеристику функций, входящих в состав этих алгоритмов.
2. Предположим, на одной и той же машине проводится сравнительный анализ реализаций двух алгоритмов сортировки, работающих по методу вставок и по методу слияния. Для сортировки п элементов методом вставок необходимо 8п2 шагов, а для сортировки методом слияния — 64n 1g п шагов. При каком значении п время сортировки методом вставок превысит время сортировки методом слияния?
3. При каком минимальном значении п алгоритм, время работы которого определяется формулой 100п2, работает быстрее, чем алгоритм, время работы которого выражается как 2П, если оба алгоритма выполняются на одной и той же машине?
Задачи
1-1. Сравнение времени работы алгоритмов
Ниже приведена таблица, строки которой соответствуют различным функциям / (п), а столбцы — значениям времени t. Определите максимальные значения п, для которых задача может быть решена за время t, если
предполагается, что время работы алгоритма, необходимое для решения задачи, равно / (п) микросекунд.
1 секунда
1 минута
1 час
1 день
1 месяц
1 год
1 век
1g п
П
Tllg 71
n2
n3
2n
n!
Заключительные замечания
Имеется множество учебников, посвященных общим вопросам, которые имеют отношение к алгоритмам. К ним относятся книги Ахо (Aho), Хопкрофта (Hopcroft) и Ульмана (Ullman) [5,6], Бейза (Baase) и Ван Гельдера (Van Gelder) [26], Брассарда (Brassard) и Бретли (Bratley) [46,47], Гудрича (Goodrich) и Та- мазии (Tamassia) [128], Горовица (Horowitz), Сани (Sahni) и Раджисекарана (Ra- jasekaran) [158], Кингстона (Kingston) [179], Кнута (Knuth) [182,183,185], Козе- на (Kozen) [193], Манбера (Manber) [210], Мельхорна (Mehlhorn) [217,218,219], Пурдома (Purdom) и Брауна (Brown) [252], Рейнгольда (Reingold), Ньевергель- та (Nievergelt) и Део (Deo) [257], Седжевика (Sedgewick) [269], Скьены (Skiena) [280] и Вильфа (Wilf) [315]. Некоторые аспекты разработки алгоритмов, имеющие большую практическую направленность, обсуждаются в книгах Бентли (Bentley) [39,40] и Гоннета (Gonnet) [126]. Обзоры по алгоритмам можно также найти в книгах Handbook of Theoretical Computer Science, Volume A [302] и CRC Handbook on Algorithms and Theory of Computation [24]. Обзоры алгоритмов, применяющихся в вычислительной биологии, можно найти в учебниках Гасфилда (Gusfield) [136], Певзнера (Pevzner) [240], Сетубала (Setubal) и Мейдениса (Meidanis) [272], а также Вотермена (Waterman) [309].
ГЛАВА 2
Приступаем к изучению
В этой главе мы ознакомимся с основными понятиями, с помощью которых на протяжении всей книги будет проводиться разработка и анализ алгоритмов.
В начале главы исследуется алгоритм сортировки вставками. Он предназначен для решения задачи сортировки, поставленной в главе 1. Для формулирования алгоритмов мы используем псевдокод (который должен быть понятен читателям, имеющим опыт программирования). Для каждого алгоритма обосновывается его корректность и анализируется время работы. В ходе анализа указанного алгоритма вводятся обозначения, используемые для указания зависимости времени работы алгоритма от количества сортируемых элементов. После обсуждения сортировки вставками описывается метод декомпозиции, основанный на принципе “разделяй и властвуй”. Этот подход используется для разработки различных алгоритмов; в данном случае с его помощью будет сформулирован алгоритм, получивший название сортировки слиянием. В конце главы анализируется время работы этого алгоритма сортировки.
.1 Сортировка вставкой
Наш первый алгоритм, алгоритм сортировки методом вставок, предназначен для решения задачи сортировки (sorting problem), сформулированной в главе 1. Приведем еще раз эту формулировку.
Вход: последовательность из п чисел (ai, 02,..., ап).
Выход: перестановка (изменение порядка) (а'^,..., а„) входной последовательности таким образом, что для ее членов выполняется соотношение а^ ^ а'2 ^ • • • ^ а„.
Рис. 2.1. Сортировка карт методом вставок
Сортируемые числа также известны под названием ключи (keys).
В этой книге алгоритмы обычно описываются в виде псевдокода, который во многих отношениях похож на языки программирования С, Pascal и Java. Тем, кто знаком хотя бы с одним из этих языков, не потребуется много усилий на чтение алгоритмов. От обычного кода псевдокод отличается тем, что он выразителен, а также лаконично, точно и понятно описывает алгоритм. Иногда в качестве такового выступает литературный язык, поэтому не удивляйтесь, если в инструкции “настоящего” кода встретите обычную фразу или предложение. Другое различие между псевдокодом и обычным кодом заключается в том, что в псевдокоде, как правило, не рассматриваются некоторые вопросы, которые приходится решать разработчикам программного обеспечения. Такие вопросы, как абстракция данных, модульность и обработка ошибок часто игнорируются, чтобы более выразительно передать суть, заложенную в алгоритме.
Наше изучение алгоритмов начинается с рассмотрения сортировки вставкой (insertion sort). Этот алгоритм эффективно работает при сортировке небольшого количества элементов. Сортировка вставкой напоминает способ, к которому прибегают игроки для сортировки имеющихся на руках карт. Пусть вначале в левой руке нет ни одной карты, и все они лежат на столе рубашкой вверх. Далее со стола берется по одной карте, каждая из которых помещается в нужное место среди карт, которые находятся в левой руке. Чтобы определить, куда нужно поместить очередную карту, ее масть и достоинство сравнивается с мастью и достоинством карт в руке. Допустим, сравнение проводится в направлении слева направо (рис. 2.1). В любой момент времени карты в левой руке будут рассортированы, и это будут те карты, которые первоначально лежали в стопке на столе.
Псевдокод сортировки методом вставок представлен ниже под названием In- SERTION_SORT. На его вход подается массив А [1..п], содержащий последовательность из п сортируемых чисел (количество элементов массива А обозначено в этом коде как length [Л].) Входные числа сортируются без использования дополнительной памяти-, их перестановка производится в пределах массива, и объем используемой при этом дополнительной памяти не превышает некоторую постоянную величину. По окончании работы алгоритма InsertionSort входной массив содержит отсортированную последовательность:
lNSERTION_SORT^)
for з <— 2 to length^
do key <— ^[j]
t> Вставка элемента Л^"] в отсортированную t> последовательность Л[1..7 — 1]
г «- j - 1
while i > 0 и Л[г] > key
do A\i + 1] «— Л[г]
г«- г - 1
Л[г + 1] *— key
Инварианты цикла и корректность сортировки вставкой
На рис. 2.2 продемонстрировано, как этот алгоритм работает для массива А = (5,2,4,6,1,3). Элементы массива обозначены квадратиками, над которыми находятся индексы, а внутри — значения соответствующих элементов. Части а-д этого рисунка соответствуют итерациям цикла for в строках 1-8 псевдокода. В каждой итерации черный квадратик содержит значение ключа, которое сравнивается со значениями серых квадратиков, расположенных слева от него (строка псевдокода 5). Серыми стрелками указаны те значения массива, которые сдвигаются на одну позицию вправо (строка 6), а черной стрелкой — перемещение ключа (строка 8). В части е показано конечное состояние сортируемого массива.
Рис. 2.2. Выполнение алгоритма Insertion_Sort над массивом А = = (5,2,4,6,1,3)
Индекс з указывает “текущую карту”, которая помещается в руку. В начале каждой итерации внешнего цикла for с индексом j массив Л состоит из двух частей. Элементы A [l..j — 1] соответствуют отсортированным картам в руке, а элементы Л [у + 1..п] — стопке карт, которые пока что остались на столе. Заметим, что элементы A [L.j — 1] изначально тоже находились на позициях от 1 до j — 1, но в другом порядке, а теперь они отсортированы. Назовем это свойство элементов A [1.J - 1] инвариантом цикла (loop invariant) и сформулируем его еще раз.
В начале каждой итерации цикла for из строк 1-8 подмассив A [1.J — 1] содержит те же элементы, которые были в нем с самого начала, но расположенные в отсортированном порядке.
Инварианты цикла позволяют понять, корректно ли работает алгоритм. Необходимо показать, что инварианты циклов обладают следующими тремя свойствами.
Инициализация. Они справедливы перед первой инициализацией цикла.
Сохранение. Если они истинны перед очередной итерацией цикла, то остаются истинны и после нее.
Завершение. По завершении цикла инварианты позволяют убедиться в правильности алгоритма.
Если выполняются первые два свойства, инварианты цикла остаются истинными перед каждой очередной итерацией цикла. Обратите внимание на сходство с математической индукцией, когда для доказательства определенного свойства для всех элементов упорядоченной последовательности нужно доказать его справедливость для начального элемента этой последовательности, а затем обосновать шаг индукции. В данном случае первой части доказательства соответствует обоснование того, что инвариант цикла выполняется перед первой итерацией, а второй части — доказательство того, что инвариант цикла выполняется после очередной итерации (шаг индукции).
Для наших целей третье свойство самое важное, так как нам нужно с помощью инварианта цикла продемонстрировать корректность алгоритма. Оно также отличает рассматриваемый нами метод от обычной математической индукции, в которой шаг индукции используется в бесконечных последовательностях. В данном случае по окончании цикла “индукция” завершается.
Рассмотрим, соблюдаются ли эти свойства для сортировки методом включений.
Инициализация. Начнем с того, что покажем справедливость инварианта цикла перед первой итерацией, т.е. при j = 2. Таким образом, подмножество элементов A [l.J — 1] состоит только из одного элемента А [1], сохраняющего
исходное значение. Более того, в этом подмножестве элементы рассортированы (тривиальное утверждение). Все вышесказанное подтверждает, что инвариант цикла соблюдается перед первой итерацией цикла.
Сохранение. Далее, обоснуем второе свойство: покажем, что инвариант цикла сохраняется после каждой итерации. Выражаясь неформально, можно сказать, что в теле внешнего цикла for происходит сдвиг элементов Л [j — 1], Л [j — 2], Л [j — 3], ... на одну позицию вправо до тех пор, пока не освободится подходящее место для элемента Л [j] (строки 4-7), куда он и помещается (строка 8). При более формальном подходе к рассмотрению второго свойства потребовалось бы сформулировать и обосновать инвариант для внутреннего цикла while. Однако на данном этапе мы предпочитаем не вдаваться в такие формальные подробности, поэтому будем довольствоваться неформальным анализом, чтобы показать, что во внешнем цикле соблюдается второе свойство.
Завершение. Наконец, посмотрим, что происходит по завершении работы цикла. При сортировке методом включений внешний цикл for завершается, когда 3 превышает п, те. когда j = п 4- 1. Подставив в формулировку инварианта цикла значение п 4- 1, получим такое утверждение: в подмножестве элементов А [1..п] находятся те же элементы, которые были в нем до начала работы алгоритма, но расположенные в отсортированном порядке. Однако подмножество Л[1..п] и есть сам массив Л! Таким образом, весь массив отсортирован, что и подтверждает корректность алгоритма.
Метод инвариантов циклов будет применяться далее в данной главе, а также в последующих главах книги.
Соглашения, принятые при составлении псевдокода
При составлении псевдокода использовались следующие соглашения.
Структура блоков указывается с помощью отступов. Например, тело цикла for, начало которого — в строке 1, образовано строками 2-8, а тело цикла while, который начинается в строке 5, состоит из строк 6 и 7, а строка 8 в него не входит. Стиль отступов имеет силу также в инструкциях if-then-else. Использование отступов вместо общепринятых указателей блочной структуры, таких как инструкции begin и end, значительно уменьшает громоздкость. При этом псевдокод не становится менее понятным, а даже наоборот2.
цикла, но перед первой проверкой в заголовочной инструкции цикла. В листинге INSERTION SORT это момент, когда переменной j присвоено значение 2, но еще не выполнена проверка неравенства 3 ^ length [А].
реальных языках программирования, вообще говоря, не рекомендуется применять отступы для того, чтобы подчеркнуть структуру блоков, поскольку, если код разбит на несколько страниц, то сложно определить уровень вложенности блоков.
Инструкции циклов while, for и repeat, а также общепринятая конструкция if-then-else интерпретируются аналогично одноименным инструкциям языка Pascal. Что касается цикла for, то здесь есть одно тонкое различие: в языке Pascal после выхода из цикла значение переменной, выступающей в роли счетчика цикла, становится неопределенным, а в данной книге счетчик сохраняет свое значение после выхода из цикла. Таким образом, сразу после завершения цикла for значение счетчика равно значению, на единицу превышающему верхнюю границу цикла. Это свойство уже использовалось для доказательства корректности алгоритма сортировки, работающего по методу вставок. Заголовок цикла for, заданный в строке 1, имеет вид for j <— 2 to length [Л], поэтому по завершении цикла j = length [Л] + 1 (или, что то же самое, j = п + 1).
Символ “>” указывают, что оставшаяся часть строки — это комментарий.
Множественное присваивание, имеющее вид г <— j «— е, обозначает, что значение выражения е присваивается обеим переменным i и j; оно аналогично двум последовательным инструкциям присваивания: j «— е и г«— j.
Переменные (такие как г, j и кед) являются локальными по отношению к данной процедуре. Глобальные переменные не применяются, если это не указано явным образом.
Доступ к элементам массива осуществляется путем указания имени массива, после которого в квадратных скобках следует индекс. Например, Л [г] — это обозначение г-го элемента массива Л. С помощью обозначения “..” указывается интервал значений, которые принимает индекс массива. Таким образом, обозначение Л [l..j] свидетельствует о том, что данное подмножество массива Л состоит из j элементов Л [1], Л [2],..., Л [у].
Сложные данные обычно представляются в виде объектов, состоящих из атрибутов и полей. Доступ к определенному полю осуществляется с помощью имени поля, после которого в квадратных скобках указывается имя объекта. Например, массив трактуется как объект с атрибутом length, указывающим количество его элементов. Чтобы указать количество элементов массива А, нужно написать length [Л]. Несмотря на то, что квадратные скобки используются и для индексирования элементов массива, и в атрибутах объекта, их интерпретация будет понятна из контекста.
Переменная, которая используется в качестве имени массива или объекта, трактуется как указатель на данные, представляющие этот массив или объект. Для всех полей / объекта х присваивание у *— х приводит к тому, что /[у] = /И- Более того, если теперь выполнить присваивание / [ж] <— 3,
то впоследствии будет выполняться не только соотношение / [ж] = 3, но и соотношение / [у] = 3. Другими словами, после присваивания у *— х переменные х и у указывают на один и тот же объект.
Иногда указатель вообще не ссылается ни на какой объект. В таком случае он имеет специальное значение nil.
Параметры передаются в процедуру по значению-, в вызывающей процедуре создается своя собственная копия параметров, и если в вызванной процедуре какому-то параметру присваивается значение, то в вызывающей процедуре не происходит никаких изменений. Если передаются объекты, то происходит копирование указателя на данные, представляющие этот объект, но поля объекта не копируются. Например, если х — параметр вызванной процедуры, то присваивание х «— у, выполненное в этой процедуре, невидимо для вызывающей процедуры. Однако присваивание / [ж] «— 3 будет видимым.
Логические операторы “и” и “или” вычисляются сокращенно (short circuiting). Это означает, что при вычислении выражения “ж и у” сначала вычисляется значение выражения ж. Если оно ложно, то все выражение не может быть истинным, и значение выражения у не вычисляется. Если же выражение ж истинно, то для определения значения всего выражения необходимо вычислить выражение у. Аналогично, в выражении “ж или у” величина у вычисляется только в том случае, если выражение ж ложно. Сокращенные операторы позволяют составлять такие логические выражения, как “ж / nil и f [ж] = у”, не беспокоясь о том, что произойдет при попытке вычислить выражение / [ж], если ж = nil.
Упражнения
1. Используя в качестве модели рис. 2.2, проиллюстрируйте работу алгоритма Insertion_Sort по упорядочению массива А = (31,41,59,26,41,58).
2. Перепишите процедуру Insertion_Sort так, чтобы она выполняла сортировку не в невозрастающем, а в неубывающем порядке.
3. Рассмотрим задачу поиска.
Вход: последовательность п чисел А = (щ, й2, ..., ап) и величина v.
Выход: индекс г, обладающий свойством v = А [г], или значение nil, если в массиве А отсутствует значение и.
Составьте псевдокод линейного поиска, при работе которого выполняется сканирование последовательности в поиске значения и. Докажите корректность алгоритма с помощью инварианта цикла. Убедитесь, что
выбранные инварианты цикла удовлетворяют трем необходимым условиям.
-4. Рассмотрим задачу сложения двух двоичных целых чисел длиной п битов каждое, хранящихся в массивах А и В, которые состоят из п элементов. Сумму этих двух чисел необходимо занести в двоичной форме в массив С, состоящий из п 4-1 элемента. Приведите строгую формулировку задачи и составьте псевдокод для сложения этих двух чисел.
Анализ алгоритмов
Анализ алгоритма заключается в том, чтобы предсказать требуемые для его выполнения ресурсы. Иногда оценивается потребность в таких ресурсах, как память, пропускная способность сети или необходимое аппаратное обеспечение, но чаще всего определяется время вычисления. Путем анализа нескольких алгоритмов, предназначенных для решения одной и той же задачи, можно без труда выбрать наиболее эффективный. В процессе такого анализа может также оказаться, что несколько алгоритмов примерно равноценны, а все остальные нужно отбросить.
Прежде чем мы научимся анализировать алгоритмы, необходимо разработать технологию, которая будет для этого использоваться. В эту технологию нужно будет включить модель ресурсов и величины их измерения. С учетом того, что алгоритмы реализуются в виде компьютерных программ, в этой книге в большинстве случаев в качестве технологии реализации принята модель обобщенной однопроцессорной машины с памятью с произвольным доступом (Random-Access Machine — RAM). В этой модели команды процессора выполняются последовательно; одновременно выполняемые операции отсутствуют.
Строго говоря, в модели RAM следует точно определить набор инструкций и время их выполнения, однако это утомительно и мало способствует пониманию принципов разработки и анализа алгоритмов. С другой стороны, нужно соблюдать осторожность, чтобы не исказить модель RAM. Например, что будет, если в RAM встроена команда сортировки? В этом случае сортировку можно выполнять с помощью всего одной команды процессора. Такая модель нереалистична, поскольку настоящие компьютеры не имеют подобных встроенных команд, а мы ориентируемся именно на их устройство. В рассматриваемую модель входят те команды, которые обычно можно найти в реальных компьютерах: арифметические (сложение, вычитание, умножение, деление, вычисление остатка деления, приближение действительного числа ближайшим меньшим или ближайшим большим целым), операции перемещения данных (загрузка, занесение в память, копирование) и управляющие (условное и безусловное ветвление, вызов подпрограммы и воз-
врат из нее). Для выполнения каждой такой инструкции требуется определенный фиксированный промежуток времени.
В модели RAM есть целочисленный тип данных и тип чисел с плавающей точкой. Несмотря на то, что обычно в этой книге точность не рассматривается, в некоторых приложениях она играет важную роль. Также предполагается, что существует верхний предел размера слова данных. Например, если обрабатываются входные данные с максимальным значением п, обычно предполагается, что целые числа представлены с 1g п битами, где с — некоторая константа, не меньшая единицы. Требование с > 1 обусловлено тем, что в каждом слове должно храниться одно из п значений, что позволит индексировать входные элементы. Кроме того, предполагается, что с — это конечная константа, поэтому объем слова не может увеличиваться до бесконечности. (Если бы это было возможно, в одном слове можно было бы хранить данные огромных объемов и осуществлять над ними операции в рамках одной элементарной команды, что нереально.)
В реальных компьютерах содержатся команды, не упомянутые выше, которые представляют “серую область” модели RAM. Например, является ли возведение в степень элементарной командой? В общем случае — нет; чтобы вычислить выражение х^, в котором ж и у — действительные числа, потребуется несколько команд. Однако в некоторых случаях эту операцию можно представить в виде элементарной команды. Во многих компьютерах имеется команда побитового сдвига влево, которая в течение времени, требуемого для выполнения элементарной команды, сдвигает биты целого числа на к позиций влево. В большинстве случаев такой сдвиг целого числа на одну позицию эквивалентен его умножению на 2. Сдвиг битов на к позиций влево эквивалентен его умножению на 2к. Таким образом, на этих компьютерах 2к можно вычислить с помощью одной элементарной инструкции, сдвинув целое число 1 на к позиций влево; при этом к не должно превышать количество битов компьютерного слова. Мы попытаемся избегать таких “серых областей” модели RAM, однако вычисление 2к будет рассматриваться как элементарная операция, если к — достаточно малое целое положительное число.
В исследуемой модели RAM не предпринимаются попытки смоделировать иерархию запоминающих устройств, общепринятую на современных компьютерах. Таким образом, кэш и виртуальная память (которая чаще всего реализуется в соответствии с требованиями страничной организации памяти) не моделируется. В некоторых вычислительных моделях предпринимается попытка смоделировать эффекты, вызванные иерархией запоминающих устройств, которые иногда важны в реальных программах, работающих на реальных машинах. В ряде рассмотренных в данной книге задач принимаются во внимание эти эффекты, но в большинстве случаев они не учитываются. Модели, включающие в себя иерархию запоминающих устройств, заметно сложнее модели RAM, поэтому они могут затруднить работу. Кроме того, анализ, основанный на модели RAM, обычно
замечательно предсказывает производительность алгоритмов, выполняющихся на реальных машинах.
Анализ даже простого алгоритма в модели RAM может потребовать значительных усилий. В число необходимых математических инструментов может войти комбинаторика, теория вероятностей, навыки алгебраических преобразований и способность идентифицировать наиболее важные слагаемые в формуле. Поскольку поведение алгоритма может различаться для разных наборов входных значений, потребуется методика учета, описывающая поведение алгоритма с помощью простых и понятных формул.
Даже когда для анализа данного алгоритма выбирается всего одна модель машины, нам все еще предстоит выбрать средства для выражения анализа. Хотелось бы выбрать простые обозначения, которые позволят легко с ними работать и выявлять важные характеристики требований, предъявляемых алгоритмом к ресурсам, а также избегать сложных деталей.
Анализ алгоритма, работающего по методу вставок
Время работы процедуры INSERTION_SORT зависит от набора входных значений: для сортировки тысячи чисел требуется больше времени, чем для сортировки трех чисел. Кроме того, время сортировки с помощью этой процедуры может быть разным для последовательностей, состоящих из одного и того же количества элементов, в зависимости от степени упорядоченности этих последовательностей до начала сортировки. В общем случае время работы алгоритма увеличивается с увеличением количества входных данных, поэтому общепринятая практика — представлять время работы программы как функцию, зависящую от количества входных элементов. Для этого понятия “время работы алгоритма” и “размер входных данных” нужно определить точнее.
Наиболее адекватное понятие размера входных данных (input size) зависит от рассматриваемой задачи. Во многих задачах, таких как сортировка или дискретные преобразования Фурье, это количество входных элементов, например, размер п сортируемого массива. Для многих других задач, таких как перемножение двух целых чисел, наиболее подходящая мера для измерения размера ввода — общее количество битов, необходимых для представления входных данных в обычных двоичных обозначениях. Иногда размер ввода удобнее описывать с помощью не одного, а двух чисел. Например, если на вход алгоритма подается граф, размер ввода можно описывать, указывая количество вершин и ребер графа. Для каждой рассматриваемой далее задачи будет указываться способ измерения размера входных данных.
Время работы алгоритма для того или иного ввода измеряется в количестве элементарных операций, или “шагов”, которые необходимо выполнить. Здесь удобно ввести понятие шага, чтобы рассуждения были как можно более машинно-
независимыми. На данном этапе мы будем исходить из точки зрения, согласно которой для выполнения каждой строки псеводкода требуется фиксированное время. Время выполнения различных строк может отличаться, но мы предположим, что одна и та же г-я строка выполняется за время с^, где (^ — константа. Эта точка зрения согласуется с моделью RAM и отражает особенности практической реализации псевдокода на реальных компьютерах.
В последующих рассуждениях формула для выражения времени работы алгоритма Insertion_Sort, которая сначала будет сложным образом зависеть от всех величин Сг, значительно упростится благодаря более лаконичным обозначениям, с которыми проще работать. Эти более простые обозначения позволят легче определить, какой из двух алгоритмов эффективнее.
Начнем с того, что введем для процедуры Insertion_Sort время выполнения каждой инструкции и количество их повторений. Для каждого j = 2,3,..., п, где п = length [А], обозначим через t^ количество проверок условия в цикле while (строка 5). При нормальном завершении циклов for или while (т.е. когда перестает выполняться условие, заданное в заголовке цикла) условие проверяется на один раз больше, чем выполняется тело цикла. Само собой разумеется, мы считаем, что комментарии не являются исполняемыми инструкциями, поэтому они не увеличивают время работы алгоритма:
INSERTION_SORT(Л)
время
количество раз
1
for j «— 2 to length\A\
ci
п
2
do key <— Л [ji]
С2
п — 1
3
D> Вставка элемента A[j] в отсортированную
последовательность ^[l..j — 1].
0
п — 1
4
г«- j - 1
с4
п — 1
5
while г > 0 and Л [г] > key
С5
Т^з
6
do A\i + 1] «— Л[г]
Сб
z?=2 (^ -1)
7
г«— г — 1
С?
&2 t, - 1)
8
Л [г + 1] <— key
С8
п — 1
Время работы алгоритма — это сумма промежутков времени, необходимых для выполнения каждой входящей в его состав исполняемой инструкции. Если вы-
полнение инструкции длится в течение времени с, и она повторяется в алгоритме п раз, то ее вклад в полное время работы алгоритма равно орг.5 Чтобы вычислить время работы алгоритма Insertion_Sort (обозначим его через Т (п)), нужно просуммировать произведения значений, стоящих в столбцах время и количество раз, в результате чего получим:
Т (п) = С1П + С2 (п — 1) + С4 (п - 1) + С5 52 ^ + ^6 52 ^з ~ ^+ 3=2j=2
+ С? 52 ^3 ~ 1) + С8 (п - 1) .
3=2
Даже если размер входных данных является фиксированной величиной, время работы алгоритма может зависеть от степени упорядоченности сортируемых величин, которой они обладали до ввода. Например, самый благоприятный случай для алгоритма Insertion_Sort — это когда все элементы массива уже отсортированы. Тогда для каждого j = 2,3,..., п получается, что А [г] ^ key в строке 5, еще когда г равно своему начальному значению j — 1. Таким образом, при j = = 2,3,..., n tj = 1, и время работы алгоритма в самом благоприятном случае вычисляется так:
Т (п) = С1П + С2 (п - 1) + С4 (п - 1) + С5 (п - 1) + Cg (п - 1) == (ci + с2 + С4 + С5 + Се) П - (с2 + С4 + С5 + Cg) .
Это время работы можно записать как ап + Ь, где а и b — константы, зависящие от величин ct; те. это время является линейной функцией от п.
Если элементы массива отсортированы в порядке, обратном требуемому (в данном случае в порядке убывания), то это наихудший случай. Каждый элемент А [Д необходимо сравнивать со всеми элементами уже отсортированного подмножества A [1.J — 1], так что для j = 2,3,..., п значения tj = j. С учетом того, что
3=2
И
3=2
5Это правило не всегда применимо к такому ресурсу, как память. Если инструкция оперирует с т словами памяти и выполняется п раз, то это еще не означает, что всего при этом потребляется тп слов памяти.
(как выполняется это суммирование, показано в приложении А), получаем, что время работы алгоритма lNSERTION_SORT в худшем случае определяется соотношением
Т (п) = С1П + С2 (п - 1) + Сд (П — 1) + С5
п(п —1)\,, .
+ С6+ С62J+c8(n-l) =
+ С6
+ С6
/С5 Сб С7\2 , /,, С5 Сб С7 \
- (С2 + С4 + С5 + С8) .
Это время работы можно записать как an2 + Ьп + с, где константы а, Ь и с зависят от ci. Таким образом, это квадратичная функция от п.
Обычно время работы алгоритма фиксировано для определенных входных данных, как в случае сортировки вставкой, однако в последующих главах мы ознакомимся с некоторыми интересными алгоритмами, поведение которых носит вероятностный характер. Время их работы может меняться даже для одних и тех же входных данных.
Наихудшее и среднее время работы
Анализируя алгоритм, работающий по методу вставок, мы рассматривали как наилучший, так и наихудший случай, когда элементы массива были рассортированы в порядке, обратном требуемому. Далее в этой книге мы будем уделять основное внимание определению только времени работы в наихудшем случае, те. максимальном времени работы из всех входных данных размера п. Тому есть три причины.
• Время работы алгоритма в наихудшем случае — это верхний предел этой величины для любых входных данных. Располагая этим значением, мы точно знаем, что для выполнения алгоритма не потребуется большее количество времени. Не нужно будет делать каких-то сложных предположений о времени работы и надеяться, что на самом деле эта величина не будет превышена.
• В некоторых алгоритмах наихудший случай встречается достаточно часто. Например, если в базе данных происходит поиск информации, то наихудшему случаю соответствует ситуация, когда нужная информация в базе данных отсутствует. В некоторых поисковых приложениях поиск отсутствующей информации может происходить довольно часто.
• Характер поведения “усредненного” времени работы часто ничем не лучше поведения времени работы для наихудшего случая. Предположим, что последовательность, к которой применяется сортировка методом вставок,
сформирована случайным образом. Сколько времени понадобится, чтобы определить, в какое место подмассива Л [1.J — 1] следует поместить элемент Л [j]? В среднем половина элементов подмассива Л [1..J — 1] меньше, чем Л [j], а половина — больше его. Таким образом, в среднем нужно проверить половину элементов подмассива Л [L.j — 1], поэтому tj приблизительно равно j/2. В результате получается, что среднее время работы алгоритма является квадратичной функцией от количества входных элементов, т.е. характер этой зависимости такой же, как и для времени работы в наихудшем случае.
В некоторых частных случаях нас будет интересовать среднее время работы алгоритма, или его математическое ожидание^. В главе 5 будет продемонстрирован метод вероятностного анализа, позволяющий определить ожидаемое время работы. Однако при анализе усредненного времени работы возникает одна проблема, которая заключается в том, что не всегда очевидно, какие входные данные для данной задачи будут “усредненными”. Часто делается предположение, что все наборы входных параметров одного и того же объема встречаются с одинаковой вероятностью. На практике это предположение может не соблюдаться, однако иногда можно применять рандомизированные алгоритмы, в которых используется случайный выбор, и это позволяет провести вероятностный анализ.
Порядок возрастания
Для облегчения анализа процедуры Insertion_Sort были сделаны некоторые упрощающие предположения. Во-первых, мы проигнорировали фактическое время выполнения каждой инструкции, представив эту величину в виде некоторой константы Ct. Далее мы увидели, что учет всех этих констант дает излишнюю информацию: время работы алгоритма в наихудшем случае выражается формулой ап2 + Ьп + с, где а, Ь, и с — некоторые константы, зависящие от стоимостей Сг. Таким образом, мы игнорируем не только фактические стоимости команд, но и их абстрактные стоимости с^.
Теперь введем еще одно абстрактное понятие, упрощающее анализ. Это скорость роста (rate of growth), или порядок роста (order of growth), времени работы, который и интересует нас на самом деле. Таким образом, во внимание будет приниматься только главный член формулы (т.е. в нашем случае ап2), поскольку при больших п членами меньшего порядка можно пренебречь. Кроме того, постоянные множители при главном члене также будут игнорироваться, так как для оценки вычислительной эффективности алгоритма с входными данными большого объема они менее важны, чем порядок роста. Таким образом, время работы
6Далее в книге строгий термин “математическое ожидание” некоторой величины зачастую для простоты изложения заменяется термином “ожидаемое значение”, например, “ожидаемое время работы алгоритма” означает “математическое ожидание времени работы алгоритма”. — Прим. ред.
алгоритма, работающего по методу вставок, в наихудшем случае равно 0 (п2) (произносится “тета от п в квадрате”). В этой главе ©-обозначения используются неформально; их строгое определение приводится в главе 3.
Обычно один алгоритм считается эффективнее другого, если время его работы в наихудшем случае имеет более низкий порядок роста. Из-за наличия постоянных множителей и второстепенных членов эта оценка может быть ошибочной, если входные данные невелики. Однако если объем входных данных значительный, то, например, алгоритм © (п2) в наихудшем случае работает быстрее, чем алгоритм © (п3).
Упражнения
2.2-1. Выразите функцию n3/1000 — 100n2 — 100n + 3 в ©-обозначениях.
2.2-2. Рассмотрим сортировку элементов массива Л, которая производится так. Сначала определяется наименьший элемент массива Л, который ставится на место элемента Л [1], затем производится поиск второго наименьшего элемента массива Л, который ставится на место элемента Л [2]. Этот процесс продолжается для первых п — 1 элементов массива Л. Запишите псевдокод этого алгоритма, известного как сортировка выбором (selection sort). Какой инвариант цикла сохраняется для этого алгоритма? Почему его достаточно выполнить для первых п — 1 элементов, а не для всех п элементов? Определите время работы алгоритма в наилучшем и наихудшем случаях и запишите его в ©-обозначениях.
3. Рассмотрим алгоритм линейного поиска (см. упражнение 2.1-3). Для скольких элементов входной последовательности в среднем нужно произвести проверку, если предполагается, что все элементы массива с равной вероятностью могут иметь искомое значение? Что происходит в наихудшем случае? Чему равно время работы алгоритма линейного поиска в среднем и в наихудшем случае (в ©-обозначениях)? Обоснуйте ваш ответ.
4. Каким образом можно модифицировать почти каждый алгоритм, чтобы получить оптимальное время работы в наилучшем случае?
Разработка алгоритмов
Есть много методов разработки алгоритмов. В алгоритме, работающем по методу вставок, применяется инкрементный подход: располагая отсортированным подмассивом A [1..J — 1], мы помещаем очередной элемент A [j] туда, где он должен находиться, в результате чего получаем отсортированный подмассив А [1..Д.
В данном разделе рассматривается альтернативный подход к разработке алгоритмов, известный как метод разбиения (“разделяй и властвуй”). Разработаем с помощью этого подхода алгоритм сортировки, время работы которого в наихудшем случае намного меньше времени работы алгоритма, работающего по методу включений. Одно из преимуществ алгоритмов, разработанных методом разбиения, заключается в том, что время их работы часто легко определяется с помощью технологий, описанных в главе 4.
Метод декомпозиции
Многие полезные алгоритмы имеют рекурсивную структуру: для решения данной задачи они рекурсивно вызывают сами себя один или несколько раз, чтобы решить вспомогательную задачу, имеющую непосредственное отношение к поставленной задаче. Такие алгоритмы зачастую разрабатываются с помощью метода декомпозиции, или разбиения *, сложная задача разбивается на несколько более простых, которые подобны исходной задаче, но имеют меньший объем; далее эти вспомогательные задачи решаются рекурсивным методом, после чего полученные решения комбинируются с целью получить решение исходной задачи.
Парадигма, лежащая в основе метода декомпозиции “разделяй и властвуй”, на каждом уровне рекурсии включает в себя три этапа.
Разделение задачи на несколько подзадач.
Покорение — рекурсивное решение этих подзадач. Когда объем подзадачи достаточно мал, выделенные подзадачи решаются непосредственно.
Комбинирование решения исходной задачи из решений вспомогательных задач. Алгоритм сортировки слиянием (merge sort) в большой степени соответствует парадигме метода разбиения. На интуитивном уровне его работу можно описать таким образом.
Разделение: сортируемая последовательность, состоящая из п элементов, разбивается на две меньшие последовательности, каждая из которых содержит п/2 элементов.
Покорение: сортировка обеих вспомогательных последовательностей методом слияния.
Комбинирование: слияние двух отсортированных последовательностей для получения окончательного результата.
Рекурсия достигает своего нижнего предела, когда длина сортируемой последовательности становится равной 1. В этом случае вся работа уже сделана, поскольку любую такую последовательность можно считать упорядоченной.
Основная операция, которая производится в процессе сортировки по методу слияний, — это объединение двух отсортированных последовательностей в ходе комбинирования (последний этап). Это делается с помощью вспомогательной процедуры МЕКОЕ(Д,р, д, г), где Л — массив, а р, q и г — индексы, нумерующие элементы массива, такие, что р ^ q < т. В этой процедуре предполагается, что элементы подмассивов Л [р..д] и Л [g + 1..г] упорядочены. Она сливает эти два подмассива в один отсортированный, элементы которого заменяют текущие элементы подмассива Л [р..г].
Для выполнения процедуры Merge требуется время 0 (п), где п=г—р+1— количество подлежащих слиянию элементов. Процедура работает следующим образом. Возвращаясь к наглядному примеру сортировки карт, предположим, что на столе лежат две стопки карт, обращенных лицевой стороной вниз. Карты в каждой стопке отсортированы, причем наверху находится карта наименьшего достоинства. Эти две стопки нужно объединить в одну выходную, в которой карты будут рассортированы и также будут обращены рубашкой вверх. Основной шаг состоит в том, чтобы из двух младших карт выбрать самую младшую, извлечь ее из соответствующей стопки (при этом в данной стопке верхней откажется новая карта) и поместить в выходную стопку. Этот шаг повторяется до тех пор, пока в одной из входных стопок не кончатся карты, после чего оставшиеся в другой стопке карты нужно поместить в выходную стопку. С вычислительной точки зрения выполнение каждого основного шага занимает одинаковые промежутки времени, так как все сводится к сравнению достоинства двух верхних карт. Поскольку необходимо выполнить, по крайней мере, п основных шагов, время работы процедуры слияния равно 0 (п).
Описанная идея реализована в представленном ниже псевдокоде, однако в нем также есть дополнительное ухищрение, благодаря которому в ходе каждого основного шага не приходится проверять, является ли каждая из двух стопок пустой. Идея заключается в том, чтобы поместить в самый низ обеих объединяемых колод так называемую сигнальную карту особого достоинства, что позволяет упростить код. Для обозначения сигнальной карты используется символ оо. Не существует карт, достоинство которых больше достоинства сигнальной карты. Процесс продолжается до тех пор, пока проверяемые карты в обеих стопках не окажутся сигнальными. Как только это произойдет, это будет означать, что все несигнальные карты уже помещены в выходную стопку. Поскольку заранее известно, что в выходной стопке должно содержаться ровно г — р + 1 карта, выполнив такое количество основных шагов, можно остановиться:
МЕКОЕ(Д,р, д, г)
1 ni <— д — р + 1
2 П2 <— г — д
3 Создаем массивы L[l..ni + 1] и 7?[1.•П2 + 1]
45678910 И12131415161745678910 И121314151617for г«— 1 to ni
4
5
6
7
8
9
10 И
12
13
14
15
16
17
4
5
6
7
8
9
10 И
12
13
14
15
16
17
do Цг] «— Л[р + г — 1]
for J «— 1 to П2
do ЯЬ1 <- ^[9 + J]
Цп1 + 1] <— ОО
R\n2 + 1] <— оо
г^1
3-1
for к <— р to т
do if L[i] ^ 7?[j]
then Л [A:] «— £[г] г «— г + 1
else Л[А:] <— Д^]3—3 + 1
Подробно опишем работу процедуры Merge. В строке 1 вычисляется длина ni подмассива А [р..д], а в строке 2 — длина пг подмассива Л[д + 1..г]. Далее в строке 3 создаются массивы L (“левый” — “left”) и R (“правый” — “right”), длины которых равны ni + 1 и n.2 + 1 соответственно. В цикле for в строках 4 и 5 подмассив А [р..д] копируется в массив L [l-.ni], а в цикле for в строках 6 и 7 подмассив Л [д + 1..г] копируется в массив R [1..П2]. В строках 8 и 9 последним элементам массивов L и R присваиваются сигнальные значения.
Как показано на рис. 2.3, в результате копирования и добавления сигнальных карт получаем массив L с последовательностью чисел (2,4,5,7, оо) и массив R с последовательностью чисел (1,2,3,6,оо). Светло-серые ячейки массива А содержат конечные значения, а светло-серые ячейки массивов L и R — значения, которые еще только должны быть скопированы обратно в массив А. В светло-серых ячейках находятся исходные значения из подмассива А [9.. 16] вместе с двумя сигнальными картами. В темно-серых ячейках массива А содержатся значения, которые будут заменены другими, а в темно-серых ячейках массивов L и R — значения, уже скопированные обратно в массив А. В частях рисунка а-з показано состояние массивов A, L и R, а также соответствующие индексы к, г и j перед каждой итерацией цикла в строках 12-17. В части и показано состояние массивов и индексов по завершении работы алгоритма. На данном этапе подмассив Л [9.. 16] отсортирован, а два сигнальных значения в массивах L и R — единственные элементы, оставшиеся в этих массивах и не скопированные в массив А. В строках 10-17, проиллюстрированных на рис. 2.3, выполняется г — р +1 основных шагов, в ходе каждого из которых производятся манипуляции с инвариантом цикла, описанным ниже.
' к12 3 4 5!?5 4 'ММПМ] В* Р IBM]' к12 3 4 5!?5 4 'ММПМ] В* Р IBM]7 Ji h M b Jo IЛ p | 4 j pTj 1 |7p] б! ■7 Ji h M b Jo IЛ p | 4 j pTj 1 |7p] б! ■1 2 „3 4 JL Id old7Id1 2 „3 4 JL Id old7IdWddi ;Wddi ;
' к
12 3 4 5!?5 4 '
ММПМ] В* Р IBM]
' к
12 3 4 5!?5 4 '
ММПМ] В* Р IBM]
7 Ji h M b Jo I
Л p | 4 j pTj 1 |7p] б! ■
7 Ji h M b Jo I
Л p | 4 j pTj 1 |7p] б! ■
1 2 „3 4 J
L Id old7Id
1 2 „3 4 J
L Id old7Id
Wddi ;
Wddi ;
а)а)6)
а)
а)
8 9 10 11 12 13 14 15 16 17
Л | । j [ 7^ 7^2^^
i ПУ4i' jI^1.11 46*
в)S 9 В Н И В В U It» Га d' 12121 * iLPTlldl ■I 2 * 4 j J 2 3 4 5MUMLd RI’Wb Idв)S 9 В Н И В В U It» Га d' 12121 * iLPTlldl ■I 2 * 4 j J 2 3 4 5MUMLd RI’Wb IdГ)Г)6 МММ ' a H h В i ’ d ■ p4 [“2 [У [6] •6 МММ ' a H h В i ’ d ■ p4 [“2 [У [6] •£ UI 11s 1? I J 1 BIJI-O6 P)£ UI 11s 1? I J 1 BIJI-O6 P)JJ
в)
S 9 В Н И В В U It» Г
а d' 12121 * iLPTlldl ■
I 2 * 4 j J 2 3 4 5MUMLd RI’Wb Id
в)
S 9 В Н И В В U It» Г
а d' 12121 * iLPTlldl ■
I 2 * 4 j J 2 3 4 5MUMLd RI’Wb Id
Г)
Г)
6 МММ ' a H h В i ’ d ■ p4 [“2 [У [6] •
6 МММ ' a H h В i ’ d ■ p4 [“2 [У [6] •
£ UI 11s 1? I J 1 BIJI-O6 P)
£ UI 11s 1? I J 1 BIJI-O6 P)
J
J
Л.)Л.)8 WO I М2 В M В 16 178 WO I М2 В M В 16 17ж)ж)8 9 10 11 12 13 14 15 16 178 9 10 11 12 13 14 15 16 17
Л.)
Л.)
8 WO I М2 В M В 16 17
8 WO I М2 В M В 16 17
ж)
ж)
8 9 10 11 12 13 14 15 16 17
8 9 10 11 12 13 14 15 16 17
e)
и)
Рис. 2.3. Операции, выполняемые в строках 10-17 процедуры MERGE(A, 9,12,16), когда в подмассиве А [9.. 16] содержится последовательность (2,4,5,7,1,2,3,6)
Перед каждой итерацией цикла for в строках 12-17, подмассив А \р..к — 1] содержит к — р наименьших элементов массивов L [1..П1 + 1] и R [1..П2 4-1] в отсортированном порядке. Кроме того, элементы L [г] и R [г] являются наименьшими элементами массивов L и R, которые еще не скопированы в массив А.
Необходимо показать, что этот инвариант цикла соблюдается перед первой итерацией рассматриваемого цикла for, что каждая итерация цикла не нарушает его, и что с его помощью удается продемонстрировать корректность алгоритма, когда цикл заканчивает свою работу.
Инициализация. Перед первой итерацией цикла к = р, поэтому подмассив А\р..к — 1] пуст. Он содержит к — р = 0 наименьших элементов массивов L и R. Поскольку г = 3 = 1, элементы L [г] и R\j\ — наименьшие элементы массивов L и R, не скопированные обратно в массив А.
Сохранение. Чтобы убедиться, что инвариант цикла сохраняется после каждой итерации, сначала предположим, что L [г] ^ R [J]. Тогда L [г] — наименьший элемент, не скопированный в массив А. Поскольку в подмассиве А \р..к — 1] содержится к — р наименьших элементов, после выполнения строки 14, в которой значение элемента L [г] присваивается элементу A [fc], в подмассиве А \р..Ц будет содержаться к — р + 1 наименьший элемент. В результате увеличения параметра к цикла for и значения переменной г (строка 15), инвариант цикла восстанавливается перед следующей итерацией. Если же выполняется неравенство Ь\г\ > Т?[.7’], то в строках 16 и 17 выполняются соответствующие действия, в ходе которых также сохраняется инвариант цикла.
Завершение. Алгоритм завершается, когда к = г + 1. В соответствии с инвариантом цикла, подмассив А \р..к — 1] (т.е. подмассив А [р..г]) содержит к — — р = г— р4-1 наименьших элементов массивов L [l..ni 4-1] и R [1..П2 4-1] в отсортированном порядке. Суммарное количество элементов в массивах L и R равно ni 4- П2 4- 2 = г — р 4- 3. Все они, кроме двух самых больших, скопированы обратно в массив А, а два оставшихся элемента являются сигнальными.
Чтобы показать, что время работы процедуры Merge равно 0 (п), где п = г — — р 4- 1, заметим, что каждая из строк 1-3 и 8-11 выполняется в течение фиксированного времени; длительность циклов for в строках 4-7 равна 0 (ni 4- ^2) = = 0 (п), а в цикле for в строках 12-17 выполняется п итераций, на каждую из которых затрачивается фиксированное время.
Теперь процедуру Merge можно использовать в качестве подпрограммы в алгоритме сортировки слиянием. Процедура Merge_Sort(A,p, г) выполняет сортировку элементов в подмассиве А[р..г]. Если справедливо неравенство р ^ г, то в этом подмассиве содержится не более одного элемента, и, таким образом, он отсортирован. В противном случае производится разбиение, в ходе которого
Отсортированная последовательность
Исходная последовательность
Рис. 2.4. Процесс сортировки массива А = (5,2,4,7,1,3,2,6) методом слияния. Длины подлежащих объединению отсортированных подпоследовательностей возрастают по мере работы алгоритма
вычисляется индекс q, разделяющий массив Л[р..г] на два подмассива: Л[р..д] с |"п/21 элементами и Л [g..r] с [n/2j элементами.
Мексе_8окт(Л,р,г)
if р < г
then g <— ^р 4- r)/2j
Merge_Sort(X , р, q)
MERGE_SORT(X, q + 1, г)
MERGE(X, р, д, г)
Чтобы отсортировать последовательность А = (Л [1], А [2],..., А [п]), вызывается процедура Merge_Sort(X, 1, length [Л]), где length [Л] = п. На рис. 2.4 проиллюстрирована работа этой процедуры в восходящем направлении, если п — это степень двойки. В ходе работы алгоритма происходит попарное объединение одноэлементных последовательностей в отсортированные последовательности длины 2, затем — попарное объединение двухэлементных последовательностей в отсортированные последовательности длины 4 и т.д., пока не будут
получены две последовательности, состоящие из п/2 элементов, которые объединяются в конечную отсортированную последовательность длины п.
Анализ алгоритмов, основанных на принципе “разделяй и властвуй”
Если алгоритм рекурсивно обращается к самому себе, время его работы часто описывается с помощью рекуррентного уравнения, или рекуррентного соотношения, в котором полное время, требуемое для решения всей задачи с объемом ввода п, выражается через время решения вспомогательных подзадач. Затем данное рекуррентное уравнение решается с помощью определенных математических методов, и устанавливаются границы производительности алгоритма.
Получение рекуррентного соотношения для времени работы алгоритма, основанного на принципе “разделяй и властвуй”, базируется на трех этапах, соответствующих парадигме этого принципа. Обозначим через Т (п) время решения задачи, размер которой равен п. Если размер задачи достаточно мал, скажем, п ^ с, где с — некоторая заранее известная константа, то задача решается непосредственно в течение определенного фиксированного времени, которое мы обозначим через 0(1). Предположим, что наша задача делится на а подзадач, объем каждой из которых равен 1/Ь от объема исходной задачи. (В алгоритме сортировки методом слияния числа а и b были равны 2, однако нам предстоит ознакомиться со многими алгоритмами разбиения, в которых а / Ь.) Если разбиение задачи на вспомогательные подзадачи происходит в течение времени D (п), а объединение решений подзадач в решение исходной задачи — в течение времени С (п), то мы получим такое рекуррентное соотношение:
Т(п)=^Т(п)=^0 (1)при п < с,
Т(п)=^
Т(п)=^
аТ (п/Ь) 4- D(n) 4- С (п) в противном случае.
В главе 4 будет показано, как решаются рекуррентные соотношения такого вида.
Анализ алгоритма сортировки слиянием
Псевдокод Merge_Sort корректно работает для произвольного (в том числе и нечетного) количества сортируемых элементов. Однако если количество элементов в исходной задаче равно степени двойки, то анализ рекуррентного уравнения упрощается. В этом случае на каждом шаге деления будут получены две подпоследовательности, размер которых точно равен п/2. В главе 4 будет показано, что это предположение не влияет на порядок роста, полученный в результате решения рекуррентного уравнения.
Чтобы получить рекуррентное уравнение для верхней оценки времени работы Т (п) алгоритма, выполняющего сортировку п чисел методом слияния, будем
рассуждать следующим образом. Сортировка одного элемента методом слияния длится в течение фиксированного времени. Если n > 1, время работы распределяется таким образом.
Разбиение. В ходе разбиения определяется, где находится средина подмассива.
Эта операция длится фиксированное время, поэтому D (n) = О (1).
Покорение. Рекурсивно решаются две подзадачи, объем каждой из которых составляет п/2. Время решения этих подзадач равно 2Т (п/2).
Комбинирование. Как уже упоминалось, процедура Merge в n-элементном подмассиве выполняется в течение времени 0 (п), поэтому С (п) = 0 (п).
Сложив функции D (п) и С (п), получим сумму величин 0 (п) и 0 (1), которая является линейной функцией от п, т.е. 0 (п). Прибавляя к этой величине слагаемое 2Т (п/2), соответствующее этапу “покорения”, получим рекуррентное соотношение для времени работы Т (п) алгоритма сортировки по методу слияния в наихудшем случае:
В главе 4 мы ознакомимся с теоремой, с помощью которой можно показать, что величина Т (п) представляет собой 0 (nlgn), где 1g п обозначает lg2 п. Поскольку логарифмическая функция растет медленнее, чем линейная, то для достаточно большого количества входных элементов производительность алгоритма сортировки методом слияния, время работы которого равно 0 (nlgn), превзойдет производительность алгоритма сортировки методом вставок, время работы которого в наихудшем случае равно 0 (п2).
Правда, можно и без упомянутой теоремы интуитивно понять, что решением рекуррентного соотношения (2.1) является выражение Т(п) = О (nlgn). Перепишем уравнение (2.1) в таком виде:
Т (п) = <Т (п) = <(2-2)(2-2)при n = 1,
Т (п) = <
Т (п) = <
(2-2)
(2-2)
2Т (п/2) 4- сп при п > 1,
где константа с обозначает время, которое требуется для решения задачи? размер который равен 1, а также удельное (приходящееся на один элемент) время, требуемое для разделения и сочетания.
а)б)в)
Рис. 2.5. Построение дерева рекурсии для уравнения Т (п) = 2Т (п/2) + сп
Процесс решения рекуррентного соотношения (2.2) проиллюстрирован на рис. 2.5. Для удобства предположим, что п равно степени двойки. В части а упомянутого рисунка показано время Т (п), представленное в части б в виде эквивалентного дерева, которое представляет рекуррентное уравнение. Корнем этого дерева является слагаемое сп (стоимость верхнего уровня рекурсии), а два
поддерева, берущих начало от корня, представляют две меньшие рекуррентные последовательности Т(п/2). В части в показан очередной шаг рекурсии. Время выполнения каждого из двух подузлов, находящихся на втором уровне рекурсии, равно сп/2. Далее продолжается разложение каждого узла, входящего в состав дерева, путем разбиения их на составные части, определенные в рекуррентной последовательности. Так происходит до тех пор, пока размер задачи не становится равным 1, а время ее выполнения — константе с. Получившееся в результате дерево показано в части г. Дерево состоит из lg n4-1 уровней (т.е. его высота равна lg п), а каждый уровень дает вклад в полное время работы, равный сп. Таким образом, полное время работы алгоритма равно сп 1g п 4- сп, что соответствует 0 (nlgn).
После того как дерево построено, длительности выполнения всех его узлов суммируются по всем уровням. Полное время выполнения верхнего уровня равно сп, следующий уровень дает вклад, равный с^п/^ 4- с^п)^ = сп. Ту же величину вклада дают и все последующие уровни. В общем случае уровень г (если вести отсчет сверху) имеет 2г узлов, каждый из которых дает вклад в общее время работы алгоритма, равный с(п/2г), поэтому полное время выполнения всех принадлежащих уровню узлов равно 2гс ^п/Т^ = сп. На нижнем уровне имеется п узлов, каждый из которых дает вклад с, что в сумме дает время, равное сп.
Полное количество уровней дерева на рис. 2.5 равно lg п 4-1. Это легко понять из неформальных индуктивных рассуждений. В простейшем случае, когда п = 1, имеется всего один уровень. Поскольку lg 1 = 0, выражение 1g п 4-1 дает правильное количество уровней. Теперь в качестве индуктивного допущения примем, что количество уровней рекурсивного дерева с 2г узлами равно 1g 27 4-1 = г 4-1 (так как для любого г выполняется соотношение 1g 2г = г). Поскольку мы предположили, что количество входных элементов равняется степени двойки, то теперь нужно рассмотреть случай для 2г+1 элементов. Дерево с 2г+1 узлами имеет на один уровень больше, чем дерево с 2г узлами, поэтому полное количество уровней равно (г + 1) + 1 = lg2i+1 + 1.
Чтобы найти полное время, являющееся решением рекуррентного соотношения (2.2), нужно просто сложить вклады от всех уровней. Всего имеется lg п 4-1 уровней, каждый из которых выполняется в течение времени сп, так что полное время равно сп (lg п 4-1) = сп lg п 4- сп. Пренебрегая членами более низких порядков и константой с, в результате получаем 0 (nlgn).
Упражнения
1. Используя в качестве образца рис. 2.4, проиллюстрируйте работу алгоритма сортировки методом слияний для массива А = (3,41,52,26,38,57, 9,49).
2. Перепишите процедуру MERGE так, чтобы в ней не использовались сигнальные значения. Сигналом к остановке должен служить тот факт, что все элементы массива L или массива R скопированы обратно в массив Л, после чего в этот массив копируются элементы, оставшиеся в непустом массиве.
3. Методом математической индукции докажите, что если п равно степени двойки, то решением рекуррентного уравнения
Т(п) = 1Т(п) = 12при п = 2,
Т(п) = 1
Т(п) = 1
2Т (п/2) 4- п при п = 2k, к > 1
является Т (п) = п 1g п.
4. Сортировку вставкой можно представить в виде рекурсивной последовательности следующим образом. Чтобы отсортировать массив Л [1..п], сначала нужно выполнить сортировку массива A[l..n — 1], после чего в этот отсортированный массив помещается элемент Л [п]. Запишите рекуррентное уравнение для времени работы этой рекурсивной версии алгоритма сортировки вставкой.
5. Возвращаясь к задаче поиска (см. упражнение 2.1-3), нетрудно заметить, что если последовательность Л отсортирована, то значение среднего элемента этой последовательности можно сравнить с искомым значением и и сразу исключить половину последовательности из дальнейшего рассмотрения. Двоичный (бинарный) поиск (binary search) — это алгоритм, в котором такая процедура повторяется неоднократно, что всякий раз приводит к уменьшению оставшейся части последовательности в два раза. Запишите псевдокод алгоритма бинарного поиска (в итерационном или рекурсивном виде). Докажите, что время работы этого алгоритма в наихудшем случае возрастает как 0 (1g п).
6. Обратите внимание, что в цикле while в строках 5-7 процедуры INSER- tion_Sort в разделе 2.1, используется линейный поиск для просмотра (в обратном порядке) отсортированного подмассива ^[l..j — 1]. Можно ли использовать бинарный поиск (см. упражнение 2.3-5) вместо линейного, чтобы время работы этого алгоритма в наихудшем случае улучшилось и стало равным 0 (nlgn)?
* 2.3-7. Пусть имеется множество S, состоящее из п целых чисел, и отдельное целое число ж; необходимо определить, существуют ли во множестве S два элемента, сумма которых равна ж. Разработайте алгоритм решения этой задачи, время работы которого возрастало бы с увеличением п как 0 (nlgn).
Задачи
2-1. Сортировка вставкой для небольших подмассивов, возникающих при сортировке слиянием
Несмотря на то, что с увеличением количества сортируемых элементов время сортировки методом слияний в наихудшем случае растет как 0 (nlgn), а время сортировки методом вставок — как 0 (п2), благодаря постоянным множителям для малых п сортировка методом вставок выполняется быстрее. Таким образом, есть смысл использовать сортировку методом вставок в процессе сортировки методом слияний, когда подзадачи становятся достаточно маленькими. Рассмотрите модификацию алгоритма сортировки, работающего по методу слияний, когда п/к подмассивов длины к сортируются методом вставок, после чего они объединяются с помощью обычного механизма слияния. Величина к должна быть найдена в процессе решения задачи.
Покажите, что п/к подмассивов, в каждом из которых находится к элементов, в наихудшем случае можно отсортировать по методу вставок за время 0 (пк).
Покажите, что в наихудшем случае время, требуемое для объединения этих подмассивов, равно 0 (nig (п/к)).
Допустим, что время работы модифицированного алгоритма в наихудшем случае равно О (пк 4- nig (п/к)). Определите максимальное асимптотическое (в ©-обозначениях) значение к как функцию от п, для которого асимптотическое время работы модифицированного алгоритма равно времени работы стандартного алгоритма сортировки методом слияния.
Как следует выбирать параметр к на практике?
2-2. Корректность пузырьковой сортировки
Пузырьковый метод — популярный алгоритм сортировки. В его основе лежит многократная перестановка соседних элементов, нарушающих порядок сортировки:
Bubblesort(X)
for г <— 1 to iength^A]
do for j <— length\A\ downto г 4-1
do if Л[^] < Л[7 - 1]
then Поменять местами Л[^'] «^ A\j — 1]
Пусть А' — выходной массив, полученный в результате работы процедуры ВиввьЕ8ОКТ(Л). Чтобы доказать, что этот алгоритм работает
корректно, нужно доказать, что он выполняется в течение конечного времени и что выполняются неравенства
А' [1] < А' [2] < • • • < А* [п],(2.3)
где п = length [Л]. Что еще необходимо доказать, чтобы стало очевидно, что в ходе работы алгоритма Bubblesort действительно выполняется сортировка входного массива?
В следующих двух пунктах доказываются неравенства (2.3).
Дайте точную формулировку инварианта цикла for в строках 2-4, и докажите, что он сохраняется. Доказательство должно иметь такую же структуру доказательства инварианта цикла, которая использовалась в аналогичных доказательствах в данной главе.
С помощью условия завершения инварианта цикла, доказанного в пункте б, сформулируйте инвариант цикла for в строках 1-4, который бы позволил доказать неравенства (2.3). Доказательство должно иметь такую же структуру доказательства инварианта цикла, которая использовалась в аналогичных доказательствах в данной главе.
Определите время пузырьковой сортировки в наихудшем случае и сравните его со временем сортировки методом вставок.
2-3. Корректность правила Горнера
В приведенном ниже фрагменте кода реализовано правило Горнера (Horner’s rule), позволяющее вычислить значение полинома
п
^0) = ^акХк =
к=0
= а0 + х (ат + х (аг 4Н ж (an-i + жап)...))
по заданным коэффициентам ag, ai,..., ап и величине ж:
У
г <— п
while г > О
do у <— at 4- х • у
г <— г — 1
Определите асимптотическое время работы приведенного выше фрагмента кода.
Напишите псевдокод, реализующий алгоритм обычного вычисления полинома, когда каждое слагаемое полинома вычисляется отдельно.
Определите асимптотическое время работы этого алгоритма и сравните его со временем работы алгоритма, основанного на правиле Горнера.
Докажите, что ниже сформулирован инвариант цикла while в строках 3-5.
В начале каждой итерации цикла while в строках 3-5 выполняется такое соотношение:
п-СЖ)
У = 52 ак+г+1Хк-
/с=0
Суммирование по нулевому количеству слагаемых интерпретируется как 0. Доказательство должно иметь такую же структуру доказательства инварианта цикла, которая использовалась в аналогичных доказательствах в данной главе. В ходе доказательства необходимо продемонстрировать, что по завершении алгоритма выполняется соотношение у = 52fc=o акХк.
В заключение продемонстрируйте, что в приведенном фрагменте кода правильно вычисляется значение полинома, который задается коэффициентами ао, ai,..., ап.
2-4. Инверсии
Предположим, что Л [1..п] — это массив, состоящий из п различных чисел. Если г < j и Л [г] > Л [j], то пара (г^) называется инверсией (inversion) в массиве Л.
Перечислите пять инверсий, содержащихся в массиве (2,3,8,6,1).
Сконструируйте массив из элементов множества {1,2,..., п}, содержащий максимальное количество инверсий. Сколько инверсий в этом массиве?
Какая взаимосвязь между временем сортировки методом вставок и количеством инверсий во входном массиве? Обоснуйте ваш ответ.
Сформулируйте алгоритм, определяющий количество инверсий, содержащихся в произвольной перестановке п элементов, время работы которого в наихудшем случае равно 0 (nlgn). (Указание: модифицируйте алгоритм сортировки слиянием.)
Заключительные замечания
В 1968 году Кнут (Knuth) опубликовал первый из трех томов, объединенных названием The Art of Computer Programming (Искусство программирования) [182,183,185]. Этот том стал введением в современные компьютерные алгоритмы с акцентом на анализе времени их работы, а весь трехтомник до сих пор остается интереснейшим и ценным пособием по многим темам, представленным в данной книге. Согласно Кнуту, слово “алгоритм” происходит от имени персидского математика девятнадцатого века аль-Хорезми (al-Khowarizmi).
Ахо (Aho), Хопкрофт (Hopcroft) и Ульман (Ullman) [5] являются сторонниками асимптотического анализа алгоритмов, являющегося средством сравнения их относительной производительности. Они также популяризируют применение рекуррентных соотношений для описания времени работы рекурсивных алгоритмов.
Кнут [185] с энциклопедической полнотой рассмотрел многие алгоритмы сортировки. Его сравнение алгоритмов сортировки включает в себя подробный анализ с точным подсчетом шагов, подобный тому, что был проведен в этой книге для сортировки методом вставок. В ходе обсуждения Кнутом алгоритма сортировки вставкой приводится несколько вариаций этого алгоритма. Важнейшей из них является сортировка по Шеллу (D.L. Shell), который использовал сортировку методом вставок для упорядочения периодических последовательностей, чтобы получить более производительный алгоритм сортировки.
В книге Кнута также описана сортировка слиянием. В книге упоминается, что в 1938 году была создана механическая машина, способная за один проход объединять две стопки перфокарт. По всей видимости, первым программу для сортировки методом слияния (предназначенную для компьютера EDVAC) в 1945 году разработал Джон фон Нейман (J. von Neumann), который был одним из первых создателей теории вычислительных машин.
Ранние этапы развития в области доказательства корректности программ описаны Гризом (Gries) [133], который считает, что первая статья по этой теме была написана Науром (Р. Naur). Авторство понятия инварианта цикла Гриз приписывает Флойду (R.W. Floyd). В учебнике Митчелла (Mitchell) [222] описывается прогресс, достигнутый в области доказательства корректности программ в настоящее время.
ГЛАВА 3
Рост функций
Определенный в главе 2 порядок роста, характеризующий время работы алгоритма, является наглядной характеристикой эффективности алгоритма, а также позволяет сравнивать производительность различных алгоритмов. Если количество сортируемых элементов п становится достаточно большим, производительность алгоритма сортировки по методу слияний, время работы которого в наихудшем случае возрастает как ©(nlgn), становится выше производительности алгоритма сортировки вставкой, время работы которого в наихудшем случае возрастает как © (п2). Несмотря на то, что в некоторых случаях можно определить точное время работы алгоритма, как это было сделано для алгоритма сортировки методом вставок в главе 2, обычно не стоит выполнять оценку с большой точностью. Для достаточно больших входных данных постоянные множители и слагаемые низшего порядка, фигурирующие в выражении для точного времени работы алгоритма, подавляются эффектами, вызванными увеличением размера ввода.
Рассматривая входные данные достаточно больших размеров для оценки только такой величины, как порядок роста времени работы алгоритма, мы тем самым изучаем асимптотическую эффективность алгоритмов. Это означает, что нас интересует только то, как время работы алгоритма растет с увеличением размера входных данных в пределе, когда этот размер увеличивается до бесконечности. Обычно алгоритм, более эффективный в асимптотическом смысле, будет более производительным для всех входных данных, за исключением очень маленьких.
В этой главе приведено несколько стандартных методов, позволяющих упростить асимптотический анализ алгоритмов. В начале следующего раздела вводится несколько видов “асимптотических обозначений”, одним из которых являются уже известные нам ©-обозначения. Далее представлены некоторые соглашения
по поводу обозначений, принятых в данной книге. Наконец, в завершающей части главы рассматривается поведение функций, часто встречающихся при анализе алгоритмов.
3.1 Асимптотические обозначения
Обозначения, используемые нами для описания асимптотического поведения времени работы алгоритма, используют функции, область определения которых — множество неотрицательных целых чисел N = {0,1,2,...}. Подобные обозначения удобны для описания времени работы Т (п) в наихудшем случае, как функции, определенной только для целых чисел, представляющих собой размер входных данных. Однако иногда удобно изменить толкование асимптотических обозначений тем или иным образом. Например, эти обозначения легко обобщаются на область действительных чисел или, наоборот, ограничиваются до области, являющейся подмножеством натуральных чисел. При этом важно понимать точный смысл обозначений, чтобы изменение толкования не привело к неверному их использованию. В данном разделе вводятся основные асимптотические обозначения, а также описывается, как чаще всего изменяется их толкование.
6-обозначения
В главе 2 было показано, что время работы алгоритма сортировки методом вставок в наихудшем случае выражается функцией Г (п) = © (п). Давайте разберемся в смысле данного обозначения. Для некоторой функции д (п) запись 0 (д (п)) обозначает множество функций
0 (д (п)) = <0 (д (п)) = <f (п) : существуют положительные константы ci, С2 и по К такие что 0 < суд (п) ^ / (п) ^ С2У (п) для всех п ^ по
0 (д (п)) = <
0 (д (п)) = <
Функция / (п) принадлежит множеству 0 (д (п)), если существуют положительные константы ci и С2, позволяющие заключить эту функцию в рамки между функциями cig(n) и С2д (п) для достаточно больших п. Поскольку ©(д(п^ — это множество, то можно написать “/ (п) 6 О (д (п))” Это означает, что функция J (п) принадлежит множеству 0 (д (п)) (другими словами, является его элементом). Мы обычно будем использовать эквивалентную запись “/ (п) = О (д (п))”. Такое толкование знака равенства для обозначения принадлежности множеству поначалу может сбить с толку, однако далее мы убедимся, что у нее есть свои преимущества.
Рис. 3.1. Графические примеры 0, О и Q обозначений; в каждой части рисунка в качестве по используется минимально возможное значение, т.е. любое большее значение также сможет выполнить роль п0Рис. 3.1. Графические примеры 0, О и Q обозначений; в каждой части рисунка в качестве по используется минимально возможное значение, т.е. любое большее значение также сможет выполнить роль п0
Рис. 3.1. Графические примеры 0, О и Q обозначений; в каждой части рисунка в качестве по используется минимально возможное значение, т.е. любое большее значение также сможет выполнить роль п0
Рис. 3.1. Графические примеры 0, О и Q обозначений; в каждой части рисунка в качестве по используется минимально возможное значение, т.е. любое большее значение также сможет выполнить роль п0
На рис. 3.1а показано интуитивное изображение функций / (п) и д (п), таких что / (п) = 0 (д (тг)). Для всех значений гц лежащих справа от по, функция / (п) больше или равна функции с^д (п), но не превосходит функцию с^д (п). Другими словами, для всех п ^ по функция / (п) равна функции д (п) с точностью до постоянного множителя. Говорят, что функция д (п) является асимптотически точной оценкой функции / (п).
Согласно определению множества 0 (д (п)), необходимо, чтобы каждый элемент / (п) е © (д (п)) этого множества был асимптотически неотрицателен. Это означает, что при достаточно больших п функция / (п) является неотрицательной. (Асимптотически положительной называется такая функция, которая является положительной при любых достаточно больших п). Следовательно, функция д (п) должна быть асимптотически неотрицательной, потому что в противном случае множество 0 (д (п)) окажется пустым. Поэтому будем считать, что все функции, используемые в ©-обозначениях, асимптотически неотрицательные. Это предположение также справедливо для других асимптотических обозначений, определенных в данной главе.
В главе 2 ©-обозначения вводятся неформально. При этом игнорируется коэффициент при старшем слагаемом, а также отбрасываются слагаемые низшего порядка. Закрепим интуитивные представления, рассмотрев небольшой пример, в котором с помощью формального определения доказывается, что п2/2 — Зп = = © (ri2y Для этого необходимо определить, чему равны положительные константы ci, С2 и по, для которых выполняется соотношение
С1П2 “П2 — Зп С2П2
для всех п ^ п0. Разделив приведенное выше двойное неравенство на п, получим:
3
ci ^ -^ с2.
п
Правое неравенство выполняется для всех n ^ 1, если выбрать с2 ^ 1/2. Аналогично, левое неравенство выполняется для всех п ^ 7, если выбрать ci < 1/14. Таким образом, выбрав ci = 1/14, с2 = 1/2 и по = 7, мы убеждаемся, что п2/2 — — Зп = 0 (п2). Конечно же, константы можно выбрать по-другому, однако важно не то, как их выбрать, а то, что такая возможность существует. Обратите внимание, что эти константы зависят от вида рассматриваемой функции; чтобы доказать принадлежность множеству 0 (п2) другой функции, скорее всего, понадобились бы другие константы.
С помощью формального определения можно также доказать, что 6п / / 0 (п2). Сделаем это методом “от противного”. Сначала допустим существование таких с2 и по, что 6п3 ^ с2п2 для всех п ^ по- Однако тогда получается, что п ^ с2/6, а это неравенство не может выполняться для больших п, поскольку с2 — константа.
Интуитивно понятно, что при асимптотически точной оценке асимптотически положительных функций, слагаемыми низших порядков в них можно пренебречь, поскольку при больших п они становятся несущественными. Даже небольшой доли слагаемого самого высокого порядка достаточно для того, чтобы превзойти слагаемые низших порядков. Таким образом, для выполнения неравенств, фигурирующих в определении ©-обозначений, достаточно в качестве ci выбрать значение, которое несколько меньше коэффициента при самом старшем слагаемом, а в качестве с2 — значение, которое несколько больше этого коэффициента. Поэтому коэффициент при старшем слагаемом можно не учитывать, так как он лишь изменяет указанные константы.
В качестве примера рассмотрим квадратичную функцию / (п) = ап2 + Ьп + с, где а, b и с — константы, причем а > 0. Отбросив слагаемые низших порядков и игнорируя коэффициент, получим / (п) = 0 (п2). Чтобы показать то же самое формально, выберем константы ci = а/4, с2 = 7а/4 и по = 2шах((|Ь|/а), -^/(|с|/а)). Читатель может сам убедиться, что неравенство 0 ^ cjn2 ^ ап2 + Ьп + с ^ с2п2 выполняется для всех п ^ по. Вообще говоря, для любого полинома р (п) = = У^=о <^пг, где <ц — это константы и ад > 0, р (п) = 0 (nd) (см. задачу 3-1).
Поскольку любая константа — это полином нулевой степени, то постоянную функцию можно выразить как 0 (п°) или 0(1). Однако последнее обозначение не совсем точное, поскольку непонятно, по отношению к какой переменной исследуется асимптотика2. Мы часто будем употреблять 0(1) для обозначения либо константы, либо постоянной функции от какой-нибудь переменной.
(9-обозначения
В ©-обозначениях функция асимптотически ограничивается сверху и снизу. Если же достаточно определить только асимптотическую верхнюю границу, используются О-обозначения. Для данной функции д(п) обозначение O(g(n)) (произносится “о большое от д от п” или просто “о от д от п”) означает множество функций, таких что
У (п) : существуют положительные константы с и по такие что 0 ^ У (n) ^ eg (п) для всех п ^ по
О-обозначения применяются, когда нужно указать верхнюю границу функции с точностью до постоянного множителя. Интуитивное представление об О-обо- значениях позволяет получить рис. 3.16. Для всех п, лежащих справа от по, значение функции / (п) не превышает значения функции сд (тг).
Чтобы указать, что функция У (тг) принадлежит множеству О (д (тг)), пишут у (тг) = О (д (тг)). Обратите внимание, что из У (п) = © (д (тг)) следует У (тг) = = О (д (тг)), поскольку ©-обозначения более сильные, чем О-обозначения. В обозначениях теории множеств © (д (тг)) С О (д (тг)). Таким образом, доказательство того, что функция атг2+Ьтг+с, где а > 0, принадлежит множеству © (тг2), одновременно доказывает, что множеству О (тг2) принадлежит любая такая квадратичная функция. Может показаться удивительным то, что любая линейная функция an-Vb при а > 0 также принадлежит множеству О (тг2), что легко проверить, выбрав с = a-V \Ь\ ипо = max(1, —Ь(а\
Некоторым читателям, уже знакомым с О-обозначениями, может показаться странным, например, такое соотношение тг = О (тг2). В литературе О-обозначения иногда неформально используются для описания асимптотической точной оценки, т.е. так, как мы определили ©-обозначения. Однако в данной книге, когда мы пишем У (тг) = О (д (тг)), то при этом подразумевается, что произведение некоторой константы на функцию д (тг) является асимптотическим верхним пределом функции У (тг). При этом не играет роли, насколько близко функция У (тг) находится к этой верхней границе. В литературе, посвященной алгоритмам, стало стандартом различать асимптотически точную оценку и верхнюю асимптотическую границу.
Чтобы записать время работы алгоритма в О-обозначениях, нередко достаточно просто изучить его общую структуру. Например, наличие двойного вложенного цикла в структуре алгоритма сортировки по методу вставок, представленному в главе 2, свидетельствует о том, что верхний предел времени работы в наихудшем
параметры функций: функцию от п2 можно обозначить как Хп.п2 или даже как Хт.т2. Однако если принять более строгие обозначения, то алгебраические преобразования могут усложниться, поэтому мы предпочли более нестрогие обозначения.
случае выражается как О (тг2): “стоимость” каждой итерации во внутреннем цикле ограничена сверху константой 0(1), индексы г и j — числом п, а внутренний цикл выполняется самое большее один раз для каждой из п2 пар значений г и j.
Поскольку О-обозначения описывают верхнюю границу, то в ходе их использования для ограничения времени работы алгоритма в наихудшем случае мы получаем верхнюю границу этой величины для любых входных данных. Таким образом, граница О (тг2) для времени работы алгоритма в наихудшем случае применима для времени решения задачи с любыми входными данными, чего нельзя сказать о ©-обозначениях. Например, оценка © (п2) для времени сортировки вставкой в наихудшем случае неприменима для произвольных входных данных. Например, в главе 2 мы имели возможность убедиться, что если входные элементы уже отсортированы, время работы алгоритма сортировки вставкой оценивается как 0 (тг).
Если подходить формально, то неправильно говорить, что время, необходимое для сортировки по методу вставок, равняется О (тг2), так как для данного п фактическое время работы алгоритма изменяется в зависимости от конкретных входных данных. Когда говорят, что “время работы равно О (п2у\ то подразумевается, что существует функция / (тг), принадлежащая О (тг2) и такая, что при любом вводе размера п время решения задачи с данным вводом ограничено сверху значением функции f (п). Это равнозначно тому, что в наихудшем случае время работы равно О ^п2У
Q-обозначения
Аналогично тому, как в (9-обозначениях дается асимптотическая верхняя граница функции, в fi-обозначениях дается ее асимптотическая нижняя граница. Для данной функции д (п) выражение Q (д (тг)) (произносится “омега большое от д от п” или просто “омега от д от тг”) обозначает множество функций, таких что
/ (тг) : существуют положительные константы с и тго такие что 0 ^ сд (тг) ^ / (тг) для всех тг ^ тго
Интуитивное представление о Q-обозначениях позволяет получить рис. 3.1 в. Для всех п, лежащих справа от тго, значения функции / (тг) больше или равны значениям сд (тг).
Пользуясь введенными определениями асимптотических обозначений, легко доказать сформули; данную ниже теорему (см. упражнение 3.1-5).
Теорема 3.1. Для любых двух функций /(тг) и д(тг) соотношение /(тг) = ©(д(тг)) выполняется тогда и только тогда, когда / (тг) = О (д (тг)) и / (тг) = Q (д (тг)). □
В качестве примера применения этой теоремы отметим, что из соотношения ап2 + Ьтг + с = © (тг2) для произвольных <онстант а, Ъ и с, где а > 0, непосред-
ственно следует, что ап2 4- Ьп 4- с = О (п2^ и ап2 4- Ьп 4- с = Q (п2). На практике терема 3.1 применяется не для получения асимптотических верхней и нижней границ, как это сделано выше, а наоборот — для определения асимптотически точной оценки с помощью асимптотических верхней и нижней границ.
Поскольку Q-обозначения используются для определения нижней границы времени работы алгоритма в наилучшем случае, они также дают нижнюю границу времени работы алгоритма для произвольных входных данных.
Итак, время работы алгоритма сортировки вставкой находится в пределах между Q(n) и О (п2), т.е. между линейной и квадратичной функциями от п. Более того, эти границы охватывают асимптотику настолько плотно, насколько это возможно: например, нижняя оценка для времени работы алгоритма сортировки вставкой не может быть равной Q (п2), потому что существуют входные данные, для которых эта сортировка выполняется за время 0 (п) (когда входные элементы уже отсортированы), что не противоречит утверждению о том, что время работы алгоритма сортировки вставкой в наихудшем случае равно Q (п2), поскольку существуют входные данные, для которых этот алгоритм работает в течение времени Q (ть2у Когда говорят, что время работы (без каких-либо уточнений) алгоритма равно Q (д (п)), при этом подразумевается, что независимо от того, какие входные данные выбраны для данного размера п, при достаточно больших п время работы алгоритма представляет собой как минимум константу, умноженную на g (п).
Асимптотические обозначения в уравнениях и неравенствах
Мы уже видели, как асимптотические обозначения используются в математических формулах. Например, при введении (9-обозначения мы писали “п = = О (^2)”- Можно также написать 2п2 4- Зп 4-1 = 2п2 4- 0 (п). Как же интерпретируются подобные формулы?
Если в правой части уравнения (или неравенства) находится только асимптотическое обозначение, как в случае уравнения п = О (п2), то знак равенства используется для указания принадлежности множеству: п е О ^У Однако если асимптотические обозначения встречаются в формуле в другой ситуации, они рассматриваются как подставляемые взамен некоторой неизвестной функции, имя которой не имеет значения. Например, формула 2п2 4- Зп 4-1 = 2??2 4- 0 (п) означает, что 2п2 4- Зп 4-1 = 2п2 + / (п), где / (п) — некоторая функция из множества 0 (п). В данном случае функция f (п) = 3n4-1, и она действительно принадлежит множеству 0 (пУ
Подобное использование асимптотических обозначений позволяет избежать несущественных деталей и неразберихи в уравнениях. Например, в главе 2 время работы алгоритма сортировки методом слияния в наихудшем случае было
выражено в виде рекуррентного уравнения
Т (n) = 2Т (п/2) 4- 0 (п).
Если нас интересует только асимптотическое поведение Т (п), то нет смысла точно выписывать все слагаемые низших порядков; подразумевается, что все они включены в безымянную функцию, обозначенную как 0 (п).
Предполагается, что таких функций в выражении столько, сколько раз в нем встречаются асимптотические обозначения. Например, в выражении ^2^=1 О (г) имеется только одна функция без имени (аргументом которой является г). Таким образом, это выражение — не одно и то же, что и О (1) 4- О (2) 4- • • • + О (п), которое действительно не имеет однозначной интерпретации.
Иногда асимптотические обозначения появляются в левой части уравнения, как, например, в таком случае:
2п2 4- 0 (п) = 0 (п2) .
Подобные уравнения интерпретируются в соответствии с таким правилом: при любом выборе безымянных функций, подставляемых вместо асимптотических обозначений в левую часть уравнения, можно выбрать и подставить в правую часть такие безымянные функции, что уравнение будет правильным. Таким образом, смысл приведенного выше уравнения в том, что для любой функции / (п) £ 0 (п) существует некоторая функция g (п) £ О (™2), такая что 2п2 + /(п) = g (п) для всех п. Другими словами, правая часть уравнения предоставляет меньший уровень детализации, чем левая.
Несколько таких соотношений могут быть объединены в цепочку, например:
2п2 4- Зп 4-1 = 2п2 4- 0 (п) = 0 (п2) .
При этом каждое уравнение можно интерпретировать в соответствии со сформулированным выше правилом. Согласно первому уравнению, существует некоторая функция f (п) £ 0(п), такая что для всех п выполняется соотношение 2п2 4- Зп 4- 1 = 2п2 4- / (п). Согласно второму уравнению, для любой функции у (п) £ О (п) существует некоторая функция h (п) £ 0 (п2), такая что для всех п выполняется соотношение 2п2 4- д(п) = Ь^тг). Заметим, что такая интерпретация подразумевает выполнение соотношения 2п2 4- Зп 4- 1 = 0 (п2), которое согласуется с нашими интуитивными представлениями о цепочке уравнений.
о-обозначения
Верхняя асимптотическая граница, предоставляемая О-обозначениями, может описывать асимптотическое поведение функции с разной точностью. Граница 2п2 = О (п2) дает правильное представление об асимптотическом поведении
функции, а граница 2п = О (п2) его не обеспечивает. Для обозначения того, что верхняя граница не является асимптотически точной оценкой функции, применяются о-обозначения. Приведем формальное определение множества о(д(п)) (произносится как “о малое от д от п”):
( ( ))1 ДЛЯ люб°й положительной константы с существует
[ по > 0, такое что 0 ^ / (п) < eg (п) для всех п ^ по
Например: 2п = о (п2), но 2п2 о (п2).
Определения О-обозначений и о-обозначений похожи друг на друга. Основное отличие в том, что определение f (п) = О (д (п)) ограничивает функцию / (п) неравенством 0 < / (п) < сд (п) лишь для некоторой константы с > 0, а определение f (п) = о^д^п)) ограничивает ее неравенством 0 ^ / (п) < сд(п) для всех констант с > 0. Интуитивно понятно, что в о-обозначениях функция / (тг) пренебрежимо мала по сравнению с функцией д(п), если тг стремится к бесконечности, т.е.
(3.1)(3.1)Ит ^ = 0п->оо д (тг)
(3.1)
(3.1)
Некоторые авторы используют этот предел в качестве определения о-обозначений. Добавим, что определение, приведенное в этой книге, накладывает на безымянную функцию ограничение, согласно которому она должна быть асимптотически неотрицательной.
си-обозначения
По аналогии, си-обозначения соотносятся с Q-обозначениями так же, как о- обозначения с (9-обозначениями. С помощью си-обозначений указывается нижний предел, не являющийся асимптотически точной оценкой. Один из возможных способов определения си-обозначения следующий:
/ (п) е cu (д (тг)) тогда и только тогда, когда g (п) е о (/ (п)).
Формально же си (д (тг)) (произносится как “омега малое от д от тг”) определяется как множество
o(sH) = <o(sH) = </ (тг) : для любой положительной константы с существует по > 0, такое что 0 ^ од (п) < / (п) для всех п ^ по
o(sH) = <
o(sH) = <
Например, ri2/2 = и? (п), но п2/2 / си (п2). Соотношение / (п) = ш (д (п)) подразумевает, что Ит ^^ = оо, если этот предел существует. Таким образом, функция / (п) становится сколь угодно большой по сравнению с функцией д (тг), если п стремится к бесконечности.
Сравнение функций
Асимптотические сравнения обладают некоторыми свойствами отношений обычных действительных чисел, показанными далее. Предполагается, что функции / (п) и д (п) асимптотически положительны.
Транзитивность
Из у (п) =е (у (п))и у (п)=О (/г (п)) следуету (п) = 0 (/г (п)).
Из у (п) =О (у (п))и у (п)=О (Л. (п)) следуетf (п) = О (к (п)).
Из У (n) =Q (у (п))и у (n)=Q (к (п)) следуетУ (n) = Q (к (п)).
Из У (п) =о (д (п))и д (п)=о (к (п)) следуетУ (п) = о (к (п)).
Из У (n) =w (у (п))и у (п)=и (/г (п)) следуетУ (n) = w (к (тг)).
Рефлексивность
/(п) = е(у(«)),У (п) = О (У (тг)),У(тг) = П(У(п)).
Симметричность
У (п) = 0 (у (тг)) справедливо тогда и только тогда, когда у (п) = О (У (п)).
Перестановочная симметрия
У (тг) = О (д (тг)) справедливо тогда и только тогда, когда д (тг) = ^(/(п)), f (п) = о (д (п^ справедливо тогда и только тогда, когда д (п) = и (/ (тг)).
Поскольку эти свойства выполняются для асимптотических обозначений, можно провести аналогию между асимптотическим сравнением двух функций / и д и сравнением двух действительных чисел а и Ь:
f(n) = О(д (п^иа Ь, f(n) = Q (д (п)) «а^Ь, f(n) = 0 (у (п)) « а = Ь, = о(д(п)) иа<Ь, f(n) = ш(д(п)) «а>Ь.
Говорят, что функция f (тг) асимптотически меньше функции д (тг), если / (тг) = = о (д (тг,)), и асимптотически больше функции д (тг), если / (тг) = uj (д (тг)).
Однако одно из свойств действительных чисел в асимптотических обозначе
ниях не выполняется.
Трихотомиях для любых действительных чисел а и b должно выполняться только одно из соотношений а < Ь, а = b или а > Ь.
Хотя любые два действительных числа можно однозначно сравнить, в отношении асимптотического сравнения функций это утверждение не является справедливым. Для двух функций / (п) и д (п) может не выполняться ни отношение /(п) = О(д(пУ), ни /(п) = Q(g(n)). Например, функции п и rt1+smn нельзя асимптотически сравнивать, поскольку показатель степени в функции n1+slnn колеблется между значениями 0 и 2 (принимая все значения в этом интервале).
Упражнения
1. Пусть f (п) и д (п) — асимптотически неотрицательные функции. Докажите с помощью базового определения ©-обозначений, что max(/(n), g(n)) = © (/(n) + g (n)).
2. Покажите, что для любых действительных констант а и Ь, где b > О, справедливо соотношение
(п + а)ь = 0 (п6) .(3.2)
3. Объясните, почему выражение “время работы алгоритма А равно, как минимум, О (п2)” не имеет смысла.
4. Справедливы ли соотношения 2n+1 = О (2”) и 22п = О (2п)?
5. Докажите теорему 3.1.
6. Докажите, что время работы алгоритма равно 0(д(п)) тогда и только тогда, когда время работы алгоритма в наихудшем случае равно О (д (п)), а время работы алгоритма в наилучшем случае равно Q (д (п)).
7. Докажите, что множество о (д (п)) П ш (д (п)) пустое.
8. Наши обозначения можно обобщить для случая двух параметров п и т, которые могут возрастать до бесконечности с разной скоростью. Для данной функции д (n, т) выражение О (д (п, т)) обозначает множество функций, такое что
/ (n, т) : существуют положительные константы
O(g(n,m)) = <O(g(n,m)) = <с, по и то, такие что 0 ^ / (n, т) ^ сд (п, т) > .
O(g(n,m)) = <
O(g(n,m)) = <
k для всех п ^ по или т ^ то
Дайте аналогичные определения обозначений Q (д (п, т)) и © (д (п, т)).
3.2 Стандартные обозначения и часто встречающиеся функции
В этом разделе рассматриваются некоторые стандартные математические функции и обозначения, а также исследуются взаимоотношения между ними. В нем также иллюстрируется применение асимптотических обозначений.
Монотонность
Функция / (п) является монотонно неубывающей (monotonically increasing), если из неравенства m < п следует неравенство / (m) ^ f (п). Аналогично, функция / (п) является монотонно невозрастающей (monotonically decreasing), если из неравенства m ^ п следует неравенство / (т) ^ / (п). Функция / (п) монотонно возрастающая (strictly increasing), если из неравенства m < п следует неравенство / (ш) < / (п) и монотонно убывающая (strictly decreasing), если из неравенства m < п следует, что / (т) > / (п).
Округление в большую и меньшую сторону
Для любого действительного числа х существует наибольшее целое число, меньшее или равное х, которое мы будем обозначать как [xj (читается как “пол (floor) х”), и наименьшее целое число, большее или равное х, которое мы будем обозначать как [х! (читается как “потолок (ceil) х”). Для всех действительных чисел
х - 1 С [xj х < [х) < х + 1(3.3)
Для любого целого числа n fn/2"] + [n/2j = п, а для любого действительного числа п ^ 0 и натуральных чисел а и Ь справедливы следующие соотношения:
ГГ^А! /Ь] = [п/аб),(3.4)
[[n/aj jb\ = \nlab\ ,(3.5)
W\ ^(а+(Ь-1))Д(3.6)
[а/Ь] ^(а-(Ь-1))/Ь.(3.7)
Функция / (х) = [xj является монотонно неубывающей, как и функция / (х) =
Модульная арифметика
Для любого целого числа а и любого натурального п величина a mod п представляет собой остаток от деления а на п:
(3.8)(3.8)a mod п = а — [а/nJ п
(3.8)
(3.8)
Располагая подобным определением, удобно ввести специальные обозначения для указания того, что два целых числа имеют одинаковые остатки при делении на какое-то натуральное число. Тот факт, что (a mod п) = (6 mod п), записывается как a = b (modn); при этом говорят, что число а эквивалентно, или равно числу b по модулю п (или что числа а и b сравнимы по модулю п). Другими словами, а = b (modn), если числа а и Ь дают одинаковые остатки при делении на п. Это эквивалентно утверждению, что а = b (modn) тогда и только тогда, когда п является делителем числа b — а. Запись a^b(modn) означает, что число а не эквивалентно числу b по модулю п.
Полиномы
Полиномом степени d от аргумента п называется функция р (п) следующего вида:
dPW = ^ainSi=0
где константы ao, сц,..., ад — коэффициенты полинома, и а^ / 0. Полином является асимптотически положительной функцией тогда и только тогда, когда ад > 0. Для асимптотически положительных полиномов р (п) степени d справедливо соотношение р (п) = 0 (nd). Для любой действительной константы а ^ 0 функция na монотонно неубывающая, а для а ^ 0 эта функция монотонно невозрастающая. Говорят, что функция / (п) полиномиально ограничена, если существует такая константа к, что / (п) = О (пк>).
Показательные функции
Для всех действительных чисел а > 0, т и п справедливы следующие тождества:
a0 = 1,а1 = а,а-1 = 1/а,(am)n = атп,(а™^ = (an)m,атап = ат+п
Для любого п и а ^ 1 функция ап является монотонно неубывающей функцией аргумента п. Для удобства будем считать, что 0° = 1.
Соотношение между скоростями роста полиномов и показательных функций можно определить исходя из того факта, что для любых действительных констант
а и 6, таких что а > 1,
п6
lim — = О(3.9)
п—>оо ап
откуда можно заключить, что пь = о (ап\
Таким образом, любая показательная функция, основание а которой строго больше единицы, возрастает быстрее любой полиномиальной функции.
Обозначив через е основание натурального логарифма (приблизительно равное 2.718281828...), можем записать следующее соотношение, справедливое для любого действительного ж:
94°0 i
= = 1 + а:+ 2Г+ 37+= 52^Г<3J0>
г=0
где символ “!” обозначает факториал, определенный ниже в этом разделе. Для всех действительных х справедливо следующее неравенство:
e^l + x(3.11)
Равенство соблюдается только в случае, если х = 0. При |х| < 1 можно использовать такое приближение:
l+x^e^^l + z + x2(3.12)
lim71—>ООlim71—>ОО7171= ех= ехПри х —> 0 приближение значения функции ех величиной 14- ж вполне удовлетворительно: ех = 1 4- х 4- 0 (ж2). (В этом уравнении асимптотические обозначения используются для описания предельного поведения при х 0, а не при х оо.) Для произвольного х справедливо следующее равенство:
lim
71—>ОО
lim
71—>ОО
71
71
= ех
= ех
(3.13)
Логарифмы
Мы будем использовать следующие обозначения:
1g п = log2 пIn n = loge пlg^ n = (lg ti)^Iglgn = lg (Ign)1g п = log2 пIn n = loge пlg^ n = (lg ti)^Iglgn = lg (Ign)(двоичный логарифм);
1g п = log2 пIn n = loge пlg^ n = (lg ti)^Iglgn = lg (Ign)
1g п = log2 пIn n = loge пlg^ n = (lg ti)^Iglgn = lg (Ign)
(натуральный логарифм);
(возведение в степень);
(композиция).
Важное соглашение, которое мы приняли в книге, заключается в том, что логарифмические функции применяются только к ближайшему члену выражения.
Например, 1gп 4- к означает (lg п) 4- к. а не 1g (п 4- к). Если основание логарифма b > 1, то при п > 0 функция log^ п монотонно возрастает.
Для всех действительных а > 0, Ь > 0, с > 0 и п выполняются следующие соотношения:
(3.14)(3.14)(3.15)(3.15)а = Ь1о^а,logc (ab) = logca + logcb,log6 an = n log6 a,_ logcag6° logcb*log6 (1/a) = - log6 a,
(3.14)
(3.14)
(3.15)
(3.15)
loa“=dj’
alog6 c _ clogb a
где в каждом из приведенных выше уравнений основание логарифма отлично от 1.
Согласно уравнению (3.14), изменение основы логарифма приводит к умножению значения этого логарифма на постоянный множитель, поэтому мы часто будем использовать обозначение “lg п”, не заботясь о постоянном множителе, как это делается в О-обозначениях. Специалисты в области вычислительной техники считают наиболее естественной основой логарифма число 2, так как во многих алгоритмах и структурах данных производится разбиение задачи на две части.
При |ж| < 1 для функции In (1 4- ж) можно написать простое разложение в ряд:
In (1 4- ж)In (1 4- ж)х2 х3 х4 х5
In (1 4- ж)
In (1 4- ж)
У + У _ У + У
Кроме того, при ж > — 1 выполняются следующие неравенства:
х1 + жх1 + ж^ In (1 + ж)^ In (1 + ж)(3.16)(3.16)
х
1 + ж
х
1 + ж
^ In (1 + ж)
^ In (1 + ж)
(3.16)
(3.16)
причем знак равенства имеет место только при ж = 0.
Говорят, что функция / (п) полилогарифмически ограничена, если существует такая константа к, что f (п) = О (lgfc п). Соотношение между скоростью роста полиномов и полилогарифмов можно найти, подставив в уравнение (3.9) lg п вместо п и 2° вместо а, в результате чего получим:
= 0.= 0.,.1g6 пlg6 п
= 0.
= 0.
11Ш ;— = hm
п—>ОО (2а)^П п—>ОО П0,
Из приведенного выше соотношения можно заключить, что для произвольной константы a > 01gbn = о(па\ Таким образом, любая положительная полиномиальная функция возрастает быстрее, чем любая полилогарифмическая функция.
Факториалы
Обозначение п! (читается “п факториал”) определяется для целых чисел п ^ 0 следующим образом:
п • (п — 1)!п • (п — 1)!при п = 0, при п > 0,при п = 0, при п > 0,
п • (п — 1)!
п • (п — 1)!
при п = 0, при п > 0,
при п = 0, при п > 0,
те. n! = 1 • 2 • 3 •... • п.
Верхнюю границу факториала можно записать в виде п! < пп, поскольку все множители, которые определяют значение факториала, не превышают п. Однако эта оценка является грубой. Более точное приближение верхней (а также нижней) границы дает формула Стирлинга;
(3.17)(3.17)
(3.17)
(3.17)
где е — основание натурального логарифма. Можно доказать (см. упражнение 3.2-3), что
п! = о (пп),
(3.18)(3.18)п! = ш (2П),lg (n!) = ©(nlgn)
(3.18)
(3.18)
причем при доказательстве уравнения (3.18) удобно использовать формулу Стирлинга. Кроме того, для n > 1 справедливо следующее равенство:
гдегдеп! =п! =п\п— ) епп\п— ) еп(3.19)(3.19)112п + 1112п + 1112п112п(3.20)(3.20)
где
где
п! =
п! =
п\п
— ) еп
п\п
— ) еп
(3.19)
(3.19)
1
12п + 1
1
12п + 1
112п
112п
(3.20)
(3.20)
Функциональная итерация
Чтобы указать, что функция / (п) последовательно г раз применяется к аргументу п, мы будем использовать обозначение f^ (п). Дадим формальное определение. Пусть функция / (п) задана на множестве действительных чисел. Для неотрицательных целых г можно дать такое рекурсивное определение:
пппри г = 0,
п
п
Например, если / (п) = 2п, то /1’1 (п) = 2гп.
Итерированная логарифмическая функция
Обозначение lg* п (читается как “логарифм со звездочкой от п”) будет применяться для указания повторно применяемого логарифма, который определяется следующим образом. Пусть lglll п представляет собой итерацию функции / (п) = = 1g п. Поскольку логарифм от неотрицательных чисел не определен, то функция Ig^l п определена, только если Ig^-1^ п > 0. Не перепутайте обозначения Ig^ п (логарифм, примененный последовательно г раз к аргументу п) и 1g* п (логарифм п, возведенный в г-ую степень). Итерированный логарифм определяется следующим образом:
lg* n = min {г ^ 0 : lg^ n ^ 1} .
(Другими словами, lg* п — это минимальное число логарифмирований п, необходимое для получения значения, не превосходящего 1.)
Итерированный логарифм возрастает очень медленно:
1g* 2=1,
1g* 4 = 2,
lg* 16 = 3,lg* 65536 = 4,lg* (265536) = 5.
Поскольку количество атомов в наблюдаемой части Вселенной оценивается примерно в 1080, что намного меньше, чем 265536, то можно с уверенностью сказать, что входные данные такого размера п, что lg* п > 5, встречаются крайне редко.
Числа Фибоначчи
Числа Фибоначчи определяются с помощью следующего рекуррентного соотношения:
Го = О,
Fi = 1,(3.21)
Ft = Fi-i + F_2, г 2.
Таким образом, числа Фибоначчи образуют последовательность, в которой каждое очередное число представляет собой сумму двух предыдущих:
0,1,1,2,3,5,8,13,21,34,55,... .
Числа Фибоначчи тесно связаны с золотым сечением ф и сопряженным значением ф, которые задаются следующими формулами:
1 4- v 5
(3.22)(3.22)(3.23)(3.23)ф=—у_ = 1.61803...
(3.22)
(3.22)
(3.23)
(3.23)
1 _ ./5
ф = —= -0.61803...
В частности, справедливо такое соотношение:
„ Ф‘-Ф'
которое можно доказать методом индукции (см. упражнение 3.2-6). Поскольку |<$| < 1, то выполняются неравенства |<^г|/\/5 < 1/V5 < 1/2. Таким образом, г-е число Фибоначчи Ft равно фг/ \/5, округленному до ближайшего целого числа. Следовательно, числа Фибоначчи возрастают как показательная функция.
Упражнения
1. Покажите, что если функции / (п) и у(п) — монотонно неубывающие, то функции / (п) + д (п) и / (д (п)) также монотонно неубывающие. Кроме того, если к тому же функции / (п) и g (п) — неотрицательные, то монотонно неубывающей является также функция / (п) • у (п).
2. Докажите уравнение (3.15).
3. Докажите уравнение (3.18). Кроме того, докажите, что п! = и> (2П) и п! = = о(пп).
* 3.2-4. Является ли функция [1g пр полиномиально ограниченной? Является ли полиномиально ограниченной функция [lg lg n] ?
* 3.2-5. Какая из функций является асимптотически большей: lg (lg* п) или lg* (Ign)?
6. Докажите методом математической индукции, что г-е число Фибоначчи удовлетворяет следующему равенству:
где ф — золотое сечение, а ф — его сопряженное.
7. Докажите, что при г ^ 0 (г 4- 2)-ое число Фибоначчи удовлетворяет неравенству Fi+2 > фг.
Задачи
3-1. Асимптотическое поведение полиномов
Пусть р (п) представляет собой полином степени d от п:
d
=>
г=0
где ад > 0, и пусть к — некоторая константа. Докажите с помощью определения асимптотических обозначений приведенные ниже свойства.
Если к ^ d, то р (п) = О (п,ку
Если к ^ d, то р (n) = Q (п-кУ
Если к = d, то р(п) = © (пкУ
Если к > d, то р (п) = о (пку
Если к < d, то р (n) = w (тгкУ
3-2. Сравнение скорости асимптотического роста
Для каждой пары (А, В) приведенных в таблице выражений укажите, в каком отношении А находится по отношению к В; О, о, Q, ш или ©. Предполагается, что к, е и с — константы, причем А: ^ 1, е > 0 и с > > 1. Ответ должен быть представлен в виде таблицы, в каждой ячейке которой следует указать значения “да” или “нет”.
А
В
0
0
Q
cu
0
а.
^кп
пе
б.
пк
сп
в.
^sinn
г.
2п
2?i/2
д.
п^с
c!gn
е.
1g И)
1g (nn)
3-3. Упорядочение по скорости асимптотического роста
Расположите приведенные ниже функции по скорости их асимптотического роста, т.е. постройте такую последовательность функций 91, 92, • ■ •, 9зо, что 91 = П (92), 92 = ^ (9з), • • •, 929 = ^ (9зо)- Разбейте список на классы эквивалентности, в которых функции / (п) и 9 (п) принадлежат одному и тому же классу тогда и только тогда, когда / (п) = © (9 (п)).
lg (1g* и)
2*8* n
(V2)'g”
n2
n!
(Ign)!
(3/2)п
n3
lg2n
lg (n!)
22”
П1/*8п
In Inn
lg*n
n-2n
nlg!gn
Inn
1
2*8 n
(M18"
en
4>gn
(n+1)!
VIgn
lg* (Ign)
2\/^n
n
2n
nlgn
22n+1
Приведите пример неотрицательной функции / (п), такой что ни для одной из представленных в задании а) функций д^ (п) функция / (п) не принадлежит ни множеству О (gt (п)), ни множеству Q (д, (п)).
3-4. Свойства асимптотических обозначений
Пусть / (п) и д (п) — асимптотически положительные функции. Докажите или опровергните справедливость каждого из приведенных ниже утверждений.
Из / (п) = О (д (п)) следует д (п) = О Ц (п)).
/ (n) + g (п) = 0 (min (/ (п), д (п))).
Из f (п) = О (д (п)) следует lg (/ (п)) = О (1g (д (п))), где при достаточно больших п lg (д (n)) ^ 1 и / (n) ^ 1.
Из / (п) = О (д (п)) следует 2^п) = О (29^У
/ (п) = О ((/(п))2).
Из / (п) = О (д (п)) следует д (n) = Q (/ (п)).
/ (п) = © (/ (п/2)).
/ (п) + о (/ (п)) = © (/ (п)).
3-5. Вариации в определениях О и Q
Определения Q некоторых авторов несколько отличаются от нашего; в качестве обозначения этих альтернативных определений мы будем использовать символ Q (читается “Q бесконечность”). Говорят, что / (п) =
ОО
= И (д (п)), если существует положительная константа с, такая что / (п) > сд (п) ^ 0 для бесконечно большого количества целых п.
Покажите, что для любых двух асимптотически неотрицательных функций / (п) и д (п) выполняется одно из соотношений / (п) =
ОО
= О (д (п)) или / (n) = Q (д (п)) (или оба), в то время как при ОО
использовании Q вместо Q это утверждение оказывается ложным.
Опишите потенциальные преимущества и недостатки использова- ОО
ния Q вместо Q для характеристики времени работы программы.
Определения О некоторых авторов несколько отличаются от нашего; в качестве обозначения этих альтернативных определений мы будем использовать символ О'. Говорят, что / (п) = О' (д (п)) тогда и только тогда, когда |/ (п)| = О (д (п)).
Что произойдет, если теорему 3.1 перефразировать таким образом, что вместо О подставить О', a Q оставить без изменений?
Некоторые авторы определяют О (читается “о с тильдой”) для обозначения О, в котором игнорируются логарифмические множители:
О (У (та)) = <О (У (та)) = </ (п) : существуют положительные константы
О (У (та)) = <
О (У (та)) = <
с, к и по, такие что 0 ^ / (n) ^ eg (n) Ig^ (п)
k для всех п ^ по
Дайте аналогичные определения Q и ©. Докажите для них аналог теоремы 3.1.
3-6. Итерированные функции
Оператор итераций *, использующийся в функции 1g*, можно применять к любой монотонно неубывающей функции / (п), определенной на множестве действительных чисел. Для данной константы с е R итерированная функция f* определяется как
/с (n) = min {г > 0: f^ (п) ^ с} ,
где функция /М (п) должна быть корректно определена для всех г. Другими словами, величина /£ (п) — это функция /, последовательно применяющаяся столько раз, сколько это необходимо для уменьшения аргумента
до значения, не превышающего с.
Для каждой из приведенных ниже функций / (п) и констант с дайте максимально точную оценку функции /* (п).
/(та)
с
/с (")
а.
п — 1
0
б.
1g та
1
в.
п/2
1
г.
п/2
2
д.
2
е.
1
ж.
nV3
2
3.
п/ Ign
2
Заключительные замечания
Кнут (Knuth) [ 182] попытался выяснить происхождение О-обозначений и обнаружил, что впервые они появились в 1892 году в учебнике Бахманна (Р. Bachmann) по теории чисел. О-обозначения были введены в 1909 году Ландау (Е. Landau) при обсуждении распределения простых чисел. Введение Q- и ©-обозначений приписываются Кнуту [186], который исправил неточность популярного в литературе, но технически неаккуратного применения О-обозначений как для верхней, так и для нижней асимптотических границ. Многие продолжают использовать О- обозначения там, где более уместны были бы ©-обозначения. Дальнейшее обсуждение исторического развития асимптотических обозначений можно найти у Кнута [182, 186], а также Брассарда (Brassard) и Брейтли (Bratley) [46].
Определения асимптотических обозначений у разных авторов иногда различаются, однако в большинстве часто встречающихся ситуаций они дают согласующиеся результаты. В некоторых альтернативных случаях подразумевается, что функции не являются асимптотически неотрицательными, поэтому ограничению подлежит их абсолютное значение.
Равенство (3.19) было получено Роббинсом (Robbins) [260]. Другие свойства элементарных математических функций можно найти в любом хорошем справочнике по математике, например, справочнике Абрамовича (Abramowitch) и Стеган (Stegun) [1] или Цвиллингера (Zwillinger) [320], а также в книгах по вычислительной математике, таких как книги Апостола (Apostol) [18] или Томаса (Thomas) и Финни (Finney) [296]. В книге Кнута [182], а также Грехема (Graham), Кнута и Паташника (Patashnik) [132] содержится множество материала по дискретной математике, который используется в информатике.
ГЛАВА 4
Рекуррентные соотношения
Как было сказано в главе 2, если алгоритм рекуррентно вызывает сам себя, время его работы часто можно описать с помощью рекуррентного соотношения. Рекуррентное соотношение (recurrence) — это уравнение или неравенство, описывающее функцию с использованием ее самой, но только с меньшими аргументами. Например, мы узнали, что время работы процедуры Merge_Sort Т (п) в самом неблагоприятном случае описывается с помощью следующего рекуррентного соотношения:
(4.1)(4.1)Т(„) = Г(1)прип=1.
(4.1)
(4.1)
|2Т (п/2) 4- 0 (п) при п > 1.
Решением этого соотношения является функция Г (п) = 0 (nlgn).
В настоящей главе вниманию читателя предлагаются три метода решения рекуррентных уравнений, т.е. получения асимптотических 0- и О-оценок решения. В методе подстановок (substitution method) нужно догадаться, какой вид имеют граничные функции, а затем с помощью метода математической индукции доказать, что догадка правильная. В методе деревьев рекурсии (recursion-tree method) рекуррентное соотношение преобразуется в дерево, узлы которого представляют время выполнения каждого уровня рекурсии; затем для решения соотношения используется метод оценки сумм. В основном методе (master method) граничные оценки решений рекуррентных соотношений представляются в таком виде:
Т(п) = аТ(п/Ь) + /(п),
где а ^ 1, Ь > 1, а функция / (п) — это заданная функция; для применения этого метода необходимо запомнить три различных случая, но после этого определение
асимптотических границ во многих простых рекуррентных соотношениях становится очень простым.
Технические детали
На практике в процессе формулировки и решения рекуррентных соотношений определенные технические моменты опускаются. Так, например, есть одна особенность, о которой часто умалчивают, — это допущение о том, что аргумент функции является целочисленным. Обычно время работы Т (п) алгоритма определено лишь для целочисленных п, поскольку в большинстве алгоритмов количество входных элементов выражается целым числом. Например, рекуррентное соотношение, описывающее время работы процедуры Merge_Sort в наихудшем случае, на самом деле записывается так:
Т(п) = {Т(п) = {e(i)Г([п/21) + Т([п/2]) + 0(п)e(i)Г([п/21) + Т([п/2]) + 0(п)при n = 1, при n > 1.при n = 1, при n > 1.(4.2)(4.2)
Т(п) = {
Т(п) = {
e(i)
Г([п/21) + Т([п/2]) + 0(п)
e(i)
Г([п/21) + Т([п/2]) + 0(п)
при n = 1, при n > 1.
при n = 1, при n > 1.
(4.2)
(4.2)
Граничные условия — еще один пример технических особенностей, которые обычно игнорируются. Поскольку время работы алгоритма с входными данными фиксированного размера выражается константой, то в рекуррентных соотношениях, описывающих время работы алгоритмов, для достаточно малых п обычно справедливо соотношение Т (п) = 0(1). Поэтому для удобства граничные условия рекуррентных соотношений, как правило, опускаются и предполагается, что для малых п время работы алгоритма Т (п) является константой. Например, рекуррентное соотношение (4.1) обычно записывается как
Т (n) = 2Т (п/2) + О (п), (4.3)
без явного указания значений Т (п) для малых п. Причина состоит в том, что хотя изменение значения Т (1) приводит к изменению решения рекуррентного соотношения, это решение обычно изменяется не более, чем на постоянный множитель, а порядок роста остается неизменным.
Формулируя и решая рекуррентные соотношения, мы часто опускаем граничные условия, а также тот факт, что аргументами неизвестных функций являются целые числа. Мы продвигаемся вперед без этих деталей, а потом выясняем, важны они или нет. Даже если технические детали, которые опускаются при анализе алгоритмов, несущественны, то важно убедиться, что они не влияют на порядок роста решения. В подобных рассуждениях помогает опыт, а также некоторые теоремы. В этих теоремах формулируются условия, когда упомянутые детали не влияют на асимптотическое поведение рекуррентных соотношений, возникающих при анализе алгоритмов (см. теорему 4.1). Однако в данной главе мы не будем опускать технические детали, так как это позволит продемонстрировать некоторые тонкости, присущие методам решения рекуррентных соотношений.
Метод подстановки
Метод подстановки, применяющийся для решения рекуррентных уравнений, состоит из двух этапов:
делается догадка о виде решения;
с помощью метода математической индукции определяются константы и доказывается, что решение правильное.
Происхождение этого названия объясняется тем, что предполагаемое решение подставляется в рекуррентное уравнение. Это мощный метод, но он применим только в тех случаях, когда легко сделать догадку о виде решения.
Метод подстановки можно применять для определения либо верхней, либо нижней границ рекуррентного соотношения. В качестве примера определим верхнюю границу рекуррентного соотношения
Т (n) = 2T([n/2J) + п,(4.4)
подобного соотношениям (4.2) и (4.3). Мы предполагаем, что решение имеет вид Т (n) = O(nlgn). Наш метод заключается в доказательстве того, что при подходящем выборе константы с > 0 выполняется неравенство Т (n) ^ cn lg п. Начнем с того, что предположим справедливость этого неравенства для величины [n/2j, т.е. что выполняется соотношение T([n/2J) ^ с [п/2] 1g ([п/2]). После подстановки данного выражения в рекуррентное соотношение получаем:
Т (п)2 (с |n/2j 1g ([п/2])) + п
cn 1g (п/2) + п =
cn lg п — cn 1g 2 + п =
cn 1g п — сп + п^ ^ cnlgn,
где последнее неравенство выполняется при с ^ 1.
Теперь, согласно методу математической индукции, необходимо доказать, что наше решение справедливо для граничных условий. Обычно для этого достаточно показать, что граничные условия являются подходящей базой для доказательства по индукции. В рекуррентном соотношении (4.4) необходимо доказать, что константу с можно выбрать достаточно большой для того, чтобы соотношение Т (n) ^ cn lg п было справедливо и для граничных условий. Такое требование иногда приводит к проблемам. Предположим, что Г (1) = 1 — единственное граничное условие рассматриваемого рекуррентного соотношения. Далее, для n = 1 соотношение Т (n) ^ cnlgn дает нам Т (1) С с • 1 • Igl = 0, что противоречит условию Т(1) = 1. Следовательно, данный базис индукции нашего доказательства не выполняется.
Эту сложность, возникающую при доказательстве предположения индукции для указанного граничного условия, легко обойти. Например, в рекуррентном соотношении (4.4) можно воспользоваться преимуществами асимптотических обозначений, требующих доказать неравенство Т (п) ^ сп 1g п только для п ^ п^, где по — выбранная нами константа. Идея по устранению возникшей проблемы заключается в том, чтобы в доказательстве по методу математической индукции не учитывать граничное условие Т (1) = 1. Обратите внимание, что при п > 3 рассматриваемое рекуррентное соотношение явным образом от Г (1) не зависит. Таким образом, выбрав по = 2, в качестве базы индукции можно рассматривать не Т (1), а Г (2) и Г (3). Заметим, что здесь делается различие между базой рекуррентного соотношения (n = 1) и базой индукции (п = 2 и п = 3). Из рекуррентного соотношения следует, что Т (2) = 4, а Т (3) = 5. Теперь доказательство по методу математической индукции соотношения п < сп 1g п для некоторой константы с > 1 можно завершить, выбрав ее достаточно большой для того, чтобы были справедливы неравенства Т (2) ^ 2с 1g 2 и Т (3) ^ 3clg3. Оказывается, что для этого достаточно выбрать с ^ 2. В большинстве рекуррентных соотношений, которые нам предстоит рассмотреть, легко расширить граничные условия таким образом, чтобы предположение индукции оказалось верным для малых п.
Как угадать решение
К сожалению, не существует общего способа, позволяющего угадать правильное решение рекуррентного соотношения. Для этого требуется опыт, удача и творческое мышление. К счастью, существуют определенные эвристические приемы, которые могут помочь сделать правильную догадку. Кроме того, для получения предполагаемого вида решения можно воспользоваться деревьями рекурсии, с которыми мы ознакомимся в разделе 4.2.
Если рекуррентное соотношение подобно тому, которое мы только что рассматривали, то разумно предположить, что решения этих соотношений будут похожими. Например, рассмотрим рекуррентное соотношение
T(n) = 2T([n/2j +17) +п,
которое выглядит более сложным, поскольку в аргументе функции Т в его правой части добавлено слагаемое “17”. Однако интуитивно понятно, что это дополнительное слагаемое не может сильно повлиять на асимптотическое поведение решения. При достаточно больших п разность между Т (|n/2j) и T([n/2j + 17) становится несущественной: оба эти числа приблизительно равны половине числа п. Следовательно, можно предположить, что Г (n) = O(nlgn), и проверить это с помощью метода подстановки (упражнение 4.1-5).
Другой способ найти решение — сделать грубую оценку его верхней и нижней границ, а затем уменьшить неопределенность до минимума. Например, в рекур-
рентном соотношении (4.4) в качестве начальной нижней границы можно было бы выбрать Г (n) = Q (п), поскольку в нем содержится слагаемое п; можно также доказать, что грубой верхней границей является Г (п) = О (п2). Далее верхняя граница постепенно понижается, а нижняя — повышается до тех пор, пока не будет получено правильное асимптотическое поведение решения Г (п) = © (nlgn).
Тонкие нюансы
Иногда бывает так, что можно сделать правильное предположение об асимптотическом поведении решения рекуррентного соотношения, но при этом возникают трудности, связанные с выполнением доказательства по методу математической индукции. Обычно проблема заключается в том, что выбрано недостаточно сильное предположение индукции, которое не позволяет провести подробное рассмотрение. Натолкнувшись на такое препятствие, пересмотрите предположение индукции, избавившись от членов низшего порядка. При этом часто удается провести строгое математическое доказательство.
Рассмотрим рекуррентное соотношение:
T(n) = T(Ln/2j) + T(fn/2]) + l.
Можно предположить, что его решение — О (п). Попытаемся показать, что для правильно выбранной константы с выполняется неравенство Т (п) ^ сп. Подставив предполагаемое решение в рекуррентное соотношение, получим выражение
Г (n) с [n/2j 4- с [п/21 4-1 = сп 4-1,
из которого не следует Т (п) ^ сп ни для какого с. Можно попытаться сделать другие предположения, например, что решение — Т (п) = О (п2^, но на самом деле правильным является именно наше первоначальное предположение. Однако чтобы это показать, необходимо выбрать более сильное предположение индукции.
Интуитивно понятно, что наша догадка была почти правильной: мы ошиблись всего лишь на константу, равную 1, т.е. на величину низшего порядка. Тем не менее, математическая индукция не работает, если в предположении индукции допущена даже такая, казалось бы, незначительная ошибка. Эту трудность можно преодолеть, если вычесть в первоначальном предположении слагаемое низшего порядка. Таким образом, теперь предположение индукции имеет вид Т (п) сп— Ь. где Ь ^ 0 — константа. Теперь мы имеем следующее соотношение:
Т ^ ^ (с L^/2J - Ь) 4- (с \п/2] - Ь) 4-1 =
= сп — 2Ь 4-1 ^ сп — Ь,
которое справедливо при b ^ 1. Как и раньше, чтобы выполнялись граничные условия, константу с необходимо выбрать достаточно большой.
Большинство считает прием, при котором вычитаются слагаемые низшего порядка, трудным для понимания. Однако что же остается делать, когда математика не работает, если не усилить предположение? Чтобы понять этот шаг, важно помнить, что мы используем математическую индукцию: более сильное утверждение для данного фиксированного значения можно доказать, лишь предположив истинность более сильного утверждения для меньших значений.
Остерегайтесь ошибок
Используя асимптотические обозначения, легко допустить ошибку. Например, для рекуррентного соотношения легко “доказать”, что Т (п) = О (п), предположив справедливость соотношения Т (п) ^ сп, а затем выписав цепочку соотношений
Т (п)2 (с [n/2j) + п сп + п =
= О (п),<— не верно!!!
поскольку с — константа. Ошибка заключается в том, что не была доказана гипотеза индукции в точном виде, т.е. в виде Т (п) ^ сп.
Замена переменных
Иногда с помощью небольших алгебраических преобразований удается добиться того, что неизвестное рекуррентное соотношение становится похожим на то, с которым мы уже знакомы. Например, рассмотрим следующее рекуррентное соотношение:
T(n) = 2T([^J)+lgn,
которое выглядит довольно сложным. Однако его можно упростить, выполнив замену переменных. Для удобства мы не станем беспокоиться об округлении таких значений, как V™> Д° целых чисел. Воспользовавшись заменой m = 1g п, получим:
Т(2т) = 27 (2т/2) +ш.
Теперь можно переименовать функцию S (m) = Т (2т), после чего получается новое рекуррентное соотношение:
S (m) = 2S (тп/2) + т,
которое очень похоже на рекуррентное соотношение (4.4). Это рекуррентное соотношение имеет такое же решение — S (т) = О (тп 1g тп). Сделав обратную замену S (т) на Т (п), получим
Т (n) = Т (2т) = S (т) = О (m 1g т) = О (lg п lg lg n).
Упражнения
1. Покажите, что O(lgn) является решением рекуррентного соотношения T(n) = T([n/2]) + 1.
2. Мы убедились, что О (nlgn) является решением рекуррентного соотношения Т (n) = 2T([n/2j) + п. Покажите, что Q(nlgn) также является решением этого рекуррентного соотношения. Отсюда можно сделать вывод, что решением рассматриваемого рекуррентного соотношения является 0 (nlgn).
3. Покажите, что преодолеть трудность, связанную с граничным условием Г (1) = 1 в рекуррентном соотношении (4.4), можно путем выбора другого предположения индукции, не меняя при этом граничных условий.
-4. Покажите, что 0 (n lg п) является решением “точного” рекуррентного соотношения (4.2) для сортировки слиянием.
5. Покажите, что О (n lg п) является решением рекуррентного соотношения Г (n) = 2Т ([n/2j + 17) + п.
6. Решите рекуррентное соотношение Г (n) = 2Т(>/п) + 1 с помощью замены переменных. Решение должно быть асимптотически точным. При решении игнорируйте тот факт, что значения являются целыми числами.
Метод деревьев рекурсии
Хотя метод подстановок способен обеспечить краткий путь к подтверждению того факта, что предполагаемое решение рекуррентного соотношения является правильным, однако сделать хорошую догадку зачастую довольно трудно. Построение дерева рекурсии, подобного тому, с которым мы имели дело в главе 2 при анализе рекуррентного соотношения, описывающего время сортировки слиянием, — прямой путь к хорошей догадке. В дереве рекурсии (recursion tree) каждый узел представляет время, необходимое для выполнения отдельно взятой подзадачи, которая решается при одном из многочисленных рекурсивных вызовов функций. Далее значения времени работы отдельных этапов суммируются в пределах каждого уровня, а затем — по всем уровням дерева, в результате чего получаем полное время работы алгоритма. Деревья рекурсии находят практическое применение при рассмотрении рекуррентных соотношений, описывающих время работы алгоритмов, построенных по принципу “разделяй и властвуй”.
Деревья рекурсии лучше всего подходят для того, чтобы помочь сделать догадку о виде решения, которая затем проверяется методом подстановок. При этом в догадке часто допускается наличие небольших неточностей, поскольку впоследствии она все равно проверяется. Если же построение дерева рекурсии и суммирование времени работы по всем его составляющим производится достаточно
тщательно, то само дерево рекурсии может стать средством доказательства корректности решения. В данном разделе деревья рекурсии применяются для получения предположений о виде решения, а в разделе 4.4 — непосредственно для доказательства теоремы, на которой базируется основной метод.
Например, посмотрим, как с помощью дерева рекурсии можно догадаться о виде решения рекуррентного соотношения Т (п) = 3T([n/4j) 4- 0 (^2)- Начнем с того, что оценим решение сверху. Как известно, при решении рекуррентных соотношений тот факт, что от аргументов функций берется целая часть, обычно является несущественным (это пример отклонений, которые можно допустить), поэтому построим дерево рекурсии для рекуррентного соотношения Т (п) = = ЗТ (?г/4) 4- сп2, записанного с использованием константы с > 0.
На рис. 4.1 проиллюстрирован процесс построения дерева рекурсии для рекуррентного соотношения Т (п) = ЗТ(п/4) 4- сп2. Для удобства предположим, что п — степень четверки (еще один пример допустимых отклонений). В части я) показана функция Т (п), которая затем все более подробно расписывается в частях б)-г) в виде эквивалентного дерева рекурсии, представляющего анализируемое рекуррентное соотношение. Член сп2 в корне дерева представляет время верхнего уровня рекурсии, а три поддерева, берущих начало из корня, — времена выполнения подзадач размера п/4. В части в) добавлен еще один шаг, т.е. выполнено представление в виде поддерева каждого узла с временем Т (п/4). Время выполнения, соответствующее каждому из трех дочерних поддеревьев, равно с (п/4)2. Далее каждый лист дерева преобразуется в поддерево аналогичным образом, в соответствии с рекуррентным соотношением.
Поскольку по мере удаления от корня дерева размер подзадач уменьшается, в конце концов мы должны дойти до граничных условий. Сколько же уровней дерева нужно построить, чтобы их достичь? Размер вспомогательной задачи, соответствующей уровню, который находится на г-ом уровне глубины, равен п/4г. Таким образом, размер подзадачи становится равным 1, когда п/4г = 1 или, что то же самое, когда г = log4 п. Таким образом, всего в дереве log4 п 4-1 уровней.
Затем мы определяем время выполнения для каждого уровня дерева. На каждом уровне в три раза больше узлов, чем на предыдущем уровне, поэтому количество узлов на г-м уровне равно Зг. Поскольку размеры вспомогательных подзадач при спуске на один уровень уменьшаются в четыре раза, время выполнения каждого узла на г-м уровне (г = 0, log4n — 1) равно с (п/4г)2. Умножая количество узлов на уровне на время выполнения одного узла, получаем, что суммарное время выполнения вспомогательных подзадач, соответствующих узлам г-го уровня, равно Згс(п/4г)2 = (3/16)гсп2. Последний уровень, находящийся на глубине log4 п, имеет 3log4 n = nlog4 3 узлов, каждый из которых дает в общее время работы вклад, равный Т(1). Поэтому время работы этого уровня равно величине niog4 зг ^^ которая ведет себя как 0 (nlog4 3).
Дл)Дл)СП2СП2Т^ Т^ Т^Т^ Т^ Т^в)в)а)б)а)б)г)г)Всего: О(л’)Всего: О(л’)Рис. 4.1. Построение дерева рекурсии для рекуррентного соотношения Г (n) = ЗТ (п/4)+ + СП2Рис. 4.1. Построение дерева рекурсии для рекуррентного соотношения Г (n) = ЗТ (п/4)+ + СП2
Дл)
Дл)
СП2
СП2
Т^ Т^ Т^
Т^ Т^ Т^
в)
в)
а)б)
а)б)
г)
г)
Всего: О(л’)
Всего: О(л’)
Рис. 4.1. Построение дерева рекурсии для рекуррентного соотношения Г (n) = ЗТ (п/4)+ + СП2
Рис. 4.1. Построение дерева рекурсии для рекуррентного соотношения Г (n) = ЗТ (п/4)+ + СП2
Теперь мы суммируем времена работы всех уровней дерева и определяем время работы дерева целиком:
о/ о \ 2/ о \ log4 п-1
гп / \2 ,°2 I f ° 12 ,, f ° I2
Г (п) = СП + —СП +— СП Нh —СП*
16\16/\16/
сп2 + 0 ^nlog4 3)сп2 + 0 ^nlog4 3)(3/16)log4n-l(3/16) - 1(3/16)log4n-l(3/16) - 1сп2 + 0сп2 + 0nlog43nlog43
сп2 + 0 ^nlog4 3)
сп2 + 0 ^nlog4 3)
(3/16)log4n-l(3/16) - 1
(3/16)log4n-l(3/16) - 1
сп2 + 0
сп2 + 0
nlog43
nlog43
Эта формула выглядит несколько запутанной, но только до тех пор, пока мы не догадаемся воспользоваться той небольшой свободой, которая допускается при асимптотических оценках, и не используем в качестве верхней границы одного из слагаемых бесконечно убывающую геометрическую прогрессию. Возвращаясь на один шаг назад и применяя формулу (А.6), получаем:
log4n-l .,
Г (n) = У ( Л ) СП2 + © /nlog43\ <^Х^/X /
г=04'
СП? + © ^nlog4 3) =СП? + © ^nlog4 3) =
СП? + © ^nlog4 3) =
СП? + © ^nlog4 3) =
l-ts/ie)^4"0l-ts/ie)^4"0
l-ts/ie)^4"0
l-ts/ie)^4"0
= т^сп? + © fnlog43^ = = 0^.
Таким образом, для исходного рекуррентного соотношения Т (n) = ЗТ ([n/4J) + + © (п2) получен предполагаемый вид решения Т (п) = О (п2). В рассматриваемом примере коэффициенты при сп2 образуют геометрическую прогрессию, а их сумма, согласно уравнению (А.6), ограничена сверху константой 16/13. Поскольку вклад корня дерева в полное время работы равен сп2, время работы корня представляет собой некоторую постоянную часть от общего времени работы всего дерева в целом. Другими словами, полное время работы всего дерева в основном определяется временем работы его корня.
В действительности, если О (п2) в действительности представляет собой верхнюю границу (в чем мы вскоре убедимся), то эта граница должна быть асимптотически точной оценкой. Почему? Потому что первый рекурсивный вызов дает вклад в общее время работы алгоритма, который выражается как © (п2), поэтому нижняя граница решения рекуррентного соотношения представляет собой П (п2).
Теперь с помощью метода подстановок проверим корректность нашей догадки, т.е. убедимся, что Т (п) = О (п2) — верхняя граница рекуррентного соотношения Т (п) = ЗТ ([п/4J) + © (п2). Нам надо показать, что для некоторой константы d > 0 выполняется неравенство Т (n) ^ dr?. Используя ту же константу с > О, что и раньше, получаем:
Т(п) < ЗТ([п/4]) + сп2 ^ 3d [n/4J2 + сп2< 3d (п/4)2 + сп2 = -^dn2 + сп2 < dn2,
где последнее неравенство выполняется при d ^ (16/13) с.
Рис. 4.2. Дерево рекурсии, соответствующее рекуррентному соотношению Т (n) = Т (п/3) + Т (2п/3) + сп
Давайте теперь рассмотрим более сложный пример. На рис. 4.2 представлено дерево рекурсии для рекуррентного соотношения:
Г (п) = Г (п/3) + Т (2п/Ъ) + сп.
(Здесь также для простоты опущены функции “пол” и “потолок”.) Пусть с, как и раньше, представляет постоянный множитель в члене О (п). При суммировании величин по всем узлам дерева, принадлежащим определенному уровню, для каждого уровня мы получаем величину сп. Самый длинный путь от корня дерева до его листа имеет вид п —► (2/3) п —* (2/3)2 п —»...—♦ 1. Из (2/3)fc n = 1 следует, что высота дерева равна log3/2 п.
Интуитивно понятно, что асимптотическое поведение предполагаемого решения рекуррентного соотношения определяется произведением количества уровней на время выполнения каждого уровня, т.е. О (сп log3/2 п) = О (nlgn). В данном случае время выполнения равномерно распределяется по всем уровням дерева рекурсии. Здесь возникает одна сложность: нужно определить время работы каждого листа. Если бы рассматриваемое дерево рекурсии было полностью бинарным с высотой log3/2n, то всего имелось бы 2*°6з/2П = п'°б3/22 листьев. Поскольку время выполнения каждого листа выражается константой, сумма этих констант по всем листьям была бы равна в (nlog3/2 2), т.е. w (n lg п). На самом деле это дерево рекурсии нельзя назвать полностью бинарным, поэтому у него меньше, чем п1°ёз/2 2 листьев. Более того, по мере удаления от корня отсутствует все большее количество внутренних узлов. Следовательно, не для всех уровней время их работы выражается как сп; более низкие уровни дают меньший вклад. Можно было бы попытаться аккуратно учесть вклады всех элементов дерева, однако вспомним, что мы всего лишь угадываем вид решения, чтобы затем воспользоваться
методом подстановок. Давайте отклонимся от точного решения и допустим, что асимптотическая верхняя граница решения ведет себя как О (nlgn).
С помощью метода подстановок мы можем убедиться, что сделанное выше предположение корректно. Покажем, что при подходящем выборе положительной константы d выполняется неравенство Т (п) С dn 1g п. Можно записать цепочку соотношений:
Т (п) < Т (п/^ + Т (2п/3) + сп ^
< d (п/S') 1g (n/3) + d (2n/3) lg (2п/3) + сп =
= (d (n/3) lg n — d(n/3) 1g 3) + (d (2n/3) Ign — d(2n/3) lg (3/2)) + cn =
= dn lg n — d ((n/3) lg 3 + (2n/3) lg (3/2)) + cn =
= dnlgn — d ((n/3) lg 3 + (2n/3) lg3 — (2n/3) lg2) + cn =
= dn lg n — dn (lg 3 — 2/3) + cn <
^ dn lg n,
которые выполняются при d ^ c/(lg3 — (2/3)) . Таким образом, решение не делать более точный учет времени работы элементов, из которых состоит дерево рекурсии, вполне оправдало себя.
Упражнения
1. Определите с помощью дерева рекурсии асимптотическую верхнюю границу рекуррентного соотношения Г (n) = 3T([n/2j) 4- п. Проверьте ответ методом подстановок.
2. Обратившись к дереву рекурсии, докажите, что решение рекуррентного соотношения Г (n) = 71 (п/3) + Т (2п/3) 4- сп, где с — константа, ведет себя как Q (nlgn).
3. Постройте дерево рекурсии для рекуррентного соотношения Т (п) = = 4Т ([n/2J) 4-cn, где с — константа, и найдите точную асимптотическую границу его решения. Проверьте ее с помощью метода подстановок.
4. Найдите с помощью дерева рекурсии точную асимптотическую оценку решения рекуррентного соотношения Т (n) = Т (п — а) 4- Т (а) 4- сп, где а ^ 1 и с > 0 - константы.
5. Найдите с помощью дерева рекурсии точную асимптотическую оценку решения рекуррентного соотношения Т (п) = Т (an)-vT ((1 — а) п)4-сп, где 0<а<1ис>0— константы.
4.3 Основной метод
Основной метод является своего рода “сборником рецептов”, по которым строятся решения рекуррентных соотношений вида
Т (п) = аТ (п/b) + ЖТ (п) = аТ (п/b) + Ж(4.5)(4.5)
Т (п) = аТ (п/b) + Ж
Т (п) = аТ (п/b) + Ж
(4.5)
(4.5)
где а ^ 1 и Ь > 1 — константы, а / (п) — асимптотически положительная функция. Чтобы научиться пользоваться этим методом, необходимо запомнить три случая, что значительно облегчает решение многих рекуррентных соотношений, а часто это можно сделать даже в уме.
Рекуррентное соотношение (4.5) описывает время работы алгоритма, в котором задача размером п разбивается на а вспомогательных задач, размером п/Ь каждая, где а и Ь — положительные константы. Полученные в результате разбиения а подзадач решаются рекурсивным методом, причем время их решения равно Т (п/Ь). Время, требуемое для разбиения задачи и объединения результатов, полученных при решении вспомогательных задач, описывается функцией f (п\ Например, в рекуррентном соотношении, возникающем при анализе процедуры MERGE_SORT, а = 2, Ь = 2, а / (п) = © (п).
Строго говоря, при определении приведенного выше рекуррентного соотношения допущена неточность, поскольку число п/b может не быть целым. Однако замена каждого из а слагаемых Т(п/Ь) выражением T(|_n/6J) или T([n/61) не влияет на асимптотическое поведение решения (это будет доказано в следующем разделе). Поэтому обычно при составлении рекуррентных соотношений подобного вида, полученных методом “разделяй и властвуй”, обычно мы будем игнорировать функции “пол” и “потолок”, с помощью которых аргумент преобразуется к целому числу.
Основная теорема
Основной метод базируется на приведенной ниже теореме.
Теорема 4.1 (Основная теорема). Пусть а^1иЬ>1— константы, / (п) — произвольная функция, а Г (п) - функция, определенная на множестве неотрицательных целых чисел с помощью рекуррентного соотношения
Т (п) = аТ (п/Ь) 4- / (п),
где выражение п/b интерпретируется либо как [n/bj, либо как fn/bl. Тогда асимптотическое поведение функции Т (п) можно выразить следующим образом.
Если f (п) = О (пХобьа-£) для некоторой константы е > 0, то Т (п) - = е^ьау
Если / (п) = 0 (п1о^а), то Г (п) = О (п1оеьа ]gn).
Если / (n) = Q(nlogf,o+e) для некоторой константы £ > 0, и если af (п/Ь) ^ с/(п) для некоторой константы с < 1 и всех достаточно больших п, то Г (п) = О (/ (п)).□
Перед тем как применение основной теоремы будет продемонстрировано на конкретных примерах, попытаемся понять ее суть. В каждом из трех выделенных в теореме случаев функция / (п) сравнивается с функцией nlogb°. Интуитивно понятно, что асимптотическое поведение решения рекуррентного соотношения определяется большей из двух функций. Если большей является функция nlogb а, как в случае 1, то решение — Т (п) = 0 (nlogf- “). Если быстрее возрастает функция / (п), как в случае 3, то решение — Т (п) = 0 (/ (п)). Если же обе функции сравнимы, как в случае 2, то происходит умножение на логарифмический множитель и решение — Т (п) = 0 (nlogb ° lg n) = 0 (/ (n) 1g n).
Кроме этих интуитивных рассуждений, необходимо разобраться с некоторыми техническими деталями. В первом случае функция / (п) должна быть не просто меньше функции nlogb °, а полиномиально меньше. Это означает, что функция / (п) должна быть асимптотически меньше функции nlogb ° в п£ раз, где £ — некоторая положительная константа. Аналогично, в третьем случае функция / (п) должна быть не просто больше функции nlogb “, а полиномиально больше, и, кроме того, удовлетворять условию “регулярности”, согласно которому а/ (n/Ь) ^ с/ (п). Это условие выполняется для большинства полиномиально ограниченных функций, с которыми мы будем иметь дело.
Важно понимать, что этими тремя случаями не исчерпываются все возможности поведения функции / (п). Между случаями 1 и 2 есть промежуток, в котором функция / (п) меньше функции пх°6ьа, но не полиномиально меньше. Аналогичный промежуток имеется между случаями 2 и 3, когда функция / (п) больше функции nlogba, но не полиномиально больше. Если функция / (п) попадает в один из этих промежутков, или если для нее не выполняется условие регулярности из случая 3, основной метод неприменим для решения рекуррентных соотношений.
Использование основного метода
Чтобы использовать основной метод, достаточно определить, какой из частных случаев основной теоремы (если такой есть) применим в конкретной задаче, а затем записать ответ.
В качестве первого примера рассмотрим такое рекуррентное соотношение: Т(п) = 9Т(п/3) + п.
В этом случае а = 9, b = 3, / (п) = п, так что nlog,> ° = nlog3 9 = 0 (п2). Поскольку / (п) = О (nlog39-e), где £ = 1, можно применить случай 1 основной теоремы и сделать вывод, что решение — Т (п) = 0 (п2).
Теперь рассмотрим следующее рекуррентное соотношение:
Т(п) = Т(2п/3) + 1,
в котором а = 1, b = 3/2, /(n) = 1, a nlogl,a = nlog3/21 = n° = 1. Здесь применим случай 2, поскольку / (п) = 0 (nlog<>a) = 0(1), поэтому решение — Т(п) = 0(lgn).
Для рекуррентного соотношения
Т (n) = ЗТ (п/4) + nlgn
выполняются условия а = 3, b = 4, / (n) = nlgn, и nlogb° = nlog43 = О (п0 793). Поскольку / (n) = Q (nlog43+e), где £ и 0.2, применяется случай 3 (если удастся показать выполнение условия регулярности для функции / (п)). При достаточно больших п условие а/ (п/Ь) = 3 (n/4) 1g (п/4) ^ (3/4) nlgn = с/ (п) выполняется при с = 3/4. Следовательно, согласно случаю 3, решение этого рекуррентного соотношения — Т (п) = О (n lg п).
К рекуррентному соотношению
Т (n) = 2Т (п/2) + nlgn
основной метод неприменим, несмотря на то, что оно имеет надлежащий вид: а = 2, b = 2, / (n) = n lg п, и nlogb ° = п. Может показаться, что к нему применим случай 3, поскольку функция / (n) = nlgn асимптотически больше, чем nlog|>a = = п. Однако проблема заключается в том, что данная функция не полиномиально больше. Отношение /(n)/nlog|>a = (nlgn)/n = Ign асимптотически меньше функции п£ для любой положительной константы е. Следовательно, рассматриваемое рекуррентное соотношение находится “в промежуточном состоянии” между случаями 2 и 3. (См. упражнение 4.4-2.)
Упражнения
1. С помощью основной теоремы найдите точные асимптотические границы следующих рекуррентных соотношений.
Т (п) = 4Г (п/2) + п.
Т (п) = 4Т (п/2) + п2.
Т(п) = 4Т (п/2) + п3.
2. Рекуррентное соотношение Т (п) = ЧТ (п/2) + п2 описывает время работы алгоритма Д. Время работы альтернативного алгоритма А* выражается рекуррентным соотношением Т' (п) = аТ' (п/4) + п2. Чему равно наибольшее целое значение а, при котором алгоритм А' работает асимптотически быстрее, чем алгоритм А.
3. Покажите с помощью основного метода, что Г (п) = О (lg п) является решением рекуррентного соотношения Г (n) = Т (п/2) + 0 (1), возникающего при анализе алгоритма бинарного поиска. (Алгоритм бинарного поиска описывается в упражнении 2.3-5.)
4. Можно ли применить основной метод к рекуррентному соотношению Т (n) = 4Т (n/2) + n21g п? Обоснуйте ваш ответ. Найдите асимптотическую верхнюю границу решения этого рекуррентного соотношения.
* 4.3-5. Рассмотрим условие регулярности а/ (n/Ь) С с/ (п) для некоторой кон
станты с < 1, являющееся частью случая 3 основной теоремы. Приведите примеры констант а ^ 1 и Ь > 1 и функции / (п), которые удовлетворяют всем условиям случая 3 основной теоремы, кроме условия регулярности.
Доказательство основной теоремы
В этом разделе приводится доказательство основной теоремы (теорема 4.1). Для применения самой теоремы понимать доказательство необязательно.
Доказательство состоит из двух частей. В первой части анализируется “основное” рекуррентное соотношение (4.5) с учетом упрощающего предположения, согласно которому Т (п) определена только для точных степеней числа Ь > 1, те. для и = 1,6, Ь2,.... В этой части представлены все основные идеи, необходимые для доказательства основной теоремы. Во второй части доказательство обобщается на множество всех натуральных п; кроме того, здесь при доказательстве аккуратно выполняются все необходимые округления с использованием функций “пол” и “потолок”.
В данном разделе асимптотические обозначения будут несколько видоизменены: с их помощью будет описываться поведение функций, определенных только для целых степеней числа Ь, хотя согласно определению асимптотических обозначений неравенства должны доказываться для всех достаточно больших чисел, а не только для степеней числа Ь. Поскольку можно ввести новые асимптотические обозначения, применимые к множеству чисел {Ьг : г = 0,1,...}, а не ко всему множеству неотрицательных целых чисел, упомянутое видоизменение несущественно.
Тем не менее, применяя асимптотические обозначения на суженной области определения, необходимо быть внимательным, чтобы не прийти к неверным выводам. Например, если доказано, что Г (п) = О (п), если п — степень двойки, то это еще не означает, что Г (п) = О (п) для всех п. Функция Т (п) может быть определена так:
Т(п)=^Т(п)=^п при n = 1,2,4,8,..., тт для остальных значении п.
Т(п)=^
Т(п)=^
В этом случае наилучшей верхней границей, как легко доказать, является Т (п) = = О (тг2). Во избежание подобных ошибок, мы никогда не будем использовать асимптотические обозначения на ограниченной области определения функции, если только из контекста не будет вполне очевидно, что именно мы собираемся делать.
Доказательство теоремы для точных степеней
В первой части доказательства основной теоремы анализируется рекуррентное соотношение (4.5)
Т (п) = аТ (п/Ь) + / (п),
в предположении, что п — точная степень числа b > 1 (Ь — не обязательно целое число). Анализ производится путем доказательства трех лемм. В первой из них решение основного рекуррентного соотношения сводится к вычислению выражения, содержащего суммирование. Во второй лемме определяются границы этой суммы. В третьей лемме с помощью первых двух доказывается версия основной теоремы для случая, когда п — точная степень Ь.
Лемма 4.2. Пусть а ^ 1 и 6 > 1 — константы, а / (?г) — неотрицательная функция, определенная для точных степеней числа Ь. Определим функцию Т (п) на множестве точных степеней числа b с помощью такого рекуррентного соотношения:
0 (1)при n = 1,
аТ (п/b) + / (п) при п = У,
где г — положительное целое число. Тогда получаем:
log6n-l
Т (п) = 0 (nlogt а) + 52 а-Ч(п/Б>\(4.6)
3=0
Доказательство. Воспользуемся деревом рекурсии, представленным на рис. 4.3. Время выполнения, соответствующее корню дерева, равняется / ^п\ Корень имеет а дочерних ветвей, время выполнения каждой из которых равно / (n/Ь). (В ходе этих рассуждений, особенно для визуального представления дерева рекурсии, удобно считать число а целым, хотя это и не следует из каких либо математических соотношений.) Каждая из этих дочерних ветвей, в свою очередь, тоже имеет а дочерних ветвей, время выполнения которых равно / (n/Ь2). Таким образом, получается, что на втором уровне дерева имеется а2 узлов. Обобщая эти рассуждения, можно сказать, что на j-м уровне находится а3 узлов, а время выполнения каждого из них равно / (ть/Ыу Время выполнения каждого листа равно Т(1) = = © (1), и все листья находятся на глубине log6 п уровня, поскольку п/Ь1обб?г = 1. Всего же у дерева alogb n = nlogb а листьев.
* 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1)* 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1)0(1) 0(1) 0(1) "> ©(л"**")0(1) 0(1) 0(1) "> ©(л"**")
* 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1)
* 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1)
0(1) 0(1) 0(1) "> ©(л"**")
0(1) 0(1) 0(1) "> ©(л"**")
Всего: <^п'°*‘"^*'^а1 f(vnlb1')
Рис. 4.3. Дерево рекурсии, генерируемое рекуррентным соотношением Т (п) = аТ (п/Ь)-^ + / (п). Дерево является полным а-арным деревом высотой logbn с nlogl>o листьями. Время выполнения каждого уровня показано справа, а сумма этих величин выражается уравнением (4.6)
Уравнение (4.6) можно получить, суммируя время выполнения всех листьев дерева, как показано на рисунке. Время выполнения внутренних узлов уровня j равно аР f (n/VY так что полное время выполнения всех внутренних узлов можно записать так:
log6n-l
52 °V(n/y).
3=0
В алгоритме разбиения, лежащем в основе анализируемого рекуррентного соотношения, эта сумма соответствует полному времени, затрачиваемому на разбиение поставленной задачи на вспомогательные подзадачи, и последующему объединению их решений. Суммарное время выполнения всех листьев, т.е. время решения всех nlogb ° вспомогательных задач с размером 1, равно © (nlogb °). □
Три частных случая основной теоремы, выраженные в терминах дерева рекурсии, соответствуют ситуациям, когда полное время выполнения дерева 1) преимущественно определяется временем выполнения его листьев, 2) равномерно распределено по всем уровням дерева или 3) преимущественно определяется временем выполнения корня. Сумма в уравнении (4.6) описывает время, затрачиваемое на этапы разбиения и объединения в алгоритме разбиения, лежащем в основе
анализируемого рекуррентного соотношения. В следующей лемме обосновываются асимптотические оценки порядка роста этой суммы.
Лемма 4.3. Пусть а ^ 1 и b > 1 — константы, а / (п) — неотрицательная функция, определенная для точных степеней числа Ь. Тогда функцию д (п), определенную на множестве целых степеней числа b с помощью соотношения
log(, п-1
900 = 52 ajf(n/b5Y(4-7)
3=0
можно асимптотически оценить следующим образом.
Если для некоторой константы е > О выполняется условие / (п) = = О (nx°6bQ~eY то д (п) = О (nlogf>°).
Если / (п) = О (nlog|,a), то д (п) = 0 (nlogb a 1g п).
Если для некоторой константы с < 1 и всех n ^ b справедливо соотношение а/ («Л) ^ с/ ("), то д (п) = 0 (/ (п)).
Доказательство. В первом случае справедливо соотношение / (п) = = О (nXQ^a~e\m которого следует, что / ^(У^ = О ^тп/Ь^logbа е^. Подставив это равенство в уравнение (4.7), получим следующее соотношение:
(
logbn-l\
52 ai (S)°6ь)•(4-8>
3=0)
Оценим сумму в О-обозначении. Для этого вынесем из-под знака суммирования постоянный множитель и выполним некоторые упрощения, в результате чего сумма преобразуется в возрастающую геометрическую прогрессию:
Поскольку b и е — константы, последнее выражение можно переписать в виде п1о8ьо-£О (п£) = О (пХо8ьа\ Подставляя это выражение под знак суммы в уравнении (4.8), получим, что д (п) = О (т№ьа), и тем самым доказываем случай 1.
В случае 2 делается предположение, что / (n) = ©(nlogf,a), поэтому f (n/b3) = © ^(n/fr7)10860^. Подставляя это соотношение в уравнение (4.7), получаем:
(
logdn-l . \
£ 0,3 (ы) ) • (4-9)
3=0 /
Как и в случае 1, оценим сумму, стоящую под знаком 0, но на этот раз геометрическая прогрессия не получается. В самом деле, нетрудно убедиться, что все слагаемые суммы одинаковы:
log6 71-1 = nl°g6»1 =
Э=0
= nlog6 a logb n.
Подставив это выражение для суммы в уравнение (4.9), получим соотношение
3 (п) = 0 (nlog* а log6 п) == 0 (nlog6 a 1g п) ,
доказывающее случай 2.
Случай 3 доказывается аналогично. Поскольку функция / (п) фигурирует в определении (4.7) функции д^п), и все слагаемые функции д(п) неотрицательные, можно заключить, что д^п) = Q(/(n)) для точных степеней числа Ь. Согласно нашему предположению, для некоторой константы с < 1 соотношение af(n/b) ^ с/(п) справедливо для всех п ^ Ь, откуда f (n/b) ^ (с/а) f (п\ Итерируя j раз, получаем, что / (п/Ь3^ ^ ^(а^3 f (п), или, что то же самое, a3 f ^rifV^ ^ с3 f (п). После подстановки в уравнение (4.7) и некоторых упрощений получаем геометрическую прогрессию. В отличие от прогрессии из случая 1, члены данной прогрессии убывают (при рассмотрении приведенных преобразо-
ваний не забывайте, что с — константа):
logbn-llog6n-l
5252
3=0j=0
(1У = о(/И).(1У = о(/И).оо
(1У = о(/И).
(1У = о(/И).
^ / м 52 °7 = (п)
3=0
Таким образом, можно прийти к заключению, что д(п) = 0(/(п)) для точных степеней числа Ь. Этим доказательством случая 3 завершается доказательство леммы.■
Теперь можно приступить к доказательству основной теоремы в частном случае, когда п — точная степень числа Ь.
Лемма 4.4. Пусть а^1иЬ>1 — константы, а / (п) — неотрицательная функция, определенная для точных степеней числа Ь. Определим функцию Т (п) для точных степеней числа b с помощью следующего рекуррентного соотношения:
Т^ =Т^ =Г©(1) aT^n/b) + f(n)Г©(1) aT^n/b) + f(n)при п = 1,при п = Ь1,при п = 1,при п = Ь1,
Т^ =
Т^ =
Г©(1) aT^n/b) + f(n)
Г©(1) aT^n/b) + f(n)
при п = 1,
при п = Ь1,
при п = 1,
при п = Ь1,
где г — положительное целое число. Тогда для этой функции можно дать следующую асимптотическую оценку (справедливую для точных степеней числа Ь\
Если для некоторой константы е > О выполняется условие / (п) = = О (п}о^а~^, то Т (n) = © (nlog"a).
Если / (п) = 0 (nlog(,a), то Г (n) = © (nlogb ° lg n).
Если для некоторой константы е > О выполняется условие / (п) = = Q (nlog6°+£), и если для некоторой константы с < 1 и всех достаточно больших п справедливо соотношение а/ (n/Ь) ^ с/ (п), то Г (п) = = ©(/(»)).
Доказательство. С помощью асимптотических границ, полученных в лемме 4.3, оценим сумму (4.6) из леммы 4.2. В случае 1 имеем:
Т(п) = ©(nlogoa) +O(nlog-a
= ©(nlog'-a
в случае 2 —
Т (п) = 0 fnlog6 a) 4- 0 (nlogbalgn
= 0 (nlog6a Ign) ,
а в случае 3, поскольку / (n) = Q (п106|>а+е) —
Т (п) = О (п1овь°) + 0 (/ (п)) == О(/(п)).
Учет округления чисел
Чтобы завершить доказательство основной теоремы, необходимо обобщить проведенный ранее анализ на случай, когда рекуррентное соотношение определено не только для точных степеней числа Ь, но и для всех целых чисел. Получить нижнюю границу для выражения
Т(п) = аТ([п/&1) + /(п)(4.10)
и верхнюю границу для выражения
T(n) = aT(|n/bj) + /(n)(4.11)
не составляет труда, поскольку в первом случае для получения нужного результата можно использовать неравенство [n/Ь] ^ п/d, а во втором — неравенство [n/dj < n/b. Чтобы получить нижнюю границу рекуррентного соотношения (4.11), необходимо применить те же методы, что и при нахождении верхней границы для рекуррентного соотношения (4.10), поэтому здесь будет показан поиск только последней.
Дерево рекурсии, представленное на рис. 4.3, модифицируется и приобретает вид, показанный на рис. 4.4. По мере продвижения по дереву рекурсии вниз, мы получаем следующую рекурсивную последовательность аргументов:
п,
Г™Л1,
ГГ™/^!,
ГГГпЛ1/Ь]/Ь1,
Обозначим j-й элемент этой последовательности как nj, где
(4.12)(4.12)ппри з = 0,
(4.12)
(4.12)
Гп,-1/61 при j > 0.
* 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1)* 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1)0(1) 0(1) 0(1) -► 0(л1о,,“)0(1) 0(1) 0(1) -► 0(л1о,,“)
* 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1)
* 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1) 0(1)
0(1) 0(1) 0(1) -► 0(л1о,,“)
0(1) 0(1) 0(1) -► 0(л1о,,“)
0(л|°““)
Всего: ©(n^^^a'An/b')
Рис. 4.4. Дерево рекурсии, определенное рекуррентным соотношением Т (п) = = аТ (fn/bj) + / (п). Аргумент рекурсии nj определяется уравнением (4.12)
Сейчас наша цель — определить глубину к, такую что п-к — константа. Используя неравенство fxj ж + 1, получаем:
п .
»+1' п 1.
+ Ь +1,п ,1.1
ЬЗ + ^ + b
В общем случае получаем:
И ^—ч 1 И ^—\ 171 Ь
пз у + 2^< у + ь?= у + ь-vг=0г=0
Полагая, что j = [logj, nJ, мы получим:
n b п b _ n b _ b _п,п ^Uogb^J < bLiogbnj +^71 < biog„n-1 + py -^Jb + b^i - 6+ b^T “ °^^’
откуда видно, что на уровне [log6nj размер задачи не превышает постоянную величину.
Из рис. 4.4 видно, что выполняется соотношение
l*og6nj-l
Т(п) = О (nlogba) +^Н^(4ЛЗ)
э=0
того же вида, что и уравнение (4.6) (с тем отличием, что здесь п — произвольное целое число, а не точная степень числа Ь).
Теперь можно приступить к оценке суммы
(4.14)(4.14)[log6nj-l9^ = 52j=0
(4.14)
(4.14)
фигурирующей в уравнении (4.13). Эта сумма будет оцениваться аналогично тому, как это делалось при доказательстве леммы 4.3. Начнем с рассмотрения случая 3. Если для п > b + b/(b — 1) выполняется соотношение а/ ([п/Ь]) < с/ (п), где с < 1 — константа, то отсюда следует, что aJ / (п^) < ^/(п). Таким образом, сумму в уравнении (4.14) можно оценить точно так же, как это было сделано в лемме 4.3. В случае 2 выполняется условие / (п) = 0 (nlogf,a). Если мы сможем показать, что / (п7) = О (п10860/^-7) = О ^(п/ыУ°6ьа^, то доказательство случая 2 леммы 4.3 будет завершено. Заметим, что из неравенства j ^ [logfc nJ следует неравенство Ь3/п С 1. Наличие границы / (n) = 0(nlogf,°) подразумевает, что существует такая константа с > 0, что при достаточно больших п, выполняются такие соотношения:
поскольку с(1 + Ь/{Ь - l))log<>a — константа. Таким образом, случай 2 доказан.
Доказательство случая 1 почти идентично только что рассмотренному. Главное —
доказать справедливость границы / (п7 ) = О (п}о&ьа~£\ Это делается аналогично доказательству в случае 2, хотя алгебраические выкладки при этом оказываются несколько более сложными.
Итак, мы доказали соблюдение верхних границ в основной теореме для всех целых п. Соблюдение нижних границ доказывается аналогично.
Упражнения
* 4.4-1. Приведите простое и точное выражение для nj в уравнении (4.12) для случая, когда b — положительное целое число (а не произвольное действительное).
* 4.4-2. Покажите, что если выполняется соотношение / (n) = © (nlog6 а Ig^ п), где к ^ 0, то решение основного рекуррентного соотношения — Т (п) = = © (nlog6a lgfc+1 п). Для простоты рассмотрите только случай целых степеней Ь.
* 4.4-3. Покажите, что в случае 3 основной теоремы одно из условий излишнее в том плане, что из условия регулярности а/ (п/b) ^ с/ (п) для некоторой константы с < 1 следует, что существует константа е > О, такая что /(n) = П(п1о8<>а+^.
Задачи
4-1. Примеры рекуррентных соотношений
Определите верхнюю и нижнюю асимптотические границы функции Т (п) для каждого из представленных ниже рекуррентных соотношений. Считаем, что при п < 2Т(п) — константа. Попытайтесь сделать эту оценку как можно более точной и обоснуйте свой ответ.
Г (n) = 2Т (п/2) + п3.
Г (п) = Т(9п/10) + п.
Г(п) = 16Т (п/4) + п2.
Т (п) = 7Г(п/3) + п2.
T(n) = 7T(n/2)+n2.
Т(п) = 2Т (п/4) +-^-
Т (n) = Т (п — 1) + п.
Г(п) = Г(^ + 1.
4-2. Поиск отсутствующего целого числа
Массив А [1..п] содержит все целые числа от 0 до п за исключением одного. Отсутствующее число можно легко определить за время О (п),
располагая вспомогательным массивом В [1..п], предназначенным для записи имеющихся чисел из массива А Однако в этой задаче мы лишены средств, позволяющих получить доступ к целому числу из массива А посредством одной операции. Элементы массива А представлены в двоичной системе счисления, и единственная операция, с помощью которой можно осуществлять к ним доступ, это “извлечение j-ro бита элемента А [г]”, которая выполняется в течение фиксированного времени.
Покажите, что, располагая только этой операцией, отсутствующее целое число все же можно определить за время О (п).
4-3. Время, затрачиваемое на передачу констант
В этой книге предполагается, что передача параметров при вызове процедуры занимает фиксированное время, даже если передается ^-элементный массив. Для большинства вычислительных систем это предположение справедливо, поскольку передается не сам массив, а указатель на него. В данной задаче исследуются три стратегии передачи параметров.
Массив передается посредством указателя. Время выполнения этой операции Т = О (1).
Массив передается путем копирования. Время выполнения этой операции Г = 0 (N), где N — размер массива.
Массив передается путем копирования только некоторого поддиапазона, к которому обращается вызываемая процедура. Время передачи подмассива А [р..д] равно Т = ©(q — р + 1).
Рассмотрите рекурсивный алгоритм бинарного поиска, предназначенный для нахождения числа в отсортированном массиве (см. упражнение 2.3-5). Приведите рекуррентные соотношения, описывающие время бинарного поиска в наихудшем случае, если массивы передаются с помощью каждого из описанных выше методов, и дайте точные верхние границы решений этих рекуррентных соотношений. Пусть размер исходной задачи равен N, а размер подзадачи — п.
Выполните задание части а) для алгоритма Merge_Sort, описанного в разделе 2.3.1.
4-4. Примеры рекуррентных соотношений
Дайте верхнюю и нижнюю асимптотические оценки функции Т (п) в каждом из приведенных ниже рекуррентных соотношений. Предполагается, что для достаточно малых значений n Т (п) - постоянная величина. Постарайтесь, чтобы оценки были как можно более точными и обоснуйте ответы.
Т (n) = ЗТ (n/2) + n 1g п.
Т (п) = 5Т (n/5) + n/lgn.
T(n) = 4Т (п/2) + п2/».
Т (п) = ЗТ (п/3 + 5) + п/2.
Т (п) = 2Т (п/2) + n/lgn.
Т (п) = Т (п/2) + Т (п/4) + Т (п/8) + п.
Т (п) = Т (п — 1) + 1/п.
Т (п) = Т (п — 1) + 1g п.
Т (п) = Т (п — 2) + 21g п.
Т (п) = VnT (Vn) + п.
4-5. Числа Фибоначчи
В этой задаче раскрываются свойства чисел Фибоначчи, определенных с помощью рекуррентного соотношения (3.21). Воспользуемся для решения рекуррентного соотношения Фибоначчи методом генераторных функций. Определим производящую функцию (или формальный степенной ряд) У как
Г = ^F^ = 0 + z + / + 2? + 3/ + 5г5 + 8/ + 13/ + 21/ + ..., г=0
где Ft — i-e число Фибоначчи.
Покажите, что Г (г) = г 4- гТ (2) 4- г^Т (2).
Покажите, что
т х = z =5= 1 / 11 А
1 — 2_ ф^ (i _ ф^ ^/5 \1 — фг 1 — фг/
где
ф = 1+2^ = 1.61803...
И
Покажите, что F (г) = ^2(Ф1 — Фг) ^г-
г=0
Докажите, что Ft = фг (Vb (округленное до ближайшего целого) для всех г > 0. (Указание; обратите внимание на то, что ю < 1.)
Докажите, что F,+2 ^ фг для г ^ 0.
4-6. Тестирование СБИС
В распоряжении профессора есть п предположительно идентичных СБИС1, которые в принципе способны тестировать друг друга. В тестирующее приспособление за один раз можно поместить две микросхемы. При этом каждая микросхема тестирует соседнюю и выдает отчет о результатах тестирования. Исправная микросхема всегда выдает правильные результаты тестирования, а результатам неисправной микросхемы доверять нельзя. Таким образом, возможны четыре варианта результатов тестирования, приведенные в таблице ниже.
ОтчетОтчет
микросхемы А микросхемы Б
Вывод
Б исправнаА исправна
Либо обе микросхемы исправны, либо обе неисправны
Б исправнаАнеисправна
Б неисправнаА исправна
Б неисправнаА неисправна
Неисправна хотя бы одна микросхема
Неисправна хотя бы одна микросхема
Неисправна хотя бы одна микросхема
Покажите, что если неисправно более п/2 микросхем, то с помощью какой бы то ни было стратегии, основанной на попарном тестировании, профессор не сможет точно определить, какие микросхемы исправны. (Предполагается, что неисправные микросхемы не смогут тайно сговориться, чтобы обмануть профессора.)
Рассмотрим задачу о поиске одной исправной микросхемы среди п микросхем, если предполагается, что исправно более половины всех микросхем. Покажите, что [n/2j попарных тестирований достаточно для сведения этой задачи к подзадаче, размер которой приблизительно в два раза меньше.
Покажите, что можно найти все исправные микросхемы с помощью 0 (п) попарных тестирований, если предполагается, что более половины микросхем исправны. Сформулируйте и решите рекуррентное соотношение, описывающее количество тестирований.
'СБИС — это аббревиатура от “сверхбольшие интегральные схемы” (микросхемы, созданные по технологии, которая используется при производстве большинства современных микропроцессоров).
4-7. Массивы Монжа
Массив А, состоящий из действительных чисел и имеющий размер т х х п, называется массивом Монжа (Monge array), если для всех г, j, к и I, таких что l^icfc^mHl^jcZ^n, выполняется соотношение
Л[м] + Л [/с,/] < Л [г,Z] + Л [fc, j].
Другими словами, при любом выборе двух срок и двух столбцов из массива Монжа (при этом элементы массива на пересечении выбранных строк и столбцов образуют прямоугольник) сумма элементов в левом верхнем и правом нижнем углах полученного прямоугольника не превышает сумму элементов в левом нижнем и правом верхнем его углах. Приведем пример массива Монжа:
1017132823
1722162923
2428223424
11136177
4544323723
363319216
7566515334
Докажите, что массив является массивом Монжа тогда и только тогда, когда для всех г = 1,2,..., т — 1 и j = 1,2,..., п — 1 справедливо соотношение
Л [г, j] + Л [г + 1J + 1] ^ A^iJ + 1] + Л [г+ 1J].
(Указание: для прямого доказательства воспользуйтесь методом математической индукции; индукцию нужно провести отдельно для строк и столбцов.)
Приведенный ниже массив не является массивом Монжа. Измените в нем один элемент таким образом, чтобы он стал массивом Монжа. (Указание: воспользуйтесь результатами части а.)
37 23 22 32
21 6710
53 34 30 31
32 13 9 6
43 21 15 8
Пусть / (г) — индекс столбца, содержащего крайний слева минимальный элемент в строке г. Докажите, что для любого массива Монжа размером т х п справедливо соотношение / (1) ^ / (2) < <^ / (т).
Ниже описан алгоритм разбиения, предназначенный для вычисления крайнего слева минимального элемента в каждой строке, входящей в состав массива Монжа А размером m х п.
Постройте подматрицу А* матрицы А, состоящую из ее нечетных строк. С помощью рекурсивной процедуры найдите в каждой строке матрицы А' крайний слева минимальный элемент. Затем найдите крайний слева минимальный элемент среди четных строк матрицы А.
Объясните, как найти крайний слева минимальный элемент среди нечетных строк матрицы А (предполагается, что крайний слева минимальный элемент среди четных столбцов этой матрицы известен) за время О (ш + п).
Запишите рекуррентное соотношение, описывающее время работы алгоритма из части г. Покажите, что его решение — О (m + n log т).
Заключительные замечания
Рекуррентные соотношения изучались еще с 1202 года, со времен Леонардо Фибоначчи (L. Fibonacci). А. де Муавр (A. De Moivre) впервые использовал метод производящих функций (см. задачу 4-5) для решения рекуррентных соотношений. Основной метод был принят на вооружение после появления работы Бентли (Bentley), Хакена (Haken) и Сакса (Saxe) [41], в которой был предложено расширение метода, обоснованного в упражнении 4.4-2. Кнут (Knuth) и Лью (Liu) [205] показали, каким образом можно решать линейные рекуррентные соотношения с использованием производящих функций. Подробное обсуждение методов решения рекуррентных соотношений можно найти в книгах Пурдома (Purdom) и Брауна (Brown) [252], а также Грехема (Graham), Кнута и Паташника (Patash- nik) [132].
Некоторые исследователи, в число которых входят Акра (Акта) и Баззи (Bazzi) [13], Роура (Roura) [262] и Верма (Verma) [306], предложили методы решения более общих рекуррентных соотношений для алгоритмов разбиения. Ниже представлены результаты Акра и Баззи. Их метод подходит для решения рекуррентных соотношений вида
к
Г(п) = ^а^([пЛ]) + /(п),(4.15)
1=1
где к > 1; все коэффициенты а, положительны, и в сумме содержится хотя бы одно слагаемое; все Ь, больше 1; функция / (п) ограниченная, положительная и неубывающая. Кроме того, для любой константы с > 1 существуют константы по и d > 0, такие что для всех п > по справедливо соотношение / (n/c) ^ df (п). Этот метод позволяет найти решение рекуррентного соотношения Т (п) = Г (|n/3j) + Т ([2n/3J) + О (п), для которого неприменим основной метод. Чтобы решить рекуррентное соотношение (4.15), сначала найдем такое значение р, при котором ^2^=1 a,ib~p = 1. (Такое р всегда существует, причем оно всегда единственное и положительное.) Решением рекуррентного соотношения является
Т (п) = в (пр) + 0 пр
где п* — достаточно большая константа. Метод Акры-Баззи на практике может оказаться слишком сложным в применении, однако он позволяет решать рекуррентные соотношения, моделирующие разбиение задачи на существенно неравные подзадачи. Основной метод более прост в использовании, однако он применим только в случае подзадач одинаковых размеров.
ГЛАВА 5
Вероятностный анализи рандомизированные алгоритмы
Эта глава знакомит читателя с вероятностным анализом и рандомизированными алгоритмами. Тем, кто не знаком с основами теории вероятности, следует обратиться к приложению В, в котором представлен обзор этого материала. В данной книге мы будем несколько раз возвращаться к вероятностному анализу и рандомизированным алгоритмам.
.1 Задача о найме сотрудника
Предположим, предприниматель хочет взять на работу нового офис-менеджера. Сначала он попытался найти подходящую кандидатуру самостоятельно, но неудачно, поэтому решил обратиться в агентство по трудоустройству. Согласно договоренности, агентство должно присылать работодателю по одному кандидату в день. Предприниматель проводит с каждым из этих кандидатов собеседование, после чего принимает окончательное решение, брать его на работу или нет. За каждого направленного ему кандидата предприниматель платит агентству небольшую сумму. Однако наем выбранного кандидата на работу фактически стоит дороже, поскольку при этом необходимо уволить офис-менеджера, работающего в данное время, а также уплатить агентству более значительную сумму за выбранного кандидата. Предприниматель пытается сделать так, чтобы должность всегда занимал наиболее достойный из всех кандидатов. Как только квалификация очередного претендента окажется выше квалификации офис-менеджера, который работает в данное время, этот офис-менеджер будет уволен, а его место займет более
подходящий кандидат. Работодатель готов понести все необходимые расходы, но хочет оценить, во что обойдется ему подбор нового сотрудника.
В представленной ниже процедуре Hire_Assistant эта стратегия найма представлена в виде псевдокода. В ней предполагается, что кандидаты на должность офис-менеджера пронумерованы от 1 до п. Предполагается также, что после собеседования с г-м кандидатом есть возможность определить, является ли он лучшим, чем все предыдущие. В процессе инициализации процедура создает фиктивного кандидата номер 0, квалификация которого ниже квалификации всех остальных:
HlRE_ASSISTANT(n)
Best <— О > Кандидат 0 — наименее квалифицированный
> фиктивный кандидат
for г <— 1 to п
do Собеседование с кандидатом г
if кандидат г лучше кандидата Best
then Best <— г
Нанимаем кандидата г
Модель стоимости этой задачи отличается от модели, описанной в главе 2. Если ранее в качестве стоимости алгоритма мы рассматривали время его работы, то теперь нас интересует денежная сумма, затрачиваемая на собеседование и наем при использовании данного алгоритма найма работника. На первый взгляд может показаться, что анализ стоимости этого алгоритма очень сильно отличается, например, от анализа времени работы алгоритма сортировки методом слияния. Однако оказывается, что при анализе стоимости и времени выполнения применяются одинаковые аналитические методы. В обоих случаях подсчитывается, сколько раз выполняется та или иная операция.
Обозначим стоимость собеседования через с^ а стоимость найма — через с^. Пусть т — количество нанятых сотрудников. Тогда полная стоимость, затраченная при работе этого алгоритма, равна О (net 4- тскУ Независимо от того, сколько сотрудников было нанято, интервью нужно провести с п кандидатами, поэтому суммарная стоимость всех интервью является фиксированной и равна net. Таким образом, нас интересует анализ величины тек — стоимости найма, которая, как нетрудно понять, меняется при каждом выполнении алгоритма.
Этот сценарий служит моделью распространенной вычислительной парадигмы. Часто встречаются ситуации, когда нужно найти максимальное или минимальное значение последовательности, для чего каждый ее элемент сравнивается с текущим “претендентом” на звание подходящего. Задача о найме моделирует частоту, с которой придется заново присваивать метку “победителя” текущему элементу.
Анализ наихудшего случая
В наихудшем случае работодателю приходится нанимать каждого кандидата, с которым проведено собеседование. Эта ситуация возникает, когда кандидаты приходят в порядке возрастания их квалификации. При этом процедура найма повторяется п раз, а полная стоимость найма равна О (псь\
Однако маловероятно, чтобы кандидаты поступали в указанном порядке. Фактически мы не имеем представления о том, в каком порядке они будут приходить, и никак не можем повлиять на этот порядок. Таким образом, возникает закономерный вопрос, чего следует ожидать в типичном (или среднем) случае.
Вероятностный анализ
Вероятностный анализ — это анализ задачи, при котором используются вероятности тех или иных событий. Чаще всего он используется при определении времени работы алгоритма. Иногда такой анализ применяется и для оценки других величин, таких как стоимость найма в процедуре Hire_Assistant. Для проведения вероятностного анализа необходимо располагать знаниями (или сделать предположение) о распределении входных данных. При этом в ходе анализа алгоритма вычисляется математическое ожидание времени его работы. На эту величину влияет распределение входных величин, поэтому производится усреднение времени работы по всем возможным входным данным.
Делая предположение о распределении входных величин, нужно быть очень осторожным. В некоторых задачах такие предположения вполне оправданны и позволяют воспользоваться вероятностным анализом как методом разработки эффективных алгоритмов и как средством для более глубокого понимания задачи. В других задачах разумное описание распределения входных величин не удается, и в таких случаях вероятностный анализ неприменим.
В задаче о найме сотрудника можно предположить, что претенденты приходят на собеседование в случайном порядке. Что это означает в контексте рассматриваемой задачи? Предполагается, что любых двух кандидатов можно сравнить и решить, кто из них квалифицированнее, т.е. в принципе всех кандидатов можно расположить в определенном порядке. (Определение полностью упорядоченных множеств приведено в приложении Б.) Таким образом, каждому кандидату можно присвоить уникальный порядковый номер от 1 до п. Назовем операцию присвоения порядкового номера г-му претенденту rank (г) и примем соглашение, что более высокий ранг соответствует специалисту с более высокой квалификацией. Упорядоченное множество (rank (1), rank (2),..., rank (тг)) является перестановкой множества (1,2,..., п). Утверждение, что кандидаты приходят на собеседование в случайном порядке, эквивалентно утверждению, что вероятность любого порядка рангов одинакова и равна количеству перестановок чисел от 1 до -а, т.е. п\. Другими словами, ранги образуют случайную равновероятную пере-
становку, т.е. каждая из п! возможных перестановок появляется с одинаковой вероятностью.
Вероятностный анализ задачи о найме сотрудника приведен в разделе 5.2.
Рандомизированные алгоритмы
Чтобы провести вероятностный анализ, нужно иметь некоторые сведения о распределении входных данных. Во многих случаях мы знаем о них очень мало. Даже если об этом распределении что-то известно, может случиться так, что знания, которыми мы располагаем, нельзя численно смоделировать. Несмотря на это вероятность и случайность часто можно использовать в качестве инструмента при разработке и анализе алгоритмов, путем придания случайного характера части алгоритма.
В задаче о найме сотрудника все выглядит так, как будто кандидатов присылают на собеседование в случайном порядке, но на самом деле у нас нет никакой возможности узнать, так ли это на самом деле. Поэтому, чтобы разработать рандомизированный алгоритм для этой задачи, необходимо повысить степень контроля над порядком поступления претендентов на должность. Внесем в модель небольшие изменения. Допустим, бюро по трудоустройству подобрало п кандидатов. Работодатель договаривается, чтобы ему заранее прислали список кандидатов, и каждый день самостоятельно случайным образом выбирает, с кем из претендентов проводить собеседование. Несмотря на то, что работодатель по-прежнему ничего не знает о претендентах на должность, задача существенно изменилась. Теперь не нужно гадать, будет ли очередность кандидатов случайной; вместо этого мы взяли этот процесс под свой контроль и сами сделали случайным порядок проведения собеседований.
В общем случае алгоритм называется рандомизированным (randomized), если его поведение определяется не только набором входных величин, но и значениями, которые выдает генератор случайных чисел. Будем предполагать, что в нашем распоряжении имеется генератор дискретных случайных чисел Random. При вызове процедура Random(o, Ь) возвращает целое число, принадлежащее интервалу от а до b и равномерно распределенное в этом интервале. Например, Random(0, 1) с вероятностью 1/2 выдает 0 и с той же вероятностью — 1. В результате вызова Random(3, 7) числа 3,4,5,6 и 7 возвращаются с вероятностью 1/5. Вероятность возврата процедурой Random любого целого числа не зависит от того, какие числа были возвращены в предыдущем вызове этой процедуры. Процедуру Random можно представить в виде рулетки с (b — а + 1) делениями. На практике большинство сред программирования предоставляют в распоряжение программиста генератор псевдослучайных чисел, т.е. детерминированный алгоритм, который возвращающий числа, которые ведут себя при статистическом анализе как случайные.
Упражнения
-1. Покажите, что из предположения о том, что в строке 4 алгоритма HlRE_ Assistant всегда можно определить, какой кандидат лучше, следует, что мы знаем общий порядок рангов кандидатов.
* 5.1-2. Опишите реализацию процедуры RANDOM(a, Ь), которая может использовать только один вызов — процедуры Random(0, 1). Чему равно математическое ожидание времени работы вашей реализации и как оно зависит от а и Ь?
* 5.1-3. Предположим, что нам надо выводить 0 и 1 с вероятностью 50%. В нашем распоряжении имеется процедура Biased_Random, которая с вероятностью р выдает 0, и с вероятностью 1 — р — число 1; значение р нам неизвестно. Сформулируйте алгоритм, использующий в качестве подпрограммы процедуру BiasedRandom и возвращающий равномерно распределенные числа 0 и 1, те. вероятность вывода каждого из них равна 50%. Чему равно математическое ожидание времени работы такой процедуры и как оно зависит от р?
Индикаторная случайная величина
При анализе многих алгоритмов, в том числе того, с помощью которого решается задача о найме сотрудника, будет использоваться индикаторная случайная величина. Она предоставляет удобный метод перехода от вероятности к математическому ожиданию. Предположим, что в нашем распоряжении имеется пространство выборки S и событие Л. Тогда индикаторная случайная величина (indicator random variable) I {Л}, связанная с событием Л, определяется так:
1{Л} = {1{Л} = {(5.1)(5.1)1 если событие Л произошло, 0 если событие Л не произошло.
1{Л} = {
1{Л} = {
(5.1)
(5.1)
В качестве примера определим математическое ожидание того, что при подбрасывании монеты выпадет орел. Пространство событий в этом случае имеет простой вид S = {Н,Т}, где вероятности выпадения орла (это событие обозначено как Н (head)) и решки (Т (tail)) равны: Рг{Н) = Рг{Т} = 1/2. Далее, можно определить индикаторную случайную величину Хн, связанную с выпадением орла, т.е. событием Н. Эта величина подсчитывает количество выпадений орла. Если выпадает орел, она равна 1, а если решка — 0. Запишем это с помощью формальных обозначений:
Хя = !{#} = {Хя = !{#} = {1 о1 оесли выпал орел, если выпала решка.
Хя = !{#} = {
Хя = !{#} = {
1 о
1 о
Математическое ожидание того, что выпадет орел, равняется математическому ожиданию индикаторной величины Хн'.
Е[Хя] = Е[1{Я}] =
1 Рг {Я} + 0Рг{Т} =
= 1-(1/2) +0-(1/2) = = 1/2.
Таким образом, математическое ожидание того, что выпадет орел, равно 1 /2. Как показано в приведенной ниже лемме, математическое ожидание индикаторной случайной величины, связанной с событием Л, равно вероятности этого события.
Лемма 5.1. Пусть имеется пространство событий S и событие Л, принадлежащее этому пространству, и пусть Хд = I {Л}. Тогда Е [Хд] = Рг {Л}.
Доказательство. Согласно определению (5.1) индикаторной случайной величины и определению математического ожидания, имеем:
Е [Ад] = Е [I {Л}] =
1 • Рг {Л} + 0 • Рг {Л} =
= Рг{Л}.
где А обозначает S — А, т.е. дополнение события А.□
Хотя индикаторные случайные величины могут показаться неудобными в применении, например, при вычислении математического ожидания выпадений орла при бросании монеты, однако они оказываются полезны при анализе ситуаций, в которых делаются повторные испытания. Например, индикаторная случайная величина позволяет простым путем получить результат в уравнении (В.36). В этом уравнении количество выпадений орла при п бросаниях монеты вычисляется путем отдельного рассмотрения вероятности того события, что орел выпадет 0, 1, 2 и т.д. раз. В уравнении (В.37) предлагается более простой метод, в котором, по сути, неявно используется индикаторные случайные величины. Чтобы было понятнее, обозначим через Xi индикаторную случайную величину, связанную с событием, когда при г-м выбрасывании выпадает орел: Xi = = I {При г-м броске выпал орел}. Пусть X — случайная величина, равная общему количеству выпадений орла при п бросаниях монеты. Тогда
Нам надо вычислить математическое ожидание выпадения орла. Для этого применим операцию математического ожидания к обеим частям приведенного выше
уравнения:
Левая часть полученного уравнения представляет собой математическое ожидание суммы п случайных величин. Математическое ожидание каждой из этих случайных величин легко вычисляется при помощи леммы 5.1. Пользуясь уравнением (В.20), выражающим свойство линейности математического ожидания, математическое ожидание суммы случайных величин можно выразить как сумму математических ожиданий каждой величины. Благодаря линейности математического ожидания использование индикаторной случайной величины становится мощным аналитическим методом, который применим даже в том случае, когда между случайными величинами имеется зависимость. Теперь мы можем легко вычислить математическое ожидание количества выпадений орла:
Е[Х] = ЕЕ[Х] = Е
Е[Х] = Е
Е[Х] = Е
г=1
Таким образом, индикаторные случайные величины значительно упростили вычисления по сравнению с методом, использующимся в уравнении (В.36). Вы еще не раз встретитесь с этими величинами в данной книге.
Анализ задачи о найме сотрудника с помощью индикаторных случайных величин
Вернемся к задаче о найме сотрудника, в которой нужно вычислить математическое ожидание события, соответствующего найму нового менеджера. Чтобы провести вероятностный анализ, предположим, что кандидаты приходят на собеседование в случайном порядке (этот вопрос уже обсуждался в предыдущем разделе; в разделе 5.3 будет показано, каким образом можно обойтись без этого предположения). Пусть X — случайная величина, значение которой равно количеству наймов нового офис-менеджера. Далее можно воспользоваться определением
математического ожидания (уравнение В. 19) и получить соотношение
Е[Х] = ^хРг{Х = ж},
Х = 1
но эти вычисления окажутся слишком громоздкими. Вместо этого воспользуемся индикаторными случайными величинами, благодаря чему вычисления значительно упростятся.
Чтобы воспользоваться индикаторными случайными величинами, вместо вычисления величины Е [X] путем определения одного значения, связанного с числом наймов нового менеджера, определим п величин, связанных с наймом конкретных кандидатов. В частности, пусть X, — индикаторная случайная величина, связанная с событием найма г-го кандидата. Таким образом,
Xi = I {г-й кандидат нанят} = <Xi = I {г-й кандидат нанят} = <если г-й кандидат нанят,если г-й кандидат отклонен,если г-й кандидат нанят,если г-й кандидат отклонен,(5.2)(5.2)
Xi = I {г-й кандидат нанят} = <
Xi = I {г-й кандидат нанят} = <
если г-й кандидат нанят,
если г-й кандидат отклонен,
если г-й кандидат нанят,
если г-й кандидат отклонен,
(5.2)
(5.2)
Х = Х1+Х2 + ." + Хп.(5.3)
Из леммы 5.1 следует, что
Е [Xi] = Рг {г-й кандидат нанят} ,
и теперь нам надо вычислить вероятность выполнения строк 5 и 6 процедуры Hire_Assistant.
Работодатель нанимает кандидата под номером г (строка 5), только если он окажется лучше всех предыдущих (от 1-го до г — 1-го). Поскольку мы предположили, что кандидаты приходят на собеседование в случайном порядке, это означает, что первые г кандидатов также прибыли в случайном порядке. Любой из первых г кандидатов с равной вероятностью может оказаться лучшим. Поэтому вероятность того, что квалификация претендента с номером г выше квалификации претендентов с номерами от 1 до г — 1, и что он будет взят на работу, равна 1/г. Пользуясь леммой 5.1, можно прийти к заключению, что
(5.4)(5.4)Е[Х,] = 1/г.
(5.4)
(5.4)
Теперь можно приступить к вычислению величины Е [X]:
Е[Х] = Е ^Xi =-1=1_= ^Е[Х,] =г=1п -Е[Х] = Е ^Xi =-1=1_= ^Е[Х,] =г=1п -(согласно (5.3))(согласно (5.3))(5.5)(5.5)(согласно линейности математического ожидания)(согласно линейности математического ожидания)
Е[Х] = Е ^Xi =
-1=1_
= ^Е[Х,] =г=1п -
Е[Х] = Е ^Xi =
-1=1_
= ^Е[Х,] =г=1п -
(согласно (5.3))
(согласно (5.3))
(5.5)
(5.5)
(согласно линейности математического ожидания)
(согласно линейности математического ожидания)
(согласно (5.4))
г=1= Inn + О (1)г=1= Inn + О (1)(согласно (А.7))(согласно (А.7))(5.6)(5.6)
г=1
= Inn + О (1)
г=1
= Inn + О (1)
(согласно (А.7))
(согласно (А.7))
(5.6)
(5.6)
Даже если проведено интервью с п кандидатами, в среднем будет нанято только In п из них. Этот результат подытожен в приведенной ниже лемме.
Лемма 5.2. В случае собеседования с кандидатами в случайном порядке полная стоимость найма при использовании алгоритма Hire_Assistant равна О (ск Inn).
Доказательство. Эта оценка непосредственно следует из определения стоимости найма и уравнения (5.6).о
Порядок роста представленной стоимости найма значительно ниже порядка роста функции О (сигь), характеризующей стоимость найма в наихудшем случае.
Упражнения
1. Чему равна вероятность того, что в процедуре Hire_Assistant будет нанят ровно один кандидат, если предполагается, что собеседование с кандидатами проводится в случайном порядке?
2. Чему равна вероятность того, что в процедуре H1RE_ASS1STANT будет нанято ровно два кандидата, если предполагается, что собеседование с кандидатами проводится в случайном порядке? Чему равна вероятность того, что будет нанято ровно п кандидатов?
3. Вычислите математическое ожидание суммы очков на п игральных костях с помощью индикаторных случайных величин.
4. Решите с помощью индикаторных случайных величин задачу, известную как задача о гардеробщике. Каждый из п посетителей ресторана сдает свою шляпу в гардероб. Гардеробщик возвращает шляпы случайным образом. Чему равно математическое ожидание количества посетителей, получивших обратно свои собственные шляпы?
5. Пусть Л [1..п] — массив, состоящий из п различных чисел. Если г < j и Л [г] > Л [j], то пара (i,j) называется инверсией массива Л (более детальную информацию об инверсиях можно найти в задаче 2-4). Предположим, что элементы массива Л образуют равномерную случайную перестановку чисел (1,2, ...,п). Воспользуйтесь индикаторными случайными величинами для поиска математического ожидания количества инверсий в массиве.
Рандомизированные алгоритмы
В предыдущем разделе было показано, как знание информации о распределении входных данных может помочь проанализировать поведение алгоритма в среднем случае. Однако часто встречаются ситуации, когда такими знаниями мы не располагаем, и анализ среднего поведения невозможен. Но, как упоминалось в разделе 5.1, иногда есть возможность использовать рандомизированные алгоритмы.
В задачах наподобие задачи о найме сотрудника, в которой важную роль играет предположение о равновероятности всех перестановок входных данных, вероятностный анализ приводит к разработке рандомизированного алгоритма. Вместо того чтобы предполагать то или иное распределение входных данных, мы попросту навязываем его. В частности, перед запуском алгоритма мы производим случайную перестановку кандидатов, чтобы добиться выполнения условий равновероятности всех перестановок. Такая модификация алгоритма не влияет на величину математического ожидания найма сотрудника, примерно равную Inn. Это означает, что такое поведение алгоритма присуще любому множеству входных данных, независимо от его конкретного распределения.
Давайте рассмотрим отличия вероятностного анализа от рандомизированных алгоритмов. В разделе 5.2 мы выяснили, что если кандидаты приходят на собеседование в случайном порядке, то математическое ожидание количества наймов новых менеджеров приблизительно равно In п. Обратите внимание на то, что представленный алгоритм является детерминированным, т.е. для любых конкретных входных данных количество наймов новых менеджеров всегда будет одним и тем же. Кроме того, эта величина различна для разных входных данных и зависит от распределения рангов кандидатов. Поскольку количество наймов зависит только от рангов кандидатов, каждый отдельно взятый набор входных данных можно представить в виде перечисления рангов кандидатов в порядке нумерации последних, т.е. в виде последовательности (rank (1), rank (2),..., rank (п)). В случае списка рангов Xi = (1,2,3,4,5,6,7,8,9,10) новый менеджер будет всегда наниматься 10 раз, поскольку каждый очередной кандидат лучше предыдущего, и строки 5-6 будут выполняться при каждой итерации алгоритма. Если же список
рангов имеет вид Л2 = (10,9,8,7,6,5,4,3,2,1), то новый менеджер будет нанят только один раз, во время первой итерации. Список Аз = (5,2,1,8,4,7,10,9,3,6) дает три найма, после интервью с кандидатами, имеющими ранг 5, 8 и 10. Напомним, что стоимость алгоритма зависит от того, сколько раз происходит найм нового сотрудника. Легко убедиться в том, что есть дорогостоящие входные данные (такие как Ai), дешевые входные данные (такие как А2), и входные данные средней стоимости, такие как A3.
Рассмотрим теперь рандомизированный алгоритм, в котором сначала выполняется перестановка кандидатов на должность и только после этого определяется, кто из них самый лучший. В этом случае рандомизация представляет собой часть алгоритма, а не входных данных. При этом для отдельно взятого набора входных данных, например, для представленного выше массива Лз, нельзя заранее сказать, сколько наймов будет выполнено, поскольку эта величина изменяется при каждом запуске алгоритма. При первом запуске алгоритма с входными данными A3 в результате перестановки могут получиться входные данные Ai, и найм произойдет 10 раз, а при втором запуске перестановка может дать входные данные А2, и найм будет только один. Запустив алгоритм третий раз, можно получить еще какое- нибудь количество наймов. При каждом запуске алгоритма стоимость его работы зависит от случайного выбора и, скорее всего, будет отличаться от стоимости предыдущего запуска. В этом и во многих других рандомизированных алгоритмах никакие входные данные не могут вызвать наихудшее поведение алгоритма. Даже ваш злейший враг не сможет подобрать плохой входной массив, поскольку дальнейшая случайная перестановка приводит к тому, что порядок входных элементов становится несущественным. Рандомизированные алгоритмы плохо ведут себя лишь тогда, когда генератор случайных чисел выдаст “неудачную” перестановку.
Единственное изменение, которое нужно внести в алгоритм найма сотрудника для рандомизации, — это добавить код случайной перестановки.
RANDOMIZED_HlRE_ASSISTANT(n)
Случайная перестановка списка кандидатов.
Best <— 0 > Кандидат 0 — наименее квалифицированный
> фиктивный кандидат
3456734567for г <— 1 to п
3
4
5
6
7
3
4
5
6
7
do собеседование с кандидатом г
if кандидат г лучше кандидата Best then Best <— г
Нанимаем кандидата г
С помощью этого простого изменения создается рандомизированный алгоритм, производительность которого такая же, как и в случае предположения о том, что собеседование с кандидатами производится в случайном порядке.
Лемма 5.3. Математическое ожидание стоимости процедуры Randomized_Hire_ Assistant равно О (сь, Inn).
Доказательство. После перестановки элементов входного массива возникает ситуация, идентичная рассмотренной при вероятностном анализе алгоритма Hire_ Assistant.в
При сравнении леммы 5.2 и леммы 5.3 проявляется различие между вероятностным анализом и рандомизированными алгоритмами. В лемме 5.2 делается предположение о виде входных данных. В лемме 5.3 такие предположения отсутствуют, хотя для рандомизации входных величин требуется дополнительное время. В оставшейся части настоящего раздела обсуждаются некоторые вопросы, связанные с входными данными, которые подверглись случайной перестановке.
Массивы, полученные в результате случайной перестановки
Во многих алгоритмах входные данные рандомизируются путем перестановки элементов исходного входного массива (впрочем, существуют и другие способы рандомизации). Мы рассмотрим два метода, позволяющие выполнить эту операцию. Будем считать, что у нас имеется массив А, который содержит элементы от 1 до п. Наша цель — случайным образом переставить элементы массива.
Один из распространенных методов заключается в том, чтобы присвоить каждому элементу А [г] случайный приоритет Р [г], а затем отсортировать элементы массива А в соответствии с их приоритетами. Например, если исходный массив имеет вид А = (1,2,3,4) и выбраны случайные приоритеты Р = (36,3,97,19), то в результате будет получен массив В = (2,4,1,3), поскольку приоритет второго элемента самый низкий, за ним по приоритету идет четвертый элемент, после него — первый и, наконец, третий. Назовем эту процедуру Permute_By_Sorting:
Permute_By_Sorting(^)
n <— lengtf^A]
for г <— 1 to n
do P[i] = Random(1, n3)
Отсортировать массив А с ключом сортировки P
return A
В строке 3 выбирается случайное число от 1 до п3. Такой интервал выбран для того, чтобы снизить вероятность наличия одинаковых приоритетов в массиве Р. (В упражнении 5.3-5 требуется доказать, что вероятность отсутствия в массиве одинаковых приоритетов составляет по меньшей мере 1 — 1/п, а в упражнении 5.3-6 — реализовать алгоритм, даже если несколько приоритетов могут иметь одинаковые значения.) Будем считать, что одинаковых приоритетов в массиве нет.
В представленном выше псевдокоде наиболее трудоемкая процедура — сортировка в строке 4. Как будет показано в главе 8, если использовать сортировку сравнением, то время ее работы будет выражаться как Q (n lg п). Эта нижняя грань достижима, поскольку мы уже убедились, что сортировка слиянием выполняется в течение времени 0 (n lg п). (Во второй части книги мы познакомимся и с другими видами сортировки, время работы которых также имеет вид 0 (nlgn).) Если приоритет Р [г] является j-м в порядке возрастания, то после сортировки элемент А [г] будет расположен в позиции с номером j. Таким образом мы достигнем требуемой перестановки входных данных. Осталось доказать, что в результате выполнения этой процедуры будет получена случайная перестановка с равномерным распределением, другими словами, что все перестановки чисел от 1 до п генерируются с одинаковой вероятностью.
Лемма 5.4. В предположении отсутствия одинаковых приоритетов в результате выполнения процедуры Permute_By_Sorting получается случайная перестановка входных значений с равномерным распределением.
Доказательство. Начнем с рассмотрения частной перестановки, в которой каждый элемент А [г] получает г-й приоритет (в порядке возрастания). Покажем, что вероятность такой перестановки равна 1/п!. Обозначим через Xi (г = 1,2,..., п) событие, состоящее в том, что элемент А [г] получает г-й приоритет. Теперь вычислим вероятность того, что события Xi происходят для всех г. Эта вероятность равна
Pr {*1 П *2 fl Х3 fl... fl Xn-i fl X^ .
Воспользовавшись результатами упражнения B.2-6, можно показать, что эта вероятность равна
Pr{Xi}.Pr{X2 |Х1}-Рг{Х3 1*20*1}-Рг{Х4 |Х^^
• Рг {*г I *г_1 П*г-2 П . . . П*1} . . . . • Pr {*n | *п_1 П . . . П*1} .
Вероятность события *1 равна Pr{*i} = 1/п, поскольку это вероятность того, что приоритет выбранного наугад одного из п элементов окажется минимальным. Теперь заметим, что Рг {*2 | *1} = 1/(п — 1), поскольку при условии, что приоритет элемента А [1] минимальный, каждый из оставшихся п — 1 элементов имеет одинаковые шансы располагать вторым наименьшим приоритетом. В общем случае при г = 2,3,..., п выполняется соотношение Pr{*; | Xi-i fl *1-2 fl... П fl*i} = 1/(п — г + 1), поскольку при условии, что приоритеты элементов от А [1] до А [г — 1] равны от 1 до г — 1 (в порядке возрастания), каждый из оставшихся п — (г — 1) элементов имеет одинаковые шансы располагать г-м наименьшим приоритетом. Таким образом, справедливо следующее выражение:
Pr {*1 П *2 fl *3 fl... fl Xn_y fl Xn^ =
Тем самым доказано, что вероятность получения тождественной перестановки равна 1/п!.
Это доказательство можно обобщить на случай произвольной перестановки приоритетов. Рассмотрим произвольную фиксированную перестановку ст = = (ст (1), ст (2),..., а (п)) множества {1,2,..., п}. Обозначим через г, ранг приоритета, присвоенного элементу Л [г], причем элемент с /-м приоритетом имеет ранг, равный 3. Если мы определим Х< как событие, при котором элемент А [г] получает ст (г)-й приоритет (те. п = ст (г)), то можно провести доказательство, аналогичное приведенному выше. Таким образом, при вычислении вероятности получения той или иной конкретной перестановки рассуждения и расчеты будут идентичными изложенным выше. Поэтому вероятность получения такой перестановки также равна 1/п!.и
Возможно, некоторые читатели сделают вывод, что для доказательства того, что все случайные перестановки распределены с равной вероятностью, достаточно показать, что для каждого элемента А [г] вероятность оказаться в позиции 3 равна 1/п. Выполнив упражнение 5.3-4, можно убедиться, что это условие недостаточное.
Более предпочтительным методом получения случайной перестановки является способ, который заключается в перестановке элементов заданного массива “на месте”. С помощью процедуры Randomize_In_Place эту операцию можно выполнить за время О(п). В ходе г-й итерации элемент Л[г] случайным образом выбирается из множества элементов от А [г] до элемента А [п], после чего в последующих итерациях этот элемент больше не изменяется:
Randomize_In_Place^)
1 п «— length^A] 2 for г«— 1 to n 3 do Обменять Л[г] <-> Л[ВАКООМ(г, п)]
Покажем с помощью инварианта цикла, что в результате выполнения процедуры Randomize_In_Place получаются случайные перестановки с равномерным распределением. Назовем ^-перестановкой (размещением) данного п-элементно- го множества последовательность, состоящую из к элементов, выбранных среди п элементов исходного множества (см. приложение В). Всего имеется п!/(п — к)'. возможных ^-перестановок.
Лемма 5.5. В результате выполнения процедуры Randomize_In_Place получаются равномерно распределенные перестановки.
Доказательство. Воспользуемся сформулированным ниже инвариантом цикла. Непосредственно перед г-й итерацией цикла for из строк 2-3, вероятность того, что в подмассиве Л [1..г — 1] находится определенная (г — 1)-перестановка, равна (п — г + 1)!/п1.
Необходимо показать, что это утверждение истинно перед первой итерацией цикла, что итерации сохраняют истинность инварианта и что оно позволяет показать корректность алгоритма по завершении цикла.
Инициализация. Рассмотрим ситуацию, которая имеет место непосредственно перед первой итерацией цикла (г = 1). Согласно формулировке инварианта цикла, вероятность нахождения каждого размещения из 0 элементов в подмассиве Л [1..0] равна (п — г + l)!/n! = n!/n! = 1. Подмассив Л [1..0] — пустой, а 0-размещение по определению не содержит ни одного элемента. Таким образом, подмассив Л [1..0] содержит любое 0-размещение с вероятностью 1, и инвариант цикла выполняется перед первой итерацией.
Сохранение. Мы считаем, что перед г-ой итерацией вероятность того, что в подмассиве Л [1..г — 1] содержится заданное размещение г — 1 элементов, равна (п — г + 1)!/п1. Теперь нам нужно показать, что после г-ой итерации каждая из возможных г-перестановок может находиться в подмассиве Л [1..г] с вероятностью (п — г)!/п!.
Рассмотрим г-ю итерацию. Рассмотрим некоторое конкретное размещение г элементов и обозначим его элементы как (ж1, жг, • • • >$tY Это размещение состоит из размещения г — 1 элемента (ж1,Ж2,..., ^i-i), за которым следует значение хг, которое помещается в ходе выполнения алгоритма в элемент Л [г]. Пусть Еу обозначает событие, при котором в результате первых г — 1 итераций в подмассиве Л [1..г — 1] создается определенное размещение г — 1 элементов (ж1,Ж2,... ,ж<-1). Согласно инварианту цикла, Pr {Si} = = (п — г + 1)!/п!. Пусть теперь Е^ — событие, при котором в ходе г-ой итерации элементу Л [г] присваивается значение х^ Размещение (ж1, жг, • • •, ж;) формируется в подмассиве Л [1..г] только при условии, что происходят оба события — и Si, и Е^, так что мы должны вычислить значение Pr {S2 A Si}. Воспользовавшись уравнением (В. 14), получаем:
Pr {S2 П Si} = Pr {S2 I Si} Pr {Si} .
Вероятность Pr {S2 | Si} равна l/(n — г + 1), поскольку в строке 3 алгоритма производится случайный выбор величины ж^ из п — г + 1 элемента подмассива Л [г..п]. Таким образом, получаем:
Pr{S2nSi} = Pr{S2 I Si}Pr{Si} =
1 (n — г + 1)! (n — г)!
n — г +1 n!n!
Завершение. После завершения алгоритма г = n +1, поэтому заданное размещение п элементов находится в подмассиве Л [1..п] с вероятностью (п — п)!/п! = 1/п!.
Таким образом, в результате выполнения процедуры RandomizeInPlace получаются равномерно распределенные случайные перестановки.■
Рандомизированный алгоритм зачастую является самым простым и наиболее эффективным путем решения задачи. Время от времени вы будете встречаться с такими алгоритмами в данной книге.
Упражнения
1. У профессора возникли возражения против инварианта цикла, использующегося при доказательстве леммы 5.5. Он сомневается, что этот инвариант выполняется перед первой итерацией. Согласно его доводам, пустой подмассив не содержит никаких размещений из 0 элементов, поэтому вероятность того, что в таком подмассиве находится то или иное размещение, должна быть равна 0. Из этих рассуждений следует, что инвариант цикла перед первой итерацией не выполняется. Перепишите процедуру Randomize_In_Place таким образом, чтобы связанный с нею инвариант цикла перед первой итерацией применялся к непустому подмассиву, и соответствующим образом модифицируйте доказательство леммы 5.5.
2. Профессор решил разработать алгоритм, в результате выполнения которого получались бы все случайные перестановки, кроме тождественной. Он предложил такую процедуру:
PermuteJWithoutJdentity(X)
1 п <— length\A\
2 for i <— 1 to n — 1
3 do Обменять Л[г] X[Random(z 4-1, n)]
Добьется ли профессор поставленной цели с помощью этого кода?
3. Предположим, что вместо того, чтобы менять местами элемент Л [г] со случайно выбранным элементом из подмассива Л [г..п], мы меняем его местами с любым случайно выбранным элементом массива Л:
PERMUTE_WITH_ALL(Л)
1 п <— length\A\
2 for г <— 1 to n
3 do Обменять Л [г]Л[Какпом(1, п)]
Получится ли в результате выполнения этого кода равномерная случайная перестановка? Обоснуйте ваш ответ.
4. Профессор предложил для генерирования случайных перестановок с однородным распределением такую процедуру:
Permute_By_Cyclic(X)
n <— length\A\
offset <— Random(1, n)
for г <— 1 to n
do dest <— г + offset
if dest > n
then dest <— dest —n
B[des£] <— Л[г]
return В
Покажите, что элемент А [г] оказывается в определенной позиции массива В с вероятностью 1/п. Затем покажите, что алгоритм профессора ошибочен в том смысле, что полученные в результате его выполнения перестановки не будут распределены равномерно.
* 5.3-5. Докажите, что в результате выполнения процедуры Permute_By_SOrting вероятность отсутствия одинаковых элементов в массиве Р не меньше величины 1 — 1/п.
5.3-6. Объясните, как следует реализовать алгоритм Permute_By_Sorting в случае, когда два или более приоритета идентичны. Другими словами, алгоритм должен выдавать случайные равномерно распределенные перестановки даже в случае, когда два или большее количество приоритетов имеют одинаковые значения.
* 5.4 Вероятностный анализ и дальнейшее применение индикаторных случайных величин
В этом разделе повышенной сложности на четырех примерах иллюстрируется дальнейшее применение вероятностного анализа. В первом примере вычисляется вероятность того, что двое из к человек родились в один и тот же день года. Во втором примере рассматривается процесс случайного наполнения урн шарами, в третьем — исследуется событие, при котором в процессе бросания монеты несколько раз подряд выпадает орел. В последнем примере анализируется разновидность задачи о найме сотрудника, в которой решение о найме принимается без проведения собеседования со всеми кандидатами.
Парадокс дней рождения
Первым будет рассмотрен парадокс дней рождения. Сколько людей нужно собрать в одной комнате, чтобы вероятность совпадения даты рождения у двух из них достигла 50%? Полученное в результате решения этой задачи число на удивление мало. Парадокс в том, что это число намного меньше, чем количество дней в году.
Чтобы решить задачу, присвоим всем, кто находится в комнате, номера от 1 до к, где к — количество людей в комнате. Наличие високосных годов проигнорируем и предположим, что в каждом году п = 365 дней. Пусть bi — дата, на которую приходится день рождения г-й персоны (г = 1,2,..., к, 1 ^ bi ^ п). Предположим также, что дни рождения равномерно распределены по всему году, так что Pr {bi = г} = 1/п для всех г = 1,2,..., к и г = 1,2,..., п.
Вероятность того, что даты рождения двух человек г и j совпадают, зависит от того, является ли случайный выбор этих дат независимым. В дальнейшем предполагается, что дни рождения независимы, поэтому вероятность того, что г-й и j-й посетители комнаты родились в день г, можно вычислить следующим образом:
Pr {bi = г и bj = г} = Pr {bi = г} Pr {bj = г} = Y/n?.
Таким образом, вероятность того, что эти люди родились в один и тот же день, равна
ПП 11
Рг{г>, = ^} = ^Рг{^ = гиЬ,=г} = ^-^ = -.(5.7)
Г = 1Г=1
Интуитивно легче понять такое утверждение: если день рождения человека 6, зафиксирован, то вероятность того, что день рождения человека bj выпадет на эту же дату, равна 1 /п. Таким образом, вероятность того, что даты рождения двух человек г и j совпадают, равна вероятности того, что день рождения одного из них выпадет на заданную дату. Однако обратите внимание, что это совпадение основано на предположении о независимости дней рождения.
Теперь можно проанализировать вероятность того, что хотя бы двое из к людей родились в один и тот же день, рассматривая дополняющее событие. Вероятность совпадения хотя бы двух дней рождения равна 1, уменьшенной на величину вероятности того, что все дни рождения различаются. Событие, при котором все дни рождения различаются, можно представить так:
пВк = (^А{,1=1
где Ai — событие, состоящее в том, что день рождения г-го человека отличается от дня рождения j-ro человека для всех г < 3. Поскольку мы можем записать
(5.8)(5.8)Bk = Ak П Вк-\, из уравнения (В. 16) мы получим следующее рекуррентное соотношение:
(5.8)
(5.8)
Pr{Bfc} = Pr{Bk_i}Pr{A | Вк-Л.
начальное условие которого — Pr{Bi} = Рг{Л1} = 1. Другими словами, вероятность того, что дни рождения 61,62. ••• Лк различны, равна произведению вероятности того, что различны дни рождения 61,62,..., bk-i, на вероятность того, что bk / bi для i = 1,2,..., к — 1 при условии, что 61,62,..., 6*,_1 различны.
Если 61,62,..., 6fc-i различны, то условная вероятность того, что bk / bi для г = 1,2,..., к — 1, равна Рг { А| Вк-тД = (п — к + 1)/п, поскольку из п дней незанятыми остались только п — (к — 1). Итеративно применяя рекуррентное соотношение (5.8), получим:
Pr {Bfc} = Pr {Bfc_i} Рг {А | Вк-Л =
= Pr {Sfc-2} Pr {A-l I Bfc-2}Pr {A I Bfc-1} =
= Pr {Bl} Pr {А | Bl} Pr {Лз I B2} ... Pr {Ak 1 Bfc_i} == Pr {Bl} Pr {А | Bl} Pr {Лз I B2} ... Pr {Ak 1 Bfc_i} =
= Pr {Bl} Pr {А | Bl} Pr {Лз I B2} ... Pr {Ak 1 Bfc_i} =
= Pr {Bl} Pr {А | Bl} Pr {Лз I B2} ... Pr {Ak 1 Bfc_i} =
Неравенство (3.11), 1 + x ^ ex, дает нам следующее соотношение:
Pr {Bfc} e-1/ne-2/nе-(*-1)/п = e-Ei=h/n = e-k(k-l)/2n^
которое справедливо при — к (к — l)/2n ^ In (1/2). Итак, вероятность того, что все к дней рождения различаются, не меньше величины 1/2 при условии, что к (к — 1) > 2nln2. Решая квадратное уравнение относительно к, получим, что это условие выполняется при к > (1 + VI + 8nln2)/2, что при п = 365 дает условие к ^ 23. Таким образом, если в комнате не менее 23 человек, вероятность того, что хотя бы двое из них родились в один и тот же день, не меньше 1/2. А, например, на Марсе год длится 669 дней, поэтому для того, чтобы добиться того же эффекта исходя из продолжительности марсианского года, понадобилось бы собрать не менее 31 марсианина.
Анализ с помощью индикаторных случайных величин
Индикаторные случайные величины дают возможность проведения простого (хотя и приближенного) анализа парадокса дней рождения. Определим для каждой
пары (г,/) находящихся в комнате к людей индикаторную случайную величину Х^ (1 ^ г < j ^ к) следующим образом:
Xij = I {Дни рождения г и j совпадают} =
1 если дни рождения г и j совпадают, О в противном случае.
Согласно уравнению (5.7) вероятность того, что дни рождения двух людей совпадают, равна 1/п, поэтому, в соответствии с леммой 5.1, получаем:
Е [Ху] = Рг {Дни рождения ги j совпадают} = 1/п.
Полагая X случайной величиной, которая представляет собой количество пар людей, дни рождения которых совпадают, получим:
к кх VV Ху.
1=1 J=l+1
Применяя к обеим частям этого равенства операцию вычисления математического ожидания и воспользовавшись свойством ее линейности, получаем:
Е [X] = ЕЕ [X] = Ек кУ У Xij г=1 J=i+1к кУ У Xij г=1 J=i+1г=1 j=H-l4 'г=1 j=H-l4 'к (к— 1)2пк (к— 1)2п
Е [X] = Е
Е [X] = Е
к к
У У Xij г=1 J=i+1
к к
У У Xij г=1 J=i+1
г=1 j=H-l4 '
г=1 j=H-l4 '
к (к— 1)2п
к (к— 1)2п
Поэтому если к (к — 1) > 2п, математическое ожидание количества пар людей, родившихся в один и тот же день, не меньше 1. Таким образом, если в комнате как минимум V2n + 1 людей, то можно ожидать, что хотя бы у двух из них дни рождения совпадают. При п = 365 и к = 28 математическое ожидание количества пар, родившихся в один и тот же день, равно (27 • 28)/(2 • 365) « 1.0356. Таким образом, если в комнате находится 28 человек, то следует ожидать, что хотя бы у двух из них день рождения совпадет. На Марсе, где год длится 669 дней, для того, чтобы добиться того же эффекта, понадобилось бы собрать не менее 38 марсиан.
В первом анализе, в котором использовались только вероятности, определялось, сколько людей нужно собрать, чтобы вероятность существования пары с совпадающими днями рождения превысила 1/2. В ходе второго анализа, в котором использовались индикаторные случайные величины, определялось количество людей, при котором математическое ожидание числа пар с одним днем рождения на двоих равно 1. Несмотря на то, что в этих двух ситуациях точное количество людей различается, в асимптотическом пределе оно одинаково: 0 (\/п).
Шары и урны
Рассмотрим процесс случайного наполнения b урн одинаковыми шарами, пронумерованными натуральными числами от 1 до Ь. Шары опускаются в урны независимо друг от друга, и вероятность того, что шар окажется в некоторой из урн, одинакова для всех урн и равна 1/Ь. Таким образом, процесс заполнения урн шарами представляет собой последовательность испытаний по схеме Бернулли (см. приложение В) с вероятностью успеха 1/Ь, где успех состоит в том, что шар попадает в заданную урну. В частности, эта модель может оказаться полезной при анализе хеширования (см. главу 11).
Сколько шаров окажется в заданной урне? Количество шаров, попавших в определенную урну, подчиняется биномиальному распределению Ь(/сп, 1/Ь). Если всего в урны было опущено п шаров, то, согласно уравнению (В.36), математическое ожидание количества шаров в урне равно п/Ь.
Сколько в среднем требуется шаров для того, чтобы в данной урне оказался один шар? Количество шаров, которое требуется для того, чтобы в данной урне оказался шар, подчиняется геометрическому распределению с вероятностью 1/Ь и, согласно уравнению (В.31), математическое ожидание количества шаров, которое следует опустить в урны, равно 1/ (1/Ь) = Ь.
Сколько шаров нужно опустить в урны для того, чтобы в каждой из них оказалось хотя бы по одному шару? Назовем “попаданием” опускание шара в пустую урну. Нам надо определить математическое ожидание количества опусканий п, необходимых для b попаданий.
С помощью попаданий, п опусканий можно разбить на этапы. Этап под номером г длится от г — 1-го попадания до г-го попадания. Первый этап состоит из одного (первого) опускания, поскольку если все урны пусты, то мы с необходимостью получим попадание. На г-м этапе имеется г - 1 корзина с шарами и Ь — г + 1 пустых корзин. Таким образом, при каждом опускании шара на г-м этапе вероятность попадания равна (Ь — г 4- 1)/Ь.
Пусть гц — количество опусканий на г-м этапе. Тогда количество шаров, необходимых для попадания в b урн, равно n = J2y=1 Tiv Все случайные значения тц подчиняются геометрическому распределению с вероятностью успеха (Ь — г + 1)/Ь, и, в соответствии с уравнением (В.31),
Пользуясь линейностью математического ожидания, получаем:
Е [n] = ЕЕ [n] = Е6ь к1
Е [n] = Е
Е [n] = Е
Е Е м = Е ь ^ 7 = 6 (|п 6 + °(1)) ■г=1г=1?=1
Последняя строка этой цепочки следует из границы (А.7) конечного гармонического ряда. Таким образом, прежде чем в каждой урне окажется хотя бы по одному шару, понадобится приблизительно Мп Ь шаров.
Последовательности выпадения орлов
Предположим, что монета подбрасывается п раз. Какое количество последовательных выпадений орла можно ожидать? Как покажет последующий анализ, эта величина ведет себя как 0 (lg п).
Докажем сначала, что математическое ожидание длины наибольшей последовательности орлов представляет собой O(lgn). Вероятность того, что при очередном подбрасывании выпадет орел, равна 1/2. Пусть А^ — событие, когда последовательность выпадений орлов длиной не менее к начинается с г-го подбрасывания, или, более строго, А^ — событие, когда при к последовательных подбрасываниях монеты г, г + 1,..., г + к — 1 (1 к < п и 1 г п — А: + 1) будут выпадать одни орлы. Поскольку подбрасывания монеты осуществляются независимо, для каждого данного события А^к вероятность того, что во всех к подбрасываниях выпадут одни орлы, определяется следующим образом:
(5.9)(5.9)Рг {Л^} = l/2fc.
(5.9)
(5.9)
Для к = 2 fig п"| можно записать
РгКагм} = l/Z2^"1 ' 1/22"" = 1/п2,
так что вероятность того, что последовательность повторных выпадений орлов длиной не менее 2 figпД начинается с г-го подбрасывания, довольно невелика. Имеется не более п — 2 fig п"| 4-1 подбрасываний, с которых может начаться указанная последовательность орлов. Таким образом, вероятность того, что последовательность повторных выпадений орлов длиной не менее 2 figпД начинается при любом подбрасывании, равна
Рг <Рг <п-2 [lg nl + 1U A,2[lgnl ►г=1п-2 [lg nl + 1U A,2[lgnl ►г=1п-2 [1g п]+1п-2 [1g п]+1г=1г=11тг21тг2ппг=1г=111тгтг(5.10)(5.10)
Рг <
Рг <
п-2 [lg nl + 1
U A,2[lgnl ►
г=1
п-2 [lg nl + 1
U A,2[lgnl ►
г=1
п-2 [1g п]+1
п-2 [1g п]+1
г=1
г=1
1тг2
1тг2
п
п
г=1
г=1
1
1
тг
тг
(5.10)
(5.10)
Справедливость этого соотношения следует из неравенства Буля (В. 18), согласно которому вероятность объединения событий не превышает сумму вероятностей отдельных событий. (Заметим, что неравенство Буля выполняется даже для тех событий, которые не являются независимыми.)
Теперь воспользуемся неравенством (5.10) для ограничения длины самой длинной последовательности выпадения орлов. Пусть Lj (j = 0,1,2,..., тг) —событие,
когда длина самой длинной последовательности выпадения орлов равна j. В соответствии с определением математического ожидания
п
E[L] = ^jPr{L,}.(5.11)
з=о
Можно попытаться оценить эту сумму с помощью верхних границ каждой из величин Pr{Lj} аналогично тому, как это было сделано в неравенстве (5.10). К сожалению, этот метод не может обеспечить хороших оценок. Однако достаточно точную оценку можно получить с помощью некоторых интуитивных рассуждений, которые вытекают из проведенного выше анализа. Присмотревшись внимательнее, можно заметить, что в сумме (5.11) нет ни одного слагаемого, в котором оба множителя — j и Pr{Lj} — были бы большими. Почему? При j > 2 flgn) величина Pr {Lj} очень мала, а при j < 2 flgn) оказывается невелико само значение j. Выражаясь более формально, можно заметить, что события Lj, j = 0,1,..., п несовместимые, поэтому вероятность того, что непрерывная последовательность выпадения орлов длиной не менее 2 fig п) начинается с любого подбрасывания монеты, равна ^”_2pgni Pr {Lj}. Согласно неравенству (5.10), мы имеем ^”_2pgn] Рг{^} < Vn- Кр°ме того, из ^”_0Pr{£j} = 1 вытекает IZjS^-1 Рг {^'} ^ 1- Таким образом, мы получаем:
п2rignl—1п
ещ =^зРг{г,}=5252 jpr№}<
3=03=0j=2rign]
2rign]-ln
< 52 (2rig"i)Pr(M + Z "Рг{ед =3=0j=2flgnl
2[lgn]—1n
= 2 [Ign] 52 Pr(L,}+n 52 Pr{Lj}<j=0j=2rign]
< 2 flgn) • 1 + n • (1/n) = О (Ign).
Шансы на то, что длина последовательности непрерывных выпадений орла превысит величину г flgn), быстро убывает с ростом г. Для г > 1 вероятность того, что последовательность т fig п) начнется с г-го подбрасывания, равна
Pr{A,rrignl} = l/2rrign4
Таким образом, вероятность образования непрерывной цепочки из последовательных выпадений орла, имеющей длину не менее г flgn), не превышает п/пг = = 1/пг-1. Это утверждение эквивалентно утверждению, что длина такой цепочки меньше величины г flgn) с вероятностью не менее чем 1 — 1/пг-1.
В качестве примера рассмотрим серию из п = 1000 подбрасываний монеты. Вероятность того, что в этой серии орел последовательно выпадет не менее 2 fig п] = 20 раз, не превышает 1/п = 1/1000. Вероятность непрерывного выпадения орла более 3 [1g п] = 30 раз не превышает 1/п2 = 1/1000 000.
Теперь давайте рассмотрим дополняющую нижнюю границу и докажем, что математическое ожидание длины самой длинной непрерывной последовательности выпадений орлов в серии из п подбрасываний равно Q (lg п). Чтобы доказать справедливость этого утверждения, разобьем серию из п подбрасываний приблизительно на n/s групп по s подбрасываний в каждой. Если выбрать s = [(lg n)/2J, то можно показать, что с большой вероятностью по крайней мере в одной из этих групп окажутся все орлы, те. самая длинная последовательность выпадения орлов имеет длину как минимум s = Q(lgn). Затем мы покажем, что математическое ожидание длины такой последовательности равно Q (lg п).
Итак, разобьем серию из п испытаний на несколько групп. Количество групп должно быть не менее [n/[(lgn)/2jj; их длина не превышает [(lgn)/2j подбрасываний. Оценим вероятность того, что в каждой из групп выпадет хотя бы по одной решке. Согласно уравнению (5.9), вероятность того, что в группе, которая начинается с г-го подбрасывания, выпадут все орлы, определяется как
Pr{A,L(lgn)/2j} = 2L(lgn)/2j
Таким образом, вероятность того, что последовательность непрерывного выпадения орлов длиной не менее [(lgn)/2j не начинается с г-го подбрасывания, не превышает величину 1 — 1/^п. Поскольку все [n/[(lgn)/2jj групп образуются из взаимно исключающих независимых подбрасываний, вероятность того, что каждая такая группа не будет последовательностью выпадений орлов длиной [(lg п)/2J, не превышает величину
(1 - l/v^)Ln/L(lgn)/2jJ ^ (1 - ^)"/№”)/21-1 ^ (1 _ ^n/ign-i e-(2n/lgn-l)/^ = Q (e-lgn) = Q .
В приведенной выше цепочке соотношений было использовано неравенство (3.11), 1 + х С е®, и тот факт, что при достаточно больших п справедливо соотношение (2n/lg п — 1)/V^ ^ lg п (при желании вы можете в этом убедиться самостоятельно).
Таким образом, вероятность того, что длина самой большой последовательности выпадений орлов превосходит величину [(lg n)/2j, равна
п
J2 Pr {Lj} ^ 1 — О (1/п).(5.12)
j=[(lgn)/2j-H
Теперь можно вычислить нижнюю границу математического ожидания длины самой длинной последовательности орлов. Воспользовавшись в качестве отправной точки уравнением (5.11) и выполнив преобразования, аналогичные проведенным при анализе верхней границы, с учетом неравенства (5.12), получим:
nL0sn)/2Jп
Е[Л] = £7Рг{^}= 52 jPr{L,}+ £ jPr{L,}>
3=03=0J=[(lgn)/2j+l
L(lg«)/2Jn
> 52 о-вд+ 52 LOg^^jpri^} =
3=0j=L(lgn)/2]+l
I(lgn)/2Jn
= 0. 52 Pr^j + LOgn)^ 52Pr{L,}^
3=0j=[(lgn)/2j+l
^ 0 + L(lgn)/2J (1-0 (1/n)) = Q (Ign).
Как в предыдущем примере, более простой, но менее точный анализ можно провести с помощью индикаторных случайных величин. Пусть Xtk = I{Afc} - индикаторная случайная величина, связанная с последовательным выпадением не менее к орлов, начиная с г-го подбрасывания монеты. Чтобы подсчитать количество таких последовательностей, определим:
71 —&+1х = 52 xik.
1=1
Вычисляя от обеих частей этого равенства математическое ожидание, получим:
п—fc+1
Е Е№‘1 =
г=1
Подставляя в полученное соотношение различные значения к. можно определить математическое ожидание количества последовательностей длины к. Если это число окажется большим (намного превышающим единицу), то последовательности выпадения орлов, имеющие длину к, встречаются с большой вероятностью. Если же это число намного меньше единицы, то встретить такую последовательность в серии испытаний маловероятно. Если к = сIgn для некоторой положительной константы с, то мы получим:
Если число с достаточно большое, математическое ожидание количества непрерывных выпадений орла длиной с 1g п очень мало, из чего можно заключить, что это событие маловероятно. С другой стороны, если с < 1/2, то мы получаем, что Е[Х] = © (1/п1/2"1) = 0 (п1/2), и можно ожидать, что будет немало последовательностей орлов длины (1/2)1g п. Поэтому вероятность того, что встретится хотя бы одна такая последовательность, достаточно велика. Исходя лишь из этих грубых оценок, можно заключить, что ожидаемая длина самой длинной последовательности орлов равна 0 (1g п).
Задача о найме сотрудника в оперативном режиме
В качестве последнего примера рассмотрим одну из разновидностей задачи о найме сотрудника. Предположим, что в целях выбора наиболее подходящего кандидата мы не будем проводить собеседование со всеми претендентами. Мы не хотим повторять процедуру оформления на работу нового сотрудника и увольнения старого в поисках наиболее подходящей кандидатуры. Вместо этого мы попытаемся подыскать такого кандидата, который максимально приблизится к наивысшей степени соответствия должности. При этом необходимо соблюдать одно условие: после каждого интервью претенденту нужно либо сразу предложить должность, либо сообщить ему об отказе. Как достичь компромисса между количеством проведенных интервью и квалификацией взятого на работу кандидата?
Смоделируем эту задачу таким образом. После встречи с очередным кандидатом каждому из них можно дать оценку. Обозначим оценку г-го кандидата как score (г) и предположим, что всем претендентам выставлены разные оценки. После встречи с з кандидатами будет известно, какой из этих j претендентов на должность получил максимальную оценку, однако остается неизвестным, найдется ли среди оставшихся n—j кандидатов человек с более высокой квалификацией. Будем придерживаться следующей стратегии: выберем положительное целое число к < п, проведем интервью с к претендентами, отказав им в должности, а затем возьмем на работу первого из последующих п — к претендентов, оценка которого будет превышать оценки всех предыдущих кандидатов. Если же самый квалифицированный специалист окажется среди первых к претендентов, то придется взять на работу n-го кандидата. Формальная реализация этой схемы представлена в приведенной ниже процедуре ON_LiNE_MAXlMUM(fc,n), которая возвращает номер нанимаемого кандидата:
On_Line_Maximum(A:, п)
bestscore <оо
for i <— 1 to к
do if scored > bestscore
then bestscore <— scored
for i <— к 4-1 to n
do if score(i) > bestscore
then return г
return n
Определим для каждого положительного к вероятность того, что будет нанят наиболее квалифицированный претендент. Затем выберем наилучшее из всех значений к и реализуем описанную стратегию с этим значением. Пока что полагаем к фиксированным. Обозначим как М (j) = maxi^j^ {score (г)} наивысшую оценку кандидатов с номерами от 1 до j. Пусть S — событие, определяемое как выбор самого квалифицированного кандидата, a St — событие, при котором самым квалифицированным нанятым на работу кандидатом оказался г-й. Поскольку все события St являются взаимоисключающими, выполняется соотношение Pr{S} = 53^-! Рг {Sj}. Поскольку, согласно нашей стратеги, ни один из первых к претендентов на работу не принимается, Pr {Si} = 0 для г = 1,2,..., к. Таким образом, получаем соотношение:
п
Pr{S}= £ Pr {Si}.(5.13)
г=/с+1
Теперь вычислим величину Pr {Si}. Чтобы был принят на работу г-й кандидат, необходимо выполнение двух условий. Во-первых, на г-й позиции должен оказаться самый квалифицированный кандидат (обозначим это событие как Bi), а во-вторых, в ходе выполнения алгоритма не должен быть выбран ни один из претендентов, пребывающий на позициях с А:+1-й по г—1-ю. Второе событие произойдет только тогда, когда при всех j, таких что k+l^j^i—1,в строке 6 будет выполняться условие score (j) < bestscore. (Поскольку оценки не повторяются, возможность равенства score (j) = bestscore можно проигнорировать.) Другими словами, все оценки от score (к + 1) до score (г — 1) должны быть меньше М (к); если же одна из них окажется больше М (к), то будет возвращен индекс первой из оценок, превышающей все предыдущие. Обозначим через Oi событие, что не взят на работу ни один из претендентов, проходивших собеседование под номерами от А:+1 до г — 1. К счастью, события Bi и О г независимы. Событие О г зависит только от порядка нумерации кандидатов, которые находятся на позициях от 1 до г — 1, а событие Bi зависит только от того, превышает ли оценка кандидата г оценки всех прочих кандидатов. Порядок оценок в позициях от 1 до г — 1 не влияет на то, превышает ли оценка г-ro претендента все предыдущие оценки, а квалификация г-го кандидата не влияет на расположение кандидатов с порядковыми номерами от 1 до г — 1. Применив уравнение (В. 15), получим:
Pr {Si} = Pr {Д П Oi} = Pr {Bi} Pr {GJ.
Ясно, что вероятность Рг{Вг} равна 1/п, поскольку каждый из п кандидатов может получить наивысшую оценку с равной вероятностью. Чтобы произошло
событие О7, наиболее квалифицированный кандидат среди претендентов с номерами от 1 до г — 1 должен находиться на одной из первых к позиций. Он с равной вероятностью может оказаться на любой из этих г — 1 позиций, поэтому Pr{(9i} = k/(i — 1) и, соответственно, Pr{Si} = к/(п (г — 1)). Воспользовавшись уравнением (5.13), получим:
пп кPr{S)= Е^П Е?=k+li=k-H V 7пп кPr{S)= Е^П Е?=k+li=k-H V 7к у 1 /у1
пп к
Pr{S)= Е^П Е
?=k+li=k-H V 7
пп к
Pr{S)= Е^П Е
?=k+li=k-H V 7
п г — 1 п “ г' г=/с+1i=k
п—1п—1к-1к-1Ограничим приведенную выше сумму сверху и снизу, заменив суммирование интегрированием. Согласно неравенствам (А. 12), получаем:
п—1
п—1
к-1
к-1
1 , —ах, х
Вычисление этих определенных интегралов дает нам величины верхней и нижней границ: кк
— (In n — In А:) < Pr {S} < — (In (n — 1) — In (A: — 1)),
71n
что приводит к достаточно точной оценке величины Pr {S}. Поскольку нам нужно максимально повысить вероятность успешного исхода, постараемся выбрать значение к. при котором нижняя граница Pr{S} имеет максимум. (Выбор нижней границы продиктован еще и тем, что найти ее максимум легче, чем максимум верхней границы.) Дифференцируя (n/A:) (Inn — In А:) по к, получаем:
— (Inn — In А: — 1). п
Приравнивая производную к нулю, найдем, что нижняя граница интересующей нас вероятности достигает максимального значения, когда In А: = In п — 1 или, что то же самое, когда к = nfe. Таким образом, реализовав описанную выше стратегию при к = n/с, мы наймем самого достойного кандидата с вероятностью, не меньшей 1/е.
Упражнения
1. Сколько человек должно собраться в комнате, чтобы вероятность того, что день рождения у кого-нибудь из них совпадет с вашим, была не меньшей 1/2? Сколько человек необходимо, чтобы вероятность того, что хотя бы двое из них родились 20 февраля, превысила величину 1/2?
2. Предположим, что b урн наполняются шарами. Каждое опускание шара происходит независимо от других, и шар с равной вероятностью может оказаться в любой урне. Чему равно математическое ожидание количества шаров, которое необходимо опустить для того, чтобы хотя бы в одной урне оказалось два шара?
* 5.4-3. При анализе парадокса дней рождения было принято предположение о взаимной независимости всех дней рождения. Является ли это предположение существенным, или достаточно попарной независимости? Обоснуйте ваш ответ.
* 5.4-4. Сколько человек нужно пригласить на вечеринку, чтобы вероятность того, что трое из них родились в один и тот же день, достигла заметной величины?
* 5.4-5. Какова вероятность того, что строка длиной к, составленная из символов n-элементного множества, является размещением к элементов этого множества? Как этот вопрос связан с парадоксом дней рождения?
* 5.4-6. Предположим, что п шаров распределяется по п урнам. Каждый шар опускается независимо от других и с равной вероятностью может оказаться в любой из урн. Чему равно математическое ожидание количества пустых урн? Чему равно математическое ожидание количества урн с одним шаром?
* 5.4-7. Уточните нижнюю оценку длины последовательности выпадений орлов. Для этого покажите, что при п подбрасываниях симметричной монеты вероятность того, что такая последовательность будет не длиннее 1g п — 2 lg lg п, меньше 1/n.
Задачи
5-1. Вероятностный подсчет
С помощью Ь-битового счетчика можно вести подсчет до 2b — 1 элементов. Предложенный Моррисом (R. Morris) вероятностный подсчет (probabilistic counting) позволяет проводить нумерацию намного большего количества элементов ценой потери точности.
Пусть значение переменной-счетчика г = 0,1,...,26 — 1 означает номер элемента п; возрастающей последовательности неотрицательных чисел. Предположим, что начальное значение счетчика равно нулю, т.е. по = 0. Операция Increment увеличивает значение счетчика г случайным образом. Если г = 2b — 1, то в результате этого действия выдается сообщение о переполнении. В противном случае значение счетчика с вероятностью
l/(ni+i — nJ возрастает на единицу и остается неизменным с вероятностью 1 - 1/(Пг+1 - nJ.
Если для всех г > О выбрать Пг = г, то мы получим обычный счетчик. Более интересная ситуация возникает, если выбрать, скажем, тц = 2г или тц = Ft (г-е число Фибоначчи; см. раздел 3.2).
В задаче предполагается, что число п2ь_1 достаточно большое, чтобы вероятностью переполнения можно было пренебречь.
Покажите, что математическое ожидание значение счетчика после применения к нему п операций Increment равно п.
Дисперсионный анализ значения счетчика зависит от выбора последовательности Пг. Рассмотрим простой случай, когда п^ = 100г для всех г ^ 0. Оцените дисперсию значения счетчика после выполнения операции Increment п раз.
5-2. Поиск в неотсортированном массиве
В этой задаче исследуются три алгоритма поиска значения ж в неотсортированном n-элементном массиве А.
Рассмотрим следующую рандомизированную стратегию. Выбираем элемент массива А с произвольным индексом г и проверяем справедливость равенства А [г] = ж. Если оно выполняется, то алгоритм завершается. В противном случае продолжаем поиск, случайным образом выбирая новые элементы массива А. Перебор индексов продолжается до тех пор, пока не будет найден такой индекс j, что A [j] = х. или пока не будут проверены все элементы массива. Заметим, что выбор каждый раз производится среди всех индексов массива, поэтому круг поиска не сужается и один и тот же элемент может проверяться неоднократно.
Напишите псевдокод процедуры Random_Search, реализующей описанную стратегию. Позаботьтесь, чтобы алгоритм прекращал работу после того, как будут проверены все индексы массива.
Предположим, что имеется всего один индекс г, такой что А [г] = = х. Чему равно математическое ожидание количества индексов в массиве А, которые будут проверены до того, как будет найден элемент х и процедура Random_Search завершит работу?
Обобщите решение сформулированной в части б задачи, при условии, что имеется к ^ 1 индексов г, таких что А [г] = х. Чему равно математическое ожидание количества индексов в массиве А, которые будут проверены до того, как будет найден элемент х и процедура Random Search завершит работу? Ответ должен зависеть от величин пик.
Предположим, что условие Л [г] = ж не выполняется ни для какого элемента массива А. Чему равно математическое ожидание количества индексов в массиве А, которые придется проверить до того, как будут проверены все элементы и процедура Randoms earch завершит работу?
Теперь рассмотрим детерминированный алгоритм линейного поиска Deterministic_Search. В этом алгоритме поиск элемента х производится путем последовательной проверки элементов А [1], А [2],..., А [п] до тех пор, пока не произойдет одно из двух событий: либо будет найден элемент А [г] = ж, либо будет достигнут конец массива. Предполагается, что все возможные перестановки элементов входного массива встречаются с одинаковой вероятностью.
Предположим, что имеется всего один индекс г, такой что А [г] = х. Чему равно математическое ожидание времени работы процедуры Deterministic_Search? Как ведет себя эта величина в наихудшем случае?
Обобщите решение сформулированной в части д задачи, при условии, что имеется к ^ 1 индексов г, для которых А [г] = х. Чему равно математическое ожидание времени работы процедуры Deter- ministic_Search? Как ведет себя эта величина в наихудшем случае? Ответ должен зависеть от величин пик.
Предположим, что условие А [г] = х не выполняется ни для какого элемента массива А. Чему равно математическое ожидание времени работы процедуры Deterministic Search? Как ведет себя эта величина в наихудшем случае?
Наконец, рассмотрим рандомизированный алгоритм Scramble_Search, в котором сначала выполняется случайная перестановка элементов входного массива, а затем в полученном массиве выполняется описанный выше линейный детерминированный поиск.
Пусть к — количество индексов г, таких что А [г] = х. Определите математическое ожидание времени работы процедуры SCRAM- ble_Search и время ее работы в наихудшем случае для значений к = 0 и к = 1. Обобщите решение для случая к ^ 1.
Какой из трех представленных алгоритмов вы бы предпочли? Объясните свой ответ.
Заключительные замечания
Описание большого количества усовершенствованных вероятностных методов можно найти в книгах Боллобаса (Bollobas) [44], Гофри (Hofri) [151] и лекциях Спенсера (Spencer) [283]. Обзор и обсуждение преимуществ рандомизированных алгоритмов представлен в работах Карпа (Karp) [174] и Рабина (Rabin) [253]. Кроме того, рандомизированные алгоритмы подробно рассмотрены в учебнике Мотвани (Motwani) и Рагтвагана (Raghtvagan) [228].
Различные варианты задачи о найме сотрудника изучались многими исследователями. Этот класс задач более известен как “задачи о секретарях”. Примером работы в этой области является статья Айтаи (Ajtai), Меггидо (Meggido) и Ваартса (Waarts) [12].
ЧАСТЬ II
Сортировка и порядковаястатистика
Введение
В этой части представлено несколько алгоритмов, с помощью которых можно решить следующую задачу сортировки.
Вход: последовательность, состоящая из п чисел (ai, 02,..., апу
Выход: перестановка (изменение порядка) (ар^,...,^) входной последовательности таким образом, что а’х ^ а'^ ^ • • • ^ а!п.
Входная последовательность обычно представляется в виде п-элементного массива, хотя она может иметь и другое представление, например, в виде связанного списка.
Структура данных
На практике сортируемые числа редко являются изолированными значениями. Обычно каждое из них входит в состав набора данных, который называется записью (record). В каждой записи содержится ключ (key), представляющий собой сортируемое значение, в то время как остальная часть записи нередко состоит из сопутствующих данных, дополняющих ключ. Алгоритм сортировки на практике должен быть реализован так, чтобы он вместе с ключами переставлял и сопутствующие данные. Если каждая запись включает в себя сопутствующие данные большого объема, то с целью свести к минимуму перемещение данных сортировка часто производится не в исходном массиве, а в массиве указателей на записи.
В определенном смысле сделанное выше замечание относится к особенностям реализации, отличающим алгоритм от конечной программы. Метод, с помощью которого процедура сортировки размещает сортируемые величины в нужном порядке, не зависит от того, сортируются ли отдельные числа или большие записи. Таким образом, если речь идет о задаче сортировки, обычно предполагается, что входные данные состоят только из чисел. Преобразование алгоритма, предназначенного для сортировки чисел, в программу для сортировки записей не представляет концептуальных трудностей, хотя в конкретной практической ситуации иногда возникают различные тонкие нюансы, усложняющие задачу программиста.
Почему сортировка?
Многие исследователи, работающие в области вычислительной техники, считают сортировку наиболее фундаментальной задачей при изучении алгоритмов. Тому есть несколько причин.
Иногда в приложении не обойтись без сортировки информации. Например, чтобы подготовить отчет о состоянии счетов клиентов, банку необходимо выполнить сортировку чеков по их номерам.
Часто в алгоритмах сортировка используется в качестве основной подпрограммы. Например, программе, выполняющей визуализацию перекрывающихся графических объектов, которые находятся на разных уровнях, сначала может понадобиться отсортировать эти объекты по уровням снизу вверх, чтобы установить порядок их вывода. В этой книге мы ознакомимся с многочисленными алгоритмами, в которых сортировка используется в качестве подпрограммы.
Имеется большой выбор алгоритмов сортировки, в которых применяются самые разные технологии. Фактически в алгоритмах сортировки используются многие важные методы (зачастую разработанные еще на заре компьютерное эры), применяемые при разработке различных классов алгоритмов. В этом отношении задача сортировки представляет также исторический интерес.
Сортировка — это задача, для которой можно доказать наличие нетривиальной нижней границы (что будет сделано в главе 8). Найденные верхние границы в асимптотическом пределе совпадают с нижней границей, откуда можно заключить, что наши алгоритмы сортировки являются асимптотически оптимальными. Кроме того, нижние оценки алгоритмов сортировки можно использовать для поиска нижних границ в некоторых других задачах.
В процессе реализации алгоритмов сортировки на передний план выходят многие прикладные проблемы. Выбор наиболее производительной программы сортировки в той или иной ситуации может зависеть от многих факторов, таких как предварительные знания о ключах и сопутствующих данных, об иерархической организации памяти компьютера (наличии кэша и виртуальной памяти) и программной среды. Многие из этих вопросов можно рассматривать на уровне алгоритмов, а не кода.
Алгоритмы сортировки
В главе 2 читатель имел возможность ознакомиться с двумя алгоритмами, производящих сортировку п действительных чисел. Сортировка методом вставок в наихудшем случае выполняется за время 0 (™2)- Несмотря на далеко не самое оптимальное асимптотическое поведение этого алгоритма, благодаря компактности его внутренних циклов он быстро справляется с сортировкой массивов с небольшим количеством элементов “на месте” (без дополнительной памяти, т.е. без выделения отдельного массива для работы и хранения выходных данных). (Напомним, что сортировка выполняется без дополнительной памяти лишь тогда, когда алгоритму требуется только определенное постоянное количество элементов вне исходного массива.) Сортировка методом слияния в асимптотическом пределе ведет себя как 0(nlgn), что лучше, чем 0 (^2), но процедура Merge, которая используется в этом алгоритме, не работает без дополнительной памяти.
В этой части вы ознакомитесь еще с двумя алгоритмами, предназначенными для сортировки произвольных действительных чисел. Представленный в главе 6 метод пирамидальной сортировки позволяет отсортировать п чисел за время O(n\g>iiY В нем используется важная структура данных, пирамида, или куча (heap), которая также позволяет реализовать приоритетную очередь.
Рассмотренный в главе 7 алгоритм быстрой сортировки также сортирует п чисел “на месте”, но время его работы в наихудшем случае равно 0 (^2)- Тем не менее, в среднем этот алгоритм выполняется за время 0 (п lg п) и на практике по производительности превосходит алгоритм пирамидальной сортировки. Код алгоритма быстрой сортировки такой же компактный, как и код алгоритма сортировки вставкой, поэтому скрытый постоянный множитель, влияющий на величину времени работы этого алгоритма, довольно мал. Алгоритм быстрой сортировки приобрел широкую популярность для сортировки больших массивов.
Алгоритмы сортировки, работающие по методу вставок и слияния, а также алгоритмы пирамидальной и быстрой сортировки имеют одну общую особенность — все они работают по принципу попарного сравнения элементов входного массива. В начале главы 8 рассматривается модель дерева принятия решения, позволяющая исследовать ограничения производительности, присущие алгоритмам данного типа. С помощью этой модели доказывается, что в наихудшем случае нижняя оценка, ограничивающая время работы любого алгоритма, работающего по методу сравнения, равна Q (nlgn). Это означает, что алгоритмы пирамидальной сортировки и сортировки слиянием являются асимптотически оптимальными.
Далее в главе 8 показано, что нижнюю границу Q (п lg п) можно превзойти, если информацию о порядке расположения входных элементов можно получить методами, отличными от попарного сравнения. Например, в алгоритме сортировки, работающем по методу перечисления, предполагается, что входные данные образуют множество чисел {0,1,2,..., ку Используя в качестве инструмента для определения относительного порядка элементов массива механизм индексации, алгоритм сортировки перечислением может выполнить сортировку п чисел за время 0 (п + к). Таким образом, если к = О (пУ то время работы этого алгоритма линейно зависит от размера входного массива. Родственный алгоритм поразрядной сортировки может быть использован для расширения области применения сортировки перечислением. Если нужно выполнить сортировку п d-значных чисел, где каждая цифра может принимать до к возможных значений, то алгоритм поразрядной сортировки справится с этой задачей за время 0 (d(n + к)). Если d — константа, а величина к ведет себя как О (пУ то время выполнения этого алгоритма линейно зависит от размера входного массива. Для применения третьего алгоритма, алгоритма блочной сортировки, необходимы знания о распределении чисел во входном массиве. Этот алгоритм позволяет выполнить сортировку п равномерно распределенных на полуоткрытом интервале [0,1) чисел в среднем за время О (п).
Порядковая статистика
В множестве, состоящем из п чисел, г-й порядковой статистикой называется г-е по величине значение в порядке возрастания. Конечно же, г-ю порядковую статистику можно выбрать путем сортировки входных элементов и индексирования г-ro значения в выходных данных. Если не делается никаких предположений о распределении входных элементов, время работы данного метода равно Q (n lg п), как следует из величины нижней границы, найденной в главе 8.
В главе 9 будет показано, что г-й по величине (в порядке возрастания) элемент можно найти за время О (п), что справедливо даже для случая произвольных действительных чисел. Мы покажем в этой главе алгоритм с компактным псевдокодом, время работы которого в наихудшем случае равно © (п2), а в среднем линейно возрастает с увеличением количества входных элементов. Там же описан и более сложный алгоритм, время работы которого даже в наихудшем случае равно О (тг).
Теоретическая подготовка
В основном в этой части не используется сложная математика, однако для освоения некоторых разделов требуется знание определенных разделов математики. В частности, при анализе алгоритмов быстрой сортировки, блочной сортировки и алгоритма порядковой статистики используются некоторые положения теории вероятности, рассмотренные в приложении В, а также материал по вероятностному анализу и рандомизированным алгоритмам из главы 5. Анализ алгоритма порядковой статистики в наихудшем случае содержит более сложные математические выкладки, чем используемые при анализе других рассмотренных в этой части алгоритмов.
ГЛАВА 6
Пирамидальная сортировка
В этой главе описывается еще один алгоритм сортировки, а именно — пирамидальная сортировка. Время работы этого алгоритма, как и время работы алгоритма сортировки слиянием (и в отличие от времени работы алгоритма сортировки вставкой), равно O(nlgn). Как и сортировка методом вставок, и в отличие от сортировки слиянием, пирамидальная сортировка выполняется без привлечения дополнительной памяти: в любой момент времени требуется память для хранения вне массива только некоторого постоянного количества элементов. Таким образом, в пирамидальной сортировке сочетаются лучшие особенности двух рассмотренных ранее алгоритмов сортировки.
В ходе рассмотрения пирамидальной сортировки мы также познакомимся с еще одним методом разработки алгоритмов, а именно — использованием специализированных структур данных для управления информацией в ходе выполнения алгоритма. В рассматриваемом случае такая структура данных называется “пирамидой” (heap) и может оказаться полезной не только при пирамидальной сортировке, но и при создании эффективной очереди с приоритетами. В последующих главах эта структура данных появится снова.
Изначально термин “heap” использовался в контексте пирамидальной сортировки (heapsort), но в последнее время его основной смысл изменился, и он стал обозначать память со сборкой мусора, в частности, в языках программирования Lisp и Java (и переводиться как “куча”). Однако в данной книге термину heap (который здесь переводится как “пирамида”) возвращен его первоначальный смысл.
Пирамиды
Пирамида (binary heap) — это структура данных, представляющая собой объект-массив, который можно рассматривать как почти полное бинарное дерево (см. раздел 5.3 приложения Б, а также рис. 6.1). Каждый узел этого дерева соответствует определенному элементу массива. На всех уровнях, кроме, может быть, последнего, дерево полностью заполнено (заполненный уровень — это такой, который содержит максимально возможное количество узлов). Последний уровень заполняется слева направо до тех пор, пока в массиве не закончатся элементы. Представляющий пирамиду массив Л является объектом с двумя атрибутами: length [Л], те. количество элементов массива, и heap_size [Л], те. количество элементов пирамиды, содержащихся в массиве Л. Другими словами, несмотря на то, что в массиве Л [1.. length [Л]] все элементы могут быть корректными числами, ни один из элементов, следующих после элемента Л \heap_size [Л]], где heap_size [Л] < length [Л], не является элементом пирамиды. В корне дерева находится элемент Л [1], а дальше оно строится по следующему принципу: если какому-то узлу соответствует индекс г, то индекс его родительского узла вычисляется с помощью представленной ниже процедуры Parent(z), индекс левого дочернего узла — с помощью процедуры ЬЕРт(г), а индекс правого дочернего узла — с помощью процедуры Кюнт(г):
PARENT(i)
return L^/2J
ЬЕРТ(г)
return 2г
Right(z)
return 2г +1
В пирамиде, представленной на рис. 6.1, число в окружности, представляющей каждый узел дерева, является значением, сортируемым в данном узле. Число над узлом — это соответствующий индекс массива. Линии, попарно соединяющие элементы массива, обозначают взаимосвязь вида “родитель-потомок”. Родительские элементы всегда расположены слева от дочерних. Данное дерево имеет высоту, равную 3; узел с индексом 4 (и значением 8) расположен на первом уровне.
На большинстве компьютеров операция 2г в процедуре Left выполняется при помощи одной команды процессора путем побитового сдвига числа г на один бит влево. Операция 2г + 1 в процедуре Right тоже выполняется очень быстро — достаточно биты двоичного представления числа г сдвинуть на одну позицию влево, а затем младший бит установить равным 1. Процедура Parent выполняется путем сдвига числа г на один бит вправо. При реализации пирамидальной сортировки эти функции часто представляются в виде макросов или встраиваемых процедур.
Рис. 6.1. Пирамида, представленная в виде а) бинарного дерева и б) массива
Различают два вида бинарных пирамид: неубывающие и невозрастающие. В пирамидах обоих видов значения, расположенные в узлах, удовлетворяют свойству пирамиды (heap property), являющемуся отличительной чертой пирамиды того или иного вида. Свойство невозрастающих пирамид (max-heap property) заключается в том, что для каждого отличного от корневого узла с индексом г выполняется следующее неравенство:
A [Parent (г)] ^ А [г].
Другими словами, значение узла не превышает значение родительского по отношению к нему узла. Таким образом, в невозрастающей пирамиде самый большой элемент находится в корне дерева, а значения узлов поддерева, берущего начало в каком-то элементе, не превышают значения самого этого элемента. Принцип организации неубывающей пирамиды (min-heap) прямо противоположный. Свойство неубывающих пирамид (min-heap property) заключается в том, что для всех отличных от корневого узлов с индексом г выполняется такое неравенство:
A [Parent (г)] ^ А [г].
Таким образом, наименьший элемент такой пирамиды находится в ее корне.
В алгоритме пирамидальной сортировки используются невозрастающие пирамиды. Неубывающие пирамиды часто применяются в приоритетных очередях (этот вопрос обсуждается в разделе 6.5). Для каждого приложения будет указано, с пирамидами какого вида мы будем иметь дело — с неубывающими или невозрастающими. При описании свойств как неубывающих, так и невозрастающих пирамид будет использоваться общий термин “пирамида”.
Рассматривая пирамиду как дерево, определим высоту ее узла как число ребер в самом длинном простом нисходящем пути от этого узла к какому-то из листьев дерева. Высота пирамиды определяется как высота его корня. Поскольку n-элементная пирамида строится по принципу полного бинарного дерева, то ее
высота равна ©(Ign) (см. упражнение 6.1-2). Мы сможем убедиться, что время выполнения основных операций в пирамиде приблизительно пропорционально высоте дерева, и, таким образом, эти операции требуют для работы время О (Ign). В остальных разделах этой главы представлены несколько базовых процедур и продемонстрировано их использование в алгоритме сортировки и в структуре данных очереди с приоритетами.
Процедура Max_Heapify выполняется в течение времени О (lg п) и служит для поддержки свойства невозрастания пирамиды.
Время выполнения процедуры BuildMaxHeap увеличивается с ростом количества элементов линейно. Эта процедура предназначена для создания невозрастающей пирамиды из неупорядоченного входного массива.
Процедура Heapsort выполняется в течение времени О (n lg п) и сортирует массив без привлечения дополнительной памяти.
Процедуры Max_Heap_Insert, Heap Extract Max, HeapJncreaseKey и Heap_Maximum выполняются в течение времени О (lg п) и позволяют использовать пирамиду в качестве очереди с приоритетами.
Упражнения
1. Чему равно минимальное и максимальное количество элементов в пирамиде высотой /г?
2. Покажите, что n-элементная пирамида имеет высоту |_lgnj.
.1-3. Покажите, что в любом поддереве невозрастающей пирамиды значение корня этого поддерева не превышает значений, содержащихся в других его узлах.
.1-4. Где в невозрастающей пирамиде может находиться наименьший ее элемент, если все элементы различаются по величине?
.1-5. Является ли массив с отсортированными элементами неубывающей пирамидой?
.1-6. Является ли последовательность (23,17,14,6,13,10,1,5,7,12) невозрастающей пирамидой?
.1 -7. Покажите, что если n-элементную пирамиду представить в виде массива, то ее листьями будут элементы с индексами [n/2j 4-1, [n/2j 4- 2,..., п.
.2 Поддержка свойства пирамиды
Процедура MAX_HEAPIFY является важной подпрограммой, предназначенной для работы с элементами невозрастающих пирамид. На ее вход подается массив А и индекс г этого массива. При вызове процедуры Max_Heapify предполагается, что бинарные деревья, корнями которых являются элементы Left(Z) и Кюнт(г), являются невозрастающими пирамидами, но сам элемент А [г] может быть меньше своих дочерних элементов, нарушая тем самым свойство невозрастающей пирамиды. Функция MaxHeapify опускает значение элемента А [г] вниз по пирамиде до тех пор, пока под дерево с корнем, отвечающем индексу г, не становится невозрастающей пирамидой:
Мах_Неар1Р¥(Л, г)
I «- LEFT(i)
г «— К1ОНТ(г)
if Z ^ heap_size\A\ и Лр] > Л [г]
then largest«— I
else largest «— г
if r ^ heap__size^A] и Л[г] > Л[/агуез<]
then largest *— r
if largest / г
then Обменять Л[г] Л[/агдез<]
Мах_Неар1Ру(Л, largest)
Действие процедуры Max_Heapify проиллюстрировано на рис. 6.2. На каждом этапе ее работы определяется, какой из элементов — Л [г], Л \Left (г)] или А \Right (г)] — является максимальным, и его индекс присваивается переменной largest. Если наибольший элемент — Л [г], то поддерево, корень которого находится в узле с индексом г, — невозрастающая пирамида, и процедура завершает свою работу. В противном случае максимальное значение имеет один из дочерних элементов, и элемент А [г] меняется местами с элементом A [ZargesZ]. После этого узел с индексом г и его дочерние узлы станут удовлетворять свойству невозрастающей пирамиды. Однако теперь исходное значение элемента А [г] присвоено элементу с индексом largest, и свойство невозрастающей пирамиды может нарушиться в поддереве с этим корнем. Для устранения нарушения для этого дерева необходимо рекурсивно вызвать процедуру Max_Heapify.
На рис. 6.2 показана работа процедуры Мах_Неар1РУ(Л, 2). В части а этого рисунка показана начальная конфигурация, в которой элемент А [2] нарушает свойство невозрастающей пирамиды, поскольку он меньше, чем оба дочерних узла. Поменяв местами элементы Л [2] и Л [4], мы восстанавливаем это свойство в узле 2, но нарушаем его в узле 4 (часть б рисунка). Теперь в рекурсивном вызове процедуры Мах_НеаР1Ру(Л, 4) в качестве параметра выступает значение
Рис. 6.2. Работа процедуры Max_Heapify( А, 2) при heap_size [А] = 10
г = 4. После перестановки элементов А [4] и А [9] (часть в рисунка) ситуация в узле 4 исправляется, а рекурсивный вызов процедуры Max_Heapify(A, 9) не вносит никаких изменений в рассматриваемую структуру данных.
Время работы процедуры Max_Heapify на поддереве размера п с корнем в заданном узле г вычисляется как время 0(1), необходимое для исправления отношений между элементами А [г], А \Left (г)] или A \Right (г)], плюс время работы этой процедуры с поддеревом, корень которого находится в одном из дочерних узлов узла г. Размер каждого из таких дочерних поддеревьев не превышает величину 2п/3, причем наихудший случай — это когда последний уровень заполнен наполовину. Таким образом, время работы процедуры Max_Heapify описывается следующим рекуррентным соотношением:
Т(п) ^Т(2п/3) + 0(1).
Решение этого рекуррентного соотношения, в соответствии со вторым случаем основной теоремы (теоремы 4.1), равно Т (п) = О (1g п). По-другому время работы процедуры Max_Heapify с узлом, который находится на высоте h, можно выразить как О (h\
Упражнения
1. Используя в качестве модели рис. 6.2, проиллюстрируйте работу процедуры Мах_Неар1Р¥(Л, 3) с массивом А = (27,17,3,16,13,10,1,5,7,12, 4,8,9,0).
2. Используя в качестве отправной точки процедуру MaxHeapify, составьте псевдокод процедуры Min_Heapify(^, г), выполняющей соответствующие действия в неубывающей пирамиде. Сравните время работы этих двух процедур.
3. Как работает процедура Мах_Неар1Ру(Л, г) в случае, когда элемент А [г] больше своих дочерних элементов?
4. К чему приведет вызов процедуры Мах_НеаР1Г¥(Д г) при г > > heap_size [Л]/2?
5. Код процедуры Max_Heapify достаточно рационален, если не считать рекурсивного вызова в строке 10, из-за которого некоторые компиляторы могут сгенерировать неэффективный код. Напишите эффективную процедуру Max_Heapify, в которой вместо рекурсивного вызова использовалась бы итеративная управляющая конструкция (цикл).
6. Покажите, что в наихудшем случае время работы процедуры Мах_ HEAPIFY на пирамиде размера п равно Q (lg п). (Указание: в пирамиде с п узлами присвойте узлам такие значения, чтобы процедура Max_Heapify рекурсивно вызывалась в каждом узле, расположенном на пути от корня до одного из листьев.)
6.3 Создание пирамиды
С помощью процедуры Max_Heapify можно преобразовать массив А [1..п], где n = length [Л], в невозрастающую пирамиду в направлении снизу вверх. Из упражнения 6.1-7 известно, что все элементы подмассива Л [([n/2j + 1) ..п] являются листьями дерева, поэтому каждый из них можно считать одноэлементной пирамидой, с которой можно начать процесс построения. Процедура Build_Max_Heap проходит по остальным узлам и для каждого из них выполняет процедуру Max_Heapify:
Ви1ЬП_МАХ_НЕАР(Л)
1 heap_size^A] <— length^
2 for г <— (length(A]/2j down to 1
3 do Мах_Неартру(Л, г)
Пример работы процедуры Build_Max_Heap показан на рис. 6.3. В части а этого рисунка изображен 10-элементный входной массив А и представляющее
Рис. 6.3. Схема работы процедуры Build_Max_Heap
его бинарное дерево. Из этого рисунка видно, что перед вызовом процедуры Мах_НеаР1Ру(Л, г) индекс цикла г указывает на 5-й узел. Получившаяся в результате структура данных показана в части б. В следующей итерации индекс цикла г указывает на узел 4. Последующие итерации цикла for в процедуре Build_Max_Heap показаны в частях в-д рисунка. Обратите внимание, что при вызове процедуры Max_Heapify для любого узла поддеревья с корнями в его дочерних узлах являются невозрастающими пирамидами. В части е показана невозрастающая пирамида, полученная в результате работы процедуры Build_Max_Heap.
Чтобы показать, что процедура Build_Max_Heap работает корректно, воспользуемся сформулированным ниже инвариантом цикла.
Перед каждой итерацией цикла for в строках 2-3 процедуры Build_ МахНеар все узлы с индексами г + 1, г + 2, ...,тг являются корнями невозрастающих пирамид.
Необходимо показать, что этот инвариант справедлив перед первой итерацией цикла, что он сохраняется при каждой итерации, и что он позволяет продемонстрировать корректность алгоритма после его завершения.
Инициализация. Перед первой итерацией цикла г = [n/2j. Все узлы с индексами [n/2J 4-1, Ln/2J + 2, ..., n — листья, поэтому каждый из них является корнем тривиальной невозрастающей пирамиды.
Сохранение. Чтобы убедиться, что каждая итерация сохраняет инвариант цикла, заметим, что дочерние по отношению к узлу г имеют номера, которые больше г. В соответствии с инвариантом цикла, оба эти узла являются корнями невозрастающих пирамид. Это именно то условие, которое требуется для вызова процедуры Max_Heapify(X, г), чтобы преобразовать узел с индексом г в корень невозрастающей пирамиды. Кроме того, при вызове процедуры MaX-Heapify сохраняется свойство пирамиды, заключающееся в том, что все узлы с индексами г + 1, г + 2, ...,п являются корнями невозрастающих пирамид. Уменьшение индекса г в цикле for обеспечивает выполнение инварианта цикла для следующей итерации.
Завершение. После завершения цикла г = 0. В соответствии с инвариантом цикла, все узлы с индексами 1, 2,..., п являются корнями невозрастающих пирамид. В частности, таким корнем является узел 1.
Простую верхнюю оценку времени работы процедуры Build_Max_Heap можно получить следующим простым способом. Каждый вызов процедуры Мах_ Heapify занимает время O(lgn), и всего имеется О^ таких вызовов. Таким образом, время работы алгоритма равно О (nlgn). Эта верхняя граница вполне корректна, однако не является асимптотически точной.
Чтобы получить более точную оценку, заметим, что время работы Мах_ Heapify в том или ином узле зависит от высоты этого узла, и при этом большинство узлов расположено на малой высоте. При более тщательном анализе принимается во внимание тот факт, что высота n-элементной пирамиды равна [lg nJ (упражнение 6.1-2) и что на любом уровне, находящемся на высоте h, содержится не более [п/2л+1] узлов (упражнение 6.3-3).
Время работы процедуры Max_Heapify при ее вызове для работы с узлом, который находится на высоте /г, равно О (/г), поэтому верхнюю оценку полного времени работы процедуры Build_Max_Heap можно записать следующим
образом:
_/ Ugn]\
/1=о\ /1=0/
Сумму в последнем выражении можно оценить, подставив ж = 1/2 в формулу (А.8), в результате чего получим:
1/2(1-1/2)=■
Таким образом, время работы процедуры Build_Max_Heap можно ограничить следующим образом:
(
L^nJ , \/ ОО , \
п У ^ =0 nV ^ = О(п).
/ -у oh I I / -у oh / х 'h=0 2 )\ h=0 Z /
Получается, что время, которое требуется для преобразования неупорядоченного массива в невозрастающую пирамиду, линейно зависит от размера входных данных.
Неубывающую пирамиду можно создать с помощью процедуры Build_Min_ Heap, полученной в результате преобразования процедуры Build_Max_Heap путем замены в строке 3 вызова функции Max_Heapify вызовом функции Min_ Heapify (см. упражнение 6.2-2). Процедура Build_Min_Heap создает неубывающую пирамиду из неупорядоченного линейного массива за время, линейно зависящее от размера входных данных.
Упражнения
1. Используя в качестве модели рис. 6.3, проиллюстрируйте работу процедуры Build_Max_Heap с входным массивом А = (5,3,17,10,84,19,6, 22,9).
2. Почему индекс цикла г в строке 2 процедуры Build_Max_Heap убывает от \length [A]/2J до 1, а не возрастает от 1 до ^length [A]/2J?
3. Покажите, что в любой n-элементной пирамиде на высоте h находится не более [п/2л+1] узлов.
Алгоритм пирамидальной сортировки
Работа алгоритма пирамидальной сортировки начинается с вызова процедуры Build_Max_Heap, с помощью которой из входного массива А[1..п], где
п = length [А], создается невозрастающая пирамида. Поскольку наибольший элемент массива находится в корне, т.е. в элементе А [1], его можно поместить в окончательную позицию в отсортированном массиве, поменяв его местами с элементом А [п]. Выбросив из пирамиды узел п (путем уменьшения на единицу величины heap_size [А]), мы обнаружим, что подмассив А [1.. (п — 1)] легко преобразуется в невозрастающую пирамиду. Пирамиды, дочерние по отношению к корневому узлу, после обмена элементов А [1] и А [п] и уменьшения размера массива остаются невозрастающими, однако новый корневой элемент может нарушить свойство невозрастания пирамиды. Для восстановления этого свойства достаточно вызвать процедуру Max_Heapify(A, 1), после чего подмассив А [1.. (п — 1)] превратится в невозрастающую пирамиду. Затем алгоритм пирамидальной сортировки повторяет описанный процесс для невозрастающих пирамид размера п — 1, п — 2,..., 2. (См. упражнение 6.4-2, посвященное точной формулировке инварианта цикла данного алгоритма.)
Heapsort(A)
Build_Max_Heap(A)
for г <— length\A\ downto 2
do Обменять A[l] А [г]
heap_size\A\ <— heap_size[A] — 1
Max_Heapify(A, 1)
На рис. 6.4 показан пример пирамидальной сортировки после предварительного построения невозрастающей пирамиды. В каждой части этого рисунка изображена невозрастающая пирамида перед выполнением очередной итерации цикла for в строках 2-5. В части а) этого рисунка показана исходная невозрастающая пирамида, полученная при помощи процедуры BuildMaxHeap. В частях б)-к) показаны пирамиды, получающиеся в результате вызова процедуры Max_Heapify в строке 5. В каждой из этих частей указано значение индекса г. В пирамиде содержатся только узлы, закрашенные светло-серым цветом. В части л) показан получившийся в конечном итоге массив А.
Время работы процедуры HEAPSORT равно O(nlgn), поскольку вызов процедуры Build_Max_Heap требует времени О (тг), а каждый из п — 1 вызовов процедуры Max_Heapify — времени О (1g тг).
Упражнения
1. Используя в качестве модели рис. 6.4, проиллюстрируйте работу процедуры Heapsort с входным массивом А = (5,13,2,25,7,17,20,8,4).
2. Докажите корректность процедуры HEAPSORT с помощью сформулированного ниже инварианта цикла.
©©л М? 13М7 КГ9I1©4©!л М? 13М7 КГ9I1©4©!
©
©
л М? 13М7 КГ9I1©4©!
л М? 13М7 КГ9I1©4©!
Рис. 6.4. Работа процедуры HEAPSORT
Очереди с приоритетами
Пирамидальная сортировка — превосходный алгоритм, однако качественная реализация алгоритма быстрой сортировки, представленного в главе 7, на практике обычно превосходит по производительности пирамидальную сортировку. Тем не менее, структура данных, использующаяся при пирамидальной сортировке, сама по себе имеет большую ценность. В этом разделе представлено одно из наиболее популярных применений пирамид — в качестве эффективных очередей с приоритетами. Как и пирамиды, очереди с приоритетами бывают двух видов: невозрастающие и неубывающие. Мы рассмотрим процесс реализации невозрастающих очередей с приоритетами, которые основаны на невозрастающих пирамидах; в упражнении 6.5-3 требуется написать процедуры для неубывающих очередей с приоритетами.
Очередь с приоритетами (priority queue) — это структура данных, предназначенная для обслуживания множества S, с каждым элементом которого связано определенное значение, называющееся ключом (key). В невозрастающей очереди с приоритетами поддерживаются следующие операции.
Операция Insert(S, ж) вставляет элемент х в множество S. Эту операцию можно записать как S «— S U {ж}.
Операция Maximum(S) возвращает элемент множества S с наибольшим ключом.
Операция Extract_Max(5) возвращает элемент с наибольшим ключом, удаляя его при этом из множества S.
Операция Increase_Key(5, ж, А:) увеличивает значение ключа, соответствующего элементу ж, путем его замены ключом со значением к. Предполагается, что величина к не меньше текущего ключа элемента ж.
Одна из областей применения невозрастающих очередей — планирование заданий на компьютере, который совместно используется несколькими пользователями. Очередь позволяет следить за заданиями, которые подлежат выполнению, и за их приоритетами. Если задание прервано или завершило свою работу, из очереди с помощью операции Extract_Max выбирается следующее задание с наибольшим приоритетом. В очередь в любое время можно добавить новое задание, воспользовавшись операцией Heap_Insert.
В неубывающей очереди с приоритетами поддерживаются операции INSERT, Minimum, Extract_Min и Decrease_Key. Очереди такого вида могут использоваться в моделировании систем, управляемых событиями. В роли элементов очереди в таком случае выступают моделируемые события, для каждого из которых сопоставляется время происшествия, играющее роль ключа. Элементы должны моделироваться последовательно согласно времени событий, поскольку
процесс моделирования может вызвать генерацию других событий. Моделирующая программа выбирает очередное моделируемое событие с помощью операции Extract_Min. Когда инициируются новые события, они помещаются в очередь с помощью процедуры Insert. В главах 23 и 24 нам предстоит познакомиться и с другими случаями применения неубывающих очередей с приоритетами, когда особо важной становится роль операции Decrease_Key.
Не удивительно, что приоритетную очередь можно реализовать с помощью пирамиды. В каждом отдельно взятом приложении, например, в планировщике заданий, или при моделировании событий элементы очереди с приоритетами соответствуют объектам, с которыми работает это приложение. Часто возникает необходимость определить, какой из объектов приложения отвечает тому или иному элементу очереди, или наоборот. Если очередь с приоритетами реализуется с помощью пирамиды, то в каждом элементе пирамиды приходится хранить идентификатор (handle) соответствующего объекта приложения. То, каким будет конкретный вид этого идентификатора (указатель, целочисленный индекс или что-нибудь другое), — зависит от приложения. В каждом объекте приложения точно так же необходимо хранить идентификатор соответствующего элемента пирамиды. В данной книге таким идентификатором, как правило, будет индекс массива. Поскольку в ходе операций над пирамидой ее элементы изменяют свое расположение в массиве, при перемещении элемента пирамиды необходимо также обновлять значение индекса в соответствующем объекте приложения. Так как детали доступа к объектам приложения в значительной мере зависят от самого приложения и его реализации, мы не станем останавливаться на этом вопросе. Ограничимся лишь замечанием, что на практике необходима организация надлежащей обработки идентификаторов.
Теперь перейдем к реализации операций в невозрастающей очереди с приоритетами. Процедура Heap_Maximum реализует выполнение операции Maximum за время 0 (1):
HEAP_MAX1MUM(A)
1 return А[1]
Процедура Heap_Extract_Max реализует операцию Extract_Max. Она напоминает тело цикла for в строках 3-5 процедуры Heapsort:
Heap_Extract_Max(A)
if heap_size[A] < 1
then error “Очередь пуста”
max <— A[l]
A[l] «— A[heap_size[A]]
heap_size[A] «— heap_size[A] — 1
Max_Heapify(A, 1)
return max
Время работы процедуры HeapExtractMax равно О (1g п), поскольку перед запуском процедуры Max_Heapify, выполняющейся в течение времени O(lgn), в ней выполняется лишь определенная постоянная подготовительная работа.
Процедура Heap_Increase_Key реализует операцию lNCREASE_KEY. Элемент очереди с приоритетами, ключ которого подлежит увеличению, идентифицируется в массиве с помощью индекса г. Сначала процедура обновляет ключ элемента Л [г]. Поскольку это может нарушить свойство невозрастающих пирамид, после этого процедура проходит путь от измененного узла к корню в поисках надлежащего места для нового ключа. Эта операция напоминает реализованную в цикле процедуры Insertion_Sort (строки 5-7) из раздела 2.1. В процессе прохода выполняется сравнение текущего элемента с родительским. Если оказывается, что ключ текущего элемента превышает значение ключа родительского элемента, то происходит обмен ключами элементов и процедура продолжает свою работу на более высоком уровне. В противном случае процедура прекращает работу, поскольку ей удалось восстановить свойство невозрастающих пирамид. (Точная формулировка инварианта цикла этого алгоритма приведена в упражнении 6.5-5.)
HeaP_INCREASE_KEY(^, г, key)
if key < Л [г]
then error “Новый ключ меньше текущего”
Л [г] <— key
while г > 1 и Л[PARENT(г)] < Л [г]
do Обменять Л [г] w Л[PARENT(г)]
г <- PARENT(i)
На рис. 6.5 приведен пример работы процедуры Heap_Increase_Key. В части а этого рисунка изображена невозрастающая пирамида, в которой будет увеличен ключ узла, выделенного темно-серым цветом (кроме выделения цветом, возле этого узла указан индекс г). В части б рисунка показана эта же пирамида после того, как ключ выделенного узла был увеличен до 15. В части в обрабатываемая пирамида изображена после первой итерации цикла while (строки 4-6). Здесь видно, как текущий и родительский по отношению к нему узлы обменялись ключами, и индекс г перешел к родительскому узлу. В части г показана эта же пирамида после еще одной итерации цикла. Теперь условие невозрастающих пирамид выполняется, и процедура завершает работу. Время обработки п-эле- ментной пирамиды с помощью этой процедуры равно O(lgn). Это объясняется тем, что длина пути от обновляемого в строке 3 элемента до корня равна О (1g п).
Процедура Max_Heap_Insert реализует операцию Insert. В качестве параметра этой процедуре передается ключ нового элемента. Сначала процедура добавляет в пирамиду новый лист и присваивает ему ключ со значением — оо. Затем вызывается процедура Heap_Increase_Key, которая присваивает корректное зна-
Рис. 6.5. Работа процедуры Heap_Increase_KeyРис. 6.5. Работа процедуры Heap_Increase_Key
Рис. 6.5. Работа процедуры Heap_Increase_Key
Рис. 6.5. Работа процедуры Heap_Increase_Key
чение ключу и помещает его в надлежащее место, чтобы не нарушалось свойство невозрастающих пирамид:
Max_Heap_Insert^, key)
heap_size[Л] <— heap_size\A\ + 1
A[heap_size[A]) «оо
Heap_Increase_Key( Л, heap_size [Л], key)
Время вставки в n-элементную пирамиду с помощью процедуры Мах_Неар_ Insert составляет О (lg п).
Подводя итог, заметим, что в пирамиде время выполнения всех операций по обслуживанию очереди с приоритетами равно О (lg п).
Упражнения
1. Проиллюстрируйте работу процедуры HeapExtractMax с пирамидой А = (15,13,9,5,12,8,7,4,0,6,2,1).
2. Проиллюстрируйте работу процедуры Мах_Неар_1к5ЕРт(Л, 10) с пирамидой А = (15,13,9,5,12,8,7,4,0,6,2,1). Воспользуйтесь в качестве модели рисунком 6.5.
3. Напишите псевдокод процедур Heap_M1NIMUM, Heap_Extract_Min, Heap_Decrease_Key и Min_Heap_Insert, реализующих на базе неубывающей пирамиды неубывающую очередь с приоритетами.
4. Зачем нужна такая мера предосторожности, как присвоение ключу добавляемого в пирамиду узла в строке 2 процедуры Max_Heap_Insert значения —оо, если уже при следующем шаге значение этого ключа увеличивается до требуемой величины?
5. Обоснуйте корректность процедуры Heap_Increase_Key с помощью следующего инварианта цикла.
Перед каждой итерацией цикла while в строках 4-6, массив Л [1.. heap_size [Л]] удовлетворяет свойству невозрастающих пирамид, за исключением одного возможного нарушения — элемент Л [г] может быть больше элемента Л [Parent (г)].
6. Покажите, как с помощью очереди с приоритетами реализовать очередь “первым вошел — первым вышел”. Продемонстрируйте, как с помощью очереди с приоритетами реализовать стек. (Очереди и стеки определены в разделе 10.1.)
7. Процедура Неар_Пеьете(Л, г) удаляет из пирамиды Л узел г. Разработайте реализацию этой процедуры, которой требуется время О (lg п) для удаления узла из n-элементной невозрастающей пирамиды.
8. Разработайте алгоритм, объединяющий к отсортированных списков в один список за время О (n lg к), где п — общее количество элементов во всех входных списках. (Указание: для слияния списков воспользуйтесь неубывающей пирамидой.)
Задачи
6-1. Создание пирамиды с помощью вставок
Описанную в разделе 6.3 процедуру Build_Max_Heap можно реализовать путем многократного использования процедуры Max_Heap_Insert для вставки элементов в пирамиду. Рассмотрим следующую реализацию:
ВиШЭ-МАХНЕАР^Л)
h.eap_size^A] <— 1
for i <— 2 to length[A]
do MAX_HEAP_INSERT(Л, Л[г])
Всегда ли процедуры Build_Max_Heap и Build_Max_Heap/ для одного и того же входного массива создают одинаковые пирамиды? Докажите, что это так, или приведите контрпример.
Покажите, что в наихудшем случае для создания n-элементной пирамиды процедуре Build_Max_Heap/ требуется время 0 (nlgn).
6-2. Анализ пирамид, отличных от бинарных
d-арные пирамиды (d-ary heap) похожи на бинарные, с тем исключением, что узлы, отличные от листьев, имеют не по 2, а по d дочерних элементов.
Как бы вы представили d-арную пирамиду в виде массива?
Как выражается высота d-арной n-элементной пирамиды через п nd?
Разработайте эффективную реализацию процедуры Extract_Max, предназначенную для работы с d-арной невозрастающей пирамидой. Проанализируйте время работы этой процедуры и выразите его в терминах d и п.
Разработайте эффективную реализацию процедуры Insert, предназначенную для работы с d-арной невозрастающей пирамидой. Проанализируйте время работы этой процедуры и выразите его в терминах d и п.
Разработайте эффективную реализацию процедуры lNCREASE_ Key(A, г, к), в которой сначала выполняется присвоение А [г] <— <— шах (А [г], к), а затем — обновление d-арной невозрастающей пирамиды. Проанализируйте время работы этой процедуры и выразите его в терминах d и п.
6-3. Таблицы Юнга
Таблица Юнга (Young tableau) m х n — это матрица m х п, элементы которой в каждой строке отсортированы слева направо, а в каждом столбце — сверху вниз. Некоторые элементы таблицы Юнга могут быть равны оо, что трактуется как отсутствие элемента. Таким образом, в таблице Юнга можно разместить г < mn конечных чисел.
Начертите таблицу Юнга 4x4, содержащую элементы (9,16,3,2,4, 8,5,14,12}.
Докажите, что таблица Юнга Y размером т х п пустая, если ^[1,1] = оо. Докажите, что таблица Y полностью заполнена (т.е. она содержит mn элементов), если Y [т, п] < оо.
Разработайте алгоритм, реализующий процедуру Extract_Min для непустой таблицы Юнга т х п за время О (т + п). В алгоритме следует использовать рекурсивную подпрограмму, которая решает задачу размером т х п путем рекурсивного сведения к задачам (m — 1) х п или т х (п — 1). (Указание: вспомните о процедуре
Max_Heapify.) Обозначим максимальное время обработки произвольной таблицы Юнга т х п с помощью процедуры Extract_Min как Т Vp\ где р = т + п. Запишите и решите рекуррентное соотношение, которое дает границу для Т (р), равную О (т + п).
Покажите, как вставить новый элемент в незаполненную таблицу Юнга размером т х п за время О (т + п).
Покажите, как с помощью таблицы Юнга n х п выполнить сортировку п2 чисел за время О (п3), не используя при этом никаких других подпрограмм сортировки.
Разработайте алгоритм, позволяющий за время О (т + п) определить, содержится ли в таблице Юнга размером m х п заданное число.
Заключительные замечания
Алгоритм пирамидальной сортировки был предложен Вильямсом (Williams) [316], который также описал, каким образом с помощью пирамиды можно реализовать очередь с приоритетами. Процедура BuildMaxHeap разработана Флойдом (Floyd) [90].
В главах 16, 23 и 24 будут реализованы очереди с приоритетами с помощью неубывающих пирамид. В главах 19 и 20 вы познакомитесь с реализацией некоторых операций с улучшенными временными характеристиками.
Для целочисленных данных можно реализовать очереди с приоритетами, работающие быстрее, чем те, в которых не делаются предварительные предположения о типе данных. В структуре данных, предложенной Боасом (van Emde Boas) [301], поддерживаются операции Minimum, Maximum, Insert, Delete, Search, Extract_Min, Extract Max, Predecessor и Successor. При условии, что ключи выбираются из множества {1,2,..., С}, время работы этих операций в наихудшем случае оценивается как О (lglg С). Фредман (Fredman) и Виллард (Willard) [99] показали, как реализовать операцию Minimum со временем работы 0(1) и операции Insert и Extract_Min со временем работы О (\/Ign), если данные представляют собой Ь-битовые целые числа, а память компьютера состоит из адресуемых Ь-битовых слов. В работе Торупа (Thorup) [299] граница О (\Agn) была улучшена до О (Iglgn). При этом используемая память не ограничена величиной п, однако такого линейного ограничения используемой памяти можно достичь с помощью рандомизированного хеширования.
Важный частный случай очередей с приоритетами имеет место, когда последовательность операций Extract_Min является монотонной, т.е. возвращаемые этой операцией последовательные значения образуют монотонную возрастающую
последовательность. Такая ситуация встречается во многих важных приложениях, например, в алгоритме поиска кратчайшего пути Дейкстры (Dijkstra), который рассматривается в главе 24, и при моделировании дискретных событий. Для алгоритма Дейкстры особенно важна эффективность операции Decrease_Key. Для частного случая монотонности для целочисленных данных из диапазона 1, 2, ..., С, Ахуйя (Ahuja), Мельхорн (Mehlhom), Орлин (Orlin) и Таржан (Таг- jan) [8] описали, как с помощью структуры данных под названием позиционная пирамида (radix heap) реализовать операции Extract_Min и Insert со временем выполнения О (lg С) (более подробные сведения на эту тему можно найти в главе 17), и операцию Decrease_Key со временем выполнения О (1). Граница О (lgС) может быть улучшена до О (VigС) путем совместного использования пирамид Фибоначчи (см. главу 20) и позиционных пирамид. Дальнейшее улучшение этой границы до О (lgx/3+e С1) было осуществлено Черкасским (Cherkassky), Гольдбергом (Goldberg) и Сильверстайном (Silverstein) [58], которые объединили многоуровневую группирующую структуру (multi-level bucketing structure) Денардо (Denardo) и Фокса (Fox) [72] с уже упоминавшейся пирамидой Торупа. Раману (Raman) [256] удалось еще больше улучшить эти результаты и получить границу, которая равна О (min (lgx/4+e С, Ig1/3"^ п^ для произвольной фиксированной величины £ > 0. Более подробное обсуждение этих результатов можно найти в работах Рамана [256] и Торупа [299].
ГЛАВА 7
Быстрая сортировка
Быстрая сортировка — это алгоритм сортировки, время работы которого для входного массива из п чисел в наихудшем случае равно 0 (п2). Несмотря на такую медленную работу в наихудшем случае, этот алгоритм на практике зачастую оказывается оптимальным благодаря тому, что в среднем время его работы намного лучше: 0 (nlgn). Кроме того, постоянные множители, не учтенные в выражении 0(nlgn), достаточно малы по величине. Алгоритм обладает также тем преимуществом, что сортировка в нем выполняется без использования дополнительной памяти, поэтому он хорошо работает даже в средах с виртуальной памятью.
В разделе 7.1 описан сам алгоритм и важная подпрограмма, использующаяся в нем. Поскольку поведение алгоритма быстрой сортировки достаточно сложное, мы начнем с нестрогого, интуитивного обсуждения производительности этого алгоритма в разделе 7.2, а строгий анализ отложим до конца данной главы. В разделе 7.3 представлена версия быстрой сортировки, в которой используется случайная выборка. У этого алгоритма хорошее среднее время работы, при этом никакие конкретные входные данные не могут ухудшить его производительность до уровня наихудшего случая. Этот рандомизированный алгоритм анализируется в разделе 7.4, где показано, что время его работы в наихудшем случае равно 0 (п2), а среднее время работы в предположении, что все элементы различны, составляет О (nlgn).
.1 Описание быстрой сортировки
Быстрая сортировка, подобно сортировке слиянием, основана на парадигме “разделяй и властвуй”, представленной в разделе 2.3.1. Ниже описан процесс сортировки подмассива Л [р..г], состоящий, как и все алгоритмы с использованием декомпозиции, из трех этапов.
Разделение. Массив А [р..г] разбивается (путем переупорядочения его элементов) на два (возможно, пустых) подмассива A \p..q — 1] и А [q + 1..г]. Каждый элемент подмассива A \p..q — 1] не превышает элемент A[q], а каждый элемент подмассива Л [q + 1..г] не меньше элемента A[q], Индекс q вычисляется в ходе процедуры разбиения.
Покорение. Подмассивы A \p..q — 1] и Л [q + L.r] сортируются путем рекурсивного вызова процедуры быстрой сортировки.
Комбинирование. Поскольку подмассивы сортируются на месте, для их объединения не нужны никакие действия: весь массив А [р..г] оказывается отсортирован.
Алгоритм сортировки реализуется представленной ниже процедурой:
Quicksort(A,p,t)
if р < г
then q «- PARTITION( Л, р, г)
Quicksort^, р, q - 1)
Quicksort^, q +1, г)
Чтобы выполнить сортировку всего массива Л, вызов процедуры должен иметь вид Quicksort^, 1, lehgth [Л]).
Разбиение массива
Ключевой частью рассматриваемого алгоритма сортировки является процедура Partition, изменяющая порядок элементов подмассива А [р..г] без привлечения дополнительной памяти:
Partition^, р, г)
х «— Л [г]
г «— р — 1
for j «— р to г — 1
do if A[j] < x
then г <— г + 1
Обменять Л [г] ♦-> Л [j]
Обменять Л [г + 1] «-» Л [г]
return г + 1
Рис. 7.1. Пример действия на массив процедуры PARTITION
На рис. 7.1 приведен пример работы процедуры Partition с 8-элементным массивом. Эта процедура всегда выбирает элемент х = А [г] в качестве опорного (pivot) элемента. Разбиение подмассива А [р..г] будет выполняться относительно этого элемента. В начале выполнения процедуры массив разделяется на четыре области (они могут быть пустыми). В начале каждой итерации цикла for в строках 3-6 каждая область удовлетворяет определенным свойствам, которые можно сформулировать в виде следующего инварианта цикла.
В начале каждой итерации цикла в строках 3-6 для любого индекса к массива справедливо следующее:
если р ^ к ^ г, то A [fc] ^ ж;
если i + 1 ^ к ^ j — 1, то A [fc] > х;
если к = г, то А [А:] = х.
Соответствующая структура показана на рис. 7.2. Индексы между j и г — 1 не подпадают ни под один из трех перечисленных случаев, и значения соответствующих им элементов никак не связаны с опорным элементом х.
f Ирлыч. ЧИН Sk )
Рис. 7.2. Четыре области, поддерживаемые процедурой Partition в подмассиве Л[р..г]; все элементы подмассива Л[р..г] меньше либо равны х, все элементы подмассива А [г 4- l.j — 1] больше х и А [г] = х, а все элементы подмассива A [j..r — 1] могут иметь любые значения
Перед тем как приступить к работе со сформулированным инвариантом цикла, давайте еще раз рассмотрим рис. 7.1. Светло-серым цветом обозначены элементы массива, которые попали в первую часть разбиения; значения всех этих элементов не превышают величину х. Элементы темно-серого цвета образуют вторую часть массива; их величина больше х. Незакрашенные элементы — это те, что не попали ни в одну из первых двух частей; последний незакрашенный элемент является опорным. В части а рисунка показано начальное состояние массива и значения переменных. Ни один элемент не помещен ни в одну из первых двух частей. В части б рисунка элемент со значением 2 “переставлен сам с собой” и помещен в ту часть, элементы которой не превышают х. В частях виг элементы со значениями 8 и 7 добавлены во вторую часть массива (которая до этого момента была пустой). В части д элементы 1 и 8 поменялись местами, в результате чего количество элементов в первой части возросло. В части в меняются местами элементы 3 и 7, в результате чего количество элементов в первой части возрастает. В частях ж и з вторая часть увеличивается за счет включения в нее элементов 5 и 6, после чего цикл завершается. В части и. иллюстрирующей действие строк 7 и 8, опорный элемент меняется местами с тем, который находится на границе раздела двух областей.
Теперь нам необходимо показать, что сформулированный выше инвариант цикла справедлив перед первой итерацией, что каждая итерация цикла сохраняет этот инвариант и что инвариант позволяет продемонстрировать корректность алгоритма по завершении цикла.
Инициализация. Перед первой итерацией цикла г = р — 1 и j = р. Между элементами с индексами риг нет никаких элементов, как нет их и между элементами с индексами г 4- 1 и j — 1, поэтому первые два условия инварианта цикла выполняются. Присваивание, которое выполняется в строке 1 процедуры, приводит к тому, что становится справедливым третье условие.
Сохранение. Как видно из рис. 7.3, нужно рассмотреть два случая, выбор одного из которых определяется проверкой в строке 4 алгоритма. На рис. 13а показано, что происходит, если A [j] > х; единственное действие, которое
Рис. 7.3. Два варианта итерации процедуры PARTITION
выполняется в этом случае в цикле — увеличение на единицу значения j. При увеличении значения j для элемента A [j - 1] выполняется условие 2, а все остальные элементы остаются неизменными. На рис. 7.36 показано, что происходит, если A [j] ^ х; в этом случае увеличивается значение г, элементы А [г] и A [j] меняются местами, после чего на единицу увеличивается значение j. В результате перестановки А [г] ^ х, и условие 1 выполняется. Аналогично получаем A [j — 1] > ж, поскольку элемент, который был переставлен с элементом A [j — 1], согласно инварианту цикла, больше х.
Завершение. По завершении работы алгоритма j = г. Поэтому каждый элемент массива является членом одного из трех множеств, описанных в инварианте цикла. Таким образом, все элементы массива разбиты на три множества: величина которых не превышает ж, превышающие ж, и одноэлементное множество, состоящее из элемента ж.
В последних двух строках процедуры Partition опорный элемент перемещается на свое место в средину массива при помощи его перестановки с крайним левым элементом, превышающим величину ж. Теперь вывод процедуры Partition удовлетворяет требованиям, накладываемым на этап разбиения.
Время обработки процедурой Partition подмассива А \р..г] равно 0 (п), где п = г — р 4-1 (см. упражнение 7.3-1).
Упражнения
1. Используя в качестве модели рис. 7.1, проиллюстрируйте действие процедуры Partition на массив Л = (13,19,9,5,12,8,7,4,21,2,6,11).
2. Какое значение q возвращает процедура Partition, если все элементы массива А [р..г] одинаковы? Модифицируйте эту процедуру так, чтобы в случае, когда все элементы массива А [р..т] одинаковы, q определялось следующим образом: q = L(P + r)/2j.
3. Приведите краткое обоснование утверждения, что время обработки процедурой Partition подмассива, состоящего из п элементов, равно 0 (п).
7.1-4. Как бы вы изменили процедуру Quicksort для сортировки в невозрастающем порядке?
Производительность быстрой сортировки
Время работы алгоритма быстрой сортировки зависит от степени сбалансированности, которой характеризуется разбиение. Сбалансированность, в свою очередь, зависит от того, какой элемент выбран в качестве опорного. Если разбиение сбалансированное, асимптотически алгоритм работает так же быстро, как и сортировка слиянием. В противном случае асимптотическое поведение этого алгоритма столь же медленное, как и у сортировки вставкой. В данном разделе будет проведено неформальное исследование поведения быстрой сортировки при условии сбалансированного и несбалансированного разбиения.
Наихудшее разбиение
Наихудшее поведение алгоритма быстрой сортировки имеет место в том случае, когда подпрограмма, выполняющая разбиение, порождает одну подзадачу сп-1 элементов, а вторую — с 0 элементов. (Это будет доказано в разделе 7.4.1.) Предположим, что такое несбалансированное разбиение возникает при каждом рекурсивном вызове. Для выполнения разбиения требуется время 0 (п). Поскольку рекурсивный вызов процедуры разбиения, на вход которой подается массив размера 0, приводит к возврату из этой процедуры без выполнения каких-либо операций, Т (0) = 0 (1). Итак, рекуррентное соотношение, описывающее время работы этой процедуры, записывается следующим образом:
Г (п) = Г (п - 1) + Т (0) + 0 (п) = Г (п - 1) + 0 (п).
Интуитивно понятно, что при суммировании промежутков времени, затрачиваемых на каждый уровень рекурсии, получается арифметическая прогрессия (уравнение (А.2)), что дает нам в результате 0 (п2). В самом деле, с помощью метода
подстановок легко доказать, что Г (п) = 0 (п2) является решением рекуррентного соотношения Т (n) = Т (п — 1) + 0 (п) (см. упражнение 7.2-1).
Таким образом, если на каждом уровне рекурсии алгоритма разбиение максимально несбалансированное, то время работы алгоритма равно 0 (п2). Следовательно, производительность быстрой сортировки в наихудшем случае не превышает производительности сортировки вставкой. Более того, за такое же время алгоритм быстрой сортировки обрабатывает массив, который уже полностью отсортирован, — часто встречающаяся ситуация, в которой время работы алгоритма сортировки вставкой равно О (п).
Наилучшее разбиение
В самом благоприятном случае процедура PARTITION делит задачу размером п на две подзадачи, размер каждой из которых не превышает п/2, поскольку размер одной из них равен [n/2j, а второй — [п/2"| — 1. В такой ситуации быстрая сортировка работает намного производительнее, и время ее работы описывается следующим рекуррентным соотношением:
Т(п) < 2Т(п/2) + О(п).
Это рекуррентное соотношение подпадает под случай 2 основной теоремы (теоремы 4.1), так что его решение — Т(п) = O(nlgn). Таким образом, разбиение на равные части приводит к асимптотически более быстрому алгоритму.
Сбалансированное разбиение
Как станет ясно из анализа, проведенного в разделе 7.4, в асимптотическом пределе поведение алгоритма быстрой сортировки в среднем случае намного ближе к его поведению в наилучшем случае, чем в наихудшем. Чтобы стало ясно, почему это так, нужно понять, как баланс разбиения отражается на рекуррентном соотношении, описывающем время работы алгоритма.
Предположим, что разбиение происходит в соотношении один к девяти, что на первый взгляд весьма далеко от сбалансированности. В этом случае для времени работы алгоритма быстрой сортировки мы получим следующее рекуррентное соотношение:
Г (п) Г (9п/10) 4- Т (п/10) + сп,
в которое явным образом входит константа с, скрытая в члене 0 (п). На рис. 7.4 показано рекурсивное дерево, отвечающее этому рекуррентному соотношению. В узлах дерева приведены размеры соответствующих подзадач, а справа от каждого уровня — его время работы. Время работы уровней явным образом содержит константу с, скрытую в члене 0 (п). Обратите внимание, что время работы
О(п 1g и)
Рис. 7.4. Рекурсивное дерево, соответствующее делению задачи процедурой Partition в соотношении 1:9
каждого уровня этого дерева равна сп. Так происходит до тех пор, пока не будет достигнута глубина log10n = ©(Ign). Время работы более глубоких уровней не превышает величину сп. Рекурсия прекращается на глубине log10/9n = = © (Ign); таким образом, полное время работы алгоритма быстрой сортировки равно О (nlgn). Итак, если на каждом уровне рекурсии разбиение производится в соотношении один к девяти, время работы алгоритма быстрой сортировки равно О (nlgn). Другими словами, несмотря на то, что такое разбиение выглядит довольно несбалансированным, в асимптотическом пределе алгоритм ведет себя так же, как и при делении задачи на две одинаковые подзадачи. Фактически, даже разбиение в соотношении девяносто девять к одному приводит к тому, что время выполнения этого алгоритма будет равно О (nlgn). Причина в том, что любое разбиение, характеризующееся конечной константой пропорциональности, приводит к образованию рекурсивного дерева высотой © (lg п) и временем работы каждого уровня О (п). Таким образом, при любой постоянной величине пропорции полное время выполнения составляет О {n\gn).
Интуитивные рассуждения для среднего случая
Чтобы получить представление о работе алгоритма быстрой сортировки в среднем случае, необходимо сделать предположение о том, как часто ожидается появление тех или иных входных данных. Поведение рассматриваемого алгоритма определяется относительным расположением элементов данного входного массива,
а не их конкретной величиной. Как и при вероятностном анализе задачи о найме сотрудника, проведенном в разделе 5.2, пока что предположим, что все перестановки входных чисел равновероятны.
Если алгоритм быстрой сортировки обрабатывает случайным образом выбранный входной массив, то маловероятно, чтобы разбиение на каждом уровне происходило в одном и том же соотношении, как это было в ходе проведенного выше неформального анализа. Предположим, что некоторые разбиения сбалансированы довольно хорошо, в то время как другие сбалансированы плохо. Например, в упражнении 7.2-6 нужно показать, что соотношение размеров подзадач на выходе процедуры Partition примерно в 80% случаев сбалансировано лучше, чем девять к одному, а примерно в 20% случаев — хуже.
В среднем случае процедура Partition производит и “хорошие” и “плохие” деления. В рекурсивном дереве, соответствующем среднему случаю, хорошие и плохие разбиения равномерно распределены по всему дереву. Для упрощения интуитивных рассуждений предположим, что уровни дерева с плохими и хорошими разбиениями чередуются, и что хорошие разбиения получаются такими, как в наилучшем случае, а плохие — такими, как в наихудшем. На рис. 7.5а показаны разбиения на двух соседних уровнях такого рекурсивного дерева. В корне дерева время разбиения пропорционально п, а размеры полученных подмассивов равны п — 1 и 0, что соответствует наихудшему случаю. На следующем уровне подмассив размера п — 1 делится оптимальным образом на подмассивы размеров (п — 1)/2 — 1 и (п — 1)/2. Предположим, что для подмассива размером 0 время работы равно 1.
Чередование таких хороших и плохих разбиений приводит к образованию трех подмассивов с размерами 0, (п — 1)/2 — 1 и (п — 1)/2. При этом суммарное время разбиения равно © (п) 4- © (п — 1) = © (тг). Эта ситуация определенно не хуже показанной на рис. 7.56, где изображен один уровень разбиения, в результате которого в течение времени © (тг) образуются два подмассива с размерами (тг — 1)/2. Однако в этом случае разбиение получается сбалансированным! Интуитивно понятно, что время © (тг — 1), которое требуется на плохое разбиение, поглощается временем © (тг), которое требуется на хорошее разбиение, а полученное в результате разбиение оказывается хорошим. Таким образом, время работы алгоритма быстрой сортировки, при которой на последовательных уровнях чередуются плохие и хорошие разбиения, ведет себя подобно времени работы алгоритма быстрой сортировки, при которой выполняются только хорошие разбиения. Оно также равно О (nlgn), просто константа, скрытая в О-обозначении, в этом случае несколько больше. Строгий анализ рандомизированной версии алгоритма быстрой сортировки в среднем случае содержится в разделе 7.4.2.
I -1)/2 - I;1/2
a)6)
Рис. 7.5. а) Два уровня рекурсивного дерева быстрой сортировки, б) Хорошо сбалансированный уровень рекурсивного дерева. В обоих случаях время выполнения подзадач в заштрихованных эллипсах равно 0 (п)
Упражнения
1. С помощью метода подстановки докажите, что решение рекуррентного соотношения Г (n) = Т (п — 1) 4- 0 (п) имеет вид Г (п) = 0 (^2), как утверждалось в начале раздела 7.2.
2. Чему равно время работы процедуры Quicksort в случае, когда все элементы массива Л одинаковы по величине?
3. Покажите, что если все элементы массива Л различаются по величине и расположены в убывающем порядке, то время работы процедуры Quicksort равно 0 (п2).
4. Сведения о банковских операциях часто записываются в хронологическом порядке, но многие предпочитают получать отчеты о состоянии своих банковских счетов в порядке нумерации чеков. Чеки чаще всего выписываются в порядке возрастания их номеров, а торговцы обычно обналичивают их с небольшой задержкой. Таким образом, задача преобразования упорядочения по времени операций в упорядочение по номерам чеков — это задача сортировки почти упорядоченных массивов. Обоснуйте утверждение, что при решении этой задачи процедура Inser- tion_Sort превзойдет по производительности процедуру Quicksort.
5. Предположим, что в ходе быстрой сортировки на каждом уровне происходит разбиение в пропорции 1 — а к а, где 0<а^1/2 — константа. Покажите, что минимальная глубина, на которой расположен лист рекурсивного дерева, приблизительно равна — Ign/lga, а максимальная глубина — приблизительно — lgn/lg (1 — а\ (Округление до целых чисел во внимание не принимается.)
* 7.2-6. Докажите, что для любой константы 0 < а ^ 1/2 вероятность того, что процедура Partition поделит случайно выбранный входной массив в более сбалансированной пропорции, чем 1 — а к а, приблизительно равна 1 — 2a.
Рандомизированная версия быстрой сортировки
Исследуя поведение алгоритма быстрой сортировки в среднем случае, мы сделали предположение, что все перестановки входных чисел встречаются с равной вероятностью. Однако на практике это далеко не всегда так (см. упражнение 7.2-4). Иногда путем добавления в алгоритм этапа рандомизации (аналогично тому, как это было сделано в разделе 5.3) удается получить среднюю производительность во всех случаях. Многие считают такую рандомизированную версию алгоритма быстрой сортировки оптимальным выбором для обработки достаточно больших массивов.
В разделе 5.3 рандомизация алгоритма проводилась путем явной перестановки его входных элементов. В алгоритме быстрой сортировки можно было бы поступить точно так же, однако анализ упростится, если применить другой метод рандомизации, получивший название случайной выборки (random sampling). Вместо того чтобы в качестве опорного элемента всегда использовать А [г], такой элемент будет выбираться в массиве Л[р..г] случайным образом. Подобная модификация, при которой опорный элемент выбирается случайным образом среди элементов с индексами от р до г, обеспечивает равную вероятность оказаться опорным любому из г — р +1 элементов подмассива. Благодаря случайному выбору опорного элемента можно ожидать, что разбиение входного массива в среднем окажется довольно хорошо сбалансированным.
Изменения, которые нужно внести в процедуры Partition и Quicksort, незначительны. В новой версии процедуры Partition непосредственно перед разбиением достаточно реализовать перестановку:
Randomized_Partition(X, р, г)
г *— Random (р, г)
Обменять Л [г] Л [г]
return Partition^, р, г)
В новой процедуре быстрой сортировки вместо процедуры Partition вызывается процедура Randomized_Partition:
Randomized_Quicksort(X,p, г)
if р < г
then q <- Randomized_Partition(X,p, г)
RANDOMIZED_QuICKSORT(X, р, q - 1)
RANDOMIZED_QUICKSORT(X, q + 1, r)
Этот алгоритм будет проанализирован в следующем разделе.
Упражнения
1. Почему производительность рандомизированного алгоритма анализируется в среднем, а не в наихудшем случае?
2. Сколько раз в ходе выполнения процедуры RandomizedQuicksort в наихудшем случае вызывается генератор случайных чисел Random?
Анализ быстрой сортировки
В разделе 7.2 были приведены некоторые интуитивные рассуждения по поводу поведения алгоритма быстрой сортировки в наихудшем случае, и обосновывалось, почему следует ожидать достаточно высокой производительности его работы. В данном разделе проведен более строгий анализ поведения этого алгоритма. Начнем этот анализ с наихудшего случая. Подобный анализ применим как к процедуре Quicksort, так и к процедуре Randomized_Quicksort. В конце раздела анализируется работа процедуры Randomized_Quicksort в среднем случае.
Анализ в наихудшем случае
В разделе 7.2 было показано, что при самом неудачном разбиении на каждом уровне рекурсии время работы алгоритма быстрой сортировки равно 0 (тг2). Интуитивно понятно, что это наихудшее время работы рассматриваемого алгоритма. Докажем это утверждение.
С помощью метода подстановки (см. раздел 4.1) можно показать, что время работы алгоритма быстрой сортировки равно О (тг2). Пусть Т (п) — наихудшее время обработки процедурой Quicksort входных данных размером п. Тогда мы получаем следующее рекуррентное соотношение:
Т (n) = nJ”^ , (Г (9) + Г (п - 9 ” !)) + ® (п) >С71)
где параметр q изменяется в интервале от 0 до тг — 1, поскольку на выходе процедуры Partition мы получаем две подзадачи, полный размер которых равен п — 1. Мы предполагаем, что Т (тг) ^ стг2 для некоторой константы с. Подставляя это неравенство в рекуррентное соотношение (7.1), получим
Т (тг) < max (cq2 4- с (тг — q — I)2) + 0 (тг) =0^7^71-1 X/
= с • max (q2 + (п — 1 — q)2) + 0 (п).
О^д^тг— 1 X/
Выражение q2 4- (п — q — I)2 достигает максимума на обоих концах интервала 0 ^ q ^ тг — 1, что подтверждается тем, что вторая производная от него по
q положительна (см. упражнение 7.4-3). Это наблюдение позволяет нам сделать следующую оценку:
max (q2 + (n — q — I)2) (n — I)2 = n2 — 2n + 1.
0^g^7i-l X/
В результате получаем следующее ограничение для Т (п):
Т (п) сп2 — с (2п — 1) 4- 0 (п) сп2, поскольку константу с можно выбрать настолько большой, чтобы слагаемое с (2/г - 1) доминировало над слагаемым 0 (п). Таким образом, Г (п) = О (п2). В разделе 7.2 мы встречались с частным случаем быстрой сортировки, при котором требовалось время Q (п2) — это случай несбалансированного разбиения. В упражнении 7.4-1 нужно показать, что рекуррентное соотношение (7.1) имеет решение Т (n) = Q(n2). Таким образом, время работы алгоритма быстрой сортировки (в наихудшем случае) равно 0 (п2).
Математическое ожидание времени работы
Мы уже приводили интуитивный аргумент в пользу того, что время работы процедуры RandomizedQuicksort в среднем случае равно О (nlgn): если на каждом уровне рекурсии в разделении, производимом процедурой Randomized Partition, в одну часть массива помещается произвольная фиксированная доля элементов, то высота рекурсивного дерева равна 0(lgn), а время работы каждого его уровня — О (п). Даже после добавления новых уровней с наименее сбалансированным разбиением время работы останется равным О (nlgn). Можно провести точный анализ математического ожидания времени работы процедуры Randomized Quicksort. Для этого сначала нужно понять, как работает процедура разбиения, а затем — получить для математического ожидания времени работы оценку О (nlgn) в предположении, что значения всех элементов различны. Эта верхняя граница математического ожидания времени работы в сочетании с полученной в разделе 7.2 оценкой для наилучшего случая, равной О (nlgn), позволяют сделать вывод о том, что математическое ожидание времени работы равно 0 (nlgn).
Время работы и сравнения
Время работы процедуры Quicksort определяется преимущественно временем работы, затраченным на выполнение процедуры Partition. При каждом выполнении последней происходит выбор опорного элемента, который впоследствии не принимает участия ни в одном рекурсивном вызове процедур Quicksort и Partition. Таким образом, на протяжении всего времени выполнения алгоритма
быстрой сортировки процедура Partition вызывается не более п раз. Один вызов процедуры Partition выполняется в течение времени О (1), к которому нужно прибавить время, пропорциональное количеству итераций цикла for в строках 3-6. В каждой итерации цикла for в строке 4 опорный элемент сравнивается с другими элементами массива А. Поэтому, если известно количество выполнений строки 4, можно оценить полное время, которое затрачивается' на выполнение цикла for в процессе работы процедуры Quicksort.
Лемма 7.1. Пусть X — количество сравнений, которое выполняется в строке 4 процедуры Partition в течение полной обработки n-элементного массива процедурой Quicksort. Тогда время работы процедуры Quicksort равно О (n + X).
Доказательство. Как следует из приведенных выше рассуждений, процедура Partition вызывается п раз, и при этом производится определенный фиксированный объем работы. Затем определенное число раз запускается цикл for, при каждой итерации которого выполняется строка 4. ■
Таким образом, наша цель — вычислить величину X, т.е. полное количество сравнений, выполняемых при всех вызовах процедуры PARTITION. Не будем пытаться проанализировать, сколько сравнений производится при каждом вызове этой процедуры. Вместо этого получим общую оценку полного количества сравнений. Для этого необходимо понять, в каких случаях в алгоритме производится сравнение двух элементов массива, а в каких — нет. Для упрощения анализа переименуем элементы массива А как х\, Z2, • - •, ^п, где z, — г-й наименьший по порядку элемент. Кроме того, определим множество Z^ = {zi, Zi+i,..., Zj}, которое содержит элементы, расположенные между элементами z, и Zj включительно.
В каких случаях в алгоритме производится сравнение элементов zt и z^ Прежде чем ответить на этот вопрос, заметим, что сравнение каждой пары элементов производится не более одного раза. Почему? Дело в том, что элементы сравниваются с опорным, который никогда не используется в двух разных вызовах процедуры Partition. Таким образом, после определенного вызова этой процедуры используемый в качестве опорного элемент впоследствии больше не будет сравниваться с другими элементами.
Воспользуемся в нашем анализе индикаторными случайными величинами (см. раздел 5.2). Определим величину
Xij = I (z^ сравнивается с z^},
с помощью которой учитывается, произошло ли сравнение в течение работы алгоритма (но не в течение определенной итерации или определенного вызова процедуры Partition). Поскольку каждая пара элементов сравнивается не более одного
раза, полное количество сравнений, выполняемых на протяжении работы алгоритма, легко выразить следующим образом:
n—1 п
* = Е Е ху-i=l j=i+l
Применяя к обеим частям этого выражения операцию вычисления математического ожидания и используя свойство ее линейности и лемму 5.1, получим:
Е [X] = ЕЕ [X] = Еп—1 пп—1 п
Е [X] = Е
Е [X] = Е
п—1 п
п—1 п
(7.2)(7.2)= Е Е Е№ =
(7.2)
(7.2)
i=l j=i+l
n—1 п
= У^ У^ Рг {^ сравнивается с г3У
г=1 j=i+l
Осталось вычислить величину Рг {г, сравнивается с z7}. Предполагается, что опорные элементы выбираются случайным образом, причем независимо друг от друга.
Полезно поразмышлять о том, когда два элемента не сравниваются. Рассмотрим в качестве входных данных для алгоритма быстрой сортировки множество, состоящее из целых чисел от 1 до 10 (в произвольном порядке), и предположим, что в качестве первого опорного элемента выбрано число 7. Тогда в результате первого вызова процедуры Partition все числа разбиваются на два множества: (1,2,3,4,5,6} и {8,9,10}. При этом элемент 7 сравнивается со всеми остальными. Очевидно, что ни одно из чисел, попавшее в первое подмножество (например, 2), больше не будет сравниваться ни с одним элементом второго подмножества (например, с 9).
В общем случае ситуация такая. Поскольку предполагается, что значения всех элементов различаются, то при выборе х в качестве опорного элемента впоследствии не будут сравниваться никакие z< и Zj, для которых zt < х < Zj. С другой стороны, если в качестве опорного выбран элемент z^, то он будет сравниваться с каждым элементом множества Z^, кроме себя самого. Аналогичное утверждение можно сделать по поводу элемента Zj. В рассматриваемом примере значения 7 и 9 сравниваются, поскольку элемент 7 — первый из множества Z7 9, выбранный в роли опорного. По той же причине (поскольку элемент 7 — первый из множества £2,9, выбранный в роли опорного) элементы 2 и 9 сравниваться не будут. Таким образом, элементы zt и Zj сравниваются тогда и только тогда, когда первым в роли опорного в множестве Zy выбран один из них.
Теперь вычислим вероятность этого события. Перед тем как в множестве Zn будет выбран опорный элемент, все это множество является не разделенным, и любой его элемент с одинаковой вероятностью может стать опорным. Поскольку всего в этом множестве j — г + 1 элемент, а опорные элементы выбираются случайным образом и независимо друг от друга, вероятность того, что какой- либо фиксированный элемент первым будет выбран в качестве опорного, равна l/(j: — г + 1). Таким образом, выполняется следующее соотношение:
Рг{^ сравнивается с z7 } =
= Рг {Первым опорным элементом выбран z, или zj} =
= Рг {Первым опорным элементом выбран Zi) +
+ Рг {Первым опорным элементом выбран z3} =(7-3)
- 11 - 2
3 — г + 1 з — г + 1 з — г + 1"
и (7.3), получаем:и (7.3), получаем:Сумма вероятностей в приведенной выше цепочке равенств следует из того, что рассматриваемые события взаимоисключающие. Сопоставляя уравнения (7.2)
и (7.3), получаем:
и (7.3), получаем:
23 - г + 123 - г + 1п—171
2
3 - г + 1
2
3 - г + 1
еи = Е Е
1=1 j=l+l
Эту сумму можно оценить, воспользовавшись заменой переменных (к = j — i) и границей для гармонического ряда (уравнение (А.7)):
223 - г + 13 - г + 1п— 1 п—гп— 1 п—г(7.4)(7.4)
2
2
3 - г + 1
3 - г + 1
п— 1 п—г
п— 1 п—г
(7.4)
(7.4)
< 5252^ = ^OQgn) = O(nlgn).
1=1 к=1 К 1=1
Таким образом, можно сделать вывод, что при использовании процедуры Ran- domized_Partition математическое ожидание времени работы алгоритма быстрой сортировки различающихся по величине элементов равно О (nlgn).
Упражнения
1. Покажите, что в рекуррентном соотношении
Т (п) = п^ , (г (») + г (^ - 9 - 1)) + © (п), 0^9^71-1
Т (п) = П (п2).
2. Покажите, что в самом благоприятном случае время работы алгоритма быстрой сортировки равно Q (?zlgn).
3. Покажите, что функция д2 + (п — q — I)2 на множестве д = О,1,..., n-1 достигает максимума при q = 0 или q = п — 1.
4. Покажите, что математическое ожидание времени работы процедуры Randomized_Quicksort равно Q (?ilgn).
5. На практике время работы алгоритма быстрой сортировки можно улучшить, воспользовавшись тем, что алгоритм сортировки по методу вставок быстро работает для “почти” отсортированных входных последовательностей. Для этого можно поступить следующим образом. Когда процедура быстрой сортировки начнет рекурсивно вызываться для обработки подмассивов, содержащих менее к элементов, в ней не будет производиться никаких действий, кроме выхода из процедуры. После возврата из процедуры быстрой сортировки, вызванной на самом высоком уровне, запускается алгоритм сортировки по методу вставок, на вход которого подается весь обрабатываемый массив. На этом процесс сортировки завершается. Докажите, что математическое ожидание времени работы такого алгоритма сортировки равно О (пк 4- п 1g (п/к)). Как следует выбирать значение к, исходя из теоретических и практических соображений?
* 7.4-6. Рассмотрим модификацию процедуры Partition путем случайного выбора трех элементов массива Л и разбиения массива по медиане выбранных элементов (т.е. по среднему из этих трех элементов). Найдите приближенную величину вероятности того, что в худшем случае разбиение будет произведено в отношении а к (1 — а), как функцию от а в диапазоне 0 < а < 1.
Задачи
7-1. Корректность разбиения по Хоару
Представленная в этой главе версия процедуры PARTITION не является реализацией первоначально предложенного алгоритма. Ниже приведен исходный алгоритм разбиения, разработанный Хоаром (C.A.R. Hoare):
Hoare_Partition(A, р, г)
1 х <— А[р]
2 г <— р — 1
j г + 1
while TRUE
do repeat j «— j — 1
6789101167891011until Л [j] < х
6
7
8
9
10
11
6
7
8
9
10
11
repeat г «— г + 1until Л [г] ^ х
if г < j
then Обменять Л [г] <-> Л[^] else return j
Продемонстрируйте, как работает процедура HoarePartition с входным массивом Л = (13,19,9,5,12,8,7,4,11,2,6,21). Для этого укажите, чему будут равны значения элементов массива и значения вспомогательных переменных после каждой итерации цикла while в строках 4-11.
В следующих трех заданиях предлагается привести аргументы в пользу корректности процедуры Hoare_Partition. Докажите следующие утверждения.
Индексы г и j принимают такие значения, что обращение к элементам массива Л, находящимся за пределами подмассива Л [р..г], никогда не произойдет.
По завершении процедуры Hoare_Partition возвращается значение j, такое что р С j < т.
По завершении процедуры Hoare_Partition каждый элемент подмассива Л [p..j] не превышает значений каждого элемента подмассива Л [J + 1..г].
В описанной в разделе 7.1 процедуре Partition опорный элемент (которым изначально является элемент Л [г]) отделяется от двух образованных с его помощью подмассивов. В процедуре же Hoare_Partition, напротив, опорный элемент (которым изначально является элемент Л [р]) всегда помещается в один из двух полученных подмассивов: Л [р..j] или Л [j + 1..г]. Поскольку р ^ j < г, это разбиение всегда нетривиально.
Перепишите процедуру Quicksort таким образом, чтобы в ней использовалась процедура Hoare_Partition.
7-2. Альтернативный анализ быстрой сортировки
Можно предложить альтернативный анализ рандомизированной быстрой сортировки, в ходе которого внимание сосредотачивается на математическом ожидании времени, которое требуется для выполнения каждого рекурсивного вызова процедуры Quicksort, а не на количестве производимых сравнений.
Докажите, что вероятность того, что какой-либо заданный элемент n-элементного массива будет выбран в качестве опорного, равна 1/п. Опираясь на этот факт, определите индикаторную случайную величину
Xi = I {г-й в порядке возрастания элемент выбран опорным} . Какой смысл имеет величина Е [Х;]?
Пусть Т (тг) — случайная величина, обозначающая время работы алгоритма быстрой сортировки n-элементного массива. Докажите, что
п
Е\Т(п^ = ЕЕ\Т(п^ = Е(7.5)(7.5)£хд(Т(д-1)+Т(п-д) + е(п))
Е\Т(п^ = Е
Е\Т(п^ = Е
(7.5)
(7.5)
9=1
Покажите, что уравнение (7.5) можно представить в виде
Е [Г (п)] = - £ Е [Г (д)] + е (п).(7.6)
Покажите, что
X'fclgA: -n2lgn--п2.(7.7)
к=2
(Указание: разбейте сумму на две части, в одной из которых суммирование проводится по индексам fc = 2,3,...,fn/2l —1,ав другой — по индексам к = [п/2],..., п - 1.)
Покажите с помощью неравенства (7.7), что решение рекуррентного соотношения (7.6) имеет вид E[T(n)] = 0(nlgn). (Указание: с помощью подстановки покажите, что Е [Т (n)] < an 1g п для достаточно больших п и некоторой положительной константы а.)
7-3. Блуждающая сортировка
Два профессора предложили “элегантный” алгоритм сортировки, который выглядит следующим образом:
8ТООСЕ_8ОКТ(Л, г, j)
1234567812345678if Л[г] > лу]
1
2
3
4
5
6
7
8
1
2
3
4
5
6
7
8
then Обменять Л [г] «-» Л [5]
then return
> Округление в меньшую сторонуПервые две третиПоследние две третиСнова первые две трети> Округление в меньшую сторонуПервые две третиПоследние две третиСнова первые две трети£ <- LC? - г + 1)/3J
> Округление в меньшую сторону
Первые две трети
Последние две трети
Снова первые две трети
> Округление в меньшую сторону
Первые две трети
Последние две трети
Снова первые две трети
8ТООСЕ_8ОКТ(Л, г, 3 - A:) 8ТОООЕ_8ОКТ(Л, г + fcJ) 8ТОООЕ_8ОКТ(Л,г, 3 - A:)
Докажите, что если n = length [Л], то процедура 8ТОООЕ_8ОКГ(Л, 1, length [Л]) корректно сортирует входной массив Л [1..п].
Запишите рекуррентное соотношение для времени работы процедуры STOOGE SORT и дайте точную асимптотическую границу (в 0- обозначениях) этой величины.
Сравните время работы процедуры Stooge_Sort в наихудшем случае со временем сортировки вставкой, сортировки слиянием, пирамидальной сортировки и быстрой сортировки. Достойны ли эти профессора своих званий?
7-4. Глубина стека для быстрой сортировки
В описанном в разделе 7.1 алгоритме Quicksort содержатся два рекурсивных вызова этого же алгоритма. После вызова процедуры Partition полученные в результате правый и левый подмассивы рекурсивно сортируются. Второй рекурсивный вызов процедуры Quicksort на самом деле не является необходимым; его можно избежать с помощью итеративной управляющей структуры. Этот метод, получивший название оконечной рекурсии (tail recursion), автоматически обеспечивается хорошими компиляторами. Рассмотрите приведенную ниже версию быстрой сортировки, в которой имитируется оконечная рекурсия:
QUICKSORT,(Л,p, г)
while р < г
do > Разбиение и сортировка левого подмассива
q <— Partition(Л, р, г)
Quicksort^, р, q - 1)
р <— q-vX
Докажите, что процедура Quicksort7^, 1, length [Л]) корректно сортирует входной массив Л.
Обычно компиляторы выполняют рекурсивные процедуры с помощью стека, содержащего необходимую информацию, в том числе и значения параметров, применяющихся для каждого рекурсивного вызова. Информация о самом последнем вызове находится на верху стека, а информация о начальном вызове — на его дне. При вызове процедуры информация записывается в стек (pushed), а при ее завершении — выталкивается (popped) из него. Поскольку предполагается, что массивы-параметры представлены указателями, при каждом обращении процедуры к стеку передается информация объемом 0(1). Глубина стека (stack depth) — это максимальная величина стекового пространства, которая используется в ходе вычисления.
Опишите сценарий, в котором глубина стека, необходимая для обработки процедурой Quicksort' n-элементного массива, равна 0 (п).
Модифицируйте код процедуры QUICKSORT' так, чтобы необходимая для ее работы глубина стека в наихудшем случае была равна 0(lgn). Математическое ожидание времени работы алгоритма О (п lg п) должно при этом остаться неизменным.
7-5. Разбиение по медиане трех элементов
Один из способов улучшения процедуры Randomized_Quicksort заключается в том, чтобы производить разбиение по опорному элементу, определенному аккуратнее, чем путем случайного выбора. Один из распространенных подходов — метод медианы трех элементов (median- of-З). Согласно этому методу, в качестве опорного элемента выбирается медиана (средний элемент) подмножества, составленного из трех выбранных в подмассиве элементов (см. упражнение 7.4-6). В этой задаче предполагается, что все элементы входного подмассива А [1..п] различны и что п ^ 3. Обозначим сохраняемый выходной массив через А' [Т.п]. Используя опорный элемент х с помощью метода медианы трех элементов, определим pi = Рг (ж = А* [г]}.
Приведите точную формулу для величины р, как функции от п и i для г = 2,3,..., п — 1. (Заметим, что pi = рп = 0.)
На сколько увеличится вероятность выбора в массиве А [1..п] в качестве опорного элемента х = A' [[(n + 1)/2J], если используется не обычный способ, а метод медианы? Чему равны предельные значения этих вероятностей при п —► оо?
Будем считать выбор опорного элемента х = А* [г] “удачным”, если п/3 ^ г ^ 2п/3. На сколько возрастает вероятность удачного выбора в методе медианы по сравнению с обычной реализацией? (Указание: используйте приближение суммы интегралом.)
Докажите, что при использовании метода медианы трех элементов время работы алгоритма быстрой сортировки, равное Q (nlgn), изменится только на постоянный множитель.
7-6. Нечеткая сортировка по интервалам
Рассмотрим задачу сортировки, в которой отсутствуют точные сведения о значениях чисел. Вместо них для каждого числа на действительной числовой оси задается интервал, которому оно принадлежит. Таким образом, в нашем распоряжении имеется п закрытых интервалов, заданных в виде [a,, dj, где а, < bi. Задача в том, чтобы произвести нечеткую сортировку (fuzzy-sort) этих интервалов, т.е. получить такую
перестановку (ii,гг, • • •, гп) интервалов, чтобы в каждом интервале можно было найти значения cj € [«,_,, fy], удовлетворяющие неравенствам С1 ^ С2 ^ • • * ^ Gi-
Разработайте алгоритм нечеткой сортировки п интервалов. Общая структура предложенного алгоритма должна совпадать со структурой алгоритма, выполняющего быструю сортировку по левым границам интервалов (т.е. по значениям а7). Однако время работы нового алгоритма должно быть улучшено за счет возможностей, предоставляемых перекрытием интервалов. (По мере увеличения степени перекрытия интервалов, задача их нечеткой сортировки все больше упрощается. В представленном алгоритме следует воспользоваться этим преимуществом, насколько это возможно.)
Докажите, что в общем случае математическое ожидание времени работы рассматриваемого алгоритма равно ©(nlgn), но если все интервалы перекрываются (т.е. если существует такое значение х, что для всех г х е [а^Ьф, то оно равно ©(п). В предложенном алгоритме этот факт не следует проверять явным образом; его производительность должна улучшаться естественным образом по мере увеличения степени перекрывания.
Заключительные замечания
Процедуру быстрой сортировки впервые разработал Хоар (Hoare) [147]; предложенная им версия описана в задаче 7-1. Представленная в разделе 7.1 процедура Partition появилась благодаря Ломуто (N. Lomuto). Содержащийся в разделе 7.4 анализ выполнен Авримом Блюмом (Avrim Blum). Хороший обзор литературы, посвященной описанию особенностей реализации алгоритмов и их влияния на производительность, можно найти у Седжвика (Sedgewick) [268] и Бентли (Bentley) [40].
Мак-Илрой (McIlroy) [216] показал, как создать конструкцию, позволяющую получить массив, при обработке которого почти каждая реализация быстрой сортировки будет выполняться в течение времени © (п2). Если реализация рандомизированная, то данная конструкция может создать данный массив на основании информации о том, каким образом в рандомизированном алгоритме быстрой сортировки осуществляется случайный выбор.
ГЛАВА 8
Сортировка за линейное время
Мы уже познакомились с несколькими алгоритмами, позволяющими выполнить сортировку п чисел за время О (nigп\ В алгоритмах сортировки по методу слияния и пирамидальной сортировки эта верхняя граница достигалась в наихудшем случае; в алгоритме быстрой сортировки она достигалась в среднем случае. Кроме того, для каждого из этих алгоритмов можно создать такую последовательность из п входных чисел, для которой алгоритм будет работать в течение времени Q (?Hgn).
Все упомянутые алгоритмы обладают одним общим свойством: при сортировке используется только сравнение входных элементов. Назовем такие алгоритмы сортировки сортировкой сравнением (comparison sorts). Все описанные до настоящего момента алгоритмы сортировки принадлежат к данному типу.
В разделе 8.1 будет доказано, что при любой сортировке путем сравнения для обработки п элементов в наихудшем случае нужно произвести не менее Q (nlgn) сравнений. Таким образом, алгоритмы сортировки слиянием и пирамидальной сортировки асимптотически оптимальны, и не существует алгоритмов этого класса, которые бы работали быстрее и время выполнения которых отличалось бы больше, чем на постоянный множитель.
В разделах 8.2, 8.3 и 8.4 рассматриваются три алгоритма сортировки: сортировка подсчетом (counting sort), поразрядная сортировка (radix sort) и карманная сортировка (bucket sort). Все эти алгоритмы выполняются в течение времени, линейно зависящего от количества элементов. Вряд ли стоит говорить о том, что в этих алгоритмах для определения правильного порядка элементов применяются операции, отличные от сравнений, а следовательно, нижняя граница Q (nlgn) к ним не применима.
Нижние оценки алгоритмов сортировки
В алгоритмах сортировки сравнением для получения информации о расположении элементов входной последовательности (ai, аг,..., ап) используются только попарные сравнения элементов. Другими словами, для определения взаимного порядка двух элементов at и aj выполняется одна из проверок at < aj, at < aj, at = aj, ai ^ aj или at > aj. Значения самих элементов или иная информация о них не доступна.
В этом разделе без потери общности предполагается, что все входные элементы различны. При этом операция сравнения at = aj становится бесполезной, и можно предположить, что никаких сравнений этого вида не производится. Заметим также, что операции at < aj, at ^ aj, at = aj, ai ^ aj и ai > aj эквивалентны в том смысле, что они дают одну и ту же информацию о взаимном расположении элементов ai и aj. Таким образом, можно считать, что все сравнения имеют вид ai aj.
Модель дерева решений
Абстрактное рассмотрение алгоритмов сортировки сравнением можно производить с помощью деревьев решений (decision trees). Дерево решений — это полное бинарное дерево, в котором представлены операции сравнения элементов, производящиеся тем или иным алгоритмом сортировки, который обрабатывает входные данные заданного размера. Управляющие операции, перемещение данных и все другие аспекты алгоритма игнорируются. На рис. 8.1 показано дерево решений, которое соответствует представленному в разделе 2.1 алгоритму сортировки вставкой, обрабатывающему входную последовательность из трех элементов.
В дереве решений каждый внутренний узел обозначен двухиндексной меткой г : з, где индексы г и j принадлежат интервалу 1 i,j п, а п — это количество элементов во входной последовательности. Метка указывает на
Рис. 8.1. Дерево решений для алгоритма сортировки вставкой, обрабатывающего три элемента
то, что сравниваются элементы а^ и aj. Каждый лист помечен перестановкой (тг (1), тг (2),..., тг (п)), которая представляет окончательное упорядочение элементов (а^ ^ 0^(2) ^-- < а-тг^У (Детальный материал по перестановкам содержится в разделе ВЛ.) Выполнение алгоритма сортировки соответствует прохождению пути от корня дерева до одного из его листьев. Толстой серой линией на рис. 8.1 выделена последовательность решений, принимаемых алгоритмом при сортировке входной последовательности (ai = 6,02 = 8,03 = 5); показанная в листе дерева перестановка (3,1,2) указывает на то, что порядок сортировки определяется соотношениями аз = 5 ^ ai = 6 ^ аг = 8. В данном случае всего имеется 3! = 6 возможных перестановок входных элементов, поэтому дерево решений должно иметь не менее 6 листьев. В общем случае в каждом внутреннем узле производится сравнение а» ^ aj. Левым поддеревом предписываются дальнейшие сравнения, которые нужно выполнить при а, ^ а7, а правым — сравнения, которые нужно выполнить при aj > aj. Дойдя до какого-нибудь из листьев, алгоритм сортировки устанавливает соответствующее этому листу упорядочение элементов (а,,^ ^ а^г) ^ • • • ^ ^(п)}- Поскольку каждый корректный алгоритм сортировки должен быть способен произвести любую перестановку входных элементов, необходимое условие корректности сортировки сравнением заключается в том, что в листьях дерева решений должны размещаться все п! перестановок п элементов, и что из корня дерева к каждому его листу можно проложить путь, соответствующий одному из реальных вариантов работы сортировки сравнением. (Назовем такие листы “достижимыми”.) Таким образом, мы будем рассматривать только такие деревья решений, в которых каждая из перестановок представлена в виде достижимого листа.
Нижняя оценка для наихудшего случая
Величина самого длинного пути от корня дерева решений к любому из его достижимых листов соответствует количеству сравнений, которые выполняются в рассматриваемом алгоритме сортировки в наихудшем случае. Следовательно, количество сравнений, выполняемых в том или ином алгоритме сортировки сравнением в наихудшем случае, равно высоте его дерева решений. Поэтому нижняя оценка высот для всех деревьев, в которых все перестановки представлены достижимыми листьями, является нижней оценкой времени работы для любого алгоритма сортировки сравнением. Эту оценку дает приведенная ниже теорема.
Теорема 8.1. В наихудшем случае в ходе выполнения любого алгоритма сортировки сравнением выполняется Q (тг 1g тг) сравнений.
Доказательство. Из приведенных выше рассуждений становится понятно, что для доказательства теоремы достаточно определить высоту дерева, в котором каждая перестановка представлена достижимым листом. Рассмотрим дерево решений
высотой h с I достижимыми листьями, которое соответствует сортировке сравнением п элементов. Поскольку каждая из п\ перестановок входных элементов сопоставляется с одним из листьев, n! ^ I. Так как бинарное дерево высоты h имеет не более 2h листьев, получаем:
п! ^ Z ^ 2й,
откуда после логарифмирования в силу монотонности логарифма и уравнения (3.18) следует:
/г lg (n!) = Q (nlgn).в
Следствие 8.2. Пирамидальная сортировка и сортировка слиянием — асимптотически оптимальные алгоритмы сортировки.
Доказательство. Верхние границы О (n lg п) времени работы пирамидальной сортировки и сортировки слиянием, совпадают с нижней границей Q (n lg п) для наихудшего случая из теоремы 8.1.■
Упражнения
1. Чему равна наименьшая допустимая глубина, на которой находится лист дерева решений сортировки сравнением?
2. Получите асимптотически точные границы для величины lg (п!), не используя приближение Стирлинга. Вместо этого воспользуйтесь для оценки суммы ^2^=1 lg к методом, описанным в разделе А.2.
3. Покажите, что не существует алгоритмов сортировки сравнением, время работы которых линейно по крайней мере для половины из п! вариантов входных данных длины п. Что можно сказать по поводу 1 /п-й части всех вариантов входных данных? По поводу 1/2п-й части?
4. Производится сортировка последовательности, состоящей из п элементов. Входная последовательность состоит из п/к подпоследовательностей, в каждой из которых к элементов. Все элементы данной подпоследовательности меньше элементов следующей подпоследовательности и больше элементов предыдущей подпоследовательности. Таким образом, для сортировки всей n-элементной последовательности достаточно отсортировать к элементов в каждой из п/к подпоследовательностей. Покажите, что нижняя граница количества сравнений, необходимых для решения этой разновидности задачи сортировки, равна Q(nlgfc). (Указание: просто скомбинировать нижние границы для отдельных подпоследовательностей недостаточно.)
Сортировка подсчетом
В сортировке подсчетом (counting sort) предполагается, что все п входных элементов — целые числа, принадлежащие интервалу от 0 до к, где к — некоторая целая константа. Если к = О (тг), то время работы алгоритма сортировки подсчетом равно 0 (п).
Основная идея сортировки подсчетом заключается в том, чтобы для каждого входного элемента х определить количество элементов, которые меньше х. С помощью этой информации элемент х можно разместить на той позиции выходного массива, где он должен находиться. Например, если всего имеется 17 элементов, которые меньше х, то в выходной последовательности элемент х должен занимать 18-ю позицию. Если допускается ситуация, когда несколько элементов имеют одно и то же значение, эту схему придется слегка модифицировать, поскольку мы не можем разместить все такие элементы в одной и той же позиции.
При составлении кода для этого алгоритма предполагается, что на вход подается массив Л[1..п], так что length [Л] = п. Потребуются еще два массива: в массиве В[1..п] будет содержаться отсортированная выходная последовательность, а массив С [0..А:] служит временным рабочим хранилищем:
Counting_Sort(X, В, к)
for г 0 to к
do С[г] <- О
for j <— 1 to lcngth\A\
do С^]] - С'ИЫ] + 1
> В С [г] хранится количество элементов, равных г.
for г <— 1 to к
do С[г] <- С[г] + С[г - 1]
> В С[г] — количество элементов, не превышающих г.
for j <— lengt/i^A] downto 1
do S[CH[j]]] «- A[j]
и ?№']] ■ « -1
Работа алгоритма сортировки подсчетом проиллюстрирована на рис. 8.2. В части а рисунка показан массив А и вспомогательный массив С после выполнения строки 4. В части б рисунка массив С приведен после выполнения строки 7. В частях в-д показано состояние выходного массива В и вспомогательного массива С после, соответственно, одной, двух и трех итераций цикла в строках 9-11. Заполненными являются только светло-серые элементы массива В. Конечный отсортированный массив В изображен в части е рисунка.
После инициализации в цикле for в строках 1-2, в цикле for в строках 3^ выполняется проверка каждого входного элемента. Если его значение равно г, то к величине С [г] прибавляется единица. Таким образом, после выполнения стро-
1 ?46 7 81 ?46 7 8nd dd -i а аnd dd -i а ав)в)1 2 3 4 5 6 7 8
1 ?46 7 8
1 ?46 7 8
nd dd -i а а
nd dd -i а а
в)
в)
А ; ' ' | i j 1| з;
■) I 2 3 I >
d dd 'i !i d '.I
а)
В Ь I ° I 1 IС [Тр"'рJIJг)В Ь I ° I 1 IС [Тр"'рJIJг)I 2 1 4 л 1 S
В Ь I ° I 1 I
С [Тр"'рJIJ
г)
В Ь I ° I 1 I
С [Тр"'рJIJ
г)
в d d i 7 7 d Ч d
е)
Рис. 8.2. Обработка алгоритмом COUNTING_SORT входного массива А [1..8], каждый элемент которого — неотрицательное целое число, не превышающее 5
ки 4 для каждого г = 0,1,..., к в переменной С [г] хранится количество входных элементов, равных г. В строках 6-7 для каждого г = 0,1,..., к определяется число входных элементов, не превышающих г.
Наконец, в цикле for в строках 9-11 каждый элемент A [j] помещается в надлежащую позицию выходного массива В. Если все п элементов различны, то при первом переходе к строке 9 для каждого элемента A [J] в переменной С [Л [/]] хранится корректный индекс конечного положения этого элемента в выходном массиве, поскольку имеется С [Л [j]] элементов, меньших или равных A [j]. Поскольку разные элементы могут иметь одни и те же значения, помещая значение A [j] в массив В, мы каждый раз уменьшаем С [Л [j]] на единицу. Благодаря этому следующий входной элемент, значение которого равно A [j] (если таковой имеется), в выходном массиве размещается непосредственно перед элементом А [)].
Сколько времени требуется для сортировки методом подсчета? На выполнение цикла for в строках 1-2 затрачивается время 0 (к), на выполнение цикла for в строках 3-4 — время 0(п), цикл в строках 6-7 требует ©(к) времени, а цикл в строках 9-11 — 0 (п). Таким образом, полное время можно записать как 0 (к + п). На практике сортировка подсчетом применяется, когда к = О (п), а в этом случае время работы алгоритма равно 0 (п).
В алгоритме сортировки подсчетом нижняя граница Q (nlgn), о которой шла речь в разделе 8.1, оказывается превзойденной, поскольку описанный алгоритм не основан на сравнениях. Фактически нигде в коде не производится сравнение входных элементов — вместо этого непосредственно используются их значения, с помощью которых элементам сопоставляются конкретные индексы. Нижняя же граница Q (n lg п) справедлива только при выполнении сортировки сравнением.
Важное свойство алгоритма сортировки подсчетом заключается в том, что он устойчив (stable): элементы с одним и тем же значением находятся в выходном массиве в том же порядке, что и во входном. Обычно свойство устойчивости важно только в ситуации, когда вместе сортируемые элементы имеют сопутствующие данные. Устойчивость, присущая сортировке подсчетом, важна еще и по другой причине: этот алгоритм часто используется в качестве подпрограммы при поразрядной сортировке. Как вы увидите в следующем разделе, устойчивость сортировки подсчетом критична для корректной работы поразрядной сортировки.
Упражнения
1. Используя в качестве модели рис. 8.2, проиллюстрируйте обработку массива Л = (6,0,2,0,1,3,4,6,1,3,2) процедурой Counting_Sort.
2. Докажите, что процедура Counting_Sort устойчива.
3. Предположим, что заголовок цикла for (строка 9) в процедуре COUNT- ing_Sort переписан в таком виде:
9 for з <— 1 to length [А]
Покажите, что алгоритм по-прежнему работает корректно. Устойчив ли модифицированный таким образом алгоритм?
-4. Опишите алгоритм, в котором производится предварительная обработка п элементов, принадлежащих интервалу от 0 до к, после чего в течение времени 0(1) можно получить ответ на запрос о том, сколько входных элементов принадлежат отрезку [а..6]. На предварительную обработку должно использоваться 0 (п + к) времени.
Поразрядная сортировка
Поразрядная сортировка (radix sort) — это алгоритм, который использовался в машинах, предназначенных для сортировки перфокарт. Такие машины теперь можно найти разве что в музеях вычислительной техники. Перфокарты были разбиты на 80 столбцов, в каждом из которых на одной из 12 позиций можно было сделать отверстие. Сортировщик можно было механически “запрограммировать” таким образом, чтобы он проверял заданный столбец в каждой перфокарте, которая находится в колоде, и распределял перфокарты по 12 приемникам в зависимости от того, в какой позиции есть отверстие. После этого оператор получал возможность извлечь перфокарты из всех приемников и разместить их так, чтобы сверху находились перфокарты с пробитым первым разрядом, за ними — перфокарты с пробитым вторым разрядом и т.д.
L4)
"20
320
45 7
5 5
по
35 л
(а 1
436
Л 6
4 Зо
> -Ь7
- > 830
>• 457
43 h
(о7
V) 5
657
32В
45 7
720
4 5
3 V)
ь5 7
8^0
Рис. 8.3. Обработка процедурой поразрядной сортировки списка из семи трехзначных чисел
При записи десятичных цифр в каждом столбце используются лишь первые 10 разрядов (остальные два разряда нужны для кодирования символов, отличных от цифр). Таким образом, число, состоящее из d цифр, занимает поле из d столбцов. Поскольку сортировщик за один раз может обработать только один столбец, для решения задачи о сортировке п перфокарт в порядке возрастания записанных на них d-значных чисел требуется разработать некий алгоритм сортировки.
Интуиция подсказывает способ сортировки, при котором выполняется сортировка по старшей цифре, а затем полученные стопки рекурсивно сортируются по следующим в порядке старшинства цифрам. К сожалению, в этом случае возникает большое количество промежуточных стопок перфокарт (после первой же сортировки по старшей цифре — 10 стопок), за которыми нужно следить (см. упражнение 8.3-5.).
В алгоритме поразрядной сортировки поставленная задача решается способом, противоположным тому, что подсказывает интуиция. Сначала производится сортировка по младшей цифре, после чего перфокарты снова объединяются в одну колоду, в которой сначала идут перфокарты из нулевого приемника, затем — из первого приемника, затем — из второго и т.д. После этого вся колода снова сортируется по предпоследней цифре, и перфокарты вновь собираются в одну стопку тем же образом. Процесс продолжается до тех пор, пока перфокарты не окажутся отсортированными по всем d цифрам. После этого перфокарты оказываются полностью отсортированы в порядке возрастания d-значных чисел. Таким образом, для сортировки перфокарт требуется лишь d проходов колоды. На рис. 8.3 показано, как поразрядная сортировка обрабатывает “колоду” из семи трехзначных чисел. В крайнем левом столбце показаны входные числа, а в последующих столбцах — последовательные состояния списка после его сортировки по цифрам, начиная с младшей. Серым цветом выделен текущий разряд, по которому производится сортировка, в результате чего получается следующий (расположенный справа) столбец.
Важно, чтобы сортировка по цифрам того или иного разряда в этом алгоритме обладала устойчивостью. Сортировка, которая производится сортировщиком пер-
фокарт, устойчива, но оператор должен также следить за тем, чтобы не перепутать порядок перфокарт после извлечения их из приемника. Это важно, несмотря на то, что на всех перфокартах из одного и того же приемника в столбце, номер которого соответствует этапу обработки, стоит одна и та же цифра.
В типичных компьютерах, представляющих собой машины с произвольным доступом к памяти, поразрядная сортировка иногда применяется для приведения в порядок записей, ключи которых разбиты на несколько полей. Например, пусть нужно выполнить сортировку дат по трем ключам: год, месяц и день. Для этого можно было бы запустить алгоритм сортировки с функцией сравнения, в котором в двух заданных датах сначала бы сравнивались годы, при их совпадении сравнивались месяцы, а при совпадении и тех, и других сравнивались бы дни. Можно поступить и по-другому, т.е. выполнить трехкратную сортировку с помощью устойчивой процедуры: сначала по дням, потом по месяцам и наконец по годам.
Разработать код поразрядной сортировки не составляет труда. В приведенной ниже процедуре предполагается, что каждый из п элементов массива А — это число, в котором всего d цифр, причем первая цифра стоит в самом младшем разряде, а цифра под номером d — в самом старшем разряде:
Radix_Sort(X, d) 1 for г <— 1 to d 2 do Устойчивая сортировка массива А по г-ой цифре
Лемма 8.3. Пусть имеется п d-значных чисел, в которых каждая цифра принимает одно из к возможных значений. Тогда алгоритм RadixSort позволяет выполнить корректную сортировку этих чисел за время 0 (d (п 4- к)), если устойчивая сортировка, используемая данным алгоритмом, имеет время работы 0 (п 4- к).
Доказательство. Корректность поразрядной сортировки доказывается методом математической индукции по столбцам, по которым производится сортировка (см. упражнение 8.3-3). Анализ времени работы рассматриваемого алгоритма зависит от того, какой из методов устойчивой сортировки используется в качестве промежуточного алгоритма сортировки. Если каждая цифра принадлежит интервалу от 0 до к — 1 (и, таким образом, может принимать к возможных значений), и к не слишком большое, то поразрядная сортировка — оптимальный выбор. Для обработки каждой из d цифр п чисел понадобится время О (п 4- к), а все цифры будут обработаны алгоритмом поразрядной сортировки в течение времени 0(d(n4-fc)).□
Если d — константа, а к = О (п), то время работы алгоритма поразрядной сортировки линейно зависит от количества входных элементов. В общем случае мы получаем определенную степень свободы в выборе разбиения ключей на цифры.
Лемма 8.4. Пусть имеется п Ь-битовых чисел и натуральное число г ^ Ь. Алгоритм Radix_Sort позволяет выполнить корректную сортировку этих чисел за время Q ((b/г) (п 4- 2Г)).
Доказательство. Для г ^ Ь каждый ключ можно рассматривать как число, состоящее из d = \b/r\ цифр по г битов каждая. Все цифры представляют собой целые числа в интервале от 0 до 2Г — 1, поэтому можно воспользоваться алгоритмом сортировки подсчетом, в котором k = 2Т — 1 (например, 32-битовое слово можно рассматривать как число, состоящее из четырех 8-битовых цифр, так что b = 32, г = 8, к = 2Т — 1 = 255, a d = b/т = 4). Каждый проход сортировки подсчетом занимает время 0 (п + fc) = 0 (п 4- 2Г), а всего выполняется d проходов, так что полное время выполнения алгоритма равно О (d (п 4- 2Г)) = 0 ((Ь/r) ^п 4- 2Г)).
Выберем для двух заданных значений п и b такую величину г ^ Ь, которая бы сводила к минимуму выражение (Ь/r) (п 4- 2Т\ Если b < [1gnJ, то для любого значения г ^ b имеем (п 4- 2Г) = О (п). Таким образом, выбор г = b приводит к асимптотически оптимальному времени работы (Ь/Ь) (п 4- 2Ь) = 0 (п). Если же b ^ [lgnJ, то наилучшее время с точностью до постоянного множителя можно получить, выбрав г = [lg nJ. Это можно понять из следующих рассуждений. Если выбрать г = [lgnJ, то время выполнения алгоритма будет равно 0(bn/lgn). Если г увеличивается и превышает значение [lg nJ, то член 2Т в числителе возрастает быстрее, чем член г в знаменателе, поэтому увеличение г приводит ко времени работы алгоритма, равному Q (Ьп/lg п). Если же величина г уменьшается и становится меньше [lgnJ, то член b/т возрастает, а множитель п 4- 2Т остается величиной порядка 0 (п).
Является ли поразрядная сортировка более предпочтительной, чем сортировка сравнением, например, быстрая сортировка? Если b = О (1g п), как это часто бывает, и мы выбираем г ^ 1g п, то время работы алгоритма поразрядной сортировки равно 0 (п), что выглядит предпочтительнее среднего времени выполнения быстрой сортировки 0 (nlgn). Однако в этих выражениях, записанных в ©-обозначениях, разные постоянные множители. Несмотря на то, что для поразрядной сортировки п ключей может понадобиться меньше проходов, чем для их быстрой сортировки, каждый проход при поразрядной сортировке может длиться существенно дольше. Выбор подходящего алгоритма сортировки зависит от характеристик реализации алгоритма, от машины, на которой производится сортировка (например, при быстрой сортировке аппаратный кэш часто используется эффективнее, чем при поразрядной сортировке), а также от входных данных. Кроме того, в той версии поразрядной сортировки, в которой в качестве промежуточного этапа используется устойчивая сортировка подсчетом, обработка элементов производится с привлечением дополнительной памяти, которая не нужна во многих алгоритмах сортировки сравнением, время работы которых равно О(nlgn).
Таким образом, если в первую очередь нужно учитывать объем расходуемой памяти, может оказаться более предпочтительным использование, например, алгоритма быстрой сортировки, в котором элементы обрабатываются на месте.
Упражнения
1. Используя в качестве модели рис. 8.3, проиллюстрируйте, как с помощью процедуры Radix_Sort сортируется следующий список английских слов: COW, DOG, SEA, RUG, ROW, MOB, BOX, TAB, BAR, EAR, TAR, DIG, BIG, TEA, NOW, FOX.
2. Какие из перечисленных ниже алгоритмов сортировки устойчивы: сортировка вставкой, сортировка слиянием, пирамидальная сортировка, быстрая сортировка? Приведите пример схемы, в результате применения которой любой алгоритм сортировки становится устойчивым. Оцените количество дополнительного времени и объем памяти, необходимые для реализации этой схемы.
3. Докажите методом математической индукции корректность работы поразрядной сортировки. Где в доказательстве используется предположение об устойчивости промежуточной сортировки?
4. Покажите, как выполнить сортировку п чисел, принадлежащих интервалу от 0 до п2 — 1, за время О (п).
* 8.3-5. Определите точное количество проходов, которые понадобятся для сортировки d-значных десятичных чисел в наихудшем случае, если используется сортировка перфокарт, начинающаяся со старшей цифры. За каким количеством стопок перфокарт нужно будет следить оператору в наихудшем случае?
Карманная сортировка
Если входные элементы подчиняются равномерному закону распределения, то ожидаемое время работы алгоритма карманной сортировки (bucket sort) линейно зависит от количества входных элементов. Карманная сортировка, как и сортировка подсчетом, работает быстрее, чем алгоритмы сортировки сравнением. Это происходит благодаря определенным предположениям о входных данных. Если при сортировке методом подсчета предполагается, что входные данные состоят из целых чисел, принадлежащих небольшому интервалу, то при карманной сортировке предполагается, что входные числа генерируются случайным процессом и равномерно распределены в интервале [0,1) (определение равномерного распределения можно найти в разделе В.2).
А
0I234567890I23456789нм J 4jsHнм J 4jsHi ha'
0
I
2
3
4
5
6
7
8
9
0
I
2
3
4
5
6
7
8
9
нм J 4jsH
нм J 4jsH
3
4
4 11
.21
8
A ,
10
Рис. 8.4. Процедура BUCKET_SORT в действии
Идея, лежащая в основе карманной сортировки, заключается в том, чтобы разбить интервал [0,1) на п одинаковых интервалов, или карманов (buckets), а затем распределить по этим карманам п входных величин. Поскольку входные числа равномерно распределены в интервале [0,1), мы предполагаем, что в каждый из карманов попадет не много элементов. Чтобы получить выходную последовательность, нужно просто выполнить сортировку чисел в каждом кармане, а затем последовательно перечислить элементы каждого кармана.
При составлении кода карманной сортировки предполагается, что на вход подается массив Л, состоящий из п элементов, и что величина каждого принадлежащего массиву элемента Л [г] удовлетворяет неравенству 0 ^ Л [г] < 1. Для работы нам понадобится вспомогательный массив связанных списков (карманов) В [О..п — 1]; предполагается, что в нашем распоряжении имеется механизм поддержки таких списков. (Реализация основных операций при работе со связанным списком описана в разделе 10.2.)
Bucket_Sort(X)
п <— length\A\
for i <— 1 to n
do Вставить элемент Л [г] в список B[[nX[z]J]
for г <— 0 to п — 1
do Сортировка вставкой списка В [г]
Объединение списков В [0], В[1],..., В[п — 1]
Чтобы понять, как работает этот алгоритм, рассмотрим два элемента А [г] и A [j]. Без потери общности можно предположить, что А [г] A [j]. Поскольку \пА [z]J \пА [j]J, то элемент А [г] помещается либо в тот же карман, что и элемент A [j], либо в карман с меньшим индексом. В первом случае элементы
Л [г] и Л [j] располагаются в нужном порядке благодаря циклу for в строках 4-5. Если же эти элементы попадут в разные карманы, то они разместятся в правильном порядке после выполнения строки 6. Таким образом, карманная сортировка работает корректно.
На рис. 8.4 показано, как с помощью карманной сортировки обрабатывается входной массив, состоящий из 10 чисел. В части а этого рисунка показан входной массив Л[1..1О]. В части б изображен массив В [0..9], состоящий из отсортированных списков после выполнения строки 5 алгоритма. В г-м кармане содержатся величины, принадлежащие полуоткрытому интервалу [г/10, (г + 1)/Ю). Отсортированная выходная последовательность представляет собой объединение списков В[0],В[1],...,В[9].
Чтобы оценить время работы алгоритма, заметим, что в наихудшем случае для выполнения всех его строк, кроме строки 5, требуется время О (п). Остается просуммировать полное время, которое потребуется для п вызовов алгоритма сортировки методом вставок (строка 5).
Чтобы оценить стоимость этих вызовов, введем случайную величину п^, обозначающую количество элементов, попавших в карман В [г]. Поскольку время работы алгоритма сортировки вставкой является квадратичной функцией от количества входных элементов (см. раздел 2.2), время работы алгоритма карманной сортировки равно
П—1
Т(п) = О (п) + ^ О (п2).
г=0
Вычисляя математическое ожидание обеих частей этого уравнения и воспользовавшись его линейностью, с учетом уравнения (В.21) получаем:
‘п—1
Е[Т(п)] = ЕЕ[Т(п)] = Е0 (п) + 52 ° к2)
Е[Т(п)] = Е
Е[Т(п)] = Е
.г=0
71—1
(8.1)(8.1)(8-2)(8-2)= 0(п) + £е[О (п2)] =
(8.1)
(8.1)
(8-2)
(8-2)
1=0
= 0(п) + £о(е[п2])
г=0
Мы утверждаем, что для всех г = 0,1,..., n — 1
Е [гг2] = 2 - 1/п.
Не удивительно, что каждому г-му карману соответствует одна и та же величина Е [п?], поскольку все элементы входного массива могут попасть в любой карман
с равной вероятностью. Чтобы доказать уравнение (8.2), определим для каждого г = О,1,..., n — lHj = l,2,...,n индикаторную случайную величинуXij = I (Л [j] попадает в г-ый карман} .с равной вероятностью. Чтобы доказать уравнение (8.2), определим для каждого г = О,1,..., n — lHj = l,2,...,n индикаторную случайную величинуXij = I (Л [j] попадает в г-ый карман} .Следовательно,Следовательно,пnt = У^ ^У •3=1пnt = У^ ^У •3=1Чтобы вычислить величину Е [п?], раскроем квадрат и перегруппируем слагаемые:Чтобы вычислить величину Е [п?], раскроем квадрат и перегруппируем слагаемые:пп2121П 72П 7272723 = 13 = 172723=13=11^7^721^7^723=1 к=13=1 к=1l^fc^72Изl^fc^72Из3=13=11^7^721^7^72l^fc^72Изl^fc^72Из(8.3)(8.3)
с равной вероятностью. Чтобы доказать уравнение (8.2), определим для каждого г = О,1,..., n — lHj = l,2,...,n индикаторную случайную величину
Xij = I (Л [j] попадает в г-ый карман} .
с равной вероятностью. Чтобы доказать уравнение (8.2), определим для каждого г = О,1,..., n — lHj = l,2,...,n индикаторную случайную величину
Xij = I (Л [j] попадает в г-ый карман} .
Следовательно,
Следовательно,
п
nt = У^ ^У •
3=1
п
nt = У^ ^У •
3=1
Чтобы вычислить величину Е [п?], раскроем квадрат и перегруппируем слагаемые:
Чтобы вычислить величину Е [п?], раскроем квадрат и перегруппируем слагаемые:
п
п
21
21
П 72
П 72
72
72
3 = 1
3 = 1
72
72
3=1
3=1
1^7^72
1^7^72
3=1 к=1
3=1 к=1
l^fc^72Из
l^fc^72Из
3=1
3=1
1^7^72
1^7^72
l^fc^72Из
l^fc^72Из
(8.3)
(8.3)
В приведенной выше цепочке уравнений последнее равенство следует из линейности математического ожидания. Отдельно оценим обе суммы. Индикаторная случайная величина Х^ равна 1 с вероятностью 1/п и 0 в противном случае, поэтому получаем:
Когда к + it величины Х^ и Xtk независимы, поэтому можно записать:
в IXijX.d = Е [^„) Е |X,t] = 1.1 = 1
Подставив эти величины в уравнение (8.3), получим:
ЕИ = Е^ + Е Е3 = 11^7 ^п 1^/с^72к^ЗЕИ = Е^ + Е Е3 = 11^7 ^п 1^/с^72к^З= п • — + п(п-1)-Х = 1 +пп2= п • — + п(п-1)-Х = 1 +пп2П — 1пП — 1п= 2 — — п= 2 — — п
ЕИ = Е^ + Е Е
3 = 11^7 ^п 1^/с^72
к^З
ЕИ = Е^ + Е Е
3 = 11^7 ^п 1^/с^72
к^З
= п • — + п(п-1)-Х = 1 +пп2
= п • — + п(п-1)-Х = 1 +пп2
П — 1
п
П — 1
п
= 2 — — п
= 2 — — п
что и доказывает уравнение (8.2).
Используя это выражение в уравнении (8.1), приходим к выводу, что математическое ожидание времени работы алгоритма карманной сортировки равно
0 (п)4-п-0 (2 — 1/п) = 0 (п). Таким образом, математическое ожидание времени работы алгоритма карманной сортировки в целом линейно зависит от количества входных элементов.
Такая зависимость может наблюдаться даже в том случае, когда входные элементы не подчиняются закону равномерного распределения. Если входные элементы обладают тем свойством, что сумма возведенных в квадрат размеров карманов линейно зависит от количества входных элементов, уравнение (8.1) утверждает, что карманная сортировка этих данных выполняется в течение времени, линейно зависящего от количества данных.
Упражнения
1. Используя в качестве модели рис. 8.4, проиллюстрируйте обработку алгоритмом Bucket Sort массива Л = (0.79,0.13,0.16,0.64,0.39,0.20,0.89, 0.53,0.71,0.42).
2. Чему равно время работы алгоритма карманной сортировки в наихудшем случае? Какое простое изменение следует внести в этот алгоритм, чтобы его ожидаемое время работы осталось линейным, а время работы в наихудшем случае стало равным О (nlgn)?
* 8.4-3. Функция распределения вероятности Р (ж) случайной величины X определяется с помощью соотношения Р (rr) = Pr {X ^ ж}. Предположим, что на вход алгоритма поступает последовательность из п случайных величин Х-^ Хз^..., Хп с непрерывной функцией распределения Р, значение которой вычисляется в течение времени 0(1). Покажите, каким образом выполнить сортировку этих величин, чтобы математическое ожидание времени выполнения процедуры линейно зависело от их количества.
Задачи
8-1. Нижние оценки для сортировки сравнением в среднем случае
В этой задаче мы докажем, что нижняя граница математического ожидания времени работы любого детерминистического или рандомизированного алгоритма сортировки сравнением при обработке п различающихся входных элементов равна Q (п 1g п). Начнем с того, что рассмотрим детерминистическую сортировку сравнением Л, которой соответствует дерево решений Тд. Предполагается, что все перестановки входных элементов Л равновероятны.
Предположим, что каждый лист дерева Та помечен вероятностью его достижения при заданном случайном наборе входных данных.
Докажите, что ровно п! листьям соответствует вероятность 1/п!, а остальным — вероятность 0.
Пусть D (Т) — длина внешнего пути дерева решений Т; другими словами, это сумма глубин всех листьев этого дерева. Пусть Т — дерево решений с к > 1 листьями, a LT и RT — его левое и правое поддеревья. Покажите, что D (Г) = D (LT) + D (RT) + к.
Пусть d (к) — минимальная величина D (Т) среди всех деревьев решений Т с к > 1 листьями. Покажите, что d (к) = mini^^fc_i{ci (г)+ + d (к — г) + к^. (Указание: рассмотрите дерево решений Т с к листьями, на котором достигается минимум. Обозначьте количество листьев в LT через го, а количество листьев в RT — через к — го.)
Докажите, что для данного к > 1 и г из диапазона 1 ^ г ^ к — 1 функция г 1g г + (к — г) 1g (к — г) достигает минимума при г = к/2. Выведите отсюда, что d (к) = Q (к 1g к).
Докажите, что справедливо соотношение В(Тд) = Q(n!lg(n!)), и выведите отсюда, что математическое ожидание времени сортировки п элементов равно П (nlgn).
А теперь рассмотрим рандомизированную сортировку В. Модель дерева решений можно обобщить таким образом, чтобы с ее помощью можно было рассматривать рандомизированные алгоритмы. Для этого в нее нужно включить узлы двух видов: обычные узлы сравнения и узлы “рандомизации”, которые моделируют случайный выбор вида Random (1, г) в алгоритме В; такой узел имеет г дочерних узлов, каждый из которых в процессе выполнения алгоритма может быть выбран с равной вероятностью.
Покажите, что для любой рандомизированной сортировки сравнением В существует детерминистическая сортировка сравнением А, в которой в среднем производится не больше сравнений, чем в сортировке В.
8-2. Сортировка на месте за линейное время
Предположим, что у нас имеется массив, содержащий п записей с сортируемыми данными, и что ключ каждой записи принимает значения 0 или 1. Алгоритм, предназначенный для сортировки такого набора записей, должен обладать некоторыми из трех перечисленных ниже характеристик.
Время работы алгоритма равно О (п).
Алгоритм обладает свойством устойчивости.
Сортировка производится на месте, т.е. кроме исходного массива используется дополнительное пространство, не превышающее некоторой постоянной величины.
Разработайте алгоритм, удовлетворяющий критериям 1 и 2.
Разработайте алгоритм, удовлетворяющий критериям 1 и 3.
Разработайте алгоритм, удовлетворяющий критериям 2 и 3.
Может ли какой-либо из представленных в частях а)-в) алгоритмов обеспечить поразрядную сортировку п записей с Ь-битовыми ключами за время О (Ьп)? Поясните, почему.
Предположим, что п записей обладают ключами, значения которых находятся в интервале от 1 до к. Покажите, как можно модифицировать алгоритм сортировки подсчетом, чтобы обеспечить сортировку этих записей на месте в течение времени О (п 4- к). В дополнение к входному массиву, можно использовать дополнительную память объемом О (к). Устойчив ли этот алгоритм? (Указание: подумайте, как можно решить задачу для к = 3.)
8-3. Сортировка элементов переменной длины
Имеется массив целых чисел, причем различные элементы этого массива могут иметь разные количества цифр; однако общее количество цифр во всех числах равно п. Покажите, как выполнить сортировку этого массива за время О (п).
Имеется массив строк, в котором различные строки могут иметь разную длину; однако общее количество символов во всех строках равно п. Покажите, как выполнить сортировку этого массива за время О (п).
(Порядок сортировки в этой задаче определяется обычным алфавитным порядком; например, а < ab < Ь.)
8-4. Кувшины для воды
Предположим, имеется п красных и п синих кувшинов для воды, которые различаются формой и объемом. Все красные кувшины могут вместить разное количество воды; то же относится и к синим кувшинам. Кроме того, каждому красному кувшину соответствует синий кувшин того же объема и наоборот.
Задача заключается в том, чтобы разбить кувшины на пары, в каждой из которых будут красный и синий кувшин одинакового объема. Для этого можно использовать такую операцию: сформировать пару кувшинов, в которых один будет синим, а второй — красным, наполнить красный
кувшин водой, а затем перелить ее в синий кувшин. Эта операция позволит узнать, какой из кувшинов больше или является ли их объем одинаковым. Предположим, что для выполнения такой операции требуется одна единица времени. Необходимо сформулировать алгоритм, в котором для разбиения кувшинов на пары производилось бы минимальное количество сравнений. Напомним, что непосредственно сравнивать два красных или два синих кувшина нельзя.
Опишите детерминистический алгоритм, в котором разбиение кувшинов на пары производилось бы с помощью © (п2) сравнений.
Докажите, что нижняя граница количества сравнений, которые должен выполнить алгоритм, предназначенный для решения этой задачи, равна Q (nlgn).
Разработайте рандомизированный алгоритм, математическое ожидание количества сравнений в котором было бы равно О (nlgn), и докажите корректность этой границы. Чему равно количество сравнений в этом алгоритме в наихудшем случае?
8-5. Сортировка в среднем
Предположим, что вместо сортировки массива нам нужно, чтобы его элементы возрастали в среднем. Точнее говоря, n-элементный массив Л называется к-отсортированным, если для всех г = 1,2,... ^п — к выполняется такое соотношение:
г-^к— 1г-^к
Е лиЕ ли
j=i < j=i+lкк *
Что из себя представляет 1-отсортированный массив?
Приведите пример перестановки чисел 1, 2, ..., 10, являющейся 2-отсортированной, но не отсортированной.
Докажите, что n-элементный массив ^-отсортирован тогда и только тогда, когда для всех г = 1,2,..., п — к справедливо соотношение А [г] ^ А [г 4- Ц.
Разработайте алгоритм, который выполняет fc-сортировку п-элемент- ного массива за время О (nig (n/fc)).
Можно также найти нижнюю границу для времени, необходимого для получения ^-отсортированного массива, если к — константа.
Покажите, что к-сортировку массива длины п можно выполнить за время О (nlgfc). (Указание; воспользуйтесь решением упражнения 6.5-8.)
Покажите, что если к — константа, то для fc-сортировки п-элемент- ного массива потребуется время Q(nlgn). (Указание: воспользуйтесь решением предыдущего задания вместе с нижней границей для алгоритмов сортировки сравнением.)
8-6. Нижняя граница для объединения отсортированных списков
Часто возникает задача объединения двух отсортированных списков. Эта процедура используется в качестве подпрограммы в процедуре Merge_ Sort; она описана в разделе 2.3.1, где получила имя Merge. В настоящей задаче мы покажем, что для количества сравнений, необходимых для объединения двух n-элементных отсортированных списков в наихудшем случае, существует нижняя граница, равная 2п — 1 сравнениям.
Сначала с помощью дерева решений покажем, что нижняя граница количества сравнений равна 2п — о (п).
Покажите, что всего имеется (2^) способов разбиения 2п чисел на два отсортированных списка, в каждом из которых п чисел.
Покажите с помощью дерева решений, что в любом алгоритме, корректно объединяющем два отсортированных списка, выполняется не менее 2п — о (п) сравнений.
Теперь мы докажем наличие несколько более точной границы 2п — 1.
Покажите, что если два элемента, которые в объединенном списке будут расположены последовательно один за другим, принадлежат разным подлежащим объединению спискам, то в ходе объединения эти элементы обязательно придется сравнить.
С помощью ответа на предыдущий пункт задачи покажите, что нижняя граница для количества сравнений, которые производятся при объединении двух отсортированных списков, равна 2п — 1.
Заключительные замечания
Использовать модель дерева решений при изучении алгоритмов сортировки сравнением впервые предложили Форд (Ford) и Джонсон (Johnson) [94]. В томе Искусства программирования Кнута (Knuth), посвященном сортировке [185], описываются различные разновидности задачи сортировки, включая приведенную здесь теоретико-информационную нижнюю границу для сложности сортировки. Полное исследование нижних границ сортировки с помощью обобщений модели дерева решений было проведено Бен-Ором (Веп-Ог) [36].
Согласно Кнуту, сортировка подсчетом впервые была предложена Севардом (Н.Н. Seward) в 1954 году; ему также принадлежит идея объединения сортировки
подсчетом и поразрядной сортировки. Оказывается, что поразрядная сортировка, начинающаяся с самой младшей значащей цифры, — по сути “народный” алгоритм, широко применявшийся операторами механических машин, предназначенных для сортировки перфокарт. Как утверждает Кнут, первая ссылка на этот метод появилась в документе, составленном Комри (L.J. Comrie) и опубликованном в 1929 году, где описывается счетно-перфорационное оборудование. Карманная сортировка используется с 1956 года, с того времени, когда Исаак (E.J. Isaac) и Синглтон (R.C. Singleton) предложили основную идею этого метода.
Мунро (Munro) и Раман (Raman) [229] предложили устойчивый алгоритм сортировки, который в наихудшем случае выполняет О (п1+е) сравнений, где 0 < < е ^ 1 — произвольная константа. Несмотря на то, что в алгоритмах, время выполнения которых равно О (nlgn), выполняется меньше сравнений, в алгоритме Мунро и Рамана данные перемещаются О (п) раз, и он выполняет сортировку на месте.
Случай сортировки п Ь-битовых чисел за время о (п 1g п) рассматривался многими исследователями. Было получено несколько положительных результатов, в каждом из которых незначительно менялись предположения о вычислительной модели, а также накладываемые на алгоритм ограничения. Во всех случаях предполагалось, что память компьютера разделена на адресуемые Ь-битовые слова. Фредман (Fredman) и Виллард (Willard) [99] первыми предложили использовать дерево слияний (fusion tree) и выполнять с его помощью сортировку п целых чисел за время О (nlgn/lglgn). Впоследствии эта граница была улучшена Андерссоном (Andersson) [16] до О (nVlg ^)- В этих алгоритмах применяется операция умножения, а также некоторые предварительно вычисляемые константы. Андерссон, Хейгерап (Hagerup), Нильсон (Nilsson) и Раман [17] показали, как выполнить сортировку п чисел за время О (nlglgn), не используя при этом умножение, однако этот метод требует дополнительной памяти, объем которой увеличивается с ростом п. С помощью мультипликативного хеширования объем этого пространства можно уменьшить до величины О (п), но при этом граница для наихудшего случая О (п lg 1g п) становится границей для математического ожидания времени работы. Обобщив экспоненциальные деревья поиска, Андерссон [16] и Торуп (Thorup) [297] сформулировали алгоритм сортировки, выполняющийся в течение времени О (n(lglgn)2). В этом алгоритме не используется ни умножение, ни рандомизация, а объем необходимой дополнительной памяти линейно зависит от количества элементов. Дополнив эти методы новыми идеями, Хан (Нап) [137] улучшил границу времени работы до О (п lg lg п lg lg lg ri). Несмотря на то, что упомянутые алгоритмы стали важным теоретическим достижением, все они чрезвычайно сложные, и в данный момент представляется маловероятным, чтобы они могли практически составить конкуренцию существующим алгоритмам сортировки.
ГЛАВА 9
Медианы и порядковые статистики
Будем называть г-й порядковой статистикой (order statistic) множества, состоящего из тг элементов, г-й элемент в порядке возрастания. Например, минимум такого множества — это первая порядковая статистика (г = 1), а его максимум — это тг-я порядковая статистика (г = п). Медиана (median) неформально обозначает середину множества. Если тг нечетное, то медиана единственная, и ее индекс равен г = (тг 4-1) /2; если же тг четное, то медианы две, и их индексы равны г = тг/2 и г = тг/2 4-1. Таким образом, независимо от четности тг, медианы располагаются при г = |_(тг 4-1)/2J (нижняя медиана (lower median)) и г = f (п 4-1)/2"| (верхняя медиана (upper median)). Однако в этой книге для простоты используется выражение “медиана”, которое относится к нижней медиане.
Данная глава посвящена проблеме выбора г-й порядковой статистики в множестве, состоящем из тг различных чисел. Для удобства предположим, что все числа в множестве различны, хотя почти все, что мы будем делать, обобщается на случай, когда некоторые значения в множестве повторяются. Формально задачу выбора (selection problem) можно определить следующим образом.
Вход: множество Л, состоящее из тг (различных) чисел, и число 1 г ^ тг.
Выход: элемент х 6 Л, превышающий по величине ровно г — 1 других элементов множества А.
Задачу выбора можно решить за время О (nlgn). Для этого достаточно выполнить сортировку элементов с помощью пирамидальной сортировки или сортировки слиянием, а затем просто извлечь элемент выходного массива с индексом г. Однако есть и более быстрые алгоритмы.
В разделе 9.1 рассматривается задача о выборе минимального и максимального элементов множества. Больший интерес представляет общая задача выбора,
которая исследуется в двух последующих разделах. В разделе 9.2 анализируется применяющийся на практике алгоритм, время работы которого в среднем составляет О (тг) (предполагается, что все элементы различны). В разделе 9.3 приведен алгоритм, представляющий больший практический интерес, время работы которого достигает величины О (п) в наихудшем случае.
.1 Минимум и максимум
Сколько сравнений необходимо для того, чтобы найти минимальный элемент в n-элементном множестве? Для этой величины легко найти верхнюю границу, равную п — 1 сравнениям: мы по очереди проверяем каждый элемент множества и следим за тем, какой из них является минимальным на данный момент. В представленной ниже процедуре предполагается, что исследуется множество, состоящее из элементов массива А, где length [Л] = п:
Мтм1мим(Л)
1 min «— Л[1]
for г«— 2 to length [А]
do if mm > Л [г]
then min <— Л [г]
return min
Очевидно, что для поиска максимального элемента также понадобится не более п — 1 сравнений.
Является ли представленный выше алгоритм оптимальным? Да, поскольку можно доказать, что нижняя граница для задачи определения минимума также равна п — 1 сравнений. Любой алгоритм, предназначенный для определения минимального элемента множества, можно представить в виде турнира, в котором принимают участие все элементы. Каждое сравнение — это поединок между двумя элементами, в котором побеждает элемент с меньшей величиной. Важное наблюдение заключается в том, что каждый элемент, кроме минимального, должен потерпеть поражение хотя бы в одном поединке. Таким образом, для определения минимума понадобится п — 1 сравнений, и алгоритм Minimum является оптимальным по отношению к количеству производимых в нем сравнений.
Одновременный поиск минимума и максимума
В некоторых приложениях возникает необходимость найти как минимальный, так и максимальный элементы множества. Например, графической программе может понадобиться выполнить масштабирование множества координат (ж, у) таким образом, чтобы они совпали по размеру с прямоугольной областью экрана или
другого устройства вывода. Для этого сначала надо определить максимальную и минимальную координаты.
Несложно разработать алгоритм для поиска минимума и максимума в п-эле- ментном множестве, производя при этом 0 (п) сравнений; при этом алгоритм будет асимптотически оптимальным. Достаточно просто выполнить независимый поиск минимального и максимального элементов. Для выполнения каждой подзадачи понадобится п — 1 сравнений, что в сумме составит 2п — 2 сравнений.
Однако на самом деле для одновременного определения минимума и максимума достаточно не более 3 [n/2j сравнений. Для этого необходимо следить за тем, какой из проверенных на данный момент элементов минимальный, а какой - максимальный. Вместо того, чтобы отдельно сравнивать каждый входной элемент с текущим минимумом и максимумом (для чего пришлось бы на каждый элемент израсходовать по два сравнения), мы будем обрабатывать пары элементов. Образовав пару входных элементов, сначала сравним их один с другим, а затем меньший элемент пары будем сравнивать с текущим минимумом, а больший — с текущим максимумом. Таким образом, для каждой пары элементов понадобится по 3 сравнения.
Способ начального выбора текущего минимума и максимума зависит от четности количества элементов в множестве п. Если п нечетно, мы выбираем из множества один из элементов и считаем его значение одновременно и минимумом, и максимумом; остальные элементы обрабатываем парами. Если же п четно, то выбираем два первых элемента и путем сравнения определяем, значение какого из них будет минимумом, а какого — максимумом. Остальные элементы обрабатываем парами, как и в предыдущем случае.
Проанализируем, чему равно полное число сравнений. Если п нечетно, то нужно будет выполнить 3 [n/2j сравнений. Если же п четно, то выполняется одно начальное сравнение, а затем — еще 3 (п — 2)/2 сравнений, что в сумме дает Зп/2—2 сравнений. Таким образом, в обоих случаях полное количество сравнений не превышает 3 [n/2J.
Упражнения
-1. Покажите, что для поиска второго в порядке возрастания элемента в наихудшем случае достаточно п 4- figп\ — 2 сравнений. (Указание; найдите заодно и наименьший элемент.)
-2. Покажите, что в наихудшем случае для поиска максимального и минимального среди п чисел необходимо выполнить f3n/2"| — 2 сравнений. (Указание; рассмотрите вопрос о том, сколько чисел являются потенциальными кандидатами на роль максимума или минимума, и определите, как на это количество влияет каждое сравнение.)
Выбор в течение линейного ожидаемого времени
Общая задача выбора оказывается более сложной, чем простая задача поиска минимума. Однако, как это ни странно, время решения обеих задач в асимптотическом пределе ведет себя одинаково — как 0 (п). В данном разделе вниманию читателя представляется алгоритм типа “разделяй и властвуй" RandomizedSelect, предназначенный для решения задачи выбора. Этот алгоритм разработан по аналогии с алгоритмом быстрой сортировки, который рассматривался в главе 7. Как и в алгоритме быстрой сортировки, в алгоритме Randomized_S elect используется идея рекурсивного разбиения входного массива. Однако в отличие от алгоритма быстрой сортировки, в котором рекурсивно обрабатываются обе части разбиения, алгоритм Randomized_Select работает лишь с одной частью. Это различие проявляется в результатах анализа обоих алгоритмов: если математическое ожидание времени работы алгоритма быстрой сортировки равно 0(nlgn), то ожидаемое время работы алгоритма Randomized_Select равно О (п), в предположении, что все элементы входных множеств различны.
В алгоритме Randomized_S elect используется процедура Randomized_Par- tition, впервые представленная в разделе 7.3. Таким образом, подобно процедуре Randomized_Quicksort, Randomized_Select — это рандомизированный алгоритм, поскольку его поведение частично определяется выводом генератора случайных чисел. Приведенный ниже код процедуры RANDOMIZEDSELECT возвращает г-й в порядке возрастания элемент массива Л [р..г]:
RANDOMIZED_SELECT(Л, р, г, г)
if р = г
then return Л [р]
q<— RANDOMIZED_PARTITION(Л, р, г)
к «— q — р + 1
if г = к t> Опорное значение — это ответ
then return Л^]
elseif г < к
then return RANDOMIZED_SELECT(Л, р, q - 1, г)
else return RANDOMIZED_SELECT(Л, q + 1, г, г - к)
После выполнения процедуры Randomized_Partition, которая вызывается в строке 3 представленного выше алгоритма, массив А [р..г] оказывается разбитым на два (возможно, пустых) подмассива Л \p..q — 1] и Л [q + 1..г]. При этом величина каждого элемента Л[р..д — 1] не превышает Л [q], а величина каждого элемента A [q + L.г] больше Л^]. Как и в алгоритме быстрой сортировки, элемент A [q] будем называть опорным (pivot). В строке 4 процедуры RANDOM-
ized_Select вычисляется количество элементов к подмассива А[р..д], т.е. количество элементов, попадающих в нижнюю часть разбиения плюс один опорный элемент. Затем в строке 5 проверяется, является ли элемент Л [д] г-м в порядке возрастания элементом. Если это так, то возвращается элемент Л [д]. В противном случае в алгоритме определяется, в каком из двух подмассивов содержится г-й в порядке возрастания элемент: в подмассиве A\p..q — 1] или в подмассиве Л [д + 1..г]. Если г < к, то нужный элемент находится в нижней части разбиения, и он рекурсивно выбирается из соответствующего подмассива в строке 8. Если же г > к. то нужный элемент находится в верхней части разбиения. Поскольку нам уже известны к значений, которые меньше г-го в порядке возрастания элемента массива А [р..т] (это элементы подмассива А [р..д]), нужный элемент является (г — кум в порядке возрастания элементом подмассива Л [g + 1..г], который рекурсивно находится в строке 9. Создается впечатление, что в представленном коде допускаются рекурсивные обращения к подмассивам, содержащим 0 элементов, но в упражнении 9.2-1 предлагается показать, что это невозможно.
Время работы алгоритма Randomized_Select в наихудшем случае равно 0 (тг2), причем даже для поиска минимума. Дело в том, что фортуна может от нас отвернуться, и разбиение всегда будет производиться относительно наибольшего из оставшихся элементов, а само разбиение занимает время 0 (п). Однако в среднем алгоритм работает хорошо, и поскольку он рандомизированный, никакие отдельно выбранные входные данные не могут гарантированно привести к наихудшему поведению алгоритма.
Время, необходимое для выполнения алгоритма Randomized_Select с входным массивом Л[р..г], состоящим из п элементов, — это случайная величина. Обозначим ее как Т (тг) и получим верхнюю границу Е [Г (п)] следующим образом. Процедура Randomized_Partition с одинаковой вероятностью возвращает в качестве опорного любой элемент. Поэтому для каждого 1 ^ к ^ п в подмассиве А \p..q\ с вероятностью 1/п содержится к элементов (все они не превышают опорный элемент). Определим для к — 1,2,..., п индикаторную случайную величину Хк, где
Хк = I {В подмассиве А [p..q] содержится ровно к элементов} .
В предположении, что все элементы различны, имеем:
E[Xfc] = l/n. (9.1)
В момент вызова процедуры RandomizedSelect и выбора опорного элемента A [q] заранее неизвестно, будет ли получен правильный ответ, после чего работа алгоритма сразу же прекратится, или произойдет рекурсивное обращение к подмассиву A [p..q — 1] или подмассиву A [q + L.r). Это будет зависеть от того,
где будет расположен искомый элемент относительно элемента А[д]. В предположении монотонного возрастания функции Т (п) необходимое для рекурсивного вызова процедуры RandomizedSelect время можно ограничить сверху временем, необходимым для вызова этой процедуры с входным массивом максимально возможного размера. Другими словами, для получения верхней границы предполагается, что искомый элемент всегда попадает в ту часть разбиения, где больше элементов. При конкретном вызове процедуры Randomized_Select индикаторная случайная величина Хк принимает значение 1 только для одного значения к, а при всех других к эта величина равна 0. Если Хк = 1, то размеры двух подмассивов, к которым может произойти рекурсивное обращение, равны к — 1 и п — к. Таким образом, получаем следующее рекуррентное соотношение:
Т (п) ^ ^ Хк • (Г (max (к - 1, п - к)) + О (п)) =к=1
= У^ Хк • Т (max (к — 1, п — к)) 4- О (п).
к=1
Вычисляя математическое ожидание, получаем:
Е[7»К
(в силу линейности математического ожидания)(в соответствии с уравнением (В.23))(в соответствии с уравнением (9.1))(в силу линейности математического ожидания)(в соответствии с уравнением (В.23))(в соответствии с уравнением (9.1))Е ^^ Хк • Т (max (fc — 1, n — fc)) 4- О (n) =_k=l.
(в силу линейности математического ожидания)
(в соответствии с уравнением (В.23))
(в соответствии с уравнением (9.1))
(в силу линейности математического ожидания)
(в соответствии с уравнением (В.23))
(в соответствии с уравнением (9.1))
= У2 E \Xk e T (max (к — 1, n — k))^ 4- О (n) = k=l
= У^ E [Xfc] • E [T (max (к - 1, n - fc))] 4- О (n) = k=l
n
= У2 — • E [T (max (к — 1, n — fc))] 4- О (n)
к=1 П
Применяя уравнение (В.23), мы основывались на независимости случайных величин Хк и Т (max (к — 1, п — кУ). В упражнении 9.2-2 предлагается доказать это предположение.
Рассмотрим выражение max (к — 1, п — к):
max (к — 1, п — к) = <max (к — 1, п — к) = <к-1, п — к,к-1, п — к,если к > fn/21, если к ^ Гп/2].
max (к — 1, п — к) = <
max (к — 1, п — к) = <
к-1, п — к,
к-1, п — к,
Если п четное, то каждое слагаемое от Г (|’п/2']) до Г (п — 1) появляется в сумме ровно дважды. Если же п нечетное, то дважды появляются все слагаемые, кроме
T((n/2J), которое добавляется лишь один раз. Таким образом, имеем следующее соотношение:
Е^Н^- £ Е [Г (А:)] + О (п).
fc=[n/2J
Найдем решение этого рекуррентного соотношения методом подстановок. Предположим, что Е [Г (п)] ^ сп для некоторой константы с, удовлетворяющей начальным условиям рекуррентного соотношения. Кроме того, предположим, что для п, меньших какой-то константы, справедливо Т (п) = О (1); эта константа будет найдена позже. Выберем также константу а, такую чтобы функция, соответствующая слагаемому О (п) (и описывающая нерекурсивную составляющую времени работы данного алгоритма), была ограничена сверху величиной ап для всех п > 0. С помощью этой гипотезы индукции получаем:
21
Е [Т (п)]— У^ ск + ап =
fc=|_n/2]
2сп2спh/2j-l \
2с
п
2с
п
4- ап =4- ап =Е Ч
4- ап =
4- ап =
fc=l /
2с /(п — 1) пп \22с /(п — 1) п п у 22с /(п — 1) пп \22с /(п — 1) п п у 2([п/2] - 1) |п/2]2([п/2] - 1) |п/2]2(п/2 - 2) (п/2 - 1)2(п/2 - 2) (п/2 - 1)2+ ап =+ ап =
2с /(п — 1) п
п \2
2с /(п — 1) п п у 2
2с /(п — 1) п
п \2
2с /(п — 1) п п у 2
([п/2] - 1) |п/2]2
([п/2] - 1) |п/2]2
(п/2 - 2) (п/2 - 1)2
(п/2 - 2) (п/2 - 1)2
+ ап =
+ ап =
2с п2с пп2/4 - Зп/2 + 22п2/4 - Зп/2 + 22Зп2 п Д—- + - - 2 4- ап =42/Зп2 п Д—- + - - 2 4- ап =42/
2с п
2с п
п2/4 - Зп/2 + 2
2
п2/4 - Зп/2 + 2
2
Зп2 п Д
—- + - - 2 4- ап =
42/
Зп2 п Д
—- + - - 2 4- ап =
42/
ап =
с
п
Чтобы завершить доказательство, нужно показать, что для достаточно больших п последнее выражение не превышает величину сп, или (что равносильно) что выполняется неравенство cnf^ — с/2 — ап ^ 0. Добавив к обеим частям этого неравенства с/2 и умножив их на п, получим неравенство п(с/4 —а) > с/2. Если константа с выбрана таким образом, что с/4 — а > 0, т.е. с > 4а, то обе части приведенного выше соотношения можно разделить на с/4 — а, что дает нам
следующий результат:
> с/2 - 2сс/4 — а с — 4а"
Таким образом, если предположить, что для всех п < 2с/ (с — 4а) справедливо Т (п) = О (1), то Е [Т (п)] = О (п). Итак, мы приходим к выводу, что для поиска порядковой статистики (в частности, медианы) требуется время, линейно зависящее от количества входных элементов (при этом предполагается, что все элементы различны по величине).
Упражнения
1. Покажите, что процедура Randomized_Select никогда не вызывается с массивом-параметром, содержащим нулевое количество элементов.
2. Докажите, что индикаторная случайная величина Х^ и величина T(max(fc — 1, п — к)) независимы.
3. Напишите итеративную версию процедуры Randomized_Select.
4. Предположим, что для выбора минимального элемента массива А = = (3,2,9,0,7,5,4,8,6,1) используется процедура Randomized_Select. Опишите последовательность разделений, соответствующих наихудшей производительности этой процедуры.
9.3 Алгоритм выбора с линейным временем работы в наихудшем случае
Рассмотрим алгоритм выбора, время работы которого в наихудшем случае равно О (п). Подобно алгоритму Randomized_Select, алгоритм Select находит нужный элемент путем рекурсивного разбиения входного массива. Однако в основе этого алгоритма заложена идея, которая заключается в том, чтобы гарантировать хорошее разбиение массива. В алгоритме Select используется детерминистическая процедура Partition, которая применяется при быстрой сортировке (см. раздел 7.1). Эта процедура модифицирована таким образом, чтобы одним из ее входных параметров был элемент, относительно которого производится разбиение.
Для определения во входном массиве (содержащем более одного элемента) г-го в порядке возрастания элемента, в алгоритме Select выполняются следующие шаги (если n = 1, то процедура Select просто возвращает единственное входное значение.)
Все п элементов входного массива разбиваются на [n/5j групп по 5 элементов в каждой и одну группу, содержащую оставшиеся n mod 5 элементов (впрочем, эта группа может оказаться пустой).
Сначала по методу вставок сортируется каждая из fn/5^ групп (содержащих не более 5 элементов), а затем в каждом отсортированном списке, состоящем из элементов групп, выбирается медиана.
Путем рекурсивного использования процедуры Select определяется медиана х множества из fn/5^ медиан, найденных на втором шаге. (Если этих медиан окажется четное количество, то, согласно принятому соглашению, переменной х будет присвоено значение нижней медианы.)
С помощью модифицированной версии процедуры Partition входной массив делится относительно медианы медиан х. Пусть число к на единицу превышает количество элементов, попавших в нижнюю часть разбиения. Тогда х — к-й в порядке возрастания элемент, и в верхнюю часть разбиения попадает п — к элементов.
Если г = к, то возвращается значение х. В противном случае процедура Select вызывается рекурсивно, и с ее помощью выполняется поиск г-го в порядке возрастания элемента в нижней части, если г < к, или в верхней части, если г > к.
Чтобы проанализировать время работы процедуры Select, сначала определим нижнюю границу для количества элементов, превышающих по величине опорный элемент х. Разобраться в этой бухгалтерии поможет рис. 9.1. На этом рисунке п элементов представлены в виде маленьких кружков, а каждая группа — отдельной колонкой. Медианы групп обозначены белыми кружками, а медиана медиан — белым кружком, рядом с которым стоит символ х. (При определении медианы четного количества элементов используется нижняя медиана.) Стрелки проведены в направлении от больших элементов к меньшим. Из рисунка видно, что в каждой полной группе из 5 элементов, расположенной справа от х, содержится по 3 элемента, превышающих по величине ж, а в каждой полной группе из 5 элементов, расположенной слева от ж, содержится по 3 элемента, меньших по величине, чем х. Элементы, которые превышают х, выделены серым фоном. В общем случае как минимум половина медиан, найденных на втором шаге, больше или равны медианы медиан хх. Таким образом, как минимум fn/5^ групп содержат по 3 элемента, превышающих величину ж, за исключением группы, в которой меньше пяти элементов (такая группа существует, если п не делится на 5 нацело), и еще одной группы, содержащей сам элемент х. Не учитывая эти две группы, приходим к выводу, что количество элементов, величина которых превышает ж, удовлетворяет следующему неравенству:
Согласно предположению о том, что все числа различаются, каждая из этих медиан больше или меньше ж, за исключением самой медианы х.
Рис. 9.1. Анализ алгоритма SELECTРис. 9.1. Анализ алгоритма SELECT
Рис. 9.1. Анализ алгоритма SELECT
Рис. 9.1. Анализ алгоритма SELECT
Аналогично, имеется не менее Зтг/1О — 6 элементов, величина которых меньше х. Таким образом, процедура Select рекурсивно вызывается на пятом шаге не менее чем для 7тг/10 4- 6 элементов.
Теперь можно сформулировать рекуррентное соотношение для времени работы алгоритма Select (обозначим его через Г (тг)) в наихудшем случае. Для выполнения первого, второго и четвертого шагов требуется время О (тг) (шаг 2 состоит из О (п) вызовов сортировки вставкой для множеств размером 0(1)). Выполнение третьего шага длится в течение времени Т ([n/5j), а выполнение пятого шага — в течение времени, не превышающего величину Т (7тг/10 + 6) (предполагается, что функция Т монотонно возрастает). Сделаем на первый взгляд необоснованное предположение, что для обработки любого входного массива, количество элементов которого меньше 140, требуется время 0(1) (вскоре нам раскроется магия константы 140). Получаем рекуррентное соотношение:
если п < 140, если п 140.если п < 140, если п 140.Т(п)<Т(п)<0(1)
если п < 140, если п 140.
если п < 140, если п 140.
Т(п)<
Т(п)<
Т (fn/51) + Т (7п/10 + 6) + О (п)
Покажем методом подстановки, что время работы, описываемое этим соотношением, линейно зависит от количества входных элементов. Точнее говоря, покажем, что для некоторой достаточно большой константы с и для всех п > 0 выполняется неравенство Т (тг) < сп. Начнем с предположения, что это неравенство выполняется для некоторой достаточно большой константы с и для всех тг < 140; это предположение действительно выполняется, если константа с выбрана достаточно большой. Кроме того, выберем константу а таким образом, чтобы функция, соответствующая представленному выше слагаемому О (тг) (которое описывает нерекурсивную составляющую времени работы алгоритма) для всех тг > 0 была ограничена сверху величиной атг. Подставив эту гипотезу индукции в правую
часть рекуррентного соотношения, получим:
Т (п) с fn/5l 4- с (7п/10 4- 6) + ап
^ сп/5 4- с 4- 7сп/10 4- 6с 4- ап =
= 9сп/10 4- 7с 4- ап =
= сп 4- (—сп/10 4- 7с 4- ап).
Это выражение не превышает величину сп, если выполняется неравенство
—сп(10 4- 7 с 4- ап ^ 0.(9.2)
При п > 70 неравенство (9.2) эквивалентно неравенству с ^ 10а (п/(п — 70)). Поскольку мы предположили, что п ^ 140, то п/(п — 70) ^ 2, а значит, если выбрать с > 20а, то будет удовлетворяться неравенство (9.2). (Заметим, что в константе 140 нет ничего особенного; вместо нее можно было бы взять любое другое целое число, превышающее 70, после чего соответствующим образом нужно было бы выбрать константу с.) Таким образом, в наихудшем случае время работы алгоритма Select линейно зависит от количества входных элементов.
Как и в алгоритмах сортировки сравнением, которые рассматривались в разделе 8.1, в алгоритмах Select и Randomized_Select информация о взаимном расположении элементов извлекается только путем их сравнения. Как было доказано в главе 8, в модели сравнений сортировка выполняется в течение времени Q(nlgn), даже в среднем (см. задачу 8-1). В этой же главе был рассмотрен алгоритм сортировки, время работы которого линейно зависит от количества сортируемых элементов, но в нем делаются дополнительные предположения относительно входных данных. Для работы представленных в настоящей главе алгоритмов выбора, время работы которых такое же, напротив, никаких дополнительных предположений не требуется. К этим алгоритмам не применима нижняя граница Q (nlgn), поскольку задача выбора в них решается без сортировки.
Таким образом, время работы рассмотренных выше алгоритмов линейно, поскольку в них не производится сортировка. Линейная зависимость от количества входных элементов не является результатом каких-то дополнительных предположений о входных данных, как в случае алгоритмов сортировки, описанных в главе 8. Для сортировки сравнением даже в среднем требуется время Q (nlgn), так что предложенный во введении к этой главе метод сортировки и индексирования асимптотически неэффективен.
Упражнения
1. В алгоритме Select все входные элементы делятся на группы по 5 элементов в каждой. Было бы время работы этого алгоритма линейным, если
бы входной массив делился на группы по 7 элементов в каждой? Докажите, что время работы алгоритма не будет линейным, если в каждой группе будет по 3 элемента.
2. Проанализируйте алгоритм Select и покажите, что при п ^ 140 как минимум |п/41 элементов превышают по величине медиану медиан ж, и как минимум [п/43 элементов меньше ж.
3. Покажите, каким образом можно выполнить быструю сортировку за время О (n 1g п) в наихудшем случае, считая, что все элементы различны.
★ 9.3-4. Предположим, что в алгоритме, предназначенном для поиска среди п элементов г-го в порядке возрастания элемента, применяется только операция сравнения. Покажите, что с помощью этого алгоритма можно также найти г — 1 наименьших элементов и п — г наибольших элементов, не выполняя никаких дополнительных сравнений.
5. Предположим, что у нас имеется подпрограмма поиска медиан, которая представляет собой “черный ящик” и время работы которой линейно зависит от количества входных элементов. Приведите пример алгоритма с линейным временем работы, с помощью которого задача выбора решалась бы для произвольной порядковой статистики.
6. По определению fc-ми квантилями (quantiles) n-элементного множества называются к — 1 порядковых статистик, разбивающих это отсортированное множество на к одинаковых подможеств (с точностью до одного элемента). Сформулируйте алгоритм, который бы выводил список к-х квантилей множества в течение времени О (nigk).
7. Опишите алгоритм, который для заданного множества S, состоящего из п различных чисел, и положительной целой константы к ^ п определял бы к ближайших соседей медианы множества S, принадлежащих к этому множеству. Время работы этого алгоритма должно быть равно О (п).
8. Пусть X [1..п] и Y [1..п] — два массива, каждый из которых содержит по п элементов, расположенных в отсортированном порядке. Разработайте алгоритм, в котором поиск медианы всех 2п элементов, содержащихся в массивах X и У, выполнялся бы за время О (1g п).
9. Профессор работает консультантом в нефтяной компании, которая планирует провести магистральный трубопровод от восточного до западного края нефтяного месторождения с п скважинами. От каждой скважины к магистральному трубопроводу кратчайшим путем проведены рукава (рис. 9.2). Каким образом профессор может выбрать оптимальное расположение трубопровода (т.е. такое, при котором общая длина всех рукавов была бы минимальной) по заданным координатам скважин (ж, у)? Пока-
Рис. 9.2. Определение положения нефтепровода, при котором общая длина поперечных рукавов будет минимальной
жите, что это можно сделать в течение времени, линейно зависящего от количества скважин.
Задачи
9-1. Наибольшие г элементов в порядке сортировки
Пусть имеется n-элементное множество, в котором с помощью алгоритма, основанного на сравнениях, нужно найти г наибольших элементов, расположенных в порядке сортировки. Сформулируйте алгоритм, в котором реализовывался бы каждый из перечисленных ниже методов с наилучшим возможным асимптотическим временем работы в наихудшем случае. Проанализируйте зависимость времени работы этих алгоритмов от п и г.
Все числа сортируются и выводятся г наибольших.
Создайте из чисел невозрастающую приоритетную очередь и г раз вызовите процедуру Ехткаст_Мах.
Найди. е с помощью алгоритма порядковой статистики г-й по порядку наибольший элемент, произведите разбиение относительно него и выполните сортировку г наибольших чисел.
9-2. Взвешенная медиана
Пусть имеется п различных элементов :ri, жг, • • • > ^п, для которых заданы положительные веса wi, W2,.. , wn, удовлетворяющие соотношению
52Г=1 ^ = 1- Взвешенной (нижней) медианой (weighted (lower) median) называется элемент ж/., удовлетворяющий неравенствам
Xi<Xk
Докажите, что обычная медиана элементов xi, Х2,..., хп равна взвешенной медиане хг, веса которой для всех г = 1,2, ...,7г равны Wi = 1/тг.
Покажите, как вычислить взвешенную медиану п элементов с помощью сортировки, чтобы время вычисления в наихудшем случае было равно О (п 1g п).
Покажите, как с помощью алгоритма, в котором производится поиск медианы за линейное время (подобного описанному в разделе 9.3 алгоритму SELECT), вычислить взвешенную медиану в течение времени, которое равно 0 (п) в наихудшем случае.
Задача об оптимальном размещении почтового отделения формулируется так. Имеется тг точек pi,p2) • • • ,Рп, которым отвечают веса wi, W2,.. •, wn. Нужно найти точку р (это не обязательно должна быть одна из входных точек), в которой минимизируется сумма 52"=1 w,d (р,р,), где d (а, 6) — расстояние между точками а и Ь.
Докажите, что взвешенная медиана — это наилучшее решение одномерной задачи об оптимальном размещении почтового отделения. В этой задаче точки представляют собой действительные числа, а расстояние между точками а и b определяется как d (а, Ь) = |а — 6|.
Найдите наилучшее решение двумерной задачи об оптимальном размещении почтового отделения. В этой задаче точки задаются парами координат (х,у), а расстояние между точками а = (xi,yi) и b = (х2,У2) представляет собой манхэттенское расстояние (Manhattan distance), которое определяется соотношением d (а, 6) = = kl - Х2| + |У1 - У2|.
9-3. Малые порядковые статистики
Ранее было показано, что количество сравнений Т (тг), которые производятся в алгоритме SELECT в наихудшем случае в ходе выбора г-й порядковой статистики из тг элементов, удовлетворяет соотношению Т (тг) = = 0 (тг). Однако при этом скрытая в ©-обозначении константа имеет
довольно большую величину. Если г намного меньше п, то можно реализовать другую процедуру, в которой в качестве подпрограммы используется процедура Select, но в которой в наихудшем случае производится меньшее количество сравнений.
Опишите алгоритм, в котором для поиска г-го в порядке возрастания среди п элементов требуется Ui (п) сравнений, где
Ui (п) = 2Ui (п) = 2Т (п)если г > п/2,
Ui (п) = 2
Ui (п) = 2
[n/2j + Ui ([п/23) + Т (2г) в противном случае.
(Указание: начните с [n/2J непересекающихся попарных сравнений и организуйте рекурсивную процедуру для множества, содержащего меньшие элементы из каждой пары.)
Покажите, что если г < п/2, то Ui (п) = п + О (Т (2г) 1g (п/г)).
Покажите, что если г — константа, меньшая, чем п/2, то Ui (п) = = п + O(lgn).
Покажите, что если i = п/к для к ^ 2, то Ui (п) = п+О(Т(2п/к) х х IgA:).
Заключительные замечания
Алгоритм поиска медиан, время работы которого в наихудшем случае линейно зависит от количества входных элементов, был разработан Блюмом (Blum), Флойдом (Floyd), Праттом (Pratt), Ривестом (Rivest) и Таржаном (Tarjan) [43]. Версия этого алгоритма с пониженным средним временем работы появилась благодаря Хоару (Hoare) [146]. Флойд и Ривест [92] создали улучшенную версию этого алгоритма, работающую в среднем еще производительнее, в которой разбиение производится относительно элемента, рекурсивно выбираемого из небольшого подмножества.
До сих пор точно неизвестно, сколько именно сравнений необходимо для поиска медианы. Нижняя граница, равная 2п сравнениям, была найдена Бентом (Bent) и Джоном (John) [38], а верхняя граница, равная Зп сравнениям, —Шёнхагом (Schonhage), Патерсоном (Paterson) и Пиппенджером (Pippenger) [265]. Дор (Dor) и Цвик (Zwick) [79] улучшили обе эти границы; их верхняя граница немного меньше величины 2.95п, а нижняя — несколько превышает величину 2п. В своей работе [239] Патерсон описал все изложенные здесь результаты, а также результаты других работ, посвященных этой теме.
ЧАСТЬ III
Структуры данных
Введение
Множество — это фундаментальное понятие как в математике, так и в теории вычислительных машин. Тогда как математические множества остаются неизменными, множества, которые обрабатываются в ходе выполнения алгоритмов, могут с течением времени разрастаться, уменьшаться или подвергаться другим изменениям. Назовем такие множества динамическими (dynamic). В пяти последующих главах описываются некоторые основные методы представления конечных динамических множеств и манипуляции с ними на компьютере.
В некоторых алгоритмах, предназначенных для обработки множеств, требуется выполнять операции нескольких различных видов. Например, набор операций, используемых во многих алгоритмах, ограничивается возможностью вставлять элементы в множество, удалять их, а также проверять, принадлежит ли множеству тот или иной элемент. Динамическое множество, поддерживающее перечисленные операции, называется словарем (dictionary). В других множествах могут потребоваться более сложные операции. Например, в неубывающих очередях с приоритетами, с которыми мы ознакомились в главе 6 в контексте пирамидальной структуры данных, поддерживаются операции вставки элемента и извлечение минимального элемента. Оптимальный способ реализации динамического множества зависит от того, какие операции должны им поддерживаться.
Элементы динамического множества
В типичных реализациях динамического множества каждый его элемент представлен некоторым объектом; если в нашем распоряжении имеется указатель на объект, то можно проверять и изменять значения его полей. (В разделе 10.3 обсуждается реализация объектов и указателей в средах, где они не являются базовыми типами данных.) В динамических множествах некоторых типов предполагается, что одно из полей объекта идентифицируется как ключевое (key field). Если все ключи различны, то динамическое множество представимо в виде набора ключевых значений. Иногда объекты содержат сопутствующие данные (satellite data), которые находятся в других его полях, но не используются реализацией множества. Кроме того, объект может содержать поля, доступные для манипуляции во время выполнения операций над множеством; иногда в этих полях хранятся данные или указатели на другие объекты множества.
В некоторых динамических множествах предполагается, что их ключи являются членами полностью упорядоченного множества, например, множества действительных чисел или множества всех слов, которые могут быть расположены в алфавитном порядке. (Полностью упорядоченные множества удовлетворяют свойству трихотомии, определение которого дано в разделе 3.1.) Полное упоря-
дочение, например, позволяет определить минимальный элемент множества или говорить о ближайшем элементе множества, превышающем заданный.
Операции в динамических множествах
Операции динамического множества можно разбить на две категории: запросы (queries), которые просто возвращают информацию о множестве, и модифицирующие операции (modifying operations), изменяющие множество. Ниже приведен список типичных операций. В каждом конкретном приложении требуется, чтобы были реализованы лишь некоторые из них.
Search(S, /с)
Запрос, который возвращает указатель на элемент х заданного множества S, для которого key [ж] = к, или значение NIL, если в множестве S такой элемент отсутствует.
Insert(5, ж)
Модифицирующая операция, которая пополняет заданное множество S одним элементом, на который указывает ж. Обычно предполагается, что выполнена предварительная инициализация всех полей элемента ж, необходимых для реализации множества.
Delete(S, ж)
Модифицирующая операция, удаляющая из заданного множества S элемент, на который указывает ж. (Обратите внимание, что в этой операции используется указатель на элемент, а не его ключевое значение.)
Minimum(S)
Запрос к полностью упорядоченному множеству S, который возвращает указатель на элемент этого множества с наименьшим ключом.
Maximum(S)
Запрос к полностью упорядоченному множеству S, который возвращает указатель на элемент этого множества с наибольшим ключом.
Successor(5, ж)
Запрос к полностью упорядоченному множеству S, который возвращает указатель на элемент множества S, ключ которого является ближайшим соседом ключа элемента ж и превышает его. Если же ж — максимальный элемент множества S, то возвращается значение nil.
Predecessor(S, ж)
Запрос к полностью упорядоченному множеству S, который возвращает указатель на элемент множества S, ключ которого является ближайшим меньшим по значению соседом ключа элемента ж. Если же ж — минимальный элемент множества S, то возвращается значение NIL.
Запросы Successor и Predecessor часто обобщаются на множества, в которых не все ключи различаются. Для множества, состоящего из п элементов, обычно принимается допущение, что вызов операции Minimum, после которой п — 1 раз вызывается операция SUCCESSOR, позволяет пронумеровать элементы множества в порядке сортировки.
Время, необходимое для выполнения операций множества, обычно измеряется в единицах, связанных с размером множества, который указывается в качестве одного из аргументов. Например, в главе 13 описывается структура данных, способная поддерживать все перечисленные выше операции, причем время их выполнения на множестве размера п выражается как О (lg п).
Обзор третьей части
В главах 10-14 описываются несколько структур данных, с помощью которых можно реализовать динамические множества. Многие из этих структур данных будут использоваться впоследствии при разработке эффективных алгоритмов, позволяющих решать разнообразные задачи. Еще одна важная структура данных, пирамида, уже была рассмотрена в главе 6.
В главе 10 представлены основные приемы работы с такими простыми структурами данных, как стеки, очереди, связанные списки и корневые деревья. В ней также показано, как можно реализовать в средах программирования объекты и указатели, в которых они не поддерживаются в качестве примитивов. Большая часть материала этой главы должна быть знакома всем, кто освоил вводный курс программирования.
Глава 11 знакомит читателя с хеш-таблицами, поддерживающими такие присущие словарям операции, как Insert, Delete и Search. В наихудшем случае операция поиска в хеш-таблицах выполняется в течение времени 0 (п), однако математическое ожидание времени выполнения подобных операций равно О (1). Анализ хеширования основывается на теории вероятности, однако для понимания большей части материала этой главы не требуются предварительные знания в этой области.
Описанные в главе 12 бинарные деревья поиска поддерживают все перечисленные выше операции динамических множеств. В наихудшем случае для выполнения каждой такой операции на n-элементном множестве требуется время 0 (п), однако при случайном построении бинарных деревьев поиска математическое ожидание времени работы каждой операции равно O(lgn). Бинарные деревья поиска служат основой для многих других структур данных.
С красно-черными деревьями, представляющими собой разновидность бинарных деревьев поиска, нас знакомит глава 13. В отличие от обычных бинарных деревьев поиска, красно-черные деревья всегда работают хорошо: в наихудшем случае операции над ними выполняются в течение времени O(lgn). Красно-
черное дерево представляет собой сбалансированное дерево поиска; в главе 18 представлено сбалансированное дерево поиска другого вида, получившее название В-дерево. Несмотря на то, что механизмы работы красно-черных деревьев несколько запутаны, из этой главы можно получить подробное представление об их свойствах без подробного изучения этих механизмов. Тем не менее, будет довольно поучительно, если вы внимательно ознакомитесь со всем представленным в главе материалом.
В главе 14 показано, как расширить красно-черные деревья для поддержки операций, отличных от перечисленных выше базовых. Сначала мы рассмотрим расширение красно-черных деревьев, обеспечивающее динамическую поддержку порядковых статистик для множества ключей, а затем — для поддержки интервалов действительных чисел.
ГЛАВА 10
Элементарные структуры данных
В этой главе рассматривается представление динамических множеств простыми структурами данных, в которых используются указатели. Несмотря на то, что с помощью указателей можно сформировать многие сложные структуры данных, здесь будут представлены лишь простейшие из них: стеки, очереди, связанные списки и деревья. Мы также рассмотрим метод, позволяющий синтезировать из массивов объекты и указатели.
Стеки и очереди
Стеки и очереди — это динамические множества, элементы из которых удаляются с помощью предварительно определенной операции Delete. Первым из стека (stack) удаляется элемент, который был помещен туда последним: в стеке реализуется стратегия “последним вошел — первым вышел” (last-in, first-out — LIFO). Аналогично, в очереди (queue) всегда удаляется элемент, который содержится в множестве дольше других: в очереди реализуется стратегия “первым вошел — первым вышел” (first-in, first-out — FIFO). Существует несколько эффективных способов реализации стеков и очередей в компьютере. В данном разделе будет показано, как реализовать обе эти структуры данных с помощью обычного массива.
Стеки
Операция вставки применительно к стекам часто называется Push (запись в стек), а операция удаления — Pop (снятие со стека).
Как видно из рис. 10.1, стек, способный вместить не более п элементов, можно реализовать с помощью массива S [1..п]. Этот массив обладает атрибутом top [S],
5 15 6 2 95 15 6 2 92 3 42 3 4top [5] = 4top [5] = 4Юр [5] = 6Юр [5] = 612 3 4 5 h 7top 15] = 512 3 4 5 h 7top 15] = 5
5 15 6 2 9
5 15 6 2 9
2 3 4
2 3 4
top [5] = 4
top [5] = 4
Юр [5] = 6
Юр [5] = 6
12 3 4 5 h 7
top 15] = 5
12 3 4 5 h 7
top 15] = 5
а)б)в)
Рис. 10.1. Реализация стека S в виде массива
представляющим собой индекс последнего помещенного в стек элемента. Стек состоит из элементов S [L.top [S]], где S [1] — элемент на дне стека, а 5 [top [5]] — элемент на его вершине.
Если top [5] = 0, то стек не содержит ни одного элемента и является пустым (empty). Протестировать стек на наличие в нем элементов можно с помощью операции-запроса Stack_Empty. Если элемент снимается с пустого стека, говорят, что он опустошается (underflow), что обычно приводит к ошибке. Если значение top[S] больше п, то стек переполняется (overflow). (В представленном ниже псевдокоде возможное переполнение во внимание не принимается.)
Каждую операцию над стеком можно легко реализовать несколькими строками кода:
Stack_Empty(S)
if top[S] = 0
then return true
else return false
Push(5, ж)
top[S] <— top[S] + 1
S[top[S]] <— x
Pop(S)
if Stack_Empty(S)
then error “underflow”
else top [5] «— top[S] — 1
return S[top[S] + 1]
Из рис. 10.1 видно, какое воздействие на стек оказывают модифицирующие операции Push и Pop. Элементы стека находятся только в тех позициях массива, которые отмечены светло-серым цветом. В части а рисунка изображен стек S, состоящий из 4 элементов. На вершине стека находится элемент 9. В части б представлен этот же стек после вызова процедур Push(S, 17) и Push(5, 3), а в части в — после вызова процедуры Pop(S), которая возвращает помещенное в стек последним значение 3. Несмотря на то, что элемент 3 все еще показан в массиве,
он больше не принадлежит стеку; теперь на вершине стека — 17. Любая из трех описанных операций со стеком выполняется в течение времени О (1).
Очереди
Применительно к очередям операция вставки называется ENQUEUE (поместить в очередь), а операция удаления — DEQUEUE (вывести из очереди). Подобно стековой операции Pop, операция Dequeue не требует передачи элемента массива в виде аргумента. Благодаря свойству FIFO очередь подобна, например, живой очереди к врачу в поликлинике. У нее имеется голова (head) и хвост (tail). Когда элемент ставится в очередь, он занимает место в ее хвосте, точно так же, как человек занимает очередь последним, чтобы попасть на прием к врачу. Из очереди всегда выводится элемент, который находится в ее головной части аналогично тому, как в кабинет врача всегда заходит больной, который ждал дольше всех.
На рис. 10.2 показан один из способов, который позволяет с помощью массива Q [1..п] реализовать очередь, состоящую не более чем из п — 1 элементов. Эта очередь обладает атрибутом head [Q], который является индексом головного элемента или указателем на него; атрибут tail [Q] индексирует местоположение, куда будет добавлен новый элемент. Элементы очереди расположены в ячейках head [Q], head [Q] +1,..., tail [Q] — 1, которые циклически замкнуты в том смысле, что ячейка 1 следует сразу же после ячейки п в циклическом порядке. При выполнении условия head [Q] = tail [Q] очередь пуста. Изначально выполняется соотношение head [Q] = tail [Q] = 1. Если очередь пустая, то при попытке удалить из нее элемент происходит ошибка опустошения. Если head [Q] = tail [Q]+l, то очередь заполнена, и попытка добавить в нее элемент приводит к ее переполнению.
В наших процедурах Enqueue и Dequeue проверка ошибок опустошения и переполнения не производится. (В упражнении 10.1-4 предлагается добавить в процедуры соответствующий код.)
Enqueue(Q, ж)
Q[tazZ[Q]] <— х
if tail^Q] = length[Q]
then tail^Q] «— 1
else ZaiZ[Q] «— tail[Q] + 1
DEQUEUE(Q)
x «— Q[/tead[Q]]
if head^Q] = length[Q]
then head^Q] <— 1
else head^Q] «— head^Q] + 1 5 return x
;;:1'\10 II U
О hj ['J4 i -I 1:1 I i 4 i 4 4 Г'" *]
7 tail\Ql=n
i 2 3 4 < ь ' 4 9 th Л !;
Q I ' Ь [ ]- ’]' | | 4 j 6 j 9 jx p \u i
кнУУ" 3!(Ч 7
I 2' 4 ^ 6 7 9 910 П i?
q | з i? j ■ [■■ । J Ji7] *44 Is I4!17
latt\QA-3 head ИЛ = ^
Рис. 10.2. Очередь, реализованная с помощью массива Q [1..12]
На рис. 10.2 показана работа процедур Enqueue и Dequeue. Элементы очереди содержатся только в светло-серых ячейках. В части а рисунка изображена очередь, состоящая из пяти элементов, расположенных в ячейках Q [7.. 11]. В части б показана эта же очередь после вызова процедур Enqueue(Q, 17), Enqueue(Q,3) и Enqueue(Q, 5), а в части в — конфигурация очереди после вызова процедуры Dequeue(Q), возвращающей значение ключа 15, которое до этого находилось в голове очереди. Значение ключа новой головы очереди равно 6. Каждая операция выполняется в течение времени 0(1).
Упражнения
1. Используя в качестве модели рис. 10.1, проиллюстрируйте результат воздействия на изначально пустой стек S, хранящийся в массиве S[1..6], операций Push(S, 4), Push(S, 1), Push(S, 3), Pop(S), Push(S, 8) и Pop(S).
2. Объясните, как с помощью одного массива Л[1..п] можно реализовать два стека таким образом, чтобы ни один из них не переполнялся, пока суммарное количество элементов в обоих стеках не достигнет п. Операции Push и Pop должны выполняться в течение времени 0(1).
3. Используя в качестве модели рис. 10.2, проиллюстрируйте результат воздействия на изначально пустую очередь Q, хранящуюся в массиве Q[1..6], операций Enqueue(Q, 4), Enqueue(Q, 1), Enqueue(Q, 3), Dequeue^), Enqueue(Q,8) и Dequeue(Q).
4. Перепишите код процедур Enqueue и Dequeue таким образом, чтобы они обнаруживали ошибки опустошения и переполнения.
5. При работе со стеком элементы можно добавлять в него и извлекать из него только с одного конца. Очередь позволяет добавлять элементы с одного конца, а извлекать — с другого. Очередь с двусторонним доступом, или дек (deque), предоставляет возможность производить вставку и удаление с обоих концов. Напишите четыре процедуры, выполняющиеся в течение времени О (1) и позволяющие вставлять и удалять элементы с обоих концов дека, реализованного с помощью массива.
6. Покажите, как реализовать очередь с помощью двух стеков. Проанализируйте время работы операций, которые выполняются с ее элементами.
7. Покажите, как реализовать стек с помощью двух очередей. Проанализируйте время работы операций, которые выполняются с его элементами.
Связанные списки
Связанный список (linked list) — это структура данных, в которой объекты расположены в линейном порядке. Однако, в отличие от массива, в котором этот порядок определяется индексами, порядок в связанном списке определяется указателями на каждый объект. Связанные списки обеспечивают простое и гибкое представление динамических множеств и поддерживают все операции (возможно, недостаточно эффективно), перечисленные на стр. 257.
Как показано на рис. 10.3, каждый элемент дважды связанного списка (doubly linked list) L — это объект с одним полем ключа key и двумя полями-указателями: next (следующий) и prev (предыдущий). Этот объект может также содержать другие сопутствующие данные. Для заданного элемента списка х указатель next [ж] указывает на следующий элемент связанного списка, а указатель ртег) [ж] — на предыдущий. Если рте-и [ж] = NIL, у элемента х нет предшественника, и, следовательно, он является первым, т.е. головным в списке. Если next [ж] = NIL, то у элемента х нет последующего, поэтому он является последним, т.е. хвостовым в списке. Атрибут head [L] указывает на первый элемент списка. Если head [L] = = NIL, то список пуст.
Списки могут быть разных видов. Список может быть однократно или дважды связанным, отсортированным или неотсортированным, кольцевым или некольцевым. Если список однократно связанный (однонаправленный) (singly linked), то указатель ртег) в его элементах отсутствует. Если список отсортирован (sorted), то его линейный порядок соответствует линейному порядку его ключей; в этом случае минимальный элемент находится в голове списка, а максимальный — вето хвосте. Если же список не отсортирован, то его элементы могут располагаться в произвольном порядке. Если список кольцевой (circular list), то указатель
prev key next
a) head [I]
6)
в) ИешЦЦ —
Рис. 10.3. Вставка в дважды связанный список и удаление из него
ртег) его головного элемента указывает на его хвост, а указатель next хвостового элемента — на головной элемент. Такой список можно рассматривать как замкнутый в виде кольца набор элементов. В оставшейся части раздела предполагается, что списки, с которыми нам придется работать, — неотсортированные и дважды связанные.
Поиск в связанном списке
Процедура List_Search(L, к) позволяет найти в списке L первый элемент с ключом к путем линейного поиска, и возвращает указатель на найденный элемент. Если элемент с ключом к в списке отсутствует, возвращается значение N1L. Процедура List_Search(L, 4), вызванная для связанного списка, изображенного на рис. 10.3а, возвращает указатель на третий элемент, а процедура List_Search(L, 7) — значение nil:
List_Search(L, к)
х «— head^L]
while х / NIL и &еу[ж] / к
do х «— next^x]
return x
Поиск с помощью процедуры List_Search в списке, состоящем из п элементов, в наихудшем случае выполняется в течение времени 0 (п), поскольку может понадобиться просмотреть весь список.
Вставка в связанный список
Если имеется элемент х, полю key которого предварительно присвоено значение, то процедура LlST_lNSERT вставляет элемент х в переднюю часть списка (рис. 10.36):
List_Insert(Z,, ж)
next [ж] <— head[L]
if head\E\ + NIL
then pre-u^head^L]] <— x
head^L] x
ргеи[ж] <— NIL
Время работы процедуры List_Insert равно 0(1).
Удаление из связанного списка
Представленная ниже процедура List_Delete удаляет элемент х из связанного списка L. В процедуру необходимо передать указатель на элемент ж, после чего она удаляет ж из списка путем обновления указателей. Чтобы удалить элемент с заданным ключом, необходимо сначала вызвать процедуру List_Search для получения указателя на элемент:
List__Delete(L, ж)
if pretax] / nil
then next^prev^x]]next^x]
else head\E\ <— next^x]
if next^x] / NIL
then prev^next^x]]<—prev^x]
Удаление элемента из связанного списка проиллюстрировано на рис. Ю.Зв. Время работы процедуры List_Delete равно 0(1), но если нужно удалить элемент с заданным ключом, то в наихудшем случае понадобится время 0 (п), поскольку сначала необходимо вызвать процедуру List_Search.
Ограничители
Код процедуры List_Delete мог бы быть проще, если бы можно было игнорировать граничные условия в голове и хвосте списка:
List_Delete'(L^) 1 next^pre-u^x]] <— next^x] 2 ргеЦпехф^ pretax]
Ограничитель (sentinel) — это фиктивный объект, упрощающий учет граничных условий. Например, предположим, что в списке L предусмотрен объект ml [L], представляющий значение nil, но при этом содержащий все поля, которые имеются у других элементов. Когда в коде происходит обращение к значению NIL, оно заменяется обращением к ограничителю nil [£]. Из рис. 10.4 видно, что наличие ограничителя преобразует обычный дважды связанный список в циклический
дважды связанный список с ограничителем (circular, doubly linked list with a sentinel). В таком списке ограничитель nil [L] расположен между головой и хвостом. Поле next [mZ[L]] указывает на голову списка, а поле prev [пгЦЬ]] — на его хвост. Аналогично, поле next хвостового элемента и поле prev головного элемента указывают на элемент nil [L]. Поскольку поле next [mZ[L]] указывает на голову списка, можно упразднить атрибут head [L], заменив ссылки на него ссылками на поле next [niZ[L]J. Пустой список содержит только ограничитель, поскольку и полю next [пй[Ц], и полю prev [mZ[L]] можно присвоить значение nil [L].
Код процедуры List_Search остается тем же, что и раньше, однако ссылки на значения NIL и head [L] заменяются так, как описано выше:
List_Search'(L, к)
х <— next^niHL^
while х ^ nil[L] и А:еу[ж] / к
do х «— пехЦх]
return х
Удаление элемента из списка производится с помощью уже описанной процедуры LlSTjDELETE', состоящей всего из двух строк. Для вставки элемента в список используется приведенная ниже процедура:
ListJnsert^L, ж)
пехЦх] <— next[mZ[L]]
prev[next[ni/[L]]] «— х
пехЦпИЩ] <— х
pretax] <— m/[L]
Действие процедур List_Insert/ и List_Delete' проиллюстрировано на рис. 10.4. В части а этого рисунка приведен пустой список. В части б изображен связанный список, уже знакомый нам по рис. 10.3а, в голове которого находится ключ 9, а в хвосте — ключ 1. В части в изображен этот же список после выполнения процедуры LlST-lNSERT^L, ж), где key [ж] = 25. Новый объект становится в голову списка. В части г рассматриваемый список представлен после удаления в нем объекта с ключом 1. Новым хвостовым объектом становится объект с ключом 4.
Применение ограничителей редко приводит к улучшению асимптотической зависимости времени обработки структур данных, однако оно может уменьшить величину постоянных множителей. Благодаря использованию ограничителей в циклах обычно не столько увеличивается скорость работы кода, сколько повышается его ясность. Например, представленный выше код, предназначенный для обработки связанного списка, упрощается в результате применения ограничителей, но сэкономленное в процедурах LIST INSERT' и L1ST_Delete' время равно всего лишь 0(1). Однако в других ситуациях применение ограничителей позволяет сделать код в циклах компактнее, а иногда даже уменьшить время работы в п или п2 раз.
Рис. 10.4. Циклический дважды связанный список с ограничителями
Ограничители не стоит применять необдуманно. Если в программе обрабатывается большое количество маленьких списков, то дополнительное пространство, занимаемое ограничителями, может стать причиной значительного перерасхода памяти. В этой книге ограничители применяются лишь тогда, когда они действительно упрощают код.
Упражнения
1. Можно ли реализовать операцию INSERT над динамическим множеством в однократно связанном списке так, чтобы время ее работы было равно О (1)? А операцию Delete?
2. Реализуйте стек с помощью однократно связанного списка L. Операции Push и Pop должны по-прежнему выполняться в течение времени О (1).
3. Реализуйте очередь с помощью однократно связанного списка L. Операции Enqueue и Dequeue должны выполняться в течение времени 0(1).
4. В каждой итерации цикла, входящего в состав процедуры List_Search', необходимо выполнить две проверки: ж / nil [L] и key [ж] / к. Покажите, как избежать проверки ж / nil [L] в каждой итерации.
5. Реализуйте базовые словарные операции Insert, Delete и Search с помощью однократно связанного циклического списка. Определите время работы этих процедур.
6. Операция Union (объединение) над динамическим множеством принимает в качестве входных данных два отдельных множества Si и S2 и возвращает множество S = Si U S2, состоящее из всех элементов множеств Si и S2. В результате выполнения этой операции множества Si и S2 обычно разрушаются. Покажите, как организовать поддержку операции Union со временем работы 0(1) с помощью подходящей списочной структуры данных.
7. Разработайте нерекурсивную процедуру со временем работы ©(п), обращающую порядок расположения элементов в однократно связанном списке. Процедура должна использовать некоторый постоянный объем памяти помимо памяти, необходимой для хранения самого списка.
* 10.2-8. Объясните, как можно реализовать дважды связанный список, используя при этом всего лишь один указатель пр [ж] в каждом элементе вместо обычных двух (next и рте^У Предполагается, что значения всех указателей могут рассматриваться как А:-битовые целые чисел, а величина пр [ж] определяется как пр [ж] = next [ж] XOR prey [ж], т.е. как А:-битовое “исключающее или” значений next [ж] и prey [ж]. (Значение nil представляется нулем.) Не забудьте указать, какая информация нужна для доступа к голове списка. Покажите, как реализовать операции Search, Insert и Delete в таком списке. Покажите также, как можно обратить порядок элементов в таком списке за время 0(1).
Реализация указателей и объектов
Как реализовать указатели и объекты в таких языках, как Fortran, где их просто нет? В данном разделе мы ознакомимся с двумя путями реализации связанных структур данных, в которых такой тип данных, как указатель, в явном виде не используется. Объекты и указатели будут созданы на основе массивов и индексов.
Представление объектов с помощью нескольких массивов
Набор объектов с одинаковыми полями можно представить с помощью массивов. Каждому полю в таком представлении будет соответствовать свой массив. В качестве примера рассмотрим рис. 10.5, где проиллюстрирована реализация с помощью трех массивов связанного списка, представленного на рис. 10.3а. В каждом столбце элементов на рисунке представлен отдельный объект. В массиве key содержатся значения ключей элементов, входящих в данный момент в динамическое множество, а указатели хранятся в массивах next и prev. Для заданного индекса массива ж элементы key [ж], next [ж] и prey [ж] представляют объект в связанном списке. В такой интерпретации указатель ж — это просто общий индекс в массивах key, next и prey.
Указатели при таком способе хранения представляют собой просто индексы объектов, на которые они указывают. На рис. 10.3а объект с ключом 4 в связанном списке следует после объекта с ключом 16. Соответственно, на рис. 10.5 ключ 4 является значением элемента key [2], а ключ 16 — значением элемента А:еу[5], поэтому next [5] = 2 и prey [2] = 5. В качестве значения nil обычно используется целое число (например, 0 или — 1), которое не может быть индексом массива. В переменной L содержится индекс головного элемента списка.
Рис. 10.5. Связанный список, представленный массивами key, next и ртеи
В нашем псевдокоде квадратные скобки используются как для обозначения индекса массива, так и для выбора поля (атрибута) объекта. В любом случае значение выражений key [ж], next [ж] и ртеи [ж] согласуется с практической реализацией.
Представление объектов с помощью одного массива
Обычно слова в памяти компьютера адресуются с помощью целых чисел от 0 до М — 1, где М — это достаточно большое целое число. Во многих языках программирования объект занимает непрерывную область памяти компьютера. Указатель — это просто адрес первой ячейки памяти, где находится начало объекта. Другие ячейки памяти, занимаемые объектом, можно индексировать путем добавления к указателю величины соответствующего смещения.
Этой же стратегией можно воспользоваться при реализации объектов в средах программирования, в которых отсутствуют указатели. Например, на рис. 10.6 показано, как можно реализовать связанный список, знакомый нам из рис. 10.3а и 10.5, с помощью одного массива А. Объект занимает подмассив смежных элементов А [/.&]. Каждое поле объекта соответствует смещению, величина которого принимает значения от 0 до к — j, а указателем на объект является индекс j. Каждый элемент списка — это объект, занимающий по три расположенных рядом элемента массива. Указатель на объект — это индекс его первого элемента. Объекты, в которых содержатся элементы списка, на рисунке отмечены светло-серым цветом. На рис. 10.6 сдвиги, отвечающие полям key, next и prev, равны 0, 1 и 2 соответственно. Чтобы считать значение поля prev [г] для данного указателя г, к значению указателя добавляется величина сдвига 2, в результате чего получается А [г 4- 2].
Представление в виде единственного массива можно считать более гибким в том плане, что с его помощью в одном и том же массиве можно хранить объекты различной длины. Задача управления такими неоднородными наборами объектов сложнее, чем аналогичная задача для однородного набора объектов, где все объекты состоят из одинаковых полей. Поскольку большинство структур данных,
Рис. 10.6. Связанный список, представленный единственным массивом
которое нам предстоит рассмотреть, состоит из однородных элементов, для наших целей достаточно использовать представление объектов с помощью нескольких массивов.
Выделение и освобождение памяти
При добавлении нового элемента в список надо выделить для него место в памяти, что влечет за собой необходимость учета использования адресов. В некоторых системах функцию определения того, какой объект больше не используется, выполняет “сборщик мусора” (garbage collector). Однако многие приложения достаточно просты и вполне способны самостоятельно возвращать неиспользованное объектами пространство модулю управления памятью. Давайте рассмотрим задачу выделения и освобождения памяти для однородных объектов на примере дважды связанного списка, представленного с помощью нескольких массивов.
Предположим, что в таком представлении используются массивы длиной т, и что в какой-то момент динамическое множество содержит п ^ т элементов. В этом случае п объектов представляют элементы, которые находятся в данный момент времени в динамическом множестве, а т — п элементов свободны. Их можно использовать для представления элементов, которые будут вставляться в динамическое множество в будущем.
Свободные объекты хранятся в однократно связанном списке, который мы назовем списком свободных позиций (free list). Список свободных позиций использует только массив next, в котором хранятся указатели next списка. Головной элемент списка свободных позиций находится в глобальной переменной free. Когда динамическое множество, представленное связанным списком L, не является пустым, список свободных позиций используется вместе со списком L, как показано на рис. 10.7. Заметим, что каждый объект в таком представлении находится либо в списке L, либо в списке свободных позиций, но не в обоих списках одновременно.
Список свободных позиций — это стек: очередной выделяемый объект является последним освобожденным. Таким образом, реализовать процедуры выделения и освобождения памяти для объектов можно с помощью стековых операций Push
в)в)Рис. 10.7. Процедуры выделения и освобождения объектаРис. 10.7. Процедуры выделения и освобождения объекта
в)
в)
Рис. 10.7. Процедуры выделения и освобождения объекта
Рис. 10.7. Процедуры выделения и освобождения объекта
и Pop. Глобальная переменная free, использующаяся в приведенных ниже процедурах, указывает на первый элемент списка свободных позиций:
Allocate_Object()
if free = NIL
then error “Нехватка памяти”
else x *— free
free «— next[x]
return x
FREE_OBJECT(x)
next [ж] *— free
free «— x
В начальный момент список свободных позиций содержит все п объектов, для которых не выделено место. Когда в списке свободных позиций больше не остается элементов, процедура Allocate_Object выдает сообщение об ошибке.
На рис. 10.7 показано, как изменяется исходный список свободных позиций (рис. 10.7а) при вызове процедуры Allocate_Object(), которая возвращает индекс 4, и вставке в эту позицию нового элемента (рис. 10.76), а также после вызова List_Delete(L, 5) с последующим вызовом Free_Object(5) (рис. 10.7в).
Часто один список свободных позиций обслуживает несколько связанных списков. На рис. 10.8 изображены два связанных списка и обслуживающий их список свободных позиций.
Время выполнения обеих процедур равно О (1), что делает их весьма практичными. Эти процедуры можно модифицировать так, чтобы они работали с любым
и L2 (темно-серый), и обслуживающий их список свободных позиций (черный)
набором однородных объектов, лишь бы одно из полей объекта работало в качестве поля next списка свободных позиций.
Упражнения
1. Изобразите последовательность (13,4,8,19,5,11), хранящуюся в дважды связанном списке, представленном с помощью нескольких массивов. Выполните это же задание для представления с помощью одного массива.
2. Разработайте процедуры Allocate_Object и Free_Object для однородного набора объектов, реализованных с помощью одного массива.
3. Почему нет необходимости присваивать или вновь устанавливать значения полей ртег) при реализации процедур Allocate_Object и Free_ Object?
4. Зачастую (например, при страничной организации виртуальной памяти) все элементы списка желательно располагать компактно, в непрерывном участке памяти. Разработайте такую реализацию процедур Allo- cate_Object и Free Object, чтобы элементы списка занимали позиции l..m, где m — количество элементов списка. (Указание: воспользуйтесь реализацией стека с помощью массива.)
5. Пусть L — дважды связанный список длины т, который хранится в массивах key, ртег) и next длины п. Предположим, что управление этими массивами осуществляется с помощью процедур Allocate_Object и Free_Object, использующих дважды связанный список свободных позиций F. Предположим также, что ровно m из п элементов находятся в списке L, а остальные п — m элементов — в списке свободных позиций. Разработайте процедуру Compactify__List(L, F), которая в качестве параметров получает список L и список свободных позиций F, и перемещает элементы списка L таким образом, чтобы они занимали ячейки массива с индексами 1,2,..., т, а также преобразует список свободных позиций F так, что он остается корректным и содержит ячейки массива
с индексами т + 1, т + 2,..., п. Время работы этой процедуры должно быть равным 0 (п), а объем использующейся ею дополнительной памяти не должен превышать некоторую фиксированную величину. Приведите тщательное обоснование корректности представленной процедуры.
10.4 Представление корневых деревьев
Приведенные в предыдущем разделе методы представления списков подходят для любых однородных структур данных. Данный раздел посвящен задаче представления корневых деревьев с помощью связанных структур данных. Мы начнем с рассмотрения бинарных деревьев, а затем рассмотрим представление деревьев с произвольным количеством дочерних элементов.
Каждый узел дерева представляет собой отдельный объект. Как и при изучении связанных списков, предполагается, что в каждом узле содержится поле key. Остальные интересующие нас поля — это указатели на другие узлы, и их вид зависит от типа дерева.
Бинарные деревья
Как показано на рис. 10.9, для хранения указателей на родительский, дочерний левый и дочерний правый узлы бинарного дерева Т, используются поля р, left и right. Если р [ж] = nil, то ж — корень дерева. Если у узла ж нет дочерних узлов, то left [ж] = right [ж] = nil. Атрибут root [Г] указывает на корневой узел дерева Т. Если root [Г] = NIL, то дерево Т пустое.
Рис. 10.9. Представление бинарного дерева Т (поле key не показано)
Корневые деревья с произвольным ветвлением
Схему представления бинарных деревьев можно обобщить для деревьев любого класса, в которых количество дочерних узлов не превышает некоторой константы к. При этом поля правый и левый заменяются полями childy, childz, ..., childk. Если количество дочерних элементов узла не ограничено, то эта схема не работает, поскольку заранее не известно, место для какого количества полей (или массивов, при использовании представления с помощью нескольких массивов) нужно выделить. Кроме того, если количество дочерних элементов к ограничено большой константой, но на самом деле у многих узлов потомков намного меньше, то значительный объем памяти расходуется напрасно.
К счастью, существует остроумная схема представления деревьев с произвольным количеством дочерних узлов с помощью бинарных деревьев. Преимущество этой схемы в том, что для любого корневого дерева с п дочерними узлами требуется объем памяти О (п). На рис. 10.10 проиллюстрировано представление елевым дочерним и правым сестринским узлами (left-child, right-sibling representation). Как и в предыдущем представлении, в каждом узле этого представления содержится указатель р, а атрибут root [Г] указывает на корень дерева Т. Однако вместо указателей на дочерние узлы каждый узел х содержит всего два указателя:
в поле left _ child \х\ хранится указатель на крайний левый дочерний узел узла ж;
root [Г|
Рис. 10.10. Представление дерева с левым дочерним и правым сестринским узлами
в поле right _ sibling [ж] хранится указатель на узел, расположенный на одном уровне с узлом ж справа от него.
Если узел ж не имеет потомков, то left _ child [ж] = NIL, а если узел ж — крайний правый дочерний элемент какого-то родительского элемента, то right _ sibling [ж] = NIL.
Другие представления деревьев
Иногда встречаются и другие способы представления корневых деревьев. Например, в главе 6 описано представление пирамиды, основанной на полном бинарном дереве, в виде индексированного массива. Деревья, о которых идет речь в главе 21, восходят только к корню, поэтому в них содержатся лишь указатели на родительские элементы; указатели на дочерние элементы отсутствуют. Здесь возможны самые различные схемы. Наилучший выбор схемы зависит от конкретного приложения.
Упражнения
1. Начертите бинарное дерево, корень которого имеет индекс 6, и которое представлено приведенными ниже полями.
Индекс
key
left
right
1
12
7
3
2
15
8
NIL
3
4
10
NIL
4
10
5
9
5
2
NIL
NIL
6
18
1
4
7
7
NIL
NIL
8
14
6
2
9
21
NIL
NIL
10
5
NIL
NIL
2. Разработайте рекурсивную процедуру, которая за время О (п) выводит ключи всех п узлов бинарного дерева.
3. Разработайте нерекурсивную процедуру, которая за время О(п) выводит ключи всех п узлов бинарного дерева. В качестве вспомогательной структуры данных воспользуйтесь стеком.
4. Разработайте процедуру, которая за время О (п) выводит ключи всех п узлов произвольного корневого дерева. Дерево реализовано в представлении с левым дочерним и правым сестринским элементами.
* 10.4-5. Разработайте нерекурсивную процедуру, которая за время О (п) выводит ключи всех п узлов бинарного дерева. Объем дополнительной памяти (кроме той, что отводится под само дерево) не должен превышать некоторую константу. Кроме того, в процессе выполнения процедуры дерево (даже временно) не должно модифицироваться.
* 10.4-6. В представлении произвольного корневого дерева с левым дочерним и правым сестринским узлами в каждом узле есть по три указателя: left_child, right_sibling и parent. Если задан какой-то узел дерева, то определить его родительский узел и получить к нему доступ можно в течение фиксированного времени. Определить же все дочерние узлы и получить к ним доступ можно в течение времени, линейно зависящего от количества дочерних узлов. Разработайте способ хранения дерева с произвольным ветвлением, в каждом узле которого используется только два (а не три) указателя и одна логическая переменная, при котором родительский узел или все дочерние узлы определяются в течение времени, линейно зависящего от количества дочерних узлов.
Задачи
10-1. Сравнения списков
Определите асимптотическое время выполнения перечисленных в приведенной ниже таблице операций над элементами динамических множеств в наихудшем случае, если эти операции выполняются со списками перечисленных ниже типов.
Неотсортированный однократно связанный список
Отсортированный однократно связанный список
Неотсортированный дважды связанный список
Отсортированный дважды связанный список
Search(L, к)
Insert(L, х)
Delete(L, х)
Successor^, х)
Predecessor(L, х)
Minimum(L)
Maximum(L)
10-2. Реализация объединяемых пирамид с помощью связанных списков
В объединяемой пирамиде (mergable heap) поддерживаются следующие операции: Маке_Неар (создание пустой пирамиды), Insert, Minimum, Extract_Minimum и Union1. Покажите, как в каждом из перечисленных ниже случаев реализовать с помощью связанных списков объединяемые пирамиды. Постарайтесь, чтобы каждая операция выполнялась с максимальной эффективностью. Проанализируйте время работы каждой операции по отношению к размеру обрабатываемого динамического множества.
Списки отсортированы.
Списки не отсортированы.
Списки не отсортированы, и объединяемые динамические множества не перекрываются.
10-3. Поиск в отсортированном компактном списке
В упражнении 10.3-4 предлагается разработать компактную поддержку n-элементного списка в первых п ячейках массива. Предполагается, что все ключи различны, и что компактный список отсортирован, т.е. для всех г = 1,2,..., п, таких что next [г] / nil, выполняется соотношение key [г] < key [next [г]]. Покажите, что при данных предположениях математическое ожидание времени поиска с помощью приведенного ниже рандомизированного алгоритма равно О (\/тг):
Compact_List_Search(L, тц к)
г <— head[L\
while г ^ NIL и &еу[г] < к
do j <— Random(1, п)
if key [г] < fcey[j] и fcey[j] < к
then г з
if &еу[г] = к
then return г
г <— next [г]
if г = NIL или key [г] > к
then return nil
else return i
Поскольку в пирамиде поддерживаются операции MINIMUM и EXTRACT MINIMUM, такую пирамиду можно назвать объединяемой неубывающей пирамидой (mergable min-heap). Аналогично, если бы в пирамиде поддерживались операции MAXIMUM и EXTRACT_MAXIMUM, ее можно было бы назвать объединяемой невозрастающей пирамидой (mergable max-heap).
Если в представленной выше процедуре опустить строки 3-7, получится обычный алгоритм, предназначенный для поиска в отсортированном связанном списке, в котором индекс г пробегает по всем элементам в списке. Поиск прекращается в тот момент, когда происходит “обрыв” индекса г в конце списка или когда key [г] ^ к. В последнем случае, если выполняется соотношение key [г] = к, то понятно, что ключ к найден. Если же key [г] > к, то ключ к в списке отсутствует и поэтому следует прекратить поиск.
В строках 3-7 предпринимается попытка перейти к случайно выбранной ячейке j. Такой переход дает преимущества, если величина key [j] больше величины key [г], но не превышает значения к. В этом случае индекс j соответствует элементу списка, к которому рано или поздно был бы осуществлен доступ при обычном поиске. Поскольку список компактен, любой индекс j в интервале от 1 до п отвечает некоторому объекту списка и не может быть пустым местом из списка свободных позиций.
Вместо анализа производительности процедуры Compact_List_Search мы проанализируем связанный с ним алгоритм Compact_List_Search', в котором содержатся два отдельных цикла. В этом алгоритме используется дополнительный параметр t, определяющий верхнюю границу количества итераций в первом цикле:
Compact_List_Search'(L, п, к, t)
г <— head\E\
for q <— 1 to t
do j <- Random(1, n)
if &ey[z] < fcey[j] и &et/[j] < к
then г <— j
if &еу[г] = к
then return z
while z ^ nil и A:ey[z] < к
do z <— next [г]
if г = NIL или key$ > к
then return nil
else return г
Для простоты сравнения алгоритмов Compact_L1st_Search(L, п, к) и Compact_List_Search'(L, п, к, t) будем считать, что последовательность случайных чисел, которая возвращается процедурой Random(1, п), одна и та же для обоих алгоритмов.
Предположим, что в ходе работы цикла while в строках 2-8 процедуры Compact_List_Search(L, п, к), выполняется t итераций. До-
кажите, что процедура COMPACT_LlST_SEARCH'(L,n, fc,t) даст тот же ответ, и что общее количество итераций в циклах for и while этой процедуры не меньше t.
Пусть при работе процедуры Compact_List_Search'(L, п, к, t) Xt — случайная величина, описывающая расстояние в связанном списке (т.е. длину цепочки из указателей next) от элемента с индексом i до искомого ключа к после t итераций цикла for в строках 2-7.
Докажите, что математическое ожидание времени работы процедуры Compact_List_Search'(L, и, к, t) равно О (t + Е [Xt]).
Покажите, что S[Xt] ^ 52г=1 (^ — г/п)(- ^Указание; воспользуйтесь уравнением (В.24)).
Покажите, что ^"Zq г* С nt+1/(< + 1).
Докажите, что Е [Xt] ^ n/(t + 1).
Покажите, что математическое ожидание времени работы процедуры Compact_List_Search'(L, п, к, t) равно О (t + n/t).
Сделайте вывод о том, что математическое ожидание времени работы процедуры Compact_List_Search равно О (х/п).
Объясните, зачем при анализе процедуры Compact_List_Search понадобилось предположение о том, что все ключи различны. Покажите, что случайные переходы не обязательно приведут к сокращению асимптотического времени работы, если в списке содержатся ключи с одинаковыми значениями.
Заключительные замечания
Прекрасными справочными пособиями по элементарным структурам данных являются книги Ахо (Aho), Хопкрофта (Hopcroft) и Ульмана (Ullman) [6] и Кнута (Knuth) [182]. Описание базовых структур данных и их реализации в конкретных языках программирования можно также найти во многих других учебниках. В качестве примера можно привести книги Гудрича (Goodrich) и Тамазии (Tamas- sia) [128], Мейна (Main) [209], Шаффера (Shaffer) [273] и Вейса (Weiss) [310, 312, 313]. В книге Гоннета (Gonnet) [126] приведены экспериментальные данные, описывающие производительность операций над многими структурами данных.
Начало использования стеков и очередей в информатике в качестве структур данных по сей день остается недостаточно ясным. Вопрос усложняется тем, что соответствующие понятия существовали в математике и применялись на практике при выполнении деловых расчетов на бумаге еще до появления первых цифровых вычислительных машин. В своей книге [182] Кнут приводит относящиеся
к 1947 году цитаты А. Тьюринга (A.M. Turing), в которых идет речь о разработке стеков для компоновки подпрограмм.
По-видимому, структуры данных, основанные на применении указателей, также являются “народным” изобретением. Согласно Кнуту, указатели, скорее всего, использовались еще на первых компьютерах с памятью барабанного типа. В языке программирования А-1, разработанном Хоппером (G.M. Hopper) в 1951 году, алгебраические формулы представляются в виде бинарных деревьев. Кнут считает, что указатели получили признание и широкое распространение благодаря языку программирования IPL-II, разработанному в 1956 году Ньюэлом (A. Newell), Шоу (J.C. Shaw) и Симоном (Н.А. Simon). В язык IPL-III, разработанный в 1957 году теми же авторами, операции со стеком включены явным образом.
ГЛАВА 11
Хеш-таблицы
Для многих приложений достаточны динамические множества, поддерживающие только стандартные словарные операции вставки, поиска и удаления. Например, компилятор языка программирования поддерживает таблицу символов, в которой ключами элементов являются произвольные символьные строки, соответствующие идентификаторам в языке. Хеш-таблица представляет собой эффективную структуру данных для реализации словарей. Хотя на поиск элемента в хеш-таблице может в наихудшем случае потребоваться столько же времени, что и в связанном списке, а именно 0 (п), на практике хеширование исключительно эффективно. При вполне обоснованных допущениях математическое ожидание времени поиска элемента в хеш-таблице составляет 0(1).
Хеш-таблица представляет собой обобщение обычного массива. Возможность прямой индексации элементов обычного массива обеспечивает доступ к произвольной позиции в массиве за время 0(1). Более подробно прямая индексация рассматривается в разделе 11.1; она применима, если мы в состоянии выделить массив размера, достаточного для того, чтобы для каждого возможного значения ключа имелась своя ячейка.
Если количество реально хранящихся в массиве ключей мало по сравнению с количеством возможных значений ключей, эффективной альтернативой массива с прямой индексацией становится хеш-таблица, которая обычно использует массив с размером, пропорциональным количеству реально хранящихся в нем ключей. Вместо непосредственного использования ключа в качестве индекса массива, индекс вычисляется по значению ключа. В разделе 11.2 представлены основные идеи хеширования, в первую очередь направленные на разрешение коллизий (когда несколько ключей отображается в один и тот же индекс массива) при помощи
цепочек. В разделе 11.3 описывается, каким образом на основе значений ключей могут быть вычислены индексы массива. Здесь будет рассмотрено и проанализировано несколько вариантов хеш-функций. В разделе 11.4 вы познакомитесь с методом открытой адресации, представляющим собой еще один способ разрешения коллизий. Главный вывод, который следует из всего изложенного материала: хеширование представляет собой исключительно эффективную и практичную технологию — в среднем все базовые словарные операции требуют только 0(1) времени. В разделе 11.5 будет дано пояснение, каким образом “идеальное хеширование” может поддерживать наихудшее время поиска О (1) в случае использования статического множества хранящихся ключей (т.е. когда множество ключей, будучи сохраненным, более не изменяется).
Таблицы с прямой адресацией
Прямая адресация представляет собой простейшую технологию, которая хорошо работает для небольших множеств ключей. Предположим, что приложению требуется динамическое множество, каждый элемент которого имеет ключ из множества U = {0,1,..., т — 1}, где т не слишком велико. Кроме того, предполагается, что никакие два элемента не имеют одинаковых ключей.
Для представления динамического множества мы используем массив, или таблицу с прямой адресацией, который обозначим как Т [O..m — 1], каждая позиция, или ячейка (position, slot), которого соответствует ключу из пространства ключей U. На рис. 11.1 представлен данный подход. Ячейка к указывает на элемент множества с ключом к. Если множество не содержит элемента с ключом к, то Т [А:] = NIL. На рисунке каждый ключ из пространства U = {0,1,..., 9} соответствует индексу таблицы. Множество реальных ключей К = {2,3,5,8} определяет ячейки таблицы, которые содержат указатели на элементы. Остальные ячейки (закрашенные темным цветом) содержат значение nil.
Реализация словарных операций тривиальна:
Direct_Address_Search(T, fc)
return Г[А:]
Direct_Address_Insert(T, ж)
Т[А:еу[ж]] «— x
Direct_Address_Delete(T, ж)
Т[А:еу[ж]] <— NIL
Каждая из приведенных операций очень быстрая: время их работы равно 0(1).
В некоторых приложениях элементы динамического множества могут храниться непосредственно в таблице с прямой адресацией. То есть вместо хранения
Рис. 11.1. Реализация динамического множества с использованием таблицы с прямой адресацией
ключей и сопутствующих данных элементов в объектах, внешних по отношению к таблице с прямой адресацией, а в таблице — указателей на эти объекты, эти объекты можно хранить непосредственно в ячейках таблицы (что тем самым приводит к экономии используемой памяти). Кроме того, зачастую хранение ключа не является необходимым условием, поскольку если мы знаем индекс объекта в таблице, мы тем самым знаем и его ключ. Однако если ключ не хранится в ячейке таблицы, то нам нужен какой-то иной механизм для того, чтобы помечать пустые ячейки.
Упражнения
1. Предположим, что динамическое множество S представлено таблицей с прямой адресацией Т длины т. Опишите процедуру, которая находит максимальный элемент S. Чему равно время работы этой процедуры в наихудшем случае?
2. Битовый вектор представляет собой массив битов (нулей и единиц). Битовый вектор длиной т занимает существенно меньше места, чем массив из т указателей. Каким образом можно использовать битовый вектор для представления динамического множества различных элементов без сопутствующих данных? Словарные операции должны выполняться за время О (1 \
3. Предложите способ реализации таблицы с прямой адресацией, в которой ключи хранящихся элементов могут совпадать, а сами элементы — иметь сопутствующие данные. Все словарные операции — вставки, удаления и поиска — должны выполняться за время 0(1). (Не забудьте, что ар-
гументом процедуры удаления является указатель на удаляемый объект, а не ключ.)
* 11.1-4. Предположим, что мы хотим реализовать словарь с использованием прямой адресации очень большого массива. Первоначально в массиве может содержаться “мусор”, но инициализация всего массива нерациональна в силу его размера. Разработайте схему реализации словаря с прямой адресацией при описанных условиях. Каждый хранимый объект должен использовать 0(1) памяти; операции вставки, удаления и поиска должны выполняться за время 0(1); инициализация структуры данных также должна выполняться за время 0(1). (Указание: для определения, является ли данная запись в большом массиве корректной или нет, воспользуйтесь дополнительным стеком, размер которого равен количеству ключей, сохраненных в словаре.)
Хеш-таблицы
Недостаток прямой адресации очевиден: если пространство ключей U велико, хранение таблицы Т размером |{7| непрактично, а то и вовсе невозможно — в зависимости от количества доступной памяти и размера пространства ключей. Кроме того, множество К реально сохраненных ключей может быть мало по сравнению с пространством ключей I/, а в этом случае память, выделенная для таблицы Г, в основном расходуется напрасно.
Когда множество К хранящихся в словаре ключей гораздо меньше пространства возможных ключей U, хеш-таблица требует существенно меньше места, чем таблица с прямой адресацией. Точнее говоря, требования к памяти могут быть снижены до © (|К|), при этом время поиска элемента в хеш-таблице остается равным 0(1). Надо только заметить, что это граница среднего времени поиска, в то время как в случае таблицы с прямой адресацией эта граница справедлива для наихудшего случая.
В случае прямой адресации элемент с ключом к хранится в ячейке к. При хешировании этот элемент хранится в ячейке h (к), т.е. мы используем хеш-функцию h для вычисления ячейки для данного ключа к. Функция h отображает пространство ключей U на ячейки хеш-таблицы Т [O..m — 1]:
h:U —> {0,1,. ..,т-1}.
Мы говорим, что элемент с ключом к хешируется в ячейку h (к); величина h (к) называется хеш-значением ключа к. На рис. 11.2 представлена основная идея хеширования. Цель хеш-функции состоит в том, чтобы уменьшить рабочий диапазон индексов массива, и вместо |{7| значений мы можем обойтись всего лишь m значениями. Соответственно снижаются и требования к количеству памяти.
^.д^ ^^и^и0
■ : I фостранство ключей 1
Шоючи)
Рис. 11.2. Использование хеш-функции h для отображения ключей в ячейки хеш-таблицы. Ключи &2 и А:5 отображаются в одну ячейку, вызывая коллизию
Однако здесь есть одна проблема: два ключа могут быть хешированы в одну и ту же ячейку. Такая ситуация называется коллизией. К счастью, имеются эффективные технологии для разрешения конфликтов, вызываемых коллизиями.
Конечно, идеальным решением было бы полное устранение коллизий. Мы можем попытаться добиться этого путем выбора подходящей хеш-функции h. Одна из идей заключается в том, чтобы сделать h “случайной”, что позволило бы избежать коллизий или хотя бы минимизировать их количество (этот характер функции хеширования отображается в самом глаголе “to hash”, который означает “мелко порубить, перемешать”). Само собой разумеется, функция h должна быть детерминистической и для одного и того же значения к всегда давать одно и то же хеш-значение h(k). Однако поскольку \U\ > т, должно существовать как минимум два ключа, которые имеют одинаковое хеш-значение. Таким образом, полностью избежать коллизий невозможно в принципе, и хорошая хеш-функция в состоянии только минимизировать количество коллизий. Таким образом, нам крайне необходим метод разрешения возникающих коллизий.
В оставшейся части данного раздела мы рассмотрим простейший метод разрешения коллизий — метод цепочек. В разделе 11.4 вы познакомитесь с еще одним методом разрешения коллизий, который называется методом открытой адресации.
Разрешение коллизий при помощи цепочек
При использовании данного метода мы объединяем все элементы, хешированные в одну и ту же ячейку, в связанный список, как показано на рис. 11.3. Ячейка 3 содержит указатель на заголовок списка всех элементов, хеш-значение ключа которых равно j; если таких элементов нет, ячейка содержит значение NIL. На
т
Рис. 11.3. Разрешение коллизий при помощи цепочек
рис. 11.3 показано разрешение коллизий, возникающих из-за того, что /i(A*i) = = h (£4), h (£5) = h (k2) = h (k7) и h (k^) = h (k^.
Словарные операции в хеш-таблице с использованием цепочек для разрешения коллизий реализуются очень просто:
Chained_Hash_Insert(T, х)
Вставить х в заголовок списка Т^/г^ет/^])]
Chained_Hash_Search(T, к)
Поиск элемента с ключом к в списке T[/i(fc)]
Chained_Hash_Delete(71, х)
Удаление х из списка Г[Л(А;е2/[о;])]
Время, необходимое для вставки в наихудшем случае, равно 0(1). Процедура вставки выполняется очень быстро, поскольку предполагается, что вставляемый элемент отсутствует в таблице. При необходимости это предположение может быть проверено путем выполнения поиска перед вставкой. Время работы поиска в наихудшем случае пропорционально длине списка; мы проанализируем эту операцию немного позже. Удаление элемента может быть выполнено за время 0(1) при использовании двусвязных списков. (Обратите внимание на то, что процедура Chained_Hash_Delete принимает в качестве аргумента элемент х, а не его ключ, поэтому нет необходимости в предварительном поиске х. Если список односвязный, то передача в качестве аргумента х не дает нам особого выигрыша, поскольку для корректного обновления поля next предшественника х нам все равно надо выполнить поиск х в списке Т \h (А;е?/[ж])]. В таком случае, как нетрудно понять, удаление и поиск имеют по сути одно и то же время работы.)
Анализ хеширования с цепочками
Насколько высока производительность хеширования с цепочками? В частности, сколько времени требуется для поиска элемента с данным ключом?
Пусть у нас есть хеш-таблица Т с m ячейками, в которых хранятся п элементов. Определим коэффициент заполнения таблицы Т как а = n/m, т.е. как среднее количество элементов, хранящихся в одной цепочке. Наш анализ будет опираться на значение величины а, которая может быть меньше, равна или больше единицы.
В наихудшем случае хеширование с цепочками ведет себя крайне неприятно: все п ключей хешированы в одну и ту же ячейку, создавая список длиной п. Таким образом, время поиска в наихудшем случае равно 0 (п) плюс время вычисления хеш-функции, что ничуть не лучше, чем в случае использования связанного списка для хранения всех п элементов. Понятно, что использование хеш- таблиц в наихудшем случае совершенно бессмысленно. (Идеальное хеширование (применимое в случае статического множества ключей), которое будет рассмотрено в разделе 11.5, обеспечивает высокую производительность даже в наихудшем случае.)
Средняя производительность хеширования зависит от того, насколько хорошо хеш-функция h распределяет множество сохраняемых ключей по тп ячейкам в среднем. Мы рассмотрим этот вопрос подробнее в разделе 11.3, а пока будем полагать, что все элементы хешируются по ячейкам равномерно и независимо, и назовем данное предположение “простым равномерным хешированием” (simple uniform hashing).
Обозначим длины списков Т [j] для j = 0,1,..., m — 1 как nj, так что
П = П0 + «1НН^т-!,(ИО
а среднее значение rij равно Е [n7] = а = п/т.
Мы считаем, что хеш-значение h (к) может быть вычислено за время О (1), так что время, необходимое для поиска элемента с ключом к, линейно зависит от длины п^^) списка Т \h (А:)]. Не учитывая время О (1), требующееся для вычисления хеш-функции и доступа к ячейке h (А:), рассмотрим математическое ожидание количества элементов, которое должно быть проверено алгоритмом поиска (т.е. количество элементов в списке Т [Л (А:)], которые проверяются на равенство их ключей величине к). Мы должны рассмотреть два случая: во-первых, когда поиск неудачен и в таблице нет элементов с ключом к, и, во-вторых, когда поиск заканчивается успешно и в таблице определяется элемент с ключом к.
Теорема 11.1. В хеш-таблице с разрешением коллизий методом цепочек математическое ожидание времени неудачного поиска в предположении простого равномерного хеширования равно О (1 + а).
Доказательство. В предположении простого равномерного хеширования любой ключ к, который еще не находится в таблице, может быть помещен с равной вероятностью в любую из т ячеек. Математическое ожидание времени неудачного поиска ключа к равно времени поиска до конца списка Т [h (к)], математическое ожидание длины которого Е [^(/с)] = ot. Таким образом, при неудачном поиске математическое ожидание количества проверяемых элементов равно а, а общее время, необходимое для поиска, включая время вычисления хеш-функции h\k\ равно © (1 4-а). ■
Успешный поиск несколько отличается от неудачного, поскольку вероятность поиска в списке различна для разных списков и пропорциональна количеству содержащихся в нем элементов. Тем не менее, и в этом случае математическое ожидание времени поиска остается равным © (1 4- а).
Теорема 11.2. В хеш-таблице с разрешением коллизий методом цепочек математическое ожидание времени успешного поиска в предположении простого равномерного хеширования в среднем равно © (1 4- а).
Доказательство. Мы считаем, что искомый элемент с равной вероятностью может быть любым элементом, хранящимся в таблице. Количество элементов, проверяемых в процессе успешного поиска элемента ж, на 1 больше, чем количество элементов, находящихся в списке перед х. Элементы, находящиеся в списке до ж, были вставлены в список после того, как элемент х был сохранен в таблице, так как новые элементы помещаются в начало списка. Для того чтобы найти математическое ожидание количества проверяемых элементов, мы возьмем среднее значение по всем элементам таблицы, которое равно 1 плюс математическое ожидание количества элементов, добавленных в список после искомого. Пусть Xi обозначает г-й элемент, вставленный в таблицу (г = 1,2,..., п), а кг = = key [xi]. Определим для ключей кг и kj индикаторную случайную величину Xij = I {/г (fci) = h (кj)Y В предположении простого равномерного хеширования, Pr{/i(fci) = h(kj)^ = 1/m и, в соответствии с леммой 5.1, Е [Х^] = 1/т. Таким образом, математическое ожидание числа проверяемых элементов в случае успешного поиска равно
(в силу линейности математического ожидания)
(в соответствии с (А.1))(в соответствии с (А.1))
(в соответствии с (А.1))
(в соответствии с (А.1))
Следовательно, полное время, необходимое для проведения успешного поиска (включая время на вычисление хеш-функции), составляет © (2 + а/2 — а/2п) = = ©(1 + а). ■
Что же означает проведенный анализ? Если количество ячеек в хеш-таблице, как минимум, пропорционально количеству элементов, хранящихся в ней, то п = О (т) и, следовательно, а = п/т = О (т)/т = О (1), а значит, поиск элемента в хеш-таблице в среднем требует постоянного времени. Поскольку в худшем случае вставка элемента в хеш-таблицу занимает 0(1) времени (как и удаление элемента при использовании двусвязных списков), можно сделать вывод, что все словарные операции в хеш-таблице в среднем выполняются за время 0(1).
Упражнения
1. Предположим, что у нас есть хеш-функция h для хеширования п различных ключей в массив Г, длина которого равна т. Чему равно математическое ожидание количества коллизий в предположении простого равномерного хеширования (точнее, мощности множества {{fc, Z} : к / I и h(k) = h(l^)?
2. Продемонстрируйте вставку ключей 5, 28, 19, 15, 20, 33, 12, 17, 10 в хеш- таблицу с разрешением коллизий методом цепочек. Таблица имеет 9 ячеек, а хеш-функция имеет вид h (к) = к mod 9.
3. Профессор предполагает, что можно повысить эффективность хеширования с разрешением коллизий методом цепочек, если поддерживать списки в упорядоченном состоянии. Каким образом такое изменение алгоритма повлияет на время выполнения успешного поиска, неудачного поиска, вставки и удаления?
4. Предложите способ хранения элементов внутри самой хеш-таблицы, при котором неиспользуемые ячейки связываются в один список свободных мест. Считается, что в каждой ячейке может храниться флаг и либо один элемент и указатель, либо два указателя. Все словарные операции и операции над списком свободных мест должны выполняться за время 0(1). Должен ли список свободных мест быть двусвязным или можно обойтись односвязным списком?
5. Покажите, что если |{7| > пт, то имеется подмножество пространства ключей U размером п, состоящее из ключей, которые хешируются в одну и ту же ячейку, так что время поиска в хеш-таблице с разрешением коллизий методом цепочек в худшем случае равно 0 (п).
Хеш-функции
В этом разделе мы рассмотрим некоторые вопросы, связанные с разработкой качественных хеш-функций, и познакомимся с тремя схемами их построения. Две из них, хеширование делением и хеширование умножением, эвристичны по своей природе, в то время как третья схема — универсальное хеширование — использует рандомизацию для обеспечения доказуемого качества.
Чем определяется качество хеш-функции
Качественная хеш-функция удовлетворяет (приближенно) предположению простого равномерного хеширования: для каждого ключа равновероятно помещение в любую из т ячеек, независимо от хеширования остальных ключей. К сожалению, это условие обычно невозможно проверить, поскольку, как правило, распределение вероятностей, в соответствии с которым поступают вносимые в таблицу ключи, неизвестно; кроме того, вставляемые ключи могут не быть независимыми.
Иногда распределение вероятностей оказывается известным. Например, если известно, что ключи представляют собой случайные действительные числа, равномерно распределенные в диапазоне 0 ^ к < 1, то хеш-функция h(k) = [fcmj удовлетворяет условию простого равномерного хеширования.
На практике при построении качественных хеш-функций зачастую используются различные эвристические методики. В процессе построения большую помощь оказывает информация о распределении ключей. Рассмотрим, например, таблицу символов компилятора, в которой ключами служат символьные строки, представляющие идентификаторы в программе. Зачастую в одной программе встречаются похожие идентификаторы, например, pt и pts. Хорошая хеш- функция должна минимизировать шансы попадания этих идентификаторов в одну ячейку хеш-таблицы.
При построении хеш-функции хорошим подходом является подбор функции таким образом, чтобы она никак не коррелировала с закономерностями, которым могут подчиняться существующие данные. Например, метод деления, который рассматривается в разделе 11.3.1, вычисляет хеш-значение как остаток от деления ключа на некоторое простое число. Если это простое число никак не связано с распределением исходных данных, метод часто дает хорошие результаты.
В заключение заметим, что некоторые приложения хеш-функций могут накладывать дополнительные требования, помимо требований простого равномерного хеширования. Например, мы можем потребовать, чтобы “близкие” в некотором смысле ключи давали далекие хеш-значения (это свойство особенно желательно при использовании линейного исследования, описанного в разделе 11.4). Универсальное хеширование, описанное в разделе 11.3.3, зачастую приводит к желаемым результатам.
Интерпретация ключей как целых неотрицательных чисел
Для большинства хеш-функций пространство ключей представляется множеством целых неотрицательных чисел N = {0,1,2,...}. Если же ключи не являются целыми неотрицательными числами, то можно найти способ их интерпретации как таковых. Например, строка символов может рассматриваться как целое число, записанное в соответствующей системе счисления. Так, идентификатор pt можно рассматривать как пару десятичных чисел (112,116), поскольку в ASCII-наборе символов p=112nt = 116. Рассматривая pt как число в системе счисления с основанием 128, мы находим, что оно соответствует значению 112 • 128 + 116 = 14452. В конкретных приложениях обычно не представляет особого труда разработать метод для представления ключей в виде (возможно, больших) целых чисел. Далее при изложении материала мы будем считать, что все ключи представляют целые неотрицательные числа.
Метод деления
Построение хеш-функции методом деления состоит в отображении ключа к в одну из ячеек путем получения остатка от деления к на т, т.е. хеш-функция имеет вид h (к) = к mod т.
Например, если хеш-таблица имеет размер m = 12, а значение ключа к = 100, то h^k) = 4. Поскольку для вычисления хеш-функции требуется только одна операция деления, хеширование методом деления считается достаточно быстрым.
При использовании данного метода мы обычно стараемся избегать некоторых значений т. Например, т не должно быть степенью 2, поскольку если т = 2Р, то h (к) представляет собой просто р младших битов числа к. Если только заранее
не известно, что все наборы младших р битов ключей равновероятны, лучше строить хеш-функцию таким образом, чтобы ее результат зависел от всех битов ключа. В упражнении 11.3-3 требуется показать неудачность выбора т = 2Р — 1, когда ключи представляют собой строки символов, интерпретируемые как числа в системе счисления с основанием 2Р, поскольку перестановка символов ключа не приводит к изменению его хеш-значения.
Зачастую хорошие результаты можно получить, выбирая в качестве значения т простое число, достаточно далекое от степени двойки. Предположим, например, что мы хотим создать хеш-таблицу с разрешением коллизий методом цепочек для хранения п = 2000 символьных строк, размер символов в которых равен 8 битам. Нас устраивает проверка в среднем трех элементов при неудачном поиске, так что мы выбираем размер таблицы равным т = 701. Число 701 выбрано как простое число, близкое к величине 2000/3 и не являющееся степенью 2. Рассматривая каждый ключ к как целое число, мы получаем искомую хеш-функцию:
h (к) = к mod 701.
Метод умножения
Построение хеш-функции методом умножения выполняется в два этапа. Сначала мы умножаем ключ к на константу 0 < Л < 1 и получаем дробную часть полученного произведения. Затем мы умножаем полученное значение на m и применяем к нему функцию “пол” т.е.
h (к) = [т (кА mod 1)J ,
где выражение “кА mod 1” означает получение дробной части произведения кА, т.е. величину кА — \кXJ.
Достоинство метода умножения заключается в том, что значение т перестает быть критичным. Обычно величина т из соображений удобства реализации функции выбирается равной степени 2. Пусть у нас имеется компьютер с размером слова w битов и к помещается в одно слово. Ограничим возможные значения константы А видом s/2w, где s — целое число из диапазона 0 < s < 2™. Тогда мы сначала умножаем к на w-битовое целое число s = А • 2™. Результат представляет собой 2w-битовое число ri2w + го, где ri — старшее слово произведения, a tq — младшее. Старшие р битов числа го представляют собой искомое p-битовое хеш- значение (рис. 11.4).
Хотя описанный метод работает с любыми значениями константы А, некоторые значения дают лучшие результаты по сравнению с другими. Оптимальный выбор зависит от характеристик хешируемых данных. В [185] Кнут предложил использовать дающее неплохие результаты значение
Л « (х/б-1)/2 «0.6180339887... (11.2)
Рис. 11.4. Хеширование методом умноженияРис. 11.4. Хеширование методом умножения
Рис. 11.4. Хеширование методом умножения
Рис. 11.4. Хеширование методом умножения
Возьмем в качестве примера к = 123456, р = 14, т = 214 = 16384 и w = 32. Принимая предложение Кнута, выбираем значение А в виде s/2w, ближайшее к величине (V5 — 1)/2, так что А = 2654435769/232. Тогда
к • s = 327 706 022 297 664 = (76 300 • 232) + 17 612 864,
и, соответственно, ri = 76 300 и го = 17 612 864. Старшие 14 битов числа го дают нам хеш-значение h (к) = 67.
Универсальное хеширование
Если недоброжелатель будет умышленно выбирать ключи для хеширования при помощи конкретной хеш-функции, то он сможет подобрать п значений, которые будут хешироваться в одну и ту же ячейку таблицы, приводя к среднему времени выборки 0 (п). Таким образом, любая фиксированная хеш-функция становится уязвимой, и единственный эффективный выход из ситуации — случайный выбор хеш-функции, не зависящий от того, с какими именно ключами ей предстоит работать. Такой подход, который называется универсальным хешированием, гарантирует хорошую производительность в среднем, независимо от того, какие данные будут выбраны злоумышленником.
Главная идея универсального хеширования состоит в случайном выборе хеш- функции из некоторого тщательно отобранного класса функций в начале работы программы. Как и в случае быстрой сортировки, рандомизация гарантирует, что одни и те же входные данные не могут постоянно давать наихудшее поведение алгоритма. В силу рандомизации алгоритм будет работать всякий раз по- разному, даже для одних и тех же входных данных, что гарантирует высокую среднюю производительность для любых входных данных. Возвращаясь к примеру с таблицей символов компилятора, мы обнаружим, что никакой выбор программистом имен идентификаторов не может привести к постоянному снижению производительности хеширования. Такое снижение возможно только тогда, когда компилятором выбрана случайная хеш-функция, которая приводит к плохому
хешированию конкретных входных данных; однако вероятность такой ситуации очень мала и одинакова для любого множества идентификаторов одного и то же размера.
Пусть Н — конечное множество хеш-функций, которые отображают пространство ключей U в диапазон {0,1,2,...,m — 1}. Такое множество называется универсальным, если для каждой пары различных ключей kJ EU количество хеш- функций КеН, для которых h (к) = h (Z), не превышает \Н\(т. Другими словами, при случайном выборе хеш-функции из 7Y вероятность коллизии между различными ключами к и I не превышает вероятности совпадения двух случайным образом выбранных хеш-значений из множества {0,1,2,..., т — 1}, которая равна 1/тп.
Следующая теорема показывает, что универсальные хеш-функции обеспечивают хорошую среднюю производительность. В приведенной теореме п^, как уже упоминалось, обозначает длину списка Т [г].
Теорема 11.3. Пусть хеш-функция /г, выбранная из универсального множества хеш-функций, используется для хеширования п ключей в таблицу Т размера т, с использованием для разрешения коллизий метода цепочек. Если ключ к отсутствует в таблице, то математическое ожидание Е [тгцл-)] длины списка, в который хешируется ключ к, не превышает а. Если ключ к находится в таблице, то математическое ожидание Е [^(/с)] длины списка, в котором находится ключ к, не превышает 1 4- а.
Доказательство. Заметим, что математическое ожидание вычисляется на множестве выборов функций и не зависит от каких бы то ни было предположений о распределении ключей. Определим для каждой пары различных ключей к и I индикаторную случайную величину Х^, = I {h (к) = h (Z)}. Поскольку по определению пара ключей вызывает коллизию с вероятностью не выше 1/тп, получаем, что Рг {/г (fc) = h (Z)} ^ 1/m, так что, в соответствии с леммой 5.1, Е [Х^/] ^ 1/тп.
Далее для каждого ключа к определим случайную величину %, которая равна количеству ключей, отличающихся от к и хешируемых в ту же ячейку, что и ключ к:
У^^Хкь
Соответственно, получаем:
Е[Ук] = Е ^Хк1 =
1ЕТ J*k -
= £еМ<1ет1^к= £еМ<1ет1^к(в силу линейности математического ожидания)(в силу линейности математического ожидания)
= £еМ<
1ет
1^к
= £еМ<
1ет
1^к
(в силу линейности математического ожидания)
(в силу линейности математического ожидания)
Оставшаяся часть доказательства зависит от того, находится ли ключ к в таблице Т.
Если к ^ Т, то пк^ = ¥к и |{/ : I 6 Т и I / А:} | = п. Соответственно, Е [W)3 = Е И ^ n/m = а-
Если к е Т, то поскольку к находится в списке Т [h (к)] и значение ¥к не включает ключ к, мы имеем пц^ = Yk + 1 и |{Z : I 6 Т и I / fc}| = п — 1. Таким образом, Е [^(/с)] = Е [%] + 1 ^ (n — l)/m + 1 = 1 + а — 1/тп < < 1 + а.■
Следствие из данной теоремы гласит, что универсальное хеширование обеспечивает желаемый выигрыш: теперь невозможно выбрать последовательность операций, которые приведут к наихудшему времени работы. Путем рандомизации выбора хеш-функции в процессе работы программы гарантируется хорошее среднее время работы алгоритма для любых входных данных.
Следствие 11.4. Использование универсального хеширования и разрешения коллизий методом цепочек в хеш-таблице с m ячейками дает математическое ожидание времени выполнения любой последовательности из п вставок, поисков и удалений, в которой содержится О (тп) вставок, равное 0 (п).
Доказательство. Поскольку количество вставок равно О (т), п = О (т) и, соответственно, а = О (1). Время работы операций вставки и удаления — величина постоянная, а в соответствии с теоремой 11.3 математическое ожидание времени выполнения каждой операции поиска равно 0(1). Таким образом, используя свойство линейности математического ожидания, получаем, что ожидаемое время, необходимое для выполнения всей последовательности операций, равно О (п). Поскольку каждая операция занимает время 0(1), отсюда следует граница 0(п). ■
Построение универсального множества хеш-функций
Построить такое множество довольно просто, что следует из теории чисел. Если вы с ней незнакомы, то можете сначала обратиться к главе 31.
Начнем с выбора простого числа р, достаточно большого, чтобы все возможные ключи находились в диапазоне от 0 до р — 1 включительно. Пусть Zp обозначает множество {0,1,... ,р — 1}, a Z* — множество {1,2,... ,р — 1}. Поскольку р — простое число, мы можем решать уравнения по модулю р при помощи методов, описанных в главе 31. Из предположения о том, что пространство ключей больше, чем количество ячеек в хеш-таблице, следует, что р > т.
Теперь определим хеш-функцию ha^ для любых а Е Z* и b Е Zp следующим образом:
Ьа.ь (^) = ((ак + Ь) mod р) mod т.(11.3)
Например, при р = 17 и m = 6 /13,4 (8) = 5. Семейство всех таких функций образует множество
Ир,?п = ^ha.b : а Е Z* и Ь Е Zp} .(11-4)
Каждая хеш-функция hQib отображает Zp на Zm. Этот класс хеш-функций обладает тем свойством, что размер т выходного диапазона произволен и не обязательно представляет собой простое число. Это свойство будет использовано нами в разделе 11.5. Поскольку число а можно выбрать р — 1 способом, и р способами — число Ь, всего во множестве Нр^т содержится р (р — 1) хеш-функций.
Теорема 11.5. Множество хеш-функций Ttp^m, определяемое уравнениями (11.3) и (11.4), является универсальным.
Доказательство. Рассмотрим два различных ключа к и I из Zp, т.е. к ^ L Пусть для данной хеш-функции haib
г = (ак 4- Ь) mod р,s = (al 4- Ь) mod р.
Заметим, что г ^ s. Почему? Рассмотрим разность
г — s = а (к — I) (modp).
Поскольку р — простое число, причем как а, так и (к — I) не равны нулю по модулю р, то отсюда следует что г / s, так что и их произведение также должно быть отлично от нуля по модулю р согласно теореме 31.6. Следовательно, вычисление любой хеш-функции На)ь Е Нр^т для различных ключей к и I приводит к различным хеш-значениям г и s по модулю р. Таким образом, коллизии “по модулю р” отсутствуют. Более того, каждая из р(р — 1) возможных пар (а,Ь), в которых
а / О, приводят к различным парам (г, s), в которых г / s. Чтобы убедиться в этом, достаточно рассмотреть возможность однозначного определения а и b по данным ths:
а = ((г — s) Qk — Z)-1 mod p) ) mod p,b = (r — ak) mod p,
где ((fc — Z)-1 modp) обозначает единственное мультипликативное обратное по модулю р значения к — I. Поскольку имеется только р(р — 1) возможных пар (г, s), таких что т / s, то имеется взаимнооднозначное соответствие между парами (а, Ь), где а / 0, и парами (г, s), в которых т ^ s. Таким образом, для любой данной пары входных значений к и I при равномерном случайном выборе пары (а, Ь) из Z* х Zp, получаемая в результате пара (г, s) может быть с равной вероятностью любой из пар с отличающимися значениями по модулю р.
Отсюда можно заключить, что вероятность того, что различные ключи к и I приводят к коллизии, равна вероятности того, что t = s (mod m) при произвольном выборе отличающихся по модулю р значений ths. Для данного значения т имеется р — 1 возможное значение s. При этом число значений s, таких что s / г и s = г (mod р), не превышает
|p/m"| — 1 С ((р + m — l)/m) — 1 = (р — l)/m.
(Здесь использовано неравенство (3.6).) Вероятность того, что s приводит к коллизии с т при приведении по модулю т, не превышает
((р - 1) /т) (р - 1) = 1/(р - 1) = 1/т.
Следовательно, для любой пары различных значений kJ EZp
Pr^ha)b (к) = ка,ь (0) ^ Vm>
так что множество хеш-функций Нр^т является универсальным.■
Упражнения
1. Предположим, что мы выполняем поиск в связанном списке длиной п, в котором каждый элемент содержит ключ к вместе с хеш-значением h (к). Каждый ключ представляет собой длинную символьную строку. Как можно использовать наличие хеш-значения при поиске элемента с заданным ключом?
2. Предположим, что строка из г символов хешируется в т ячеек путем ее интерпретации как числа, записанного в 128-ричной системе счисления, и использования метода деления. Число т легко представимо в виде 32-битового машинного слова, но представление строки как целого числа требует много слов. Каким образом можно применить метод деления для вычисления хеш-значения символьной строки с использованием фиксированного количества дополнительных машинных слов?
3. Рассмотрим версию метода деления, в которой h (к) = к mod т, где т = 2Р — 1, а к — символьная строка, интерпретируемая как целое число в системе счисления с основанием 2Р. Покажите, что если строка х может быть получена из строки у перестановкой символов, то хеш- значения этих строк одинаковы. Приведите пример приложения, где это свойство хеш-функции может оказаться крайне нежелательным.
4. Рассмотрим хеш-таблицу размером m = 1000 и соответствующую хеш- функцию h (А:) = [m (кА mod 1)J для А = (V5 — 1) /2. Вычислите номера ячеек, в которые хешируются ключи 61, 62, 63, 64 и 65.
* 11.3-5. Определим семейство хеш-функций И, отображающих конечное множество U на конечное множество В как е-универсальное, если для всех пар различных элементов к и I из U
Pr{Zl(fc) = /l(/)}^E,
где вероятность вычисляется для случайного выбора хеш-функции h из множества К. Покажите, Е-универсальное семейство хеш-функций должно обладать тем свойством, что
11_
★ 11.3-6. Пусть U — множество наборов из п чисел, выбирающихся из Zp, и пусть В = Zp, где р — простое число. Определим хеш-функцию кь : U В для b е Zp и входного набора (ао, ai,..., ап-1) Е U следующим образом:
n—1
kb ( (^0 ? ^1 , • • • , ^П — 1) ) =
3=0
и пусть И = {kb : b Е ZPY Докажите, что 7Y является ((п — ^/^-универсальным множеством в соответствии с определением, данным в упражнении 11.3-5. (Указание: см. упражнение 31.4-4.)
Открытая адресация
При использовании метода открытой адресации все элементы хранятся непосредственно в хеш-таблице, т.е. каждая запись таблицы содержит либо элемент динамического множества, либо значение nil. При поиске элемента мы систематически проверяем ячейки таблицы до тех пор, пока не найдем искомый элемент или пока не убедимся в его отсутствии в таблице. Здесь, в отличие от метода цепочек, нет ни списков, ни элементов, хранящихся вне таблицы. Таким образом, в методе открытой адресации хеш-таблица может оказаться заполненной, делая невозможной вставку новых элементов; коэффициент заполнения а не может превышать 1.
Конечно, при хешировании с разрешением коллизий методом цепочек можно использовать свободные места в хеш-таблице для хранения связанных списков (см. упражнение 11.2-4), но преимущество открытой адресации заключается в том, что она позволяет полностью отказаться от указателей. Вместо того чтобы следовать по указателям, мы вычисляем последовательность проверяемых ячеек. Дополнительная память, освобождающаяся в результате отказа от указателей, позволяет использовать хеш-таблицы большего размера при том же общем количестве памяти, потенциально приводя к меньшему количеству коллизий и более быстрой выборке.
Для выполнения вставки при открытой адресации мы последовательно проверяем, или исследуем (probe), ячейки хеш-таблицы до тех пор, пока не находим пустую ячейку, в которую помещаем вставляемый ключ. Вместо фиксированного порядка исследования ячеек 0,1,..., т — 1 (для чего требуется 0 (п) времени), последовательность исследуемых ячеек зависит от вставляемого в таблицу ключа. Для определения исследуемых ячеек мы расширим хеш-функцию, включив в нее в качестве второго аргумента номер исследования (начинающийся с 0). В результате хеш-функция становится следующей:
h:U х (0,1,..., т — 1} —♦ {0,1,..., m — 1} .
В методе открытой адресации требуется, чтобы для каждого ключа к последовательность исследований
(h (k,Q) ,h(k,l),... ,h (к, m — 1))
представляла собой перестановку множества (0,1,..., т — 1), чтобы в конечном счете могли быть просмотрены все ячейки хеш-таблицы. В приведенном далее псевдокоде предполагается, что элементы в таблице Т представляют собой ключи без сопутствующей информации; ключ к тождественен элементу, содержащему ключ к. Каждая ячейка содержит либо ключ, либо значение nil (если она не заполнена):
Hash_Insert(T, fc) 1 г <— 0
repeat j <— h(k, г)
if T[j] = NIL
then T[j] <— к
return j
else г «— г + 1
until г = m
error “Хеш-таблица переполнена”
Алгоритм поиска ключа к исследует ту же последовательность ячеек, что и алгоритм вставки ключа к. Таким образом, если при поиске встречается пустая ячейка, поиск завершается неуспешно, поскольку ключ к должен был бы быть вставлен в эту ячейку в последовательности исследований, и никак не позже нее. (Мы предполагаем, что удалений из хеш-таблицы не было.) Процедура Hash_Search получает в качестве входных параметров хеш-таблицу Т и ключ к и возвращает номер ячейки, которая содержит ключ к (или значение nil, если ключ в хеш- таблице не обнаружен):
Hash_Search(T, к) 1 г <— 0
repeat j <— h(k, г)
if T[j] = к
then return j
г <— г + 1
until TD] = NIL или г = m
return nil
Процедура удаления из хеш-таблицы с открытой адресацией достаточно сложна. При удалении ключа из ячейки г мы не можем просто пометить ее значением nil. Поступив так, мы можем сделать невозможным выборку ключа к, в процессе вставки которого исследовалась и оказалась занятой ячейка г. Одно из решений состоит в том, чтобы помечать такие ячейки специальным значением deleted вместо NIL. При этом мы должны слегка изменить процедуру HASH_lNSERT, с тем чтобы она рассматривала такую ячейку как пустую и могла вставить в нее новый ключ. В процедуре Hash_Search никакие изменения не требуются, поскольку мы просто пропускаем такие ячейки при поиске и исследуем следующие ячейки в последовательности. Однако при использовании специального значения deleted время поиска перестает зависеть от коэффициента заполнения а, и по этой причине, как правило, при необходимости удалений из хеш-таблицы в качестве метода разрешения коллизий выбирается метод цепочек.
В нашем дальнейшем анализе мы будем исходить из предположения равномерного хеширования, т.е. мы предполагаем, что для каждого ключа в качестве последовательности исследований равновероятны все т\ перестановок множества {0,1,..., т — 1}. Равномерное хеширование представляет собой обобщение определенного ранее простого равномерного хеширования, заключающееся в том, что теперь хеш-функция дает не одно значение, а целую последовательность исследований. Реализация истинно равномерного хеширования достаточно трудна, однако на практике используются подходящие аппроксимации (такие, например, как определенное ниже двойное хеширование).
Для вычисления последовательности исследований для открытой адресации обычно используются три метода: линейное исследование, квадратичное исследование и двойное хеширование. Эти методы гарантируют, что для каждого ключа к (h (к, 0), h (к, 1),..., h (к, т — 1)) является перестановкой (0,1,..., т — 1). Однако эти методы не удовлетворяют предположению о равномерном хешировании, так как ни один из них не в состоянии сгенерировать более т2 различных последовательностей исследований (вместо т!, требующихся для равномерного хеширования). Наибольшее количество последовательностей исследований дает двойное хеширование и, как и следовало ожидать, дает наилучшие результаты.
Линейное исследование
Пусть задана обычная хеш-функция h' : U —> {0,1,..., т — 1}, которую мы будем в дальнейшем именовать вспомогательной хеш-функцией (auxiliary hash function). Метод линейного исследования для вычисления последовательности исследований использует хеш-функцию
h (к, г) = ^Ь? (к) 4- г) mod т,
где г принимает значения от 0 до т— 1 включительно. Для данного ключа к первой исследуемой ячейкой является Т [hf (fc)], т.е. ячейка, которую дает вспомогательная хеш-функция. Далее мы исследуем ячейку Т [hf (к) 4-1] и далее последовательно все до ячейки Т \m — 1], после чего переходим в начало таблицы и последовательно исследуем ячейки Т [0], Т [1], и так до ячейки Т \hf (к) — 1]. Поскольку начальная исследуемая ячейка однозначно определяет всю последовательность исследований целиком, всего имеется m различных последовательностей.
Линейное исследование легко реализуется, однако с ним связана проблема первичной кластеризации, связанной с созданием длинных последовательностей занятых ячеек, что, само собой разумеется, увеличивает среднее время поиска. Кластеры возникают в связи с тем, что вероятность заполнения пустой ячейки, которой предшествуют г заполненных ячеек, равна (г 4- 1)/т. Таким образом, длинные серии заполненных ячеек имеют тенденцию ко все большему удлинению, что приводит к увеличению среднего времени поиска.
Квадратичное исследование
Квадратичное исследование использует хеш-функцию вида
h (к, i) = (hf (к) + с^г + 02г2) mod т,(И.5)
где IV — вспомогательная хеш-функция, ci и С2 / 0 — вспомогательные константы, а г принимает значения от 0 до т — 1 включительно. Начальная исследуемая ячейка — Т [hf (к)]; остальные исследуемые позиции смещены относительно нее на величины, которые описываются квадратичной зависимостью от номера исследования г. Этот метод работает существенно лучше линейного исследования, но для того, чтобы исследование охватывало все ячейки, необходим выбор специальных значений ci, С2 и т (в задаче 11-3 показан один из путей выбора этих параметров). Кроме того, если два ключа имеют одну и то же начальную позицию исследования, то одинаковы и последовательности исследования в целом, так как из hi (к^ 0) = h2 (к, 0) вытекает hi (к, г) = h^ (к, г). Это свойство приводит к более мягкой вторичной кластеризации. Как и в случае линейного исследования, начальная ячейка определяет всю последовательность, поэтому всего используется т различных последовательностей исследования.
Двойное хеширование
Двойное хеширование представляет собой один из наилучших способов использования открытой адресации, поскольку получаемые при этом перестановки обладают многими характеристиками случайно выбираемых перестановок. Двойное хеширование использует хеш-функцию вида
h (к, г) = (hi (к) 4- ih^ (k)) mod m,
где hi и h2 — вспомогательные хеш-функции. Начальное исследование выполняется в позиции Т [Ai (fc)], а смещение каждой из последующих исследуемых ячеек относительно предыдущей равно h2 (к) по модулю т. Следовательно, в отличие от линейного и квадратичного исследования, в данном случае последовательность исследования зависит от ключа к по двум параметрам — в плане выбора начальной исследуемой ячейки и расстояния между соседними исследуемыми ячейками, так как оба эти параметра зависят от значения ключа.
На рис. 11.5 показан пример вставки при двойном хешировании. Вы видите хеш-таблицу размером 13 ячеек, в которой используются вспомогательные хеш- функции hi (к) = к mod 13 и h2 (к) = 1 + (к mod 11).Так как 14 = 1 (modl3) и 14 = 3 (mod 11), ключ 14 вставляется в пустую ячейку 9, после того как при исследовании ячеек 1 и 5 выясняется, что эти ячейки заняты.
Для того чтобы последовательность исследования могла охватить всю таблицу, значение h2 (к) должно быть взаимно простым с размером хеш-таблицы
° 118
L79
ill
iH
4
i 98
||||||
[ 72
gjj
9
10 [Д
П
12 Sil
Рис. 11.5. Вставка при двойном хешировании
т (см. упражнение 11.4-3). Удобный способ обеспечить выполнение этого условия состоит в выборе числа т, равного степени 2, и разработке хеш-функции h2 таким образом, чтобы она возвращала только нечетные значения. Еще один способ состоит в использовании в качестве т простого числа и построении хеш- функции h,2 такой, чтобы она всегда возвращала натуральные числа, меньшие т. Например, можно выбрать простое число в качестве т, а хеш-функции такими:
hi (к) = к mod m,
^2 (А;) = 1 + (к mod т^ ,
где т' должно быть немного меньше т (например, т — 1). Скажем, если к = = 123456, т = 701, а т' = 700, то hi (к) = 80 и h^ (к) = 257, так что первой исследуемой будет ячейка в 80-й позиции, а затем будет исследоваться каждая 257-я (по модулю т) ячейка, пока не будет обнаружена пустая ячейка, или пока не окажутся исследованы все ячейки таблицы.
Двойное хеширование превосходит линейное или квадратичное исследования в смысле количества 0 (т2) последовательностей исследований, в то время как у упомянутых методов это количество равно 0 (т). Это связано с тем, что каждая возможная пара (hi (к) ^2 (к)) дает свою, отличающуюся от других последовательность исследований. В результате производительность двойного хеширования достаточно близка к производительности “идеальной” схемы равномерного хеширования.
Анализ хеширования с открытой адресацией
Анализ открытой адресации, как и анализ метода цепочек, выполняется с использованием коэффициента заполнения а = n/m хеш-таблицы при пит, стремящихся к бесконечности. Само собой разумеется, при использовании открытой адресации у нас может быть не более одного элемента на ячейку таблицы, так что п т и, следовательно, а 1.
Будем считать, что используется равномерное хеширование. При такой идеализированной схеме последовательность исследований (/i(k, 0), h(k, 1),..., h(k, т — 1)), используемая для вставки или поиска каждого ключа к, с равной вероятностью является одной из возможных перестановок (0,1,..., т — 1). Разумеется, с каждым конкретным ключом связана единственная фиксированная последовательность исследований, так что при рассмотрении распределения вероятностей ключей и хеш-функций все последовательности исследований оказываются равновероятными.
Сейчас мы проанализируем математическое ожидание количества исследований для хеширования с открытой адресацией в предположении равномерного хеширования, и начнем с анализа количества исследований в случае неуспешного поиска.
Теорема 11.6. Математическое ожидание количества исследований при неуспешном поиске в хеш-таблице с открытой адресацией и коэффициентом заполнения а = п/т < 1 в предположении равномерного хеширования не превышает 1/(1-а).
Доказательство. При неуспешном поиске каждая последовательность исследований завершается на пустой ячейке. Определим случайную величину X как равную количеству исследований, выполненных при неуспешном поиске, и события At (i = 1,2,...), заключающиеся в том, что было выполнено г-е исследование, и оно пришлось на занятую ячейку. Тогда событие {X ^ г} представляет собой пересечение событий А1ПА2П.. .ААг-i. Ограничим вероятность Pr {X ^ г} путем ограничения вероятности Pr {Ai А А2 А ... A Ai-i}. В соответствии с упражнением В.2-6,
Pr {Ai А А2 А ... А А-i} = Pr {Ai} • Рг {А2 | Ai} • Pr {А3 | Ai А А2} ...
... Рг {Д-1 | А1 А А2 а ... А Аг-2} .
Поскольку всего имеется п элементов и т ячеек, Pr{Ai} = njm. Вероятность того, что будет выполнено j-e исследование (j > 1) и что оно будет проведено над заполненной ячейкой (при этом первые 3 — 1 исследований проведены над заполненными ячейками), равна (n — j + 1)/(т — j + 1). Эта вероятность определяется следующим образом: мы должны проверить один из оставшихся
г ^т мы получаем:г ^т мы получаем:(?г — (j — 1)) элементов, а всего неисследованных к этому времени ячеек остается (m — (j — 1)). В соответствии с предположением о равномерном хешировании, вероятность равна отношению этих величин. Воспользовавшись тем фактом, что из п < т для всех 0 ^ j < т следует соотношение (n — j)/(m — j) ^ п/т, для
г ^т мы получаем:
г ^т мы получаем:
п п — 1т m — 1п п — 1т m — 1Рг{ХРг{Хп — 2 п — г + 2/ну-1; ,
п п — 1
т m — 1
п п — 1
т m — 1
Рг{Х
Рг{Х
мы можем использоватьмы можем использоватьX • • •:—X < —= “ • т — 2 т — г + 2\т/
мы можем использовать
мы можем использовать
уравнение (В.24) для того, чтобы ограничить
математическое ожидание количества исследований:
ОООООО1
ЕМ = £Рг{Х 5 О « Е“*"‘ == г—?
г=1г=1г=0■
Полученная граница 1 4- а 4- а2 4- а3 4-... имеет интуитивную интерпретацию. Одно исследование выполняется всегда. С вероятностью, приблизительно равной а, первое исследование проводится над заполненной ячейкой, и требуется выполнение второго исследования. С вероятностью, приблизительно равной а2, две первые ячейки оказываются заполненными и требуется проведение третьего исследования, и т.д.
Если а — константа, то теорема 11.6 предсказывает, что неуспешный поиск выполняется за время 0(1). Например, если хеш-таблица заполнена наполовину, то среднее количество исследований при неуспешном поиске не превышает 1/(1 —0.5) = 2. При заполненности хеш-таблицы на 90% среднее количество исследований не превышает 1/(1 — 0.9) = 10.
Теорема 11.6 практически непосредственно дает нам оценку производительности процедуры Hash_Insert.
Следствие 11.7. Вставка элемента в хеш-таблицу с открытой адресацией и коэффициентом заполнения а в предположении равномерного хеширования, требует в среднем не более 1/(1 — а) исследований.
Доказательство. Элемент может быть вставлен в хеш-таблицу только в том случае, если в ней есть свободное место, так что а < 1. Вставка ключа требует проведения неуспешного поиска, за которым следует размещение ключа в найденной пустой ячейке. Следовательно, математическое ожидание количества исследований не превышает 1/(1 — а).В
Вычисление математического ожидания количества исследований при успешном поиске требует немного больше усилий.
Теорема 11.8. Математическое ожидание количества исследований при удачном поиске в хеш-таблице с открытой адресацией и коэффициентом заполнения а < 1, в предположении равномерного хеширования и равновероятного поиска любого из ключей, не превышает
тт — гтт — гДоказательство. Поиск ключа к выполняется с той же последовательностью исследований, что и его вставка. В соответствии со следствием 11.7, если к был (г 4- 1)-м ключом, вставленным в хеш-таблицу, то математическое ожидание количества проб при поиске к не превышает 1/(1 — г/m) = т/(т — г). Усреднение по всем п ключам в хеш-таблице дает нам среднее количество исследований при удачном поиске:
т
т — г
т
т — г
±11
= - V: = - (ят - нт_^п т — г а
г=0
где Hi = 12}=i Vj представляет собой г-е гармоническое число (определяемое уравнением (А.7)). Воспользовавшись методом ограничения суммы интегралом, описанном в разделе А.2 (неравенство (А. 12)), получаем верхнюю границу математического ожидания количества исследований при удачном поиске:
11
(Нт - Нт-п) = -к=т—п+1
1 , ТП= — 1п а т — п1 , ТП= — 1п а т — п= Ifoа= Ifoа11 — а11 — а
1 , ТП
= — 1п а т — п
1 , ТП
= — 1п а т — п
= Ifo
а
= Ifo
а
1
1 — а
1
1 — а
Если хеш-таблица заполнена наполовину, ожидаемое количество исследований при успешном поиске не превышает 1.387; при заполненности на 90% это количество не превышает 2.559.
Упражнения
1. Рассмотрите вставку ключей 10, 22, 31, 4, 15, 28, 17, 88, 59 в хеш-таблицу длины m = 11 с открытой адресацией и вспомогательной хеш- функцией h! (к) = к mod т. Проиллюстрируйте результат вставки приведенного списка ключей при использовании линейного исследования, квадратичного исследования с ci = 1 и сг = 3, и двойного хеширования с /12 (А:) = 1 + (A; mod (m — 1)).
2. Запишите псевдокод процедуры Hash_Delete, описанной в тексте, и модифицируйте процедуру Hash_Insert для обработки специального значения DELETED (удален).
* 11.4-3. Предположим, что для разрешения коллизий мы используем двойное хеширование, т.е. хеш-функцию h (к, г) = (hi (к) + ih2 (к)) mod т. Покажите, что если ти h2 (к) для некоторого ключа к имеют наибольший общий делитель d ^ 1, то неуспешный поиск ключа к проверяет (1/^)-ю часть хеш-таблицы до того, как возвращается в ячейку hi (к). Таким образом, когда d = 1, т.е. т и h2 (к) взаимно простые числа, поиск может исследовать всю хеш-таблицу. (Указание: см. главу 31).
4. Пусть у нас есть хеш-таблица с открытой адресацией в предположении равномерного хеширования. Оцените верхнюю границу математического ожидания количества исследований при неуспешном поиске и при удачном поиске для коэффициентов заполнения таблицы 3/4 и 7/8.
* 11.4-5. Пусть у нас есть хеш-таблица с открытой адресацией и коэффициентом заполнения а. Найдите ненулевое значение а, при котором математическое ожидание количества исследований в случае неуспешного поиска в два раза превышает математическое ожидание количества исследований в случае удачного поиска. Воспользуйтесь для решения поставленной задачи границами, приведенными в теоремах 11.6 и 11.8.
Идеальное хеширование
Хотя чаще всего хеширование используется из-за превосходной средней производительности, возможна ситуация, когда реально получить превосходную производительность хеширования в наихудшем случае. Такой ситуацией является статическое множество ключей, т.е. после того как все ключи сохранены в таблице, их множество никогда не изменяется. Ряд приложений в силу своей природы работает со статическими множествами ключей. В качестве примера можно привести множество зарезервированных слов языка программирования или множество имен файлов на компакт-диске. Идеальным хешированием мы называем методику, которая в наихудшем случае выполняет поиск за О (1) обращений к памяти.
Основная идея идеального хеширования достаточно проста. Мы используем двухуровневую схему хеширования с универсальным хешированием на каждом уровне (см. рис. 11.6).
Первый уровень по сути тот же, что и в случае хеширования с цепочками: п ключей хешируются в т ячеек с использованием хеш-функции /г, тщательно выбранной из семейства универсальных хеш-функций.
Однако вместо того, чтобы создавать список ключей, хешированных в ячейку 3) мы используем маленькую вторичную хеш-таблицу Sj со своей хеш-функцией hj. Путем точного выбора хеш-функции hj мы можем гарантировать отсутствие коллизий на втором уровне.
2 3;456i 71 d2 3;456i 71 dЧ4 ПЧ4Ч:ИЧЧ4 ПЧ4Ч:ИЧ,3,31 0 0 701 0 0 70m- a. b-m- a. b-H91 ?3РФ°1/ИH91 ?3РФ°1/ИРис. 11.6. Использование идеального хеширования для хранения множества К = {10,22,37,40, 60,70, 75}
2 3;
4
5
6i 71 d
2 3;
4
5
6i 71 d
Ч4 ПЧ4Ч:ИЧ
Ч4 ПЧ4Ч:ИЧ
,3
,3
1 0 0 70
1 0 0 70
m- a. b-
m- a. b-
H91 ?3РФ°1/И
H91 ?3РФ°1/И
Рассмотрим детальнее пример на рис. 11.6, где показано сохранение статического множества ключей К = {10,22,37,40,60,70, 75} в хеш-таблице с использованием технологии идеального хеширования. Внешняя хеш-функция имеет вид ^ № = ((а^ + ^) m°d р) mod т, где а = 3, b = 42, р = 101 и т = 9. Например, h (75) = 2, так что ключ 75 хешируется в ячейку 2. Вторичная хеш-таблица Sj хранит все ключи, хешированные в ячейку j. Размер каждой таблицы Sj равен mj, и с ней связана хеш-функция hj (к) = ^ajk + bj) mod р) mod mj. Поскольку ^2 (75) = 1, ключ 75 хранится в ячейке 1 вторичной хеш-таблицы S^. Ни в одной из вторичных таблиц нет ни одной коллизии, так что время поиска в худшем случае равно константе.
Для того чтобы гарантировать отсутствие коллизий на втором уровне, требуется, чтобы размер mj хеш-таблицы Sj был равен квадрату числа rij ключей, хешированных в ячейку j. Такая квадратичная зависимость mj от rij может показаться чрезмерно расточительной, однако далее мы покажем, что при корректном выборе хеш-функции первого уровня ожидаемое количество требуемой для хеш- таблицы памяти остается равным О (тг).
Мы выберем хеш-функцию из универсальных множеств хеш-функций, описанных в разделе 11.3.3. Хеш-функция первого уровня выбирается из множества 'Нр^ где, как и в разделе 11.3.3, р является простым числом, превышающим значение любого из ключей. Ключи, хешированные в ячейку j, затем повторно хешируются во вторичную хеш-таблицу Sj размером mj с использованием хеш- функции hj, выбранной из класса /HPiTnjx.
’При Tij = mj = 1 для ячейки j хеш-функция не нужна; при выборе хеш-функции ha,b (к) = = ((ак 4- 6) mod р) mod mj для такой ячейки мы просто выбираем а = b = 0.
Работа будет выполнена в два этапа. Сначала мы выясним, как гарантировать отсутствие коллизий во вторичной таблице. Затем мы покажем, что ожидаемое количество памяти, необходимой для первичной и вторичной хеш-таблиц, равно О (п).
Теорема 11.9. Если п ключей сохраняются в хеш-таблице размером m = п2 с использованием хеш-функции h, случайно выбранной из универсального множества хеш-функций, то вероятность возникновения коллизий не превышает 1/2.
Доказательство. Всего имеется (”) пар ключей, которые могут вызвать коллизию. Если хеш-функция выбрана случайным образом из универсального семейства хеш-функций Н, то для каждой пары вероятность возникновения коллизии равна 1/т. Пусть X — случайная величина, которая подсчитывает количество коллизий. Если т = п2, то математическое ожидание числа коллизий равно
(Обратите внимание на схожесть данного анализа с анализом парадокса дней рождения из раздела 5.4.1.) Применение неравенства Маркова (В.29), Рг{Х ^ ^} ^ ^ Е [Xj/t, при ^ = 1 завершает доказательство. я
В ситуации, описанной в теореме 11.9, когда т = п2, произвольно выбранная из множества 7Y хеш-функция с большей вероятностью не приведет к коллизиям, чем приведет к ним. Для данного множества К, содержащего п ключей (напомним, что К — статическое множество), найти хеш-функцию h, не дающую коллизий, возможно после нескольких случайных попыток.
Если значение п велико, таблица размера т = п2 оказывается слишком большой и приводит к ненужному перерасходу памяти. Тогда мы принимаем двухуровневую схему хеширования. Хеш-функция h первого уровня используется для хеширования ключей в т = п ячеек. Затем, если в ячейку j оказывается хешировано nj ключей, для того чтобы обеспечить отсутствие коллизий, используется вторичная хеш-таблица Sj размером mj = п2.
Вернемся к вопросу необходимого для описанной схемы количества памяти. Поскольку размер mj j-ой вторичной хеш-таблицы растет с ростом rtj квадратично, возникает риск, что в целом потребуется очень большое количество памяти.
Если хеш-таблица первого уровня имеет размер т = п, то, естественно, нам потребуется количество памяти, равное О (п), для первичной хеш-таблицы, а также для хранения размеров т^ вторичных хеш-таблиц и параметров aj и bj, определяющих вторичные хеш-функции hj (выбираемые из множества 'Нр^ из раздела 11.3.3 (за исключением случая, когда rtj = 1; в этом случае мы просто принимаем а = b = 0)). Следующая теорема и следствия из нее позволяют нам вычислить границу суммарного размера всех вторичных таблиц.
Теорема 11.10. Если мы сохраняем п ключей в хеш-таблице размером т = п с использованием хеш-функции h, выбираемой случайным образом из универсального множества хеш-функций, то
771—1771—1з=оз=о< 2гц< 2гцгде nj — количество ключей, хешированных в ячейку j.где nj — количество ключей, хешированных в ячейку j.Доказательство. Начнем со следующего тождества, которое справедливо для любого неотрицательного целого а:Доказательство. Начнем со следующего тождества, которое справедливо для любого неотрицательного целого а:(11.6)(11.6)Итак, мы имеем:Итак, мы имеем:т— 1т— 1"j 3=0"j 3=0(в соответствии с (11.6))(в силу линейности математического ожидания)(в соответствии с (11.1))(поскольку п не является случайной переменной).(в соответствии с (11.6))(в силу линейности математического ожидания)(в соответствии с (11.1))(поскольку п не является случайной переменной).Для того чтобы вычислить сумму У^Го (^ )> заметим, что это просто общее количество коллизий. В соответствии со свойством универсального хеширования, математическое ожидание значения этой суммы не превышаетДля того чтобы вычислить сумму У^Го (^ )> заметим, что это просто общее количество коллизий. В соответствии со свойством универсального хеширования, математическое ожидание значения этой суммы не превышаетп (п — 1) п — 1п (п — 1) п — 12т2т22так как т = п. Таким образом,так как т = п. Таким образом,ЕЕnjnjti 4* 2ti 4* 271—1271—12= 2п — 1 < 271.= 2п — 1 < 271.
771—1
771—1
з=о
з=о
< 2гц
< 2гц
где nj — количество ключей, хешированных в ячейку j.
где nj — количество ключей, хешированных в ячейку j.
Доказательство. Начнем со следующего тождества, которое справедливо для любого неотрицательного целого а:
Доказательство. Начнем со следующего тождества, которое справедливо для любого неотрицательного целого а:
(11.6)
(11.6)
Итак, мы имеем:
Итак, мы имеем:
т— 1
т— 1
"j 3=0
"j 3=0
(в соответствии с (11.6))
(в силу линейности математического ожидания)
(в соответствии с (11.1))
(поскольку п не является случайной переменной).
(в соответствии с (11.6))
(в силу линейности математического ожидания)
(в соответствии с (11.1))
(поскольку п не является случайной переменной).
Для того чтобы вычислить сумму У^Го (^ )> заметим, что это просто общее количество коллизий. В соответствии со свойством универсального хеширования, математическое ожидание значения этой суммы не превышает
Для того чтобы вычислить сумму У^Го (^ )> заметим, что это просто общее количество коллизий. В соответствии со свойством универсального хеширования, математическое ожидание значения этой суммы не превышает
п (п — 1) п — 1
п (п — 1) п — 1
2т
2т
2
2
так как т = п. Таким образом,
так как т = п. Таким образом,
Е
Е
nj
nj
ti 4* 2
ti 4* 2
71—1
2
71—1
2
= 2п — 1 < 271.
= 2п — 1 < 271.
Следствие 11.11. Если мы сохраняем п ключей в хеш-таблице размером т = п с использованием хеш-функции к, выбираемой случайным образом из универсального множества хеш-функций, и устанавливаем размер каждой вторичной хеш-таблицы равным mj = п? (j = 0,1,..., т — 1), то математическое ожидание количества необходимой для вторичных хеш-таблиц в схеме идеального хеширования памяти не превышает величины 2п.
Доказательство. Поскольку mj = п^ для j = 0,1,..., т — 1, согласно теореме 11.10 мы получаем:
ЕЕ771—1771—1771 — 1771 — 13=03=0(П.7)(П.7)
Е
Е
771—1
771—1
771 — 1
771 — 1
3=0
3=0
(П.7)
(П.7)
что и требовалось доказать.
Следствие 11.12. Если мы сохраняем п ключей в хеш-таблице размером m = п с использованием хеш-функции h, выбираемой случайным образом из универсального множества хеш-функций, и устанавливаем размер каждой вторичной хеш-таблицы равным mj = n^ (j = 0,1,..., т — 1), то вероятность того, что общее количество необходимой для вторичных хеш-таблиц памяти не менее 4п, меньше чем 1/2.
Доказательство. Вновь применим неравенство Маркова (В.29), Pr {X ^ 4} ^ ^ Е [Х]/4, на этот раз к неравенству (11.7) (здесь X = ^j^o тз и ^ = ^п):
РгРг4п4п2n _ 14п - 2'2n _ 14п - 2'
Рг
Рг
4п
4п
2n _ 1
4п - 2'
2n _ 1
4п - 2'
Упражнения
* 11.5-1. Предположим, что мы вставляем п ключей в хеш-таблицу размером т с использованием открытой адресации и равномерного хеширования. Обозначим через р (n, т) вероятность отсутствия коллизий. Покажите, что р(п, т) ^ e-n(n-i)/2m (указание- СМ- уравнение (3.11).) Докажите, что при п, превосходящем Vm, вероятность избежать коллизий быстро падает до нуля.
Задачи
11-1. Наибольшее число исследований при хешировании
Имеется хеш-таблица размером т с открытой адресацией, в которой сохраняется п ключей, причем п ^т/2.
Покажите, что в предположении равномерного хеширования вероятность того, что для любого г = 1,2,..., п для вставки г-го ключа требуется более к исследований, не превышает 2-к.
Покажите, что для любого г = 1,2, ...,п вероятность того, что вставка г-го ключа требует выполнения более 21g п исследований, не превышает 1/п2.
Пусть Xi — случайная величина, обозначающая количество исследований, необходимое при вставке г-го ключа. В подзадаче б) вы должны были показать, что Pr{Xj > 21gn} ^ 1/п?. Обозначим через X максимальное количество исследований, необходимое при любой из п вставок: X = шах^^^л Х{.
Покажите, что Pr{X > 21gn} ^ 1/п.
Покажите, что математическое ожидание Е [X] длины наибольшей последовательности исследований равно О (1g п).
11-2. Длины цепочек при хешировании
Имеется хеш-таблица с п ячейками и разрешением коллизий методом цепочек. Пусть в таблицу вставлено п ключей. Вероятность каждого ключа попасть в любую из ячеек одинакова для всех ключей и всех ячеек. Пусть М — максимальное количество ключей в ячейке после того, как все ключи вставлены в таблицу. Ваша задача — доказать, что математическое ожидание Е [М] имеет верхнюю границу О (lgn/lglgn).
Покажите, что вероятность Qk того, что в определенной ячейке находится ровно к ключей, равна
Пусть Рк — вероятность того, что М = к, т.е. вероятность того, что ячейка, содержащая наибольшее количество ключей, содержит их ровно к. Покажите, что Рк ^ nQk-
Воспользуйтесь приближением Стирлинга (3.17), чтобы показать, что Qk < ек/кк.
Покажите, что существует константа с > 1, такая что Qk0 < 1/п3 для ко = с lg n/lg lg п. Выведите отсюда, что Pk < 1 /п2 для к ^ ко = = С lg n/lg 1g 71.
Покажите, что
I IglgnjI Iglgnj lg lgn
Выведите отсюда, что Е [М] = О (lg n/lg lg n).
11-3. Квадратичное исследование
Предположим, что у нас есть ключ к, который надо найти в хеш-таблице, ячейки которой пронумерованы от 0 до т — 1, и пусть у нас есть хеш-функция h, отображающая пространство ключей в множество {0,1,..., т — 1}. Схема поиска выглядит следующим образом.
Вычисляем значение г «— h (к) и присваиваем j «— 0.
Исследуем ячейку г на соответствие искомому ключу к. Если ключ найден, или если ячейка пуста, поиск прекращается.
Присваиваем j «— (j + 1) mod т и г «— (г + j) mod тп, и переходим к шагу 2.
Предположим, что т является степенью 2.
Покажите, что описанная схема представляет собой частный случай общей схемы “квадратичного исследования” с соответствующими константами ci и С2 в уравнении (11.5).
Докажите, что в худшем случае данный алгоритм просматривает все ячейки таблицы.
11-4. fc-универсальное хеширование
Пусть "Н = {/i} — семейство хеш-функций, в котором каждая хеш- функция h отображает пространство ключей U на множество {0,1,..., тп — 1). Мы говорим, что Н является к-универсальным, если для каждой последовательности из к различных ключей (ж^.ж^.-.^ж^) и случайным образом выбранной из Н хеш-функции h последовательность (/г (ж^1)) h (ж^2)),..., h (ж^)) принимает все тк последовательностей длины к из элементов множества (0,1,..., тп — 1} с равной вероятностью.
Покажите, что если множество Н является 2-универсальным, то оно универсально.
Пусть U — множество наборов из п значений, выбранных из Zp, и пусть В = Zp, где р — простое число. Определим хеш-функцию ha,b : U —> В с ж = (ж0, ^1, ■ • •, жп_1) из U в качестве аргумента для любого набора а = (oo,ai,...,an-i) значений из Zp и для любого b е Zp как
(
П—1\
У^ а3X3 4- b I mod р, з=о/
и пусть 7Y = {/га,б}- Покажите, что множество 7Y является 2-уни- версальным.
Два друга договорились о “секретной” хеш-функции hQib из 2-уни- версального множества хеш-функций И. Один из них шлет сообщение т е U другому через Internet. Он подписывает это сообщение, пересылая одновременно с ним дескриптор t = hQ)b (т), а его друг проверяет, удовлетворяет ли полученная им пара m, t условию t = = ha,b (т\ Злоумышленник перехватывает сообщение (m, t) и пытается обмануть получателя, подсунув ему собственное сообщение (m^t^. Покажите, что вероятность того, что злоумышленник сможет успешно совершить подмену, не превышает 1 /р, независимо от того, какими вычислительными мощностями он обладает.
Заключительные замечания
Алгоритмы хеширования прекрасно изложены в книгах Кнута (Knuth) [185] и Гоннета (Gonnet) [126]. Согласно Кнуту, хеш-таблицы и метод цепочек были изобретены Луном (Н. Р. Luhn) в 1953 году. Примерно тогда же Амдал (G. М. Amdahl) предложил идею открытой адресации.
Универсальные множества хеш-функций были предложены Картером (Carter) и Вегманом (Wegman) в 1979 году [52].
Схему идеального хеширования для статических множеств, представленную в разделе 11.5, разработали Фредман (Fredman), Комлёс (Komlos) и Семереди (Sze- meredi) [96]. Расширение этого метода для динамических множеств предложено Дицфельбингером (Dietzfelbinger) и др. [73].
ГЛАВА 12
Бинарные деревья поиска
Деревья поиска представляют собой структуры данных, которые поддерживают многие операции с динамическими множествами, включая поиск элемента, минимального и максимального значения, предшествующего и последующего элемента, вставку и удаление. Таким образом, дерево поиска может использоваться и как словарь, и как очередь с приоритетами.
Основные операции в бинарном дереве поиска выполняются за время, пропорциональное его высоте. Для полного бинарного дерева с п узлами эти операции выполняются за время 0(lgn) в наихудшем случае. Как будет показано в разделе 12.4, математическое ожидание высоты построенного случайным образом бинарного дерева равно О (1g тг), так что все основные операции над динамическим множеством в таком дереве выполняются в среднем за время 0 (1gтг).
На практике мы не всегда можем гарантировать случайность построения бинарного дерева поиска, однако имеются версии деревьев, в которых гарантируется хорошее время работы в наихудшем случае. В главе 13 будет представлена одна из таких версий, а именно — красно-черные деревья, высота которых O(lgn). В главе 18 вы познакомитесь с В-деревьями, которые особенно хорошо подходят для баз данных, хранящихся во вторичной памяти с произвольным доступом (на дисках).
После знакомства с основными свойствами деревьев поиска, в последующих разделах главы будс г показано, как осуществляется обход дерева поиска для вывода его элементов в отсортированном порядке, как выполняется поиск минимального и максимального элементов, а также предшествующего данному элементу и следующего за ним, как вставлять элементы в дерево поиска и удалять их оттуда. Основные математические свойства деревьев описаны в приложении Б.
2.1 Что такое бинарное дерево поиска
Как следует из названия, бинарное дерево поиска в первую очередь является бинарным деревом, как показано на рис. 12.1. Такое дерево может быть представлено при помощи связанной структуры данных, в которой каждый узел является объектом. В дополнение к полям ключа key и сопутствующих данных, каждый узел содержит поля left, right и р, которые указывают на левый и правый дочерние узлы и на родительский узел соответственно. Если дочерний или родительский узел отсутствуют, соответствующее поле содержит значение NIL. Единственный узел, указатель р которого равен nil, — это корневой узел дерева. Ключи в бинарном дереве поиска хранятся таким образом, чтобы в любой момент удовлетворять следующему свойству бинарного дерева поиска.
Если х — узел бинарного дерева поиска, а узел у находится в левом поддереве х, то key [у] < key [ж]. Если узел у находится в правом поддереве х, то key [ж] ^ key [у].
Так, на рис. 12.1а ключ корня равен 5, ключи 2, 3 и 5, которые не превышают значение ключа в корне, находятся в его левом поддереве, а ключи 7 и 8, которые не меньше, чем ключ 5, — в его правом поддереве. То же свойство, как легко убедиться, выполняется для каждого другого узла дерева. На рис. 12.16 показано дерево с теми же узлами и обладающее тем же свойством, однако менее эффективное в работе, поскольку его высота равна 4, в отличие от дерева на рис. 12.1а, высота которого равна 2.
Свойство бинарного дерева поиска позволяет нам вывести все ключи, находящиеся в дереве, в отсортированном порядке с помощью простого рекурсивного алгоритма, называемого центрированным (симметричным) обходом дерева (inorder tree walk). Этот алгоритм получил данное название в связи с тем, что ключ в корне поддерева выводится между значениями ключей левого поддерева
а)б)
Рис. 12.1. Бинарные деревья поиска
и правого поддерева. Имеются и другие способы обхода, а именно — обход в прямом порядке (preorder tree walk), при котором сначала выводится корень, а потом — значения левого и правого поддерева, и обход в обратном порядке (postorder tree walk), когда первыми выводятся значения левого и правого поддерева, а уже затем — корня. Центрированный обход дерева Т реализуется процедурой Inorder_Tree_Walk(root [Г]):
Inorder_Tree_Walk($)
if Ж / NIL
then lNORDER_TREE_WALK(/e/t[x])
print key [ж]
lNORDER_TREE_WALK(ny/lt^])
В качестве примера рассмотрите центрированный обход деревьев, показанных на рис. 12.1, — вы получите в обоих случаях один и тот же порядок ключей, а именно 2, 3, 5, 5, 7, 8. Корректность описанного алгоритма следует непосредственно из свойства бинарного дерева поиска.
Для обхода дерева требуется время © (п), поскольку после начального вызова процедура вызывается ровно два раза для каждого узла дерева: один раз для его левого дочернего узла, и один раз — для правого. Приведенная далее теорема дает нам более формальное доказательство линейности времени центрированного обхода дерева.
Теорема 12.1. Если х — корень поддерева, в котором имеется п узлов, то процедура Inorder_Tree_Walk(x) выполняется за время 0 (п).
Доказательство. Обозначим через Т (п) время, необходимое процедуре INORDER TREE WALK в случае вызова с параметром, представляющим собой корень дерева с п узлами. При получении в качестве параметра пустого поддерева, процедуре требуется небольшое постоянное время для выполнения проверки х 7^ NIL, так что Т (0) = с, где с — некоторая положительная константа.
В случае п > 0 будем считать, что процедура INORDER TREE WALK вызывается один раз для поддерева с к узлами, а второй — для поддерева с п — к — 1 узлами. Таким образом, время работы процедуры составляет Г (n) = Т (к) + + Т(п — к — 1) + d, где d — некоторая положительная константа, в которой отражается время, необходимое для выполнения процедуры без учета рекурсивных вызовов.
Воспользуемся методом подстановки, чтобы показать, что Т (п) = 0 (п), путем доказательства того, что Т (п) = (с + d) п + с. При п = 0 получаем
Т (0) = (с + d) • 0 + с = с. Если п > 0, то
Т (п) = Т (к) + Г (п - к - 1) + d =
= ((с + d) к + с) + ((с + d) (п — к — 1) + с) + d = = (с + d) п + с — (с + d) + с + d = (с + d) п + с,
что и завершает доказательство.■
Упражнения
1. Начертите бинарные деревья поиска высотой 2, 3, 4, 5 и 6 для множества ключей {1,4,5,10,16,17,21}.
2. В чем заключается отличие свойства бинарного дерева поиска от свойства неубывающей пирамиды (раздел 6.1)? Можно ли использовать свойство неубывающей пирамиды для вывода ключей дерева с п узлами в отсортированном порядке за время О (п)? Поясните свой ответ.
2.1-3. Разработайте нерекурсивный алгоритм, осуществляющий обход дерева в симметричном порядке. (Указание: имеется простое решение, которое использует вспомогательный стек, и более сложное (и более элегантное) решение, которое обходится без стека, но предполагает возможность проверки равенства двух указателей).
2.1-4. Разработайте рекурсивный алгоритм, который осуществляет прямой и обратный обход дерева с п узлами за время © (п).
2.1-5. Покажите, что, поскольку сортировка п элементов требует в модели сортировки сравнением в худшем случае Q (n lg п) времени, любой алгоритм построения бинарного дерева поиска из произвольного списка, содержащего п элементов, также требует в худшем случае Q (п lg п) времени.
2.2 Работа с бинарным деревом поиска
Наиболее распространенной операцией, выполняемой с бинарным деревом поиска, является поиск в нем определенного ключа. Кроме того, бинарные деревья поиска поддерживают такие запросы, как поиск минимального и максимального элемента, а также предшествующего и последующего. В данном разделе мы рассмотрим все эти операции и покажем, что все они могут быть выполнены в бинарном дереве поиска высотой h за время О (/г).
Поиск
Для поиска узла с заданным ключом в бинарном дереве поиска используется следующая процедура Tree_Search, которая получает в качестве параметров указатель на корень бинарного дерева и ключ к, а возвращает указатель на узел с этим ключом (если таковой существует; в противном случае возвращается значение NIL).
TREE_SEARCн(ж, к)
if х = NIL или к = key [ж]
then return x
if к < /сеу[ж]
then return TREE_SEARCH(/e/t^], k)
else return TREE_SEARCH(hg/i<^],/с)
Процедура поиска начинается с корня дерева и проходит вниз по дереву. Для каждого узла х на пути вниз его ключ key [ж] сравнивается с переданным в качестве параметра ключом к. Если ключи одинаковы, поиск завершается. Если к меньше key [ж], поиск продолжается в левом поддереве ж; если больше — то поиск переходит в правое поддерево. Так, на рис. 12.2 для поиска ключа 13 мы должны пройти следующий путь от корня: 15—>6—>7—>13. Узлы, которые мы посещаем при рекурсивном поиске, образуют нисходящий путь от корня дерева, так что время работы процедуры Tree_Search равно О (h), где h — высота дерева.
• Ту же процедуру можно записать итеративно, “разворачивая” оконечную рекурсию в цикл while. На большинстве компьютеров такая версия оказывается более эффективной.
Рис. 12.2. Запросы в бинарном дереве поиска (пояснения в тексте)
1ТЕКАТ1УЕ_ТКЕЕ_8ЕАКСН(ж, к)
while х / NIL и к / /сет/[ж]
do if к < key [ж]
then х «— left[x]
else x «— right [ж]
return x
Поиск минимума и максимума
Элемент с минимальным значением ключа легко найти, следуя по указателям left от корневого узла до тех пор, пока не встретится значение nil. Так, на рис. 12.2, следуя по указателям left, мы пройдем путь 15—>6—>3^2 до минимального ключа в дереве, равного 2. Вот как выглядит реализация описанного алгоритма:
ТкЕЕ_Мш1мим(ж)
while /е/6[ж] ^ nil
do ж <— left^
return ж
Свойство бинарного дерева поиска гарантирует корректность процедуры Tree_ Minimum. Если у узла ж нет левого поддерева, то поскольку все ключи в правом поддереве ж не меньше ключа key [ж], минимальный ключ поддерева с корнем в узле ж находится в этом узле. Если же у узла есть левое под дерево, то, поскольку в правом поддереве не может быть узла с ключом, меньшим key [ж], а все ключи в узлах левого поддерева не превышают key [ж], узел с минимальным значением ключа находится в поддереве, корнем которого является узел left [ж].
Алгоритм поиска максимального элемента дерева симметричен алгоритму поиска минимального элемента:
ТКЕЕ_МАХ1Мим(ж)
while right [ж] / NIL
do х <— right [ж]
return x
Обе представленные процедуры находят минимальный (максимальный) элемент дерева за время О (/г), где К — высота дерева, поскольку, как и в процедуре Tree_Search, последовательность проверяемых узлов образует нисходящий путь от корня дерева.
Предшествующий и последующий элементы
Иногда, имея узел в бинарном дереве поиска, требуется определить, какой узел следует за ним в отсортированной последовательности, определяемой порядком
центрированного обхода бинарного дерева, и какой узел предшествует данному. Если все ключи различны, последующим по отношению к узлу х является узел с наименьшим ключом, большим key [ж]. Структура бинарного дерева поиска позволяет нам найти этот узел даже не выполняя сравнение ключей. Приведенная далее процедура возвращает узел, следующий за узлом х в бинарном дереве поиска (если таковой существует) и nil, если х обладает наибольшим ключом в бинарном дереве.
TREE_SuccESSOR(ж)
if right [ж] / NIL
then return TREE_MlNiMUM(ng/it^])
У — рИ
while у / NIL и ж = rig/it[y]
do ж <— у
у*— р[у]
return у
Код процедуры Tree_Successor разбивается на две части. Если правое поддерево узла ж непустое, то следующий за х элемент является крайним левым узлом в правом поддереве, который обнаруживается в строке 2 вызовом процедуры TREE__MlNlMUM(ng^ [ж]). Например, на рис. 12.2 следующим за узлом с ключом 15 является узел с ключом 17.
С другой стороны, как требуется показать в упражнении 12.2-6, если правое поддерево узла х пустое, и у ж имеется следующий за ним элемент у, то у является наименьшим предком ж, чей левый наследник также является предком ж. На рис. 12.2 следующим за узлом с ключом 13 является узел с ключом 15. Для того чтобы найти у, мы просто поднимаемся вверх по дереву до тех пор, пока не встретим узел, который является левым дочерним узлом своего родителя. Это действие выполняется в строках 3-7 алгоритма.
Время работы алгоритма Tree_Successor в дереве высотой h составляет О(^), поскольку мы либо движемся по пути вниз от исходного узла, либо по пути вверх. Процедура поиска последующего узла в дереве Tree_Predecessor симметрична процедуре Tree_Successor и также имеет время работы О (/г).
Если в дереве имеются узлы с одинаковыми ключами, мы можем просто определить последующий и предшествующий узлы как те, что возвращаются процедурами Tree_Successor и Tree_Predecessor соответственно.
Таким образом, в этом разделе мы доказали следующую теорему.
Теорема 12.2. Операции поиска, определения минимального и максимального элемента, а также предшествующего и последующего, в бинарном дереве поиска высоты к могут быть выполнены за время 0(h).■
Упражнения
1. Пусть у нас имеется ряд чисел от 1 до 1000, организованных в виде бинарного дерева поиска, и мы выполняем поиск числа 363. Какая из следующих последовательностей не может быть последовательностью проверяемых узлов?
2, 252, 401, 398, 330, 344, 397, 363.
924, 220, 911, 244, 898, 258, 362, 363.
925, 202, 911, 240, 912, 245, 363.
2, 399, 387, 219, 266, 382, 381, 278, 363.
935, 278, 347, 621, 299, 392, 358, 363.
2. Разработайте рекурсивные версии процедур Tree_Minimum и Tree_ Maximum.
3. Разработайте процедуру Tree_Predecessor.
2.2-4. Разбираясь с бинарными деревьями поиска, студент решил, что обнаружил их новое замечательное свойство. Предположим, что поиск ключа к в бинарном дереве поиска завершается в листе. Рассмотрим три множества: множество ключей слева от пути поиска Л, множество ключей на пути поиска В и множество ключей справа от пути поиска С. Студент считает, что любые три ключа а^А, ЬеВ и сеС должны удовлетворять неравенству а ^ b ^ с. Приведите наименьший возможный контрпример, опровергающий предположение студента.
2.2-5. Покажите, что если узел в бинарном дереве поиска имеет два дочерних узла, то последующий за ним узел не имеет левого дочернего узла, а предшествующий ему — правого.
2.2-6. Рассмотрим бинарное дерево поиска Т, все ключи которого различны. Покажите, что если правое поддерево узла х в бинарном дереве поиска Т пустое и у ж есть следующий за ним элемент у, то у является самым нижним предком х, чей левый дочерний узел также является предком х. (Вспомните, что каждый узел является своим собственным предком.)
2.2-7. Центрированный обход бинарного дерева поиска с п узлами можно осуществить путем поиска минимального элемента дерева при помощи процедуры Tree_Minimum с последующим п — 1 вызовом процедуры Tree_Successor. Докажите, что время работы такого алгоритма равно 0(п).
2.2-8. Докажите, что какой бы узел ни был взят в качестве исходного в бинарном дереве поиска высотой h, на к последовательных вызовов процедуры Tree_Successor потребуется время О (к + h).
2.2-9. Пусть Т — бинарное дерево поиска с различными ключами, ж — лист этого дерева, а у — его родительский узел. Покажите, что key [у] либо является наименьшим ключом в дереве Т, превышающим ключ key [ж], либо наибольшим ключом в Т, меньшим ключа key [ж].
2.3 Вставка и удаление
Операции вставки и удаления приводят к внесению изменений в динамическое множество, представленное бинарным деревом поиска. Структура данных должна быть изменена таким образом, чтобы отражать эти изменения, но при этом сохранить свойство бинарных деревьев поиска. Как мы увидим в этом разделе, вставка нового элемента в бинарное дерево поиска выполняется относительно просто, однако с удалением придется повозиться.
Вставка
Для вставки нового значения и в бинарное дерево поиска Т мы воспользуемся процедурой Tree Insert. Процедура получает в качестве параметра узел z, у которого key [z] = v, left [z] = NIL и right [z] = NIL, после чего она таким образом изменяет Т и некоторые поля z, что z оказывается вставленным в соответствующую позицию в дереве.
Tree_Insert(T, z)
У <- NIL
ж <— гоо^Т]
while ж ^ NIL
do у <— ж
if key[z] < Л;еу [ж]
then ж «— left [ж]
else ж «— righty
р[г] <- у
if у = NIL
then root [Г] zО Дерево Т — пустое
else if key^z] < fcey[y]
then left\y\ <— z
else тгдЫ\у\ <— z
На рис. 12.3 показана работа процедуры TREE_lNSERT. Подобно процедурам Tree_Search и IterativE-TreE-Search, процедура TREE-INSERT начинает работу с корневого узла дерева и проходит по нисходящему пути. Указатель ж отмечает проходимый путь, а указатель у указывает на родительский по отношению к ж
Рис. 12.3. Вставка элемента с ключом 13 в бинарное дерево поиска. Светлые узлы указывают путь от корня к позиции вставки; пунктиром указана связь, добавляемая при вставке нового элемента
узел. После инициализации цикл while в строках 3-7 перемещает эти указатели вниз по дереву, перемещаясь влево или вправо в зависимости от результата сравнения ключей key [ж] и key [z], до тех пор пока ж не станет равным NIL. Это значение находится именно в той позиции, куда следует поместить элемент z. В строках 8-13 выполняется установка значений указателей для вставки z.
Так же, как и другие примитивные операции над бинарным деревом поиска, процедура Tree_Insert выполняется за время О (h) в дереве высотой h.
Удаление
Процедура удаления данного узла z из бинарного дерева поиска получает в качестве аргумента указатель на z. Процедура рассматривает три возможные ситуации, показанные на рис. 12.4. Если у узла z нет дочерних узлов (рис. 12.4а), то мы просто изменяем его родительский узел р [z], заменяя в нем указатель на z значением nil. Если у узла z только один дочерний узел (рис. 12.46), то мы удаляем узел z, создавая новую связь между родительским и дочерним узлом узла z. И наконец, если у узла z два дочерних узла (рис. 12.4в), то мы находим следующий за ним узел у. у которого нет левого дочернего узла (см. упражнение 12.2-5), убираем его из позиции, где он находился ранее, путем создания новой связи между его родителем и потомком, и заменяем им узел z.
Код процедуры Tree_Delete реализует эти действия немного не так, как они описаны.
Tree_Delete(T, z)
if left\z\ = NIL или right[z] = NIL
then у z
else у <- Tree_Successor(z)
if Ze#[y] / NIL
5
6
7
8
9
10
11
12
13
14
15
16
17
Рис. 12.4. Удаление узла z из бинарного дерева поиска
then х <— /e/t[y]
else х nght{y\
if Ж / NIL then p[z] «— p[y]
if p[p] = NIL then root[T] «— x else if у = /еЛЬЫ] then /е/^[р[2/]] x else n5^[p[?/]] x
if У + *
then key[2] key\y\
Копирование сопутствующих данных в 2
return у
В строках 1-3 алгоритм определяет убираемый путем “склейки родителя и потомка узел у. Этот узел представляет собой либо узел z (если у узла z не более одного дочернего узла), либо узел, следующий за узлом z (если у z два дочерних
узла). Затем в строках 4-6 х присваивается указатель на дочерний узел узла у либо значение NIL, если у у нет дочерних узлов. Затем узел у убирается из дерева в строках 7-13 путем изменения указателей в р [у] и х. Это удаление усложняется необходимостью корректной отработки граничных условий (когда х равно nil или когда у — корневой узел). И наконец, в строках 14-16, если удаленный узел у был следующим за z, мы перезаписываем ключ z и сопутствующие данные ключом и сопутствующими данными у. Удаленный узел у возвращается в строке 17, с тем чтобы вызывающая процедура могла при необходимости освободить или использовать занимаемую им память. Время работы описанной процедуры с деревом высотой h составляет О (/г).
Таким образом, в этом разделе мы доказали следующую теорему.
Теорема 12.3. Операции вставки и удаления в бинарном дереве поиска высоты h могут быть выполнены за время О (/г).■
Упражнения
1. Приведите рекурсивную версию процедуры Tree_Insert.
2. Предположим, что бинарное дерево поиска строится путем многократной вставки в дерево различных значений. Покажите, что количество узлов, проверяемых при поиске некоторого значения в дереве, на один больше, чем количество узлов, проверявшихся при вставке этого значения в дерево.
3. Отсортировать множество из п чисел можно следующим образом: сначала построить бинарное дерево поиска, содержащее эти числа (вызывая процедуру Tree_Insert для вставки чисел в дерево одно за другим), а затем выполнить центрированный обход получившегося дерева. Чему равно время работы такого алгоритма в наилучшем и наихудшем случае?
4. Предположим, что указатель на узел у бинарного дерева поиска хранится в некоторой внешней структуре данных и что предшествующий ему узел х удаляется из дерева с помощью процедуры Tree_Delete. Какая проблема при этом может возникнуть? Каким образом следует переписать процедуру Tree_Delete, чтобы ее избежать?
5. Является ли операция удаления “коммутативной” в том смысле, что удаление ж с последующим удалением у из бинарного дерева поиска приводит к тому же результирующему дереву, что и удаление -у с последующим удалением ж? Обоснуйте свой ответ.
6. Если узел х в процедуре Tree_Delete имеет два дочерних узла, то можно воспользоваться не последующим за ним узлом, а предшествующим. Утверждается, что стратегия, которая состоит в равновероятном выборе
предшествующего или последующего узла, приводит к большей сбалансированности дерева. Каким образом следует изменить процедуру Tree_ Delete для реализации указанной стратегии?
* 12.4 Случайное построение бинарных деревьев поиска
Мы показали, что все базовые операции с бинарными деревьями поиска имеют время выполнения О (/i), где h — высота дерева. Однако при вставке и удалении элементов высота дерева меняется. Если, например, все элементы вставляются в дерево в строго возрастающей последовательности, то такое дерево вырождается в цепочку высоты п — 1. С другой стороны, как показано в упражнении Б.5-4, h > [lgnJ. Как и в случае быстрой сортировки, можно показать, что поведение алгоритма в среднем гораздо ближе к наилучшему случаю, чем к наихудшему.
К сожалению, в ситуации, когда при формировании бинарного дерева поиска используются и вставки, и удаления, о средней высоте образующихся деревьев известно мало, так что мы ограничимся анализом ситуации, когда дерево строится только с использованием вставок, без удалений. Определим случайное бинарное дерево поиска (randomly built binary search tree) с n ключами как дерево, которое возникает при вставке ключей в изначально пустое дерево в случайном порядке, когда все п! перестановок входных ключей равновероятны (в упражнении 12.4-3 требуется показать, что это условие отличается от условия равновероятности всех возможных бинарных деревьев поиска с п узлами). В данном разделе мы покажем, что математическое ожидание высоты случайного бинарного дерева поиска с п ключами равно О (1g п). Мы считаем, что все ключи различны.
Начнем с определения трех случайных величин, которые помогут определить высоту случайного бинарного дерева поиска. Обозначая высоту случайного бинарного дерева поиска с п ключами через Хп, определим экспоненциальную высоту Yn = 2Хп. При построении бинарного дерева поиска с п ключами мы выбираем один из них в качестве корня. Обозначим через Rn случайную величину, равную рангу корневого ключа в множестве из всех п ключей, т.е. Rn содержит позицию, которую бы занимал ключ, если бы множество было отсортировано. Значение Rn с равной вероятностью может быть любым элементом множества {1,2,. ..,п}. Если Rn = г, то левое поддерево корня представляет собой случайное бинарное дерево поиска с г — 1 ключами, а правое — с п — г ключами. Поскольку высота бинарного дерева на единицу больше наибольшей из высот поддеревьев корневого узла, экспоненциальная высота бинарного дерева в два раза больше наибольшей экспоненциальной высоты поддеревьев корневого узла. Если Rn = г, то
Уп = 2 • max (Yi-i, ¥п-г) -
Очевидно, что У = 1, поскольку экспоненциальная высота дерева с одним узлом равна 2° = 1; кроме того, для удобства определим Уо = 0.
Далее мы определим индикаторные случайные величины Zn,i, Zn^,..., Zn,n> где
Zn,i = I {^п = 0 •
Поскольку Rn с равной вероятностью может быть любым элементом множества {1,2,..., n}, Рг \Rn = 1} = 1/п для всех г от 1 до п, а значит, согласно лемме 5.1,
(12.1)(12.1)Е [^п,г] — 1/тг
(12.1)
(12.1)
для всех г = 1,2,..., п. Кроме того, поскольку только одно значение Zn,i равно 1, а все остальные равны 0, имеем
п
^г = 52 Z^ (2 • max №-l, Уп-i)).
г=1
Мы покажем, что Е [Уп] полиномиально зависит от п, что неизбежно приводит к выводу, что Е [Хп] = О (1g п).
Индикаторная случайная переменная Zn^ = 1{Д„ = г}не зависит от значений Yi-i и Уп-1- Если Rn = г, то левое поддерево, экспоненциальная высота которого равна У<—г, случайным образом строится из г — 1 ключей, ранги которых меньше г. Это поддерево ничем не отличается от любого другого случайного бинарного дерева поиска из г — 1 ключей. Выбор Rn = г никак не влияет на структуру этого дерева, а только на количество содержащихся в нем узлов. Следовательно, случайные величины Yt-i и Zn,t независимы. Аналогично, правое поддерево, экспоненциальная высота которого равна Yn-i, строится случайным образом из п — г ключей, ранги которых больше г. Структура этого дерева не зависит от Rn, так что случайные величины Yn-i и Zn,i независимы. Следовательно,
п
Е[УП]=ЕЕ[УП]=Е(в силу линейности математического ожидания)(в силу независимости Z и У)(в соответствии с (12.1))(в силу линейности математического ожидания)(в силу независимости Z и У)(в соответствии с (12.1))52 z^ (2 ■max W-1 л=1
Е[УП]=Е
Е[УП]=Е
(в силу линейности математического ожидания)
(в силу независимости Z и У)
(в соответствии с (12.1))
(в силу линейности математического ожидания)
(в силу независимости Z и У)
(в соответствии с (12.1))
= 52 Е Vzn,i (2 • max (у_ь Уп^))] = 1=1
п
= 52 Е VM Е [2 . max (Y^Yn-i^ = i=l
п -
= 52 - • Е t2 • max (У-г, Уп^)] =
2 п= — У Е[тах(У<-1,Уп_*)] ^ П1=1 о п ^"У(Е[У<-1] + Е[Уп_<]) тг ^—'г=12 п= — У Е[тах(У<-1,Уп_*)] ^ П1=1 о п ^"У(Е[У<-1] + Е[Уп_<]) тг ^—'г=1(в соответствии с (В.21))
2 п
= — У Е[тах(У<-1,Уп_*)] ^ П
1=1 о п ^"У(Е[У<-1] + Е[Уп_<]) тг ^—'
г=1
2 п
= — У Е[тах(У<-1,Уп_*)] ^ П
1=1 о п ^"У(Е[У<-1] + Е[Уп_<]) тг ^—'
г=1
(см. упражнение В.3-4).
Каждый член Е [Уо] > Е [Ут],..., Е [Уп-1] в последней сумме встречается дважды: один раз как Е [У<—i], и второй — как Е [У^г-г], так что мы получаем следующее рекуррентное соотношение:
4 ^
(12.2)(12.2)е[Уп]^-£ем.
(12.2)
(12.2)
Е[У„КЕ[У„К1 Аг + 3\4 \ 4 )'1 Аг + 3\4 \ 4 )'Используя метод подстановок, покажем, что для всех натуральных тг рекуррентное соотношение (12.2) имеет следующее решение:
Е[У„К
Е[У„К
1 Аг + 3\
4 \ 4 )'
1 Аг + 3\
4 \ 4 )'
При этом мы воспользуемся тождеством
(12.3)
(В упражнении 12.4-1 предлагается самостоятельно доказать данное тождество.) Убедимся, что для базовых случаев полученные границы справедливы:
О = Уо = Е[УоК
1Л + з\ =, 4( 3 /1Л + з\ =, 4( 3 /1 = У1=Е[У1]^
1Л + з\ =, 4( 3 /
1Л + з\ =, 4( 3 /
Используя подстановку, получаем:
4
Е[УпК-УЕ[У^
(в соответствии с гипотезой индукции)
1 ^г-л Г % 4- 3\
3 ) г=0 4'
(в соответствии с (12.3))(в соответствии с (12.3))1 /тг + 3\ _ тг \ 4 /
(в соответствии с (12.3))
(в соответствии с (12.3))
_ 1 (п + 3)!
п 4! (п — 1)!
= 1 (п + 3)!_
“ 4 ' 3!п!-
1 /п + 3\ ~4\ 3 )'
Итак, мы получили границу для Е [Уп], но наша конечная цель — найти границу Е [Хп]. В упражнении 12.4-4 требуется показать, что функция / (ж) = 2Ж выпуклая вниз (см. раздел В.З). Таким образом, мы можем применить неравенство Йенсена (В.25), которое гласит, что
2Е[Хп] ^ Е ^„j = Е [ynj,
и получить, что
-Е[Х„] <^/П + 5\_1 (п + 3) (п + 2) (n + 1) _ п3 + 6п2 + 11п + 6
П 4 V з /46-24‘
Логарифмируя обе части неравенства, находим, что E[Xn] = O(lgn). Таким образом, нами доказана следующая теорема.
Теорема 12.4. Математическое ожидание высоты случайного бинарного дерева поиска с п ключами равно О (lg п).■
Упражнения
1. Докажите уравнение (12.3).
2. Приведите пример бинарного дерева поиска с п узлами, такого что средняя глубина узла в дереве равна 0 (lg п), в то время как высота дерева — w (lg п). Найдите асимптотическую верхнюю границу высоты бинарного дерева поиска с п узлами, средняя глубина узла в котором составляет 0(lg п).
3. Покажите, что при нашем определении случайных бинарных деревьев поиска с п узлами они не являются равновероятными. (Указание-. рассмотрите все возможные деревья при п = 3.)
4. Покажите, что функция / (ж) = 2х является выпуклой вниз.
* 12.4-5. Рассмотрим алгоритм Randomized_Quicksort, работающий с входной последовательностью из п различных чисел. Докажите, что для любой константы к > 0 время работы алгоритма превышает О (n lg п) только для О (1/пк}-& части всех возможных п! перестановок.
Задачи
12-1. Бинарные деревья поиска с одинаковыми ключами
Одинаковые ключи приводят к проблеме при реализации бинарных деревьев поиска.
Чему равно асимптотическое время работы процедуры Tree_Insert при вставке п одинаковых ключей в изначально пустое дерево?
Мы предлагаем улучшить алгоритм Tree_Insert, добавив в него перед строкой 5 проверку равенства key [z] = key [ж], а перед строкой 11 — проверку равенства key [z] = key [у]. Если равенства выполняются, мы реализуем одну из описанных далее стратегий. Для каждой из них найдите асимптотическое время работы при вставке п одинаковых ключей в изначально пустое дерево. (Описания приведены для строки 5, в которой сравниваются ключи z и ж. Для строки 11 замените в описании ж на у.)
Храним в узле ж флаг b [ж] с логическим значением false или true, которое и определяет выбор left [ж] или right [ж] при вставке ключа со значением, равным ключу ж. Значение флага при каждой такой вставке изменяется на противоположное, что позволяет чередовать выбор дочернего узла.
Храним все элементы с одинаковыми ключами в одном узле при помощи списка, и при вставке просто добавляем элемент в этот список.
Случайным образом выбираем дочерний узел left [ж] или right [ж]. (Каково будет время работы такой стратегии в наихудшем случае? Оцените среднее время работы данной стратегии.)
12-2. Цифровые деревья
Пусть имеется две строки а = aoai... ар и b = Ьо&1 • ■ -bq, в которых все символы принадлежат некоторому упорядоченному множеству. Мы говорим, что строка а лексикографически меньше строки Ь, если выполняется одно из двух условий.
Существует целое 0 ^ j^ min(p, g), такое что at = bi для всех i = 0,1,... ,j' — 1 и a,j < bj.
р < q и для всех i = 0,1,... ,р выполняется равенство Qi = bi.
Например, если а и b — битовые строки, то 10100 < 10110 в соответствии с правилом 1 (здесь j = 3), а 10100 < 101000 согласно правилу 2. Такое упорядочение подобно упорядочиванию по алфавиту слов в словаре естественного языка.
Рис. 12.5. Цифровое дерево. Ключ узла определяется путем прохода от корня к данному узлу и не должен храниться в дереве. Темным цветом показаны промежуточные узлы, не имеющие ключей
Структура цифрового дерева (radix tree) показана на рис. 12.5. Приведенное на рисунке дерево хранит битовые строки 1011, 10, 011, 100 и 0. При поиске ключа а = аощ .. .ар на г-м шаге мы переходим к левому узлу, если at = 0, и к правому, если ai = 1. Пусть S — множество различных бинарных строк с суммарной длиной п. Покажите, как использовать цифровое дерево для лексикографической сортировки за время 0 (п). Для примера, приведенного на рис. 12.5, отсортированная последовательность должна выглядеть следующим образом: 0, 011, 10, 100, 1011.
12-3. Средняя глубина вершины в случайном бинарном дереве поиска
В данной задаче мы докажем, что средняя глубина узла в случайном бинарном дереве поиска с п узлами равна О (1g п). Хотя этот результат и является более слабым, чем в теореме 12.4, способ доказательства демонстрирует интересные аналогии между построением бинарного дерева поиска и работой алгоритма Randomized_Quicksort из раздела 7.3.
Определим общую длину путей Р (Т) бинарного дерева Т как сумму глубин всех узлов ж е Т, которые мы будем обозначать как d (ж, Г).
Покажите, что средняя глубина узла в дереве Т равна
in *—Lп
хе.Т
Таким образом, нам надо показать, что математическое ожидание Р (Т) равно О (n lg п).
Обозначим через Tl и Tr соответственно левое и правое поддеревья дерева Т. Покажите, что если дерево Т имеет п узлов, то
Р(Т) = Р(П) + Р(Тд) + п-1.
Обозначим через Р (п) среднюю общую длину путей случайного бинарного дерева поиска с п узлами. Покажите, что
р (п)= ^ 52 (р ^+р (п -1 -1)+п - !)•
Покажите, что
р(") = ;Ёр« + 0(")-
Вспоминая анализ рандомизированной версии алгоритма быстрой сортировки из задачи 7-2, сделайте вывод, что Р (п) = О (nlgn).
В каждом рекурсивном вызове быстрой сортировки мы выбираем случайный опорный элемент разделения множества сортируемых элементов. Каждый узел в бинарном дереве также отделяет часть элементов, попадающих в поддерево, для которого данный узел является корневым.
Приведите реализацию алгоритма быстрой сортировки, в которой в процессе сортировки множества элементов выполняются те же сравнения, что и для вставки элементов в бинарное дерево поиска. (Порядок, в котором выполняются сравнения, может быть иным, однако сами множества сравнений должны совпадать.)
12-4. Количество различных бинарных деревьев
Обозначим через Ьп количество различных бинарных деревьев с п узлами. В этой задаче будет выведена формула для Ьп и найдена ее асимптотическая оценка.
Покажите, что bo = 1 и что для n ^ 1
п—1
Ьп = 5 у bkbn—1—к-к=0
Пусть В (ж) — производящая функция (определение производящей функции можно найти в задаче 4.5):
ОО
5 (ж) = 52ЬпхП-
п=0
Покажите, что В (ж) = хВ (ж)2 + 1 и, следовательно, В (ж) можно записать как
В ='
Разложение в ряд Тейлора функции / (ж) вблизи точки ж = а определяется как
к=0*
где /^ (ж) означает к-ю производную функции / в точке х.
Покажите, что Ьп является n-м числом Каталана
г1
bn ” ГТ I /5 п 4-1 \ п /
используя разложение в ряд Тейлора функции V1 — 4х вблизи точки х = 0. (Если хотите, то вместо использования разложения в ряд Тейлора можно использовать обобщение биномиального разложения (В.4) для нецелого показателя степени п, когда для любого действительного числа п и целого к выражение (£) интерпретируется как п (п — 1)... (п — к + 1)/к! при к ^ 0 и 0 в противном случае.)
Покажите, что
4п
ЬП = V^n3/2 + 0 (W) •
Заключительные замечания
Подробное рассмотрение простых бинарных деревьев поиска (которые были независимо открыты рядом исследователей в конце 1950-х годов) и их различных вариаций имеется в работе Кнута (Knuth) [185]. Там же рассматриваются и цифровые деревья.
В разделе 15.5 будет показано, каким образом можно построить оптимальное бинарное дерево поиска, если частоты поисков известны заранее, до начала построения дерева. В этом случае дерево строится таким образом, чтобы при наиболее частых поисках просматривалось минимальное количество узлов дерева.
Граница математического ожидания высоты случайного бинарного дерева поиска в разделе 12.4 найдена Асламом (Aslam) [23]. Мартинец (Martinez) и Роура (Roura) [211] разработали рандомизированный алгоритм для вставки узлов в бинарное дерево поиска и удаления их оттуда, при использовании которого в результате получается случайное бинарное дерево поиска. Однако их определение случайного бинарного дерева поиска несколько отлично от приведенного в данной главе.
ГЛАВА 13
Красно-черные деревья
В главе 12 было показано, что бинарные деревья поиска высоты h реализуют все базовые операции над динамическими множествами (Search, Predecessor, Successor, Minimum, Maximum, Insert и Delete) за время О (h). Таким образом, операции выполняются тем быстрее, чем меньше высота дерева. Однако в наихудшем случае производительность бинарного дерева поиска оказывается ничуть не лучше, чем производительность связанного списка. Красно-черные деревья представляют собой одну из множества “сбалансированных” схем деревьев поиска, которые гарантируют время выполнения операций над динамическим множеством О (lg п) даже в наихудшем случае.
Свойства красно-черных деревьев
Красно-черное дерево представляет собой бинарное дерево поиска с одним дополнительным битом цвета в каждом узле. Цвет узла может быть либо красным, либо черным. В соответствии с накладываемыми на узлы дерева ограничениями, ни один путь в красно-черном дереве не отличается от другого по длине более чем в два раза, так что красно-черные деревья являются приближенно сбалансированными.
Каждый узел дерева содержит поля color, key, left, right ир. Если не существует дочернего или родительского узла по отношению к данному, соответствующий указатель принимает значение nil. Мы будем рассматривать эти значения nil как указатели на внешние узлы (листья) бинарного дерева поиска. При этом все “нормальные” узлы, содержащие поле ключа, становятся внутренними узлами дерева.
Бинарное дерево поиска является красно-черным деревом, если оно удовлетворяет следующим красно-черным свойствам.
Каждый узел является красным или черным.
Корень дерева является черным.
Каждый лист дерева (NIL) является черным.
Если узел — красный, то оба его дочерних узла — черные.
Для каждого узла все пути от него до листьев, являющихся потомками данного узла, содержат одно и то же количество черных узлов.
На рис. 13.1а показан пример красно-черного дерева. На рисунке черные узлы показаны темным цветом, красные — светлым. Возле каждого узла показана его “черная” высота. У всех листьев она, само собой разумеется, равна 0.
Для удобства работы с красно-черным деревом мы заменим все листья одним ограничивающим узлом, представляющим значение nil (с этим приемом мы уже встречались в разделе 10.2). В красно-черном дереве Т ограничитель nil [Т] представляет собой объект с теми же полями, что и обычный узел дерева. Значение color этого узла равно BLACK (черный), а все остальные поля могут иметь произвольные значения. Как показано на рис. 13.16, все указатели на nil заменяются указателем на ограничитель nil [Г].
Использование ограничителя позволяет нам рассматривать дочерний по отношению к узлу ж NIL как обычный узел, родителем которого является узел ж. Хотя можно было бы использовать различные ограничители для каждого значения nil (что позволило бы точно определять их родительские узлы), этот подход привел бы к неоправданному перерасходу памяти. Вместо этого мы используем единственный ограничитель для представления всех nil — как листьев, так и родительского узла корня. Величины полей р, left, right и key ограничителя не играют никакой роли, хотя для удобства мы можем присвоить им те или иные значения.
В целом мы ограничим наш интерес к красно-черным деревьям только их внутренними узлами, поскольку только они хранят значения ключей. В оставшейся части данной главы при изображении красно-черных деревьев все листья опускаются, как это сделано на рис. 13.1 в.
Количество черных узлов на пути от узла ж (не считая сам узел) к листу будем называть черной высотой узла (black-height) и обозначать как bh (ж). В соответствии со свойством 5 красно-черных деревьев, черная высота узла — точно определяемое значение. Черной высотой дерева будем считать черную высоту его корня.
Следующая лемма показывает, почему красно-черные деревья хорошо использовать в качестве деревьев поиска.
Лемма 13.1. Красно-черное дерево с п внутренними узлами имеет высоту не более чем 21g (п + 1).
Рис. 13.1. Пример красно-черного дерева
Доказательство. Начнем с того, что покажем, что поддерево любого узла ж содержит как минимум 2to(x) — 1 внутренних узлов. Докажем это по индукции по высоте х. Если высота х равна 0, то узел х должен быть листом (пг/ [Г]) и поддерево узла х содержит не менее 26/1(х) — 1 = 2° — 1 = 0 внутренних узлов. Теперь рассмотрим узел ж, который имеет положительную высоту и представляет собой внутренний узел с двумя потомками. Каждый потомок имеет черную высоту либо bh (х), либо bh, (ж) — 1, в зависимости от того, является ли его цвет соответственно красным или черным. Поскольку высота потомка ж меньше, чем
высота самого узла ж, мы можем использовать предположение индукции и сделать вывод о том, что каждый из потомков ж имеет как минимум 2Wl^) — 1 внутренних узлов. Таким образом, дерево с корнем в вершине ж содержит как минимум (2b/i($)-i — 1) + ^М*)-1 — 1) +1 = 2b,l(x) — 1 внутренних узлов, что и доказывает наше утверждение.
Для того чтобы завершить доказательство леммы, обозначим высоту дерева через /г. Согласно свойству 4, по крайней мере половина узлов на пути от корня к листу, не считая сам корень, должны быть черными. Следовательно, черная высота корня должна составлять как минимум /г/2; следовательно,
n > 2b/2 - 1.
Перенося 1 в левую часть и логарифмируя, получим, что lg (n +1) > /г/2, или h 21g(n + 1).н
Непосредственным следствием леммы является то, что такие операции над динамическими множествами, как Search, Minimum, Maximum, Predecessor и Successor, при использовании красно-черных деревьев выполняются за время О (1g/г), поскольку, как показано в главе 12, время работы этих операций на дереве поиска высотой /г составляет 0(h), а любое красно-черное дерево с п узлами является деревом поиска высотой О (1g п). (Само собой разумеется, ссылки на nil в алгоритмах в главе 12 должны быть заменены ссылками на nil [Т].) Хотя алгоритмы Tree_Insert и Tree_Delete из главы 12 и характеризуются временем работы О (1g п), если использовать их для вставки и удаления из красночерного дерева, непосредственно использовать их для выполнения операций Insert и Delete нельзя, поскольку они не гарантируют сохранение красно-черных свойств после внесения изменений в дерево. Однако в разделах 13.3 и 13.4 вы увидите, что эти операции также могут быть выполнены за время О (1g п).
Упражнения
1. Начертите в стиле рис. 13.1а полное бинарное дерево поиска высоты 3 с ключами {1,2,..., 15}. Добавьте к нему листья nil и раскрасьте получившееся дерево разными способами, так чтобы в результате получились красно-черные деревья с черной высотой 2, 3 и 4.
2. Начертите красно-черное дерево, которое получится в результате вставки при помощи алгоритма Tree_Insert ключа 36 в дерево, изображенное на рис. 13.1. Если вставленный узел закрасить красным, будет ли получившееся в результате дерево красно-черным? А если закрасить этот узел черным?
3. Определим ослабленное красно-черное дерево как бинарное дерево поиска, которое удовлетворяет красно-черным свойствам 1, 3, 4 и 5. Другими словами, корень может быть как черным, так и красным. Рассмотрите ослабленное красно-черное дерево Т, корень которого красный. Если мы перекрасим корень дерева Т из красного цвета в черный, будет ли получившееся в результате дерево красно-черным?-
4. Предположим, что каждый красный узел в красно-черном дереве “поглощается” его черный родительским узлом, так что дочерний узел красного узла становится дочерним узлом его черного родителя (мы не обращаем внимания на то, что при этом происходит с ключами в узлах). Чему равен возможный порядок черного узла после того, как будут поглощены все его красные потомки? Что вы можете сказать о глубине листьев получившегося дерева?
5. Покажите, что самый длинный нисходящий путь от вершины х к листу красно-черного дерева имеет длину, не более чем в два раза превышающую кратчайший нисходящий путь от х к листу.
6. Чему равно наибольшее возможное число внутренних узлов в красночерном дереве с черной высотой к? А наименьшее возможное число?
7. Опишите красно-черное дерево с п ключами с наибольшим возможным отношением количества красных внутренних узлов к количеству черных внутренних узлов. Чему равно это отношение? Какое дерево имеет наименьшее указанное отношение, и чему равна его величина?
13.2 Повороты
Операции над деревом поиска Tree_Insert и Tree_Delete, будучи применены к красно-черному дереву с п ключами, выполняются за время O(lgn). Поскольку они изменяют дерево, в результате их работы могут нарушаться красно-черные свойства, перечисленные в разделе 13.1. Для восстановления этих свойств мы должны изменить цвета некоторых узлов дерева, а также структуру его указателей.
Изменения в структуре указателей будут выполняться при помощи поворотов (rotations), которые представляют собой локальные операции в дереве поиска, сохраняющие свойство бинарного дерева поиска. На рис. 13.2 показаны два типа поворотов — левый и правый (здесь а, 0 и 7 — произвольные поддеревья). При выполнении левого поворота в узле х предполагается, что его правый дочерний узел у не является листом nil [Г]. Левый поворот выполняется “вокруг” связи между х и у, делая у новым корнем поддерева, левым дочерним узлом которого становится ж, а бывший левый потомок узла у — правым потомком х.
U:FrROTWTE (T;i)
—__—^( у j
<——-------; Л )>
ШьШ К0Ш1 П и /'
Рис. 13.2. Операции поворота в бинарном дереве поиска
В псевдокоде процедуры LEFT_ROTATE предполагается, что right [ж] / nil [Т], а родитель корневого узла — nil [Г].
Left_Rotate(T, ж)
12345 б78910111212345 б789101112right [ж] «— k/t[y] > Левое поддерево у становитсяright [ж] «— k/t[y] > Левое поддерево у становитсяу «— right [ж][> Устанавливаем у.
1
2
3
4
5 б
7
8
9
10
11
12
1
2
3
4
5 б
7
8
9
10
11
12
right [ж] «— k/t[y] > Левое поддерево у становится
right [ж] «— k/t[y] > Левое поддерево у становится
▻ правым поддеревом ж
if left\y\ + Ы[Т]
then p[k/t[y]] <— ж
р[у] «— р[ж]> Перенос родителя ж в у
if р[ж] = mi[T]
then root [7] <— у
else if ж = к/6[р[ж]]
then /е^|р[ж]] <— у
else right [р[ж]] «— у
Ze/t[y] «—ж[> ж — левый дочерний у
РИ У
На рис. 13.3 показан конкретный пример выполнения процедуры Left_Rotate. Код процедуры R1GHT_ROTATE симметричен коду LEFT_ROTATE. Обе эти процедуры выполняются за время О (1). При повороте изменяются только указатели, все остальные поля сохраняют свое значение.
Упражнения
1. Запишите псевдокод процедуры Right_Rotate.
2. Покажите, что в каждом бинарном дереве поиска с п узлами имеется ровно п — 1 возможных поворотов.
3. Пусть а, b и с — произвольные узлы в поддеревьях а, 3 и 7 в левой части рис. 13.2. Как изменится глубина узлов а, b и с при левом повороте в узле ж?
4. Покажите, что произвольное бинарное дерево поиска с п узлами может быть преобразовано в любое другое бинарное дерево поиска с п узлами
Рис. 13.3. Пример выполнения процедуры Left_Rotate
с использованием О (п) поворотов. (Указание: сначала покажите, что п — 1 правых поворотов достаточно для преобразования дерева в правую цепочку.)
* 13.2-5. Назовем бинарное дерево поиска 7i правопреобразуемым в бинарное дерево поиска Т^ если можно получить 72 из Ту путем выполнения серии вызовов процедуры Right_Rotate. Приведите пример двух деревьев Ti и Т2, таких что Ту не является правопреобразуемым в 72. Затем покажите, что если дерево 71 является правопреобразуемым в 72, то это преобразование можно выполнить при помощи О (п2) вызовов процедуры Right__Rotate.
Вставка
Вставка узла в красно-черное дерево с п узлами может быть выполнена за время О (1g п). Для вставки узла z в дерево Т мы используем немного модифицированную версию процедуры Tree_Insert (см. раздел 12.3), которая вставляет узел в дерево, как если бы это было обычное бинарное дерево поиска, а затем окрашивает его в красный цвет. Для того чтобы вставка сохраняла красно-черные свойства дерева, после нее вызывается вспомогательная процедура RB_Insert_Fixup, которая перекрашивает узлы и выполняет повороты. Вызов RB_Insert(T, z) вставляет в красно-черное дерево Т узел z с заполненным полем key.
RB_Insert(T, z)
у «— m/fT]
ж <— гоо^Т]
while ж / пг/рТ]
do у «— ж
if key [z] < key [ж]
then ж <— /е/([ж]
else ж <— пу/г<[ж]
pH «- у
if у = пг/[Т]
then rootp"1] «— z
else if key^z] < A;ey[y]
then Ze/t[y] «— z
else rightly] <— z
k/t[z] <— m^T]
right [z] <— niZ[T]
color [z] «— RED
RB_Insert_Fixup(T, z)
Есть четыре отличия процедуры TREE_lNSERT от процедуры RB_lNSERT. Во- первых, все NIL в TREE_lNSERT заменены на nil [Г]. Во-вторых, для поддержки корректности структуры дерева в строках 14-15 процедуры RB_Insert выполняется присвоение nil [Т] указателям left [z] и right [z]. В третьих, в строке 16 мы назначаем узлу z красный цвет. И наконец, поскольку красный цвет z может вызвать нарушение одного из красно-черных свойств, в строке 17 вызывается вспомогательная процедура RB_Insert_Fixup(T, z), предназначение которой — восстановить красно-черные свойства дерева:
RB_Insert_Fixup(T’, z)
while colorlp^ = red
do if p\z\ = Ze/t[p[pk]]]
then у <— rzy/i£[p[p[z]]]
if color [y] = RED
5
then co/or[p[z]] «— BLACK
> Случай 1
6
color [y] «— BLACK
> Случай 1
7
colorlplplz^ «— RED
t> Случай 1
8
z «- p[p[z]]
О Случай 1
9
else if z = ny/it[p[z]]
10
then z «— p[z]
t> Случай 2
11
Left_Rotate(T, z)
> Случай 2
12
color^z]] «— BLACK
О Случай 3
13
co/or[p[p[z]]] <— RED
t> Случай 3
14Right_Rotate(T, p[p[z]])▻ Случай 3
15else (то же, что и в “then”, с заменой
left на right и наоборот)
16 co/or[root[T]] «— BLACK
Для того чтобы понять, как работает процедура RB_Insert_Fixup, мы разобьем рассмотрение кода на три основные части. Сначала мы определим, какие из красно-черных свойств нарушаются при вставке узла z и окраске его в красный цвет. Затем мы рассмотрим предназначение цикла while в строках 1-15. После этого мы изучим каждый из трех случаев1, которые встречаются в этом цикле, и посмотрим, каким образом достигается цель в каждом случае. На рис. 13.4 показан пример выполнения процедуры RB_Insert_Fixup.
Какие из красно-черных свойств могут быть нарушены перед вызовом RB_ In- SERT_Fixup? Свойство 1 определенно выполняется (как и свойство 3), так как оба дочерних узла вставляемого узла являются ограничителями nil [Т]. Свойство 5, согласно которому для каждого узла все пути от него до листьев, являющихся потомками данного узла, содержат одно и то же количество черных узлов, также остается в силе, поскольку узел z замещает (черный) ограничитель, будучи при этом красным и имея черные дочерние узлы. Таким образом, может нарушаться только свойство 2, которое требует, чтобы корень красно-черного дерева был черным, и свойство 4, согласно которому красный узел не может иметь красного потомка. Оба нарушения возможны в силу того, что узел z после вставки окрашивается в красный цвет. Свойство 2 оказывается нарушенным, если узел z становится корнем, а свойство 4 — если родительский по отношению к z узел является красным. На рис. 13.4а показано нарушение свойства 4 после вставки узла z.
Цикл while в строках 1-15 сохраняет следующий инвариант, состоящий из трех частей.
В начале каждой итерации цикла:
узел z красный;
если р [z] — корень дерева, то р [z] — черный узел;
если имеется нарушение красно-черных свойств, то это нарушение только одно — либо нарушение свойства 2, либо свойства 4. Если нарушено свойство 2, то это вызвано тем, что корнем дерева является красный узел z; если нарушено свойство 4, то в этом случае красными являются узлы z и р [z].
Часть в, в которой говорится о возможных нарушениях красно-черных свойств, наиболее важна для того, чтобы показать, что процедура RB_Insert_F1XUP восстанавливает красно-черные свойства. Части а и б просто поясняют ситуацию.
’Случаи 2 и 3 не являются взаимоисключающими.
Рис. 13.4. Работа процедуры RB_Insert_Fixup
Поскольку мы сосредотачиваем свое рассмотрение только на узле х и узлах, находящихся в дереве вблизи него, полезно знать, что узел г — красный (часть а\ Часть б используется для того, чтобы показать, что узел р [рИ], к которому мы обращаемся в строках 2, 3, 7, 8, 13 и 14, существует.
Вспомним, что мы должны показать, что инвариант цикла выполняется перед первой итерацией цикла, что любая итерация цикла сохраняет инвариант и что инвариант цикла обеспечивает выполнение требуемого свойства по окончании работы цикла.
Начнем с рассмотрения инициализации и завершения работы цикла, а затем, подробнее рассмотрев работу цикла, мы докажем, что он сохраняет инвариант цикла. Попутно мы покажем, что есть только два возможных варианта действий в каждой итерации цикла — указатель z перемещается вверх по дереву или выполняются некоторые повороты и цикл завершается.
Инициализация. Перед выполнением первой итерации цикла у нас имеется красно-черное дерево без каких-либо нарушений красно-черных свойств, к которому мы добавляем красный узел z. Покажем, что все части инварианта цикла выполняются к моменту вызова процедуры RB_Insert_Fixup.
В момент вызова процедуры RB_Insert_Fixup узел z — вставленный в дерево красный узел.
Если р [z] — корневой узел дерева, то он является черным и не изменяется до вызова процедуры RB_lNSERT_FlXUP.
Мы уже убедились в том, что красно-черные свойства 1, 3 и 5 сохраняются к моменту вызова процедуры RB_Insert_Fixup.
Если нарушается свойство 2, то красный корень должен быть добавленным в дерево узлом z, который при этом является единственным внутренним узлом дерева. Поскольку и родитель, и оба потомка z являются ограничителями, свойство 4 не нарушается. Таким образом, нарушение свойства 2 — единственное нарушение красно-черных свойств во всем дереве.
Если же нарушено свойство 4, то поскольку дочерние по отношению к z узлы являются черными ограничителями, а до вставки z никаких нарушений красно-черных свойств в дереве не было, нарушение заключается в том, что и z, и р [z] — красные. Кроме этого, других нарушений красно-черных свойств не имеется.
Завершение. Как видно из кода, цикл завершает свою работу, когда р [z] становится черным (если z — корневой узел, то р [z] представляет собой черный ограничитель nil [Т]). Таким образом, свойство 4 при завершении цикла не нарушается. В соответствии с инвариантом цикла, единственным нарушением красно-черных свойств может быть нарушение свойства 2. В строке 16 это свойство восстанавливается, так что по завершении работы процедуры RB_Insert_Fixup все красно-черные свойства дерева выполняются.
Сохранение. При работе цикла while следует рассмотреть шесть разных случаев, однако три из них симметричны другим трем; разница лишь в том, является ли родитель р [z] левым или правым дочерним узлом по отношению к своему родителю р [р [z]], что и выясняется в строке 2 (мы привели код только для ситуации, когда р [z] является левым потомком). Узел р [р [z]] существует,
поскольку, в соответствии с частью 6) инварианта цикла, если р [z] — корень дерева, то он черный. Поскольку цикл начинает работу, только если р [z] — красный, то р [z] не может быть корнем. Следовательно, р \р [z]] существует. Случай 1 отличается от случаев 2 и 3 цветом “брата” родительского по отношению к z узла, т.е. “дяди” узла z. После выполнения строки 3 указатель у указывает на дядю узла z — узел right \р [р [z]]], и в строке 4 выясняется его цвет. Если у — красный, выполняется код для случая 1; в противном случае выполняется код для случаев 2 и 3. В любом случае, узел р \р [z]] — черный, поскольку узел р [z] — красный, а свойство 4 нарушается только между z и р [z].
Случай 1: узел у красный.
На рис. 13.5 показана ситуация, возникающая в случае 1 (строки 5-8), когда и р [z], и у — красные узлы. Поскольку р[рИ] — черный, мы можем исправить ситуацию, покрасив и p[z], и у в черный цвет (после чего цвет красного родителя узла z становится черным, и нарушение между z и его родителем исчезает), а р [р [z]] — в красный цвет, для того чтобы выполнялось свойство 5. После этого мы повторяем цикл while с узлом р [р [z]] в качестве нового узла z. Указатель z перемещается, таким образом, на два уровня вверх.
На рис. 13.5а z — правый дочерний узел, а на рис. 13.56 — левый. Как видите, предпринимаемые в обоих случаях одни и те же действия приводят к одинаковому результату. Все поддеревья (а, ^, 7 и 6) имеют черные корни и одинаковое значение черной высоты. После перекраски свойство 5 сохраняется: все нисходящие пути от узла к листьям содержат одинаковое число черных узлов. После выполнения итерации новым узлом z становится узел р [р [z]], и нарушение свойства 4 может быть только между новым узлом z и его родителем (который также может оказаться красным).
Теперь покажем, что в случае 1 инвариант цикла сохраняется. Обозначим через z узел z в текущей итерации, а через z' = р [р [z]] — узел z, проверяемый в строке 1 при следующей итерации.
Поскольку в данной итерации цвет узла р [р [z]] становится красным, в начале следующей итерации узел z' — красный.
Узел р \z'] в текущей итерации — р [р [р [z]]], и цвет данного узла в пределах данной итерации не изменяется. Если это корневой узел, то его цвет до начала данной итерации был черным и остается таковым в начале следующей итерации.
Мы уже доказали, что в случае 1 свойство 5 сохраняется; кроме того, понятно, что при выполнении итерации не возникает нарушение свойств 1 или 3.
Рис. 13.5. Случай 1 процедуры RB Insert Fixup
Если узел х* в начале очередной итерации является корнем, то код, соответствующий случаю 1, корректирует единственное нарушение свойства 4. Поскольку узел х* — красный и корневой, единственным нарушенным становится свойство 2, причем это нарушение связано с узлом х*.
Если узел х’ в начале следующей итерации корнем не является, то код, соответствующий случаю 1, не вызывает нарушения свойства 2. Этот код корректирует единственное нарушение свойства 4, имеющееся перед выполнением итерации. Коррекция выражается в том, что узел х’ становится красным, в то время как цвет узла р [z'] не изменяется. Если узел р [х'] был черным, то свойство 4 не нарушается; если же этот узел был красным, то окрашивание узла х* в красный цвет приводит к нарушению свойства 4 между узлами х* и р [z'].
Случай 2: узел р черный и z — правый потомок.
Случай 3: узел у черный и z — левый потомок.
В случаях 2 и 3 цвет узла у, являющегося “дядей” узла z, черный. Эти два случая отличаются друг от друга тем, что х является левым или правым дочерним узлом по отношению к родительскому. Строки 10-11 псевдокода соответствуют случаю 2, который показан на рис. 13.6 вместе со случаем 3. В случае 2 узел х является правым потомком своего родительского узла. Мы используем левый поворот для преобразования сложившейся ситуации в случай 3 (строки 12-14), когда х является левым потомком. Поскольку и z, и р [z] — красные узлы, поворот не влияет ни на черную высоту узлов, ни на выполнение свойства 5. Когда мы приходим к случаю 3 (либо непосредственно, либо поворотом из случая 2), узел у имеет черный цвет (поскольку иначе мы бы получили случай 1). Кроме того, обязательно существует узел
Рис. 13.6. Случаи 2 и 3 процедуры RB_Insert_FixupРис. 13.6. Случаи 2 и 3 процедуры RB_Insert_Fixup
Рис. 13.6. Случаи 2 и 3 процедуры RB_Insert_Fixup
Рис. 13.6. Случаи 2 и 3 процедуры RB_Insert_Fixup
p[p[z]], так как мы доказали, что этот узел существовал при выполнение строк 2 и 3, а также что после перемещения узла х на один узел вверх в строке 10 с последующим опусканием в строке 11 узел р[рИ] остается неизменным. В случае 3 мы выполняем ряд изменений цвета и правых поворотов, которые сохраняют свойство 5. После этого, так как у нас нет двух идущих подряд красных узлов, работа процедуры завершается. Больше тело цикла while не выполняется, так как узел р [г] теперь черный.
Теперь покажем, что случаи 2 и 3 сохраняют инвариант цикла. (Как мы только что доказали, перед следующей проверкой в строке 1 узел р [z] будет черным и тело цикла больше выполняться не будет.)
В случае 2 выполняется присвоение, после которого z указывает на красный узел р [z]. Никаких других изменений z или его цвета в случаях 2 и 3 не выполняется.
В случае 3 узел р\х\ делается черным, так что если р\х\ в начале следующей итерации является корнем, то этот корень — черный.
Как и в случае 1, в случае 2 и 3 свойства 1, 3 и 5 сохраняются.
Поскольку узел z в случаях 2 и 3 не является корнем, нарушение свойства 2 невозможно. Случаи 2 и 3 не могут приводить к нарушению свойства 2, поскольку при повороте в случае 3 красный узел становится дочерним по отношению к черному.
Таким образом, случаи 2 и 3 приводят к коррекции нарушения свойства 4, при этом не внося никаких новых нарушений красно-черных свойств.
Показав, что при любой итерации инвариант цикла сохраняется, мы тем самым показали, что процедура RB_Insert_Fixup корректно восстанавливает красно-черные свойства дерева.
Анализ
Чему равно время работы процедуры RB_Insert? Поскольку высота красночерного дерева с п узлами равна O(lgn), выполнение строк 1—16 процедуры RB_Insert требует О (lg п) времени. В процедуре RB_Insert_Fixup цикл while повторно выполняется только в случае 1, и в этом случае указатель z перемещается вверх по дереву на два уровня. Таким образом, общее количество возможных выполнений тела цикла while равно О (lg п). Таким образом, общее время работы процедуры RB_Insert равно O(lgn). Интересно, что в ней никогда не выполняется больше двух поворотов, поскольку цикл while в случаях 2 и 3 завершает работу.
Упражнения
1. В строке 16 процедуры REINSERT мы окрашиваем вновь вставленный узел в красный цвет. Заметим, что если бы мы окрашивали его в черный цвет, то свойство 4 не было бы нарушено. Так почему же мы не делаем этого?
2. Изобразите красно-черные деревья, которые образуются при последовательной вставке ключей 41, 38, 31, 12, 19 и 8 в изначально пустое красночерное дерево.
3. Предположим, что черная высота каждого из поддеревьев а, Д 7, 5 и е на рис. 13.5 и 13.6 равна к. Найдите черные высоты каждого узла на этих рисунках, чтобы убедиться, что свойство 5 сохраняется при показанных преобразованиях.
4. Профессор озабочен вопросом, не может ли в процедуре RB_Insert_ Fixup произойти присвоение значение red узлу nil [Г] — ведь в этом случае проверка в строке 1 не вызовет окончания работы цикла в случае, если г — корень дерева. Покажите, что страхи профессора безосновательны, доказав, что процедура RB_Insert_Fixup никогда не окрашивает nil [Г] в красный цвет.
5. Рассмотрим красно-черное дерево, образованное вставкой п узлов при помощи процедуры REINSERT. Докажите, что если п > 1, то в дереве имеется как минимум один красный узел.
6. Предложите эффективную реализацию процедуры RB_Insert в случае, когда представление красно-черных деревьев не включает указатель на родительский узел.
Удаление
Как и остальные базовые операции над красно-черными деревьями с п узлами, удаление узла выполняется за время O(lgn). Удаление оказывается несколько более сложной задачей, чем вставка.
Процедура RB_Delete представляет собой немного измененную процедуру Tree_Delete из раздела 12.3. После удаления узла в ней вызывается вспомогательная процедура RB_Delete_Fixup, которая изменяет цвета и выполняет повороты для восстановления красно-черных свойств дерева:
RB_Delete(T, z)
if Ze/t[z] = mZ[T] или righty = nil[T]
thenу ^ z
elseу «- Tree_Successor(z)
if left[y] / mZ[T]
thenж «— Ze/t[y]
elsex <— Tight\y\
p[®] <- p[y]
if p[y] = niZ^]
then root[T] <— x
else if у = Ze/t[p[y]]
then Ze/t[p[y]] «— x
else ny/it[p[y]] <— x
if у / z
then key^z] «— key^y]
Копируем сопутствующие данные у в z
if color [у] = BLACK
then RB_Delete_Fixup(T, ж)
return у
Имеется три различия между процедурами Tree_Delete и RB_Delete. Во- первых, все ссылки на nil в Tree_Delete заменены в RB_Delete ссылками на ограничитель nil [Т]. Во-вторых, удалена проверка в строке 7 процедуры Tree_Delete (равно ли ж nil), и присвоение р [ж] <— р [у] выполняется в процедуре RB_Delete безусловно. Таким образом, если ж является ограничителем nil [Г], то его указатель на родителя указывает на родителя извлеченного из дерева узла у. В-третьих, в строках 16-17 процедуры RB Delete в случае, если узел у — черный, выполняется вызов вспомогательной процедуры RB_Delete_F1XUP. Если узел у — красный, красно-черные свойства при извлечении у из дерева сохраняются в силу следующих причин:
никакая черная высота в дереве не изменяется;
никакие красные узлы не становятся соседними;
так как у не может быть корнем в силу своего цвета, корень остается черным.
Узел х, который передается в качестве параметра во вспомогательную процедуру RB_DELETE_F1XUP, является одним из двух узлов: либо это узел, который был единственным потомком у перед извлечением последнего из дерева (если у у был дочерний узел, не являющийся ограничителем), либо, если у узла у нет дочерних узлов, х является ограничителем nil [Т]. В последнем случае безусловное присвоение в строке 7 гарантирует, что родительским по отношению к х ухкм становится узел, который ранее был родителем у, независимо от того, является ли х внутренним узлом с реальным ключом или ограничителем nil [Г].
Теперь мы можем посмотреть, как вспомогательная процедура RB_Insert_ Fixup справляется со своей задачей восстановления красно-черных свойств дерева поиска.
RB_Delete_Fixup(T, ж)
1
while ж 7^ root[T] и color [ж] = BLACK
2
do if ж = /е/([р[ж]]
3
then w «— right [р[ж]]
4
if co/or[w] = RED
5
then color [w] <— BLACK
[> Случай 1
6
colorlp^ «— RED
> Случай 1
7
Left_Rotate(T, р[ж])
> Случай 1
8
w <— ггу/г<[р[ж]]
О Случай 1
9
if co/or[/e/t[w]] = BLACK и co/or[ny/ii[w]] =
BLACK
10
then color [w] <— RED
> Случай 2
11
x «— р[ж]
> Случай 2
12
else if color^right^w^ = BLACK
13
then co/or[/e/t[w]] <— BLACK
t> Случай 3
14
color^w] «— RED
О Случай 3
15
Right_Rotate(T, w)
> Случай 3
16
w «— rightlp[x]]
[> Случай 3
17
color [w] <— color [р[ж]]
> Случай 4
18
со/ог[р[ж]] <— BLACK
> Случай 4
19
color^right^w^ «— BLACK
> Случай 4
20
Left_Rotate(T, р[ж])
[> Случай 4
21
x <— root[T]
[> Случай 4
22else (то же, что и в “then”, с заменой left на right и наоборот)
23 со/ог[ж] «- BLACK
Если извлекаемый из дерева в процедуре RB_Delete узел у черный, то могут возникнуть три проблемы. Во-первых, если у был корнем, а теперь корнем стал красный потомок у, нарушается свойство 2. Во-вторых, если и ж, и р [у] (который теперь является также р [ж]) были красными, то нарушается свойство 4. И, в-третьих, удаление у приводит к тому, что все пути, проходившие через у,
теперь имеют на один черный узел меньше. Таким образом, для всех предков у оказывается нарушенным свойство 5. Мы можем исправить ситуацию, утверждая, что узел х — “сверхчерный”, т.е. при рассмотрении любого пути, проходящего через х, добавлять дополнительную 1 к количеству черных узлов. При такой интерпретации свойство 5 остается выполняющимся. При извлечении черного узла у мы передаем его “черноту” его потомку. Проблема заключается в том, что теперь узел х не является ни черным, ни красным, что нарушает свойство 1. Вместо этого узел х окрашен либо “дважды черным”, либо “красно-черным” цветом, что дает при подсчете черных узлов на пути, содержащем ж, вклад, равный, соответственно, 2 или 1. Атрибут color узла х при этом остается равен либо black (если узел дважды черный), либо red (если узел красно-черный). Другими словами, цвет узла не соответствует его атрибуту color.
Процедура RBDeleteFixup восстанавливает свойства 1, 2 и 4. В упражнениях 13.4-1 и 13.4-2 требуется показать, что данная процедура восстанавливает свойства 2 и 4, так что в оставшейся части данного раздела мы сконцентрируем свое внимание на свойстве 1. Цель цикла while в строках 1-22 состоит в том, чтобы переместить дополнительную черноту вверх по дереву до тех пор, пока не выполнится одно из перечисленных условий.
х указывает на красно-черный узел — в этом случае мы просто делаем узел х “единожды черным” в строке 23.
х указывает на корень — в этом случае мы просто убираем излишнюю черноту.
Можно выполнить некоторые повороты и перекраску, после которых двойная чернота будет устранена.
Внутри цикла while х всегда указывает на дважды черную вершину, не являющуюся корнем. В строке 2 мы определяем, является ли х левым или правым дочерним узлом своего родителя р[ж]. Далее приведен подробный код для ситуации, когда х — левый потомок. Для правого потомка код аналогичен и симметричен, и скрыт за описанием в строке 22. Указатель w указывает на второго потомка родителя х. Поскольку узел х дважды черный, узел w не может быть nil [Г] — в противном случае количество черных узлов на пути от р [ж] к (единожды черному) листу было бы меньше, чем количество черных узлов на пути от р [ж] к х.
Четыре разных возможных случая показаны на рис. 13.7. Перед тем как приступить к детальному рассмотрению каждого случая, убедимся, что в каждом из случаев преобразования сохраняется свойство 5. Ключевая идея заключается в необходимости убедиться, что при преобразованиях в каждом случае количество черных узлов (включая дополнительную черноту в ж) на пути от корня включительно до каждого из поддеревьев а, /?,..., ^ остается неизменным. Таким
Рис. 13.7. Возможные ситуации, возникающие в цикле while процедуры RB_ Delete_Fixup. Темные узлы имеют цвет BLACK, темно-серые — RED, а светлые могут иметь любой цвет (на рисунке показан как с и с'). Греческими буквами показаны произвольные поддеревья
образом, если свойство 5 выполнялось до преобразования, то оно выполняется и после него. Например, на рис. 13.7а, который иллюстрирует случай 1, количество черных узлов на пути от корня до поддеревьев а и 0 равно 3, как до, так и после преобразования (не забудьте о том, что узел х — дважды черный). Аналогично, количество черных узлов на пути от корня до любого из поддеревьев 7, 5, е и С равно 2, как до, так и после преобразования. На рис. 13.76 подсчет должен включать значение с, равное значению атрибута color корня показанного поддерева, которое может быть либо red, либо black. Так, на пути от корня до поддерева а количество черных узлов равно 2 плюс величина, равная 1, если с равно black, и 0, если с равно red; эта величина одинакова до и после выполнения преобразований. В такой ситуации после преобразования новый узел х имеет атрибут color, равный с, но реально это либо красно-черный узел (если с = RED),
либо дважды черный (если с = BLACK). Прочие случаи могут быть проверены аналогичным способом (см. упражнение 13.4-5).
Случай 1: узел го красный.
Случай 1 (строки 5-8 процедуры RB_DELETE_F1XUP и рис. 13.7а) возникает, когда узел го (“брат” узла ж) — красный. Поскольку ш должен иметь черных потомков, можно обменять цвета го и р[ж], а затем выполнить левый поворот вокруг р [ж] без нарушения каких-либо красно-черных свойств. Новый “брат” х, до поворота бывший одним из потомков го, теперь черный. Таким путем случай 1 приводится к случаю 2, 3 или 4.
Случаи 2, 3 и 4 возникают при черном узле го и отличаются друг от друга цветами дочерних по отношению к го узлов.
Случай 2: узел го черный, оба его дочерних узла черные.
В этом случае (строки 10-11 процедуры RB_DELETE_FIXUP и рис. 13.76) оба дочерних узла го черные. Поскольку узел го также черный, мы можем забрать черную окраску у х и го, сделав х единожды черным, а го — красным. Для того чтобы компенсировать удаление черной окраски у х и го, мы можем добавить дополнительный черный цвет узлу р [ж], который до этого мог быть как красным, так и черным. После этого будет выполнена следующая итерация цикла, в которой роль ж будет играть текущий узел р [ж]. Заметим, что если мы переходим к случаю 2 от случая 1, новый узел ж — красно-черный, поскольку исходный узел р [ж] был красным. Следовательно, значение с атрибута color нового узла ж равно red и цикл завершается при проверке условия цикла. После этого новый узел ж окрашивается в обычный черный цвет в строке 23.
Случай 3: узел w черный, его левый дочерний узел красный, а правый — черный.
В этом случае (строки 13-16 процедуры RB_Delete_Fixup и рис. 13.7в) узел го черный, его левый дочерний узел красный, а правый — черный. Мы можем обменять цвета го и left [го], а затем выполнить правый поворот вокруг го без нарушения каких-либо красно-черных свойств. Новым “братом” узла ж после этого будет черный узел с красным правым дочерним узлом, и таким образом мы привели случай 3 к случаю 4.
Случай 4: узел го черный, его правый дочерний узел красный.
В этом случае (строки 17-21 процедуры RB_DELETE_F1XUP и рис. 13.7г) узел го черный, а его правый дочерний узел — красный. Выполняя обмен цветов и левый поворот вокруг р [ж], мы можем устранить излишнюю черноту в ж, делая его просто черным, без нарушения каких-либо красно-черных свойств. Присвоение ж указателя на корень дерева приводит к завершению работы при проверке условия цикла при следующей итерации.
Анализ
Чему равно время работы процедуры RB_Delete? Поскольку высота дерева с п узлами равна O(lgn), общее время работы процедуры без выполнения вспомогательной процедуры RB_Delete_Fixup равно O(lgn). В процедуре RB_Delete_Fixup в случаях 1, 3 и 4 завершение работы происходит после выполнения постоянного числа изменений цвета и не более трех поворотов. Случай 2 — единственный, после которого возможно выполнение очередной итерации цикла while, причем указатель х перемещается вверх по дереву не более чем О (lg п) раз, и никакие повороты при этом не выполняются. Таким образом, время работы процедуры RB_Delete_F1xup составляет O(lgn), причем она выполняет не более трех поворотов. Общее время работы процедуры RB_Delete, само собой разумеется, также равно О (1g п).
Упражнения
1. Покажите, что после выполнения процедуры RB_Delete_F1XUP корень дерева должен быть черным.
2. Покажите, что если в процедуре RB_Delete и х, и р [ж] красные, то при вызове RB_Delete_Fixup(T’, ж) свойство 4 будет восстановлено.
3. В упражнении 13.3-2 вы построили красно-черное дерево, которое является результатом последовательной вставки ключей 41, 38, 31, 12, 19 и 8 в изначально пустое дерево. Покажите теперь, что в результате последовательного удаления ключей 8, 12, 19, 31, 38 и 41 будут получаться красно-черные деревья.
4. В каких строках кода процедуры RB_Delete_Fixup мы можем обращаться к ограничителю nil [Г] или изменять его?
5. Для каждого из случаев, показанных на рис. 13.7, подсчитайте количество черных узлов на пути от корня показанного поддерева до каждого из поддеревьев а, 0,..., С и убедитесь, что оно не меняется при выполнении преобразований. Если узел имеет атрибут color, равный с или 0, воспользуйтесь функцией count (с), которая для красного узла равна О, а для черного — 1.
6. Профессор озабочен вопросом, не может ли узел р\х\ не быть черным в начале случая 1 в процедуре RB_Delete_Fixup. Если профессор прав, то строки 5-6 процедуры ошибочны. Покажите, что в начале случая 1 узел р [ж] не может не быть черным, так что профессору нечего волноваться.
7. Предположим, что узел ж вставлен в красно-черное дерево при помощи процедуры RB Insert, после чего немедленно удален из этого дерева. Будет ли получившееся в результате вставки и удаления красно-черное дерево таким же, как и исходное? Обоснуйте ваш ответ.
а)б)
Рис. 13.8. Бинарное дерево поиска с ключами 2, 3,4, 7, 8 и 10 (а) и перманентное бинарное дерево поиска, получающееся в процессе вставки ключа 5 (б)
Задачи
13-1. Перманентные динамические множества
Иногда полезно сохранять предыдущие версии динамического множества в процессе его обновления. Такие множества называются перманентными (persistent). Один из способов реализации перманентного множества состоит в копировании всего множества при внесении в него изменений, однако такой подход может существенно замедлить работу программы и вызвать перерасход памяти. Зачастую эту задачу можно решить гораздо более эффективно.
Рассмотрим перманентное множество S с операциями Insert, Delete и Search, которое реализуется с использованием бинарных деревьев поиска, как показано на рис. 13.8я. Для каждой версии множества мы храним отдельный корень. Для добавления ключа 5 в множество создается узел с ключом 5, который становится левым дочерним узлом нового узла с ключом 7, так как менять существующий узел с ключом 7 мы не можем. Аналогично, новый узел с ключом 7 становится левым потомком нового узла с ключом 8, правым потомком которого является существующий узел с ключом 10. Новый узел с ключом 8 становится, в свою очередь, правым потомком нового корня г' с ключом 4, левым потомком которого является существующий узел с ключом 3. Таким образом, мы копируем только часть дерева, а в остальном используем старое дерево, как показано на рис. 13.86.
Предположим, что каждый узел дерева имеет поля key, left и right, но не имеет поля с указателем на родительский узел (см. также упражнение 13.3-6).
Определите, какие узлы перманентного бинарного дерева поиска должны быть изменены при вставке в него ключа к или удалении узла у в общем случае.
Напишите процедуру Persistent_Tree_Insert, которая для данного перманентного дерева Т и вставляемого ключа к возвращает новое перманентное дерево Т', получающееся в результате вставки к в Т.
Если высота перманентного бинарного дерева поиска Т равна h, сколько времени будет работать ваша реализация Persistent_Tree_ INSERT и какие требования к памяти она предъявляет? (Количество требуемой памяти пропорционально количеству новых узлов.)
Предположим, что в каждом узле имеется поле указателя на родительский узел. В этом случае процедура Persistent_Tree_Insert должна выполнять дополнительное копирование. Докажите, что в этом случае время работы процедуры и объем необходимой памяти равны Q (п), где п — количество узлов в дереве.
Покажите, как можно использовать красно-черные деревья для того, чтобы при вставке и удалении в наихудшем случае время работы процедуры и объем необходимой памяти были равны О (lg п).
13-2. Операция объединения красно-черных деревьев
Операция объединения (join) применяется к двум динамическим множествам Si и 5г и элементу ж (такому, что для любых Ж1 € Si и жг 6 Si выполняется неравенство key [ж1] ^ key [ж] ^ key [жг]). Результатом операции является множество S = Si U {ж} U Si. В данной задаче мы рассмотрим реализацию операции объединения красно-черных деревьев.
Будем хранить черную высоту красно-черного дерева Т как атрибут bh [Т]. Покажите, что этот атрибут может поддерживаться процедурами RB_Insert и RB_Delete без использования дополнительной памяти в узлах дерева и без увеличения асимптотического времени работы процедур. Покажите, что при спуске по дереву Т можно определить черную высоту каждого посещаемого узла за время 0(1) на каждый посещенный узел.
Мы хотим реализовать операцию RB_Join(Ti^,T2), которая, разрушая деревья Ту и Ti, возвращает красно-черное дерево Г = Ti U (ж) U Ti. Пусть п — общее количество узлов в деревьях Ti и Ti.
Считая, что bh [Ti] ^ bh [Тг], разработайте алгоритм, который за время О (lg п) находит среди черных узлов дерева Ti, черная высота которых равна bh [Т2], узел у с наибольшим значением ключа.
Пусть Ту — поддерево с корнем у. Опишите, как заменить Ту на Ту U {ж} U Ti за время О (1) с сохранением свойства бинарного дерева поиска.
В какой цвет надо окрасить ж, чтобы сохранились красно-черные свойства 1, 3 и 5? Опишите, как восстановить свойства 2 и 4 за время О (1g п).
Докажите, что предположение в пункте б) данной задачи не приводит к потере общности. Опишите симметричную ситуацию, возникающую при bh [Ti] ^ bh [Т2].
Покажите, что время работы процедуры RB_JOIN равно О (1g ri).
13-3. AVL-деревья
AVL-дерево представляет собой бинарное дерево поиска со сбалансированной высотой; для каждого узла х высота левого и правого поддеревьев х отличается не более чем на 1. Для реализации AVL-деревьев мы воспользуемся дополнительным полем в каждом узле дерева А [ж], в котором хранится высота данного узла. Как и в случае обычных деревьев поиска, мы считаем, что root [Г] указывает на корневой узел.
Докажите, что AVL-дерево с п узлами имеет высоту О (1g п). (Указание; докажите, что в AVL-дереве высотой h имеется как минимум Fh, узлов, где Fh, — h-e число Фибоначчи.)
Для вставки узла в AVL-дерево он сначала размещается в соответствующем месте бинарного дерева поиска. После этого дерево может оказаться несбалансированным, в частности, высота левого и правого потомков некоторого узла может отличаться на 2. Разработайте процедуру Balance(x), которая получает в качестве параметра поддерево с корнем в узле ж, левый и правый потомки которого сбалансированы по высоте и имеют высоту, отличающуюся не более чем на 2 (т.е. \h [пу^[ж]] — h [Ze/k[ж]]| ^ 2), и изменяет его таким образом, что поддерево с корнем в узле х становится сбалансированным по высоте. (Указание; воспользуйтесь поворотами.)
Используя решение подзадачи б, разработайте рекурсивную процедуру AVL_Insert(x, z), которая получает в качестве параметров узел х в AVL-дереве и вновь созданный узел z (с заполненным полем ключа) и вставляет z в поддерево, корнем которого является узел ж, сохраняя при этом свойство, заключающееся в том, что ж — корень AVL-дерева. Как и в случае процедуры Tree_Insert из раздела 12.3, считаем, что поле keg^z] заполнено и что left [z] = = right [z] = NIL. Кроме того, полагаем, что h [z] = 0. Таким образом, для вставки узла z в AVL-дерево Т мы должны осуществить вызов AVL_Insert( root [Т], z).
Покажите, что время работы операции AVL_Insert для AVL-дерева с п узлами равно О (1gп), и она выполняет О (1) поворотов.
13-4. Дерамиды
Если мы вставляем в бинарное дерево поиска набор из п элементов, то получающееся в результате дерево может оказаться ужасно несбалансированным, что приводит к большому времени поиска. Однако, как мы видели в разделе 12.4, случайные бинарные деревья поиска обычно оказываются достаточно сбалансированными. Таким образом, стратегия построения сбалансированного дерева для фиксированного множества элементов состоит в случайной их перестановке с последующей вставкой в дерево.
Но что делать, если все элементы недоступны одновременно? Если мы получаем элементы по одному, можем ли мы построить из них случайное бинарное дерево поиска?
Рассмотрим структуру данных, которая позволяет положительно ответить на этот вопрос. Дерамида представляет собой бинарное дерево поиска с модифицированным способом упорядочения узлов. Пример дерамиды показан на рис. 13.9. Как обычно, каждый узел х в дереве имеет значение key [ж]. Кроме того, мы назначим каждому узлу значение приоритета priority [ж], которое представляет собой случайное число, выбираемое для каждого узла независимо от других. Мы считаем, что все приоритеты и все ключи в дереве различны. Узлы дерамиды упорядочены таким образом, чтобы ключи подчинялись свойству бинарных деревьев поиска, а приоритеты — свойству неубывающей пирамиды.
Если v является левым потомком и, то key [v] < key [и].
Если и является правым потомком и, то key [v] > key [и].
Если и является потомком и, то priority [v] > priority [и].
Именно эта комбинация свойств дерева и пирамиды и дала название “дерамида” (treap).
Помочь разобраться с дерамидами может следующая интерпретация. Предположим, что мы вставляем в дерамиду узлы жх, Ж2,..., жп со связанными с ними ключами. Тогда получающаяся в результате дерамида представляет собой дерево, которое получилось бы в результате вставки узлов в обычное бинарное дерево поиска в порядке, определяемом (случайно выбранными) приоритетами, т.е. priority [жг] < priority [ж;] означает, что узел Жг был вставлен до узла Хр
Покажите, что для каждого заданного множества узлов жх, Ж2,..., хп со связанными с ними ключами и приоритетами (все ключи и приоритеты различны) существует единственная дерамида.
Рис. 13.9. Дерамида. Каждый узел имеет метку key [ж] : priority [z]
Покажите, что математическое ожидание высоты дерамиды равно © (lg п) и, следовательно, время поиска заданного значения в дера- миде составляет © (1g п).
Рассмотрим процесс вставки нового узла в существующую дерамиду. Первое, что мы делаем — это назначаем новому узлу случайное значение приоритета. Затем мы вызываем процедуру Treap_Insert, работа которой показана на рис. 13.10. На рис. 13.10а показана исходная дерамида; на рис. 13.106 — та же дерамида после вставки узла с ключом С и приоритетом 25. Рис. 13.10в-г изображают промежуточные стадии вставки узла с ключом D и приоритетом 9, а рис. 13.106 — получившуюся в результате дерамиду. На рис. 13.10е показана дерамида после вставки узла с ключом F и приоритетом 2.
Объясните, как работает процедура Treap_Insert. Поясните принцип ее работы обычным русским языком и приведите ее псевдокод. (Указание: выполните обычную вставку в бинарное дерево поиска, а затем выполните повороты для восстановления свойства неубывающей пирамиды.)
Покажите, что математическое ожидание времени работы процедуры Treap_Insert составляет © (lg п).
Процедура Treap_Insert выполняет поиск с последующей последовательностью поворотов. Хотя эти две операции имеют одно и то же математическое ожидание времени работы, на практике стоимость этих операций различна. Поиск считывает информацию из дерамиды, никак не изменяя ее. Повороты, напротив, приводят к изменению указателей на дочерние и родительские узлы в дерамиде. На большинстве компьютеров операция чтения существенно более быстрая, чем операция записи. Соответственно, желательно, чтобы поворотов при выполнении процедуры Treap_Insert было как можно меньше. Мы покажем, что ожидаемое количество выполняемых процедурой поворотов ограничено константой.
Для этого нам надо дать несколько определений, проиллюстрированных на рис. 13.11. Левый хребет бинарного дерева поиска Т представляет собой путь от корня к узлу с минимальным значением ключа. Другими словами, левый хребет представляет собой путь, состоящий только из левых ребер. Соответственно, правый хребет представляет собой путь, состоящий только из правых ребер. Длина хребта — это количество составляющих его узлов.
Рассмотрите дерамиду Т после того, как в нее при помощи процедуры TREAP_lNSERT вставляется узел х. Пусть С — длина правого
Рис. 13.11. Хребты в бинарных деревьях поиска (а — левый хребет, б — правый)Рис. 13.11. Хребты в бинарных деревьях поиска (а — левый хребет, б — правый)
Рис. 13.11. Хребты в бинарных деревьях поиска (а — левый хребет, б — правый)
Рис. 13.11. Хребты в бинарных деревьях поиска (а — левый хребет, б — правый)
хребта левого поддерева ж, a D — длина левого хребта правого поддерева х. Докажите, что общее количество поворотов, которые были выполнены в процессе вставки ж, равно С 4- D.
Теперь мы вычислим математическое ожидание значений С и D. Без потери общности будем считать, что ключи представляют собой натуральные числа 1, 2, ..., п, поскольку мы сравниваем их только друг с другом.
Пусть для узлов х и у (х / у) к = key [ж] и г = key [у]. Определим индикаторную случайную величину
Х^к = I {у находится в правом хребте левого поддерева ж} .
Покажите, что Х^к = 1 тогда и только тогда, когда priority [у] > > priority [ж], key [у] < key [ж] и для каждого г такого, что key [у] < < key [г] < key [ж], имеем priority [у] < priority [г].
Покажите, что
р г у = 11 = (^-г - 1)! =1
Покажите, что
111
Используя симметрию, покажите, что
Е [Z>] = 1у—-.
1 J п — к + 1
Сделайте вывод о том, что математическое ожидание количества поворотов, выполняемых при вставке узла в дерамиду, меньше 2.
Заключительные замечания
Идея балансировки деревьев поиска принадлежит советским математикам ГМ. Адельсону-Вельскому и Е.М. Ландису [2], предложившим в 1962 году класс сбалансированных деревьев поиска, получивших название AVL-деревьев (описанных в задаче 13-3). Еще один класс деревьев поиска, называемых 2-3-деревьями, был предложен Хопкрофтом (J.E. Hopcroft, не опубликовано) в 1970 году. Баланс этих деревьев поддерживается при помощи изменения степеней ветвления в узлах. Обобщение 2-3-деревьев, предложенное Байером (Bayer) и Мак-Крейтом (McCreight) [32] под названием В-деревьев, рассматривается в главе 18.
Красно-черные деревья предложены Байером [31] под названием “симметричные бинарные В-деревья”. Гибас (Guibas) и Седжвик (Sedgewick) [135] детально изучили их свойства и предложили использовать концепцию цветов. Андерсон (Anderson) [15] предложил вариант красно-черных деревьев, обладающих повышенной простотой кодирования (который был назван Вейссом (Weiss) [311] АА- деревьями). Эти деревья подобны красно-черным деревьям с тем отличием, что левый потомок в них не может быть красным.
Дерамиды были предложены Сиделем (Siedel) и Арагоном (Aragon) [271]. Они представляют собой реализацию словаря по умолчанию в LEDA, тщательно разработанном наборе структур данных и алгоритмов.
Имеется множество других вариантов сбалансированных бинарных деревьев, включая взвешенно-сбалансированные деревья [230], деревья с к соседями [213], т.н. “деревья-козлы отпущения” (scapegoat trees) [108] и другие. Возможно, наиболее интересны “косые” деревья (splay trees), разработанные Слитором (Sleator) и Таржаном (Tarjan) [282], обладающие свойством саморегуляции (хорошее описание косых деревьев можно найти в работе Таржана [292]). Косые деревья поддерживают сбалансированность без использования дополнительных условий балансировки типа цветов. Вместо этого всякий раз при обращении над ним выполняются “косые” операции (включающие, в частности, повороты). Амортизированная стоимость (см. главу 17) таких операций в дереве с п узлами составляет О (lg п).
Альтернативой сбалансированным бинарным деревьям поиска являются списки с пропусками (skip list) [251], которые представляют собой связанные списки, оснащенные рядом дополнительных указателей. Все словарные операции в таких списках с п элементами имеют математическое ожидание времени выполнения, равное О (lg п).
ГЛАВА 14
Расширение структур данных
Зачастую на практике возникают ситуации, когда “классических” структур данных — таких как дважды связанные списки, хеш-таблицы или бинарные деревья поиска — оказывается недостаточно для решения поставленных задач. Однако только в крайне редких ситуациях приходится изобретать совершенно новые структуры данных; как правило, достаточно расширить существующую структуру путем сохранения в ней дополнительной информации, что позволяет запрограммировать необходимую для данного приложения функциональность. Однако такое расширение структур данных — далеко не всегда простая задача, в первую очередь, из-за необходимости обновления и поддержки дополнительной информации стандартными операциями над структурой данных.
В этой главе рассматриваются две структуры данных, которые построены путем расширения красно-черных деревьев. В разделе 14.1 описывается структура, которая обеспечивает операции поиска порядковых статистик в динамическом множестве. С ее помощью мы можем быстро найти г-е по порядку наименьшее число или ранг данного элемента в упорядоченном множестве. В разделе 14.2 рассматривается общая схема расширения структур данных и доказывается теорема, которая может упростить расширение красно-черных деревьев. В разделе 14.3 эта теорема используется при разработке структуры данных, поддерживающей динамическое множество промежутков, например, промежутков времени. Такая структура позволяет быстро находить в множестве промежуток, перекрывающийся с данным.
Динамические порядковые статистики
В главе 9 было введено понятие порядковой статистики. В частности, г-й порядковой статистикой множества из п элементов (г е {1,2,...,п}) является элемент множества с г-м в порядке возрастания ключом. Мы знаем, что любая порядковая статистика может быть найдена в неупорядоченном множестве за время О (п). В этом разделе вы увидите, каким образом можно изменить красно-черные деревья для того, чтобы находить порядковую статистику за время O(lgn). Вы также узнаете, каким образом можно находить ранг элемента — его порядковый номер в линейно упорядоченном множестве — за то же время О (1g тг).
На рис. 14.1 показана структура данных, которая поддерживает быстрые операции порядковой статистики. Дерево порядковой статистики Т (order-statistic tree) представляет собой просто красно-черное дерево с дополнительной информацией, хранящейся в каждом узле. Помимо обычных полей узлов красно-черного дерева key [ж], color [ж], р [ж], left [ж] и right [ж], в каждом узле дерева порядковой статистики имеется поле size [ж], которое содержит количество внутренних) узлов в поддереве с корневым узлом ж (включая сам ж), т.е. размер поддерева. Если мы определим размер ограничителя как 0, т.е. size [nil [Г]] = 0, то получим тождество size [ж] = size [left [ж]] 4- size [right [ж]] 4-1.
В дереве порядковой статистики условие различности всех ключей не ставится. Например, на рис. 14.1 имеются два ключа со значением 14, и два — с значением 21. В случае наличия одинаковых ключей определение ранга оказывается нечетким, и мы устраняем неоднозначность дерева порядковой статистики, определяя ранг элемента как позицию, в которой будет выведен данный элемент при центрированном обходе дерева. Например, на рис. 14.1 ключ 14, хранящийся в черном узле, имеет ранг 5, а в красном — ранг 6.
Рис. 14.1. Дерево порядковой статистики, являющееся расширением красно-черного дерева
Выборка элемента с заданным рангом
Перед тем как будет изучен вопрос об обновлении информации о размере поддеревьев в процессе вставки и удаления, давайте посмотрим на реализацию двух запросов порядковой статистики, которые используют дополнительную информацию. Начнем с операции поиска элемента с заданным рангом. Процедура О8_8ееест(ж, г) возвращает указатель на узел, содержащий г-й в порядке возрастания ключ в поддереве, корнем которого является ж (так что для поиска г-го в порядке возрастания ключа в дереве порядковой статистики Т мы вызываем процедуру как OS_Select(root [Г], г):
О8_8ееест(ж, г) 1 г <— 5гге[к/б[ж]]+1 2 if г = г
then return х
eiseif г < г
then return О8_8ЕЬЕСТ(/е#[ж], г)
else return О8_8ЕЕЕСТ(пд/г<[ж], i — г)
Идея, лежащая в основе процедуры OS_Select, аналогична идее, лежащей в основе алгоритмов, рассматривавшихся в главе 9. Значение size [left [ж]] представляет собой количество узлов, которые при центрированном обходе дерева с корнем в узле х будут выведены до узла х. Таким образом, size [left [ж]] + 1 представляет собой ранг узла х в поддереве, корнем которого является х.
В первой строке псевдокода процедуры OS_Select мы вычисляем т — ранг узла х в поддереве, для которого он является корнем. Если г = г, то узел х является г-м в порядке возрастания элементом и мы возвращаем его в строке 3. Если же г < г, то г-й в порядке возрастания элемент находится в левом поддереве, так что мы рекурсивно ищем его в строке 5. Если г > г, то искомый элемент находится в правом поддереве и мы делаем соответствующий рекурсивный вызова в строке 6, с учетом того, что г-й в порядке возрастания в дереве с корнем х элемент является (г — г)-м в порядке возрастания в правом поддереве х.
Для того чтобы увидеть описанную процедуру в действии, рассмотрим поиск 17-го в порядке возрастания элемента в дереве порядковой статистики на рис. 14.1. Мы начинаем поиск с корневого узла, ключ которого равен 26, и г = 17. Поскольку размер левого поддерева элемента с ключом 26 равен 12, ранг самого элемента — 13. Теперь мы знаем, что элемент с рангом 17 является 17 — 13 = 4-м в порядке возрастания элементом в правом поддереве элемента с ключом 26. После соответствующего рекурсивного вызова х становится узлом с ключом 41, а г = 4. Поскольку размер левого поддерева узла с ключом 41 равен 5, ранг этого узла в поддереве равен 6. Теперь мы знаем, что искомый узел находится в левом поддереве узла с ключом 41, и его номер в порядке возрастания — 4.
После очередного рекурсивного вызова х становится элементом с ключом 30, а его ранг — 2, и мы рекурсивно ищем элемент с рангом 4 — 2 = 2 в поддереве, корнем которого является узел с ключом 38. Размер его левого поддерева равен 1, так что ранг самого узла с ключом 38 равен 2, и это и есть наш искомый элемент, указатель на который и возвращает процедура.
Поскольку каждый рекурсивный вызов опускает нас на один уровень в дереве порядковой статистики, общее время работы процедуры OSSecect в наихудшем случае пропорционально высоте дерева. Поскольку рассматриваемое нами дерево порядковой статистики является красно-черным деревом, его высота равна O(lgn), где п — количество узлов в дереве. Следовательно, время работы процедуры OS Secect в динамическом множестве из п элементов равно О (lg п).
Определение ранга элемента
Процедура OS_Rank, псевдокод которой приведен далее, по заданному указателю на узел х дерева порядковой статистики Т возвращает позицию данного узла при центрированном обходе дерева:
OS_Rank(T, ж)
т «— 5гге[/е/С[ж]] + 1
у «- х
while у ^ гооЦТ]
do if у = ny/it[p[y]]
then г «— г + size [/е/ф[у]]] + 1
у*— р[у]
return г
Процедура работает следующим образом. Ранг х можно рассматривать как число узлов, предшествующих х при центрированном обходе дерева, плюс 1 для самого узла х. Процедура OS_RANK поддерживает следующий инвариант цикла.
В начале каждой итерации цикла while в строках 3-6 т представляет собой ранг key [ж] в поддереве, корнем которого является узел у.
Мы воспользуемся этим инвариантом для того, чтобы показать корректность работы процедуры OS_Rank.
Инициализация. Перед первой итерацией строка 1 устанавливает г равным рангу key [ж] в поддереве с корнем ж. Присвоение у <— ж в строке 2 делает инвариант истинным при первом выполнении проверки в строке 3.
Сохранение. В конце каждой итерации цикла while выполняется присвоение у <— р [у]. Таким образом, мы должны показать, что если г — ранг key [ж] в поддереве с корнем у в начале выполнения тела цикла, то в конце г становится рангом key [ж] в поддереве, корнем которого является р [у]. В каждой
итерации цикла while мы рассматриваем поддерево, корнем которого является у [у]. Мы уже подсчитали количество узлов в поддереве с корнем в узле у, который предшествует х при центрированном обходе дерева, так что теперь мы должны добавить узлы из поддерева, корнем которого является “брат” у (и который также предшествует х при центрированном обходе дерева), а также добавить 1 для самого р [у] — если, конечно, этот узел также предшествует х. Если у — левый потомок, то ни р [у], ни любой узел из поддерева правого потомка р [у] не могут предшествовать ж, так что г остается неизменным. В противном случае у является правым потомком, и все узлы в поддереве левого потомка р [у] предшествуют ж, так же как и р [у]. Соответственно, в строке 5 мы добавляем size [left [р [у]]] 4- 1 к текущему значению г.
Завершение. Цикл завершается, когда у = root [Г], так что поддерево, корнем которого является у, представляет собой все дерево целиком и, таким образом, г является рангом key [ж] в дереве в целом.
В качестве примера рассмотрим работу процедуры OS_Rank с деревом порядковой статистики, показанным на рис. 14.1. Если мы будем искать ранг узла с ключом 38, то получим следующую последовательность значений key [у] и г в начале цикла while.
Итерация &еу[у]г
1382
2304
3414
42617
Таким образом, по окончании работы процедура возвращает значение ранга, равное 17.
Поскольку каждая итерация цикла занимает время 0(1), а у при каждой итерации поднимается на один уровень вверх, общее время работы процедуры 0S_Rank в наихудшем случае пропорционально высоте дерева, т.е. равно О (1g п) в случае дерева порядковой статистики с п узлами.
Поддержка размера поддеревьев
При наличии поля size в узлах дерева процедуры OS S elect и OSRank позволяют быстро вычислять порядковые статистики. Однако это поле оказывается совершенно бесполезным, если оно не будет корректно обновляться базовыми модифицирующими операциями над красно-черными деревьями. Давайте рассмотрим, какие изменения надо внести в алгоритмы вставки и удаления для того, чтобы они поддерживали поля размеров поддеревьев при сохранении асимптотического времени работы.
RlOmiROTATECT, j)RlOmiROTATECT, j)LEFTIWATE(7;x)LEFTIWATE(7;x)
RlOmiROTATECT, j)
RlOmiROTATECT, j)
LEFTIWATE(7;x)
LEFTIWATE(7;x)
Рис. 14.2. Обновление размеров поддеревьев в процессе поворота
В разделе 13.3 мы видели, что вставка в красно-черное дерево состоит из двух фаз. Первая фаза заключается в проходе вниз по дереву и вставке нового узла в качестве дочернего для уже существующего. При второй фазе выполняется проход вверх по дереву, при котором выполняются изменения цветов узлов и повороты для сохранения красно-черных свойств дерева.
Для поддержки поля size в первой фазе достаточно просто увеличить значение size [ж] для каждого узла х на пути от корня к листьям. Новый узел получает значение поля size, равное 1. Поскольку вдоль пути имеется O(lgn) листьев, дополнительное время, требующееся для поддержания поля size в первой фазе, составляет О (1g п).
Во второй фазе структурные изменения дерева вызываются только поворотами, которых, как мы знаем, может быть не больше двух. Кроме того, поворот является локальной операцией — после его выполнения становятся некорректными значения size только у двух узлов, вокруг связи между которыми выполняется поворот. Возвращаясь к коду Left_Rotate(T, ж) в разделе 13.2, нам надо просто добавить в него следующие строки:
13 size [у] <— size[x]
14 size^x] <— size[ieft[x]] 4- size [right [хЭД 4-1
На рис. 14.2 проиллюстрировано обновление полей size при поворотах. Изменения в процедуре Right_Rotate симметричны только что рассмотренным.
Поскольку при вставке в красно-черное дерево выполняется не более двух поворотов, дополнительное время, требующееся для поддержки актуальности полей size во второй фазе, равно О (1). Таким образом, общее время вставки в дерево порядковой статистики с п узлами составляет О (1g тг), т.е. остается тем же, что и в случае обычного красно-черного дерева.
Удаление узла из красно-черного дерева также состоит из двух фаз — первая удаляет узел из дерева поиска, лежащего в основе красно-черного дерева, а вторая восстанавливает красно-черные свойства, выполняя не более трех поворотов и не внося никаких других структурных изменений (см. раздел 13.4). В первой фазе из дерева извлекается узел у. Для обновления размеров поддеревьев мы просто проходим по пути от узла у до корня дерева, уменьшая величину поля size
каждого узла на нашем пути. Поскольку вдоль пути в красно-черном дереве с п узлами имеется О (1g п) листьев, дополнительное время, требующееся для поддержания поля size в первой фазе, составляет О (1g п). Во второй фазе выполняется 0(1) поворотов, которые требуют соответствующего времени для поддержания актуальности размеров поддеревьев. Итак, как видим, и вставка, и удаление в состоянии поддерживать корректность значений полей size в дереве, при этом время их работы в дереве порядковой статистики с п узлами составляет О (1g п).
Упражнения
1. Покажите, как работает вызов процедуры OS_Select( root [Т], 10) для дерева Т, изображенного на рис. 14.1.
2. Покажите, как работает вызов процедуры OS_Rank(T, ж) для дерева Т, изображенного на рис. 14.1, если key [ж] = 35.
3. Напишите нерекурсивную версию процедуры OS_S elect.
4. Разработайте рекурсивную процедуру OS_Key_Rank(T, к), которая получает в качестве входных параметров дерево Т и ключ к и возвращает значение ранга ключа к в динамическом множестве, представленном Т. Считаем, что все ключи в Т различны.
5. Даны элемент дерева порядковой статистики с п узлами х и неотрицательное целое число г. Каким образом можно найти г-й в порядке возрастания элемент, начиная отсчет от ж, за время О (1g п)?
6. Заметим, что процедуры OS_Select и OS_Rank используют поле size только для вычисления ранга узла в поддереве, корнем которого является данный узел. Предположим, что вместо этого в каждом узле хранится его ранг в таком поддереве. Покажите, каким образом можно поддерживать актуальность этой информации в процессе вставки и удаления (вспомните, что эти две операции могут выполнять повороты).
7. Покажите, как использовать деревья порядковой статистики для подсчета числа инверсий (см. задачу 2-4) в массиве размером п за время О (n lg п).
* 14.1-8. Рассмотрим п хорд окружности, каждая из которых определяется своими конечными точками. Опишите алгоритм определения количества пар пересекающихся хорд за время O(nlgn). (Например, если все п хорд представляют собой диаметры, пересекающиеся в центре круга, то правильным ответом будет (2)). Считаем, что все конечные точки хорд различны.
14.2 Расширение структур данных
При разработке алгоритмов процесс расширения базовых структур данных для поддержки дополнительной функциональности встречается достаточно часто. В следующем разделе он будет использован для построения структур данных, которые поддерживают операции с промежутками. В данном разделе мы рассмотрим шаги, которые необходимо выполнить при таком расширении, а также докажем теорему, которая позволит нам упростить расширение красно-черных деревьев.
Расширение структур данных можно разбить на четыре шага.
Выбор базовой структуры данных.
Определение необходимой дополнительной информации, которую следует хранить в базовой структуре данных и поддерживать ее актуальность.
Проверка того, что дополнительная информация может поддерживаться основными модифицирующими операциями над базовой структурой данных.
Разработка новых операций.
Приведенные правила представляют собой общую схему, которой вы не обязаны жестко следовать. Конструирование — это искусство, зачастую опирающееся на метод проб и ошибок, и все шаги могут на практике выполняться параллельно. Так, нет особого смысла в определении дополнительной информации и разработке новых операций (шаги 2 и 4), если мы не в состоянии эффективно поддерживать работу с этой информацией. Тем не менее, описанная схема позволяет с пониманием дела направлять ваши усилия, а также помочь в организации документирования расширенной структуры данных.
Мы следовали приведенной схеме при разработке деревьев порядковой статистики в разделе 14.1. На шаге 1 в качестве базовой структуры данных мы выбрали красно-черные деревья в связи с их эффективной поддержкой других операций порядковых над динамическим множеством, таких как Minimum, Maximum, Successor и Predecessor.
На шаге 2 мы добавили в структуру данных поле size, в котором каждый узел ж хранит размер своего поддерева. В общем случае дополнительная информация делает операции более эффективными, что наглядно видно на примере операций OSS elect и OSRank, которые при использовании поля size выполняются за время O(lgn). Зачастую дополнительная информация представляет собой не данные, а указатели, как, например, в упражнении 14.2-1.
На следующем шаге мы убедились в том, что модифицирующие операции вставки и удаления в состоянии поддерживать поле size с неизменным асимптотическим временем работы О (1g п). В идеале для поддержки дополнительной информации требуется обновлять только малую часть элементов структуры данных. Например, если хранить в каждом узле его ранг в дереве, то процедуры OS_Select и OS Rank будут работать быстро, но вставка нового минимального
элемента потребует при такой схеме внесения изменений в каждый узел дерева. При хранении размеров поддеревьев вставка нового элемента требует изменения информации только в О (lg п) узлах.
Последний шаг состоял в разработке операций OS_S elect и OS_Rank. В конце концов, именно необходимость новых операций в первую очередь приводит нас к расширению структуры данных. Иногда, вместо разработки новых операций мы используем дополнительную информацию для ускорения существующих (см. упражнение 14.2-1).
Расширение красно-черных деревьев
При использовании в качестве базовой структуры данных красно-черных деревьев мы можем доказать, что определенные виды дополнительной информации могут эффективно обновляться при вставках и удалениях, делая тем самым шаг 3 очень простым. Доказательство следующей теоремы аналогично рассуждениям из раздела 14.1 о возможности поддержки поля size деревьями порядковой статистики.
Теорема 14.1 (Расширение красно-черных деревьев). Пусть / — поле, которое расширяет красно-черное дерево Т из п узлов, и пусть содержимое поля / узла ж может быть вычислено с использованием лишь информации, хранящейся в узлах ж, left [ж] и right [ж], включая f [Ze/k[ж]] и f [ггу^[ж]]. В таком случае мы можем поддерживать актуальность информации f во всех узлах дерева Т в процессе вставки и удаления без влияния на асимптотическое время работы данных процедур О (1g п).
Доказательство. Основная идея доказательства заключается в том, что изменение поля / узла х воздействует на значения поля / только у предков узла х. Таким образом, изменение / [ж] может потребовать изменения / [р[ж]], но не более; изменение / [р[ж]] может привести только к изменению / [р [р[ж]]], и т.д. вверх по дереву. При обновлении / [rooi[T]] от этого значения не зависят никакие другие, так что процесс обновлений на этом завершается. Поскольку высота красно-черного дерева равна О (lg п), изменение поля / в узле требует времени О (lg п) для обновления всех зависящих от него узлов.
Вставка узла х в Т состоит из двух фаз (см. раздел 13.3). Во время первой фазы узел х вставляется в дерево в качестве дочернего узла некоторого существующего узла р [ж]. Значение / [ж] можно вычислить за время 0(1), поскольку, в соответствии с условием теоремы, оно зависит только от информации в других полях х и информации в дочерних по отношению к ж узлах; однако дочерними узлами ж являются ограничители nil [Т]. После вычисления / [ж] изменения распространяются вверх по дереву. Таким образом, общее время выполнения первой фазы вставки равно O(lgn). Во время второй фазы единственным преобразованием, способным вызвать структурные изменения дерева, являются повороты.
Поскольку при повороте изменения затрагивают только два узла, общее время, необходимое для обновления полей f, — O (lg п) на один поворот. Поскольку при вставке выполняется не более двух поворотов, общее время работы процедуры вставки — О (1g п).
Так же, как и вставка, удаление выполняется в две стадии (см. раздел 13.4). Сначала выполняются изменения в дереве, при которых удаляемый узел замещается следующим за ним, а затем из дерева извлекается удаляемая вершина (или следующая за ней). Обновления значений / занимают время О (lg п), поскольку вносимые изменения носят локальный характер. На втором этапе при восстановлении красно-черных свойств выполняется не более трех поворотов, каждый из которых требует для обновления всех полей / на пути к корню время, не превышающее О (lg п). Таким образом, общее время удаления, как и вставки, составляет O(lgn).■
Во многих случаях (в частности, в случае поля size в деревьях порядковой статистики) время, необходимое для обновления полей после вращения, составляет О (1), а не О (1g п), приведенное в доказательстве теоремы 14.1. Пример такого поведения можно также найти в упражнении 14.2-4.
Упражнения
1. Покажите, каким образом расширить дерево порядковой статистики, чтобы операции Maximum, Minimum, Successor и Predecessor выполнялись за время О (1) в наихудшем случае. Асимптотическая производительность остальных операций над деревом порядковой статистики должна при этом остаться неизменной. ^Указание; добавьте к узлам указатели.)
2. Может ли черная высота узлов в красно-черном дереве поддерживаться как поле узла дерева без изменения асимптотической производительности операций над красно-черными деревьями? Покажите, как этого достичь (или докажите, что это невозможно).
3. Может ли глубина узлов в красно-черном дереве эффективно поддерживаться в виде поля узла? Покажите, как этого достичь (или докажите, что это невозможно).
* 14.2-4. Пусть 0 — ассоциативный бинарный оператор, а а — поле, поддерживаемое в каждом узле красно-черного дерева. Предположим, что мы хотим включить в каждый узел х дополнительное поле /, такое что / [ж] = = а [жх] 0 а [жг] 0 • • • 0 а [жт], где xi,X2,... ,хт — центрированный список узлов поддерева, корнем которого является х. Покажите, что после поворота все поля / могут быть корректно обновлены за время 0(1). Проведите подобное рассуждение для поля size.
* 14.2-5. Мы хотим добавить к красно-черным деревьям операцию RB_ Enumerate^, а, Ь), которая выводит все ключи а ^ к ^ b в дереве, корнем которого является х. Опишите, как можно реализовать процедуру RB_Enumerate, чтобы время ее работы составляло 0 (m + 1g п), где п — количество внутренних узлов в дереве, ат — число выводимых ключей. (Указание: добавлять новые поля в красно-черное дерево нет необходимости.)
Деревья отрезков
В этом разделе мы расширим красно-черные деревья для поддержки операций над динамическими множествами промежутков. Отрезком называется упорядоченная пара действительных чисел [^i,^]» таких что ti ^ ^2- Отрезок [ti,t2] представляет множество {t е R : h ^ t ^ ^}- Интервал (^1,^2) представляет собой отрезок без конечных точек, т.е. множество {t е R : ti < t < £2}, а полуинтервалы [ti,^2) и (ti,*2] образуются из отрезка при удалении из него одной из конечных точек. В случае, когда принадлежность концов несущественна, обычно говорят о промежутках. В данном разделе мы будем работать с отрезками, но расширение результатов на интервалы и полуинтервалы не должно составить для читателя никакого труда.
Отрезки удобны для представления событий, которые занимают некоторый промежуток времени. Мы можем, например, сделать запрос к базе данных о том, какие события происходили в некоторый промежуток времени. Рассматриваемая в данном разделе структура данных обеспечивает эффективное средство для поддержки такой базы данных, работающей с промежутками.
Мы можем представить отрезок [ti, <2] в виде объекта i с полями low [г] = ty (левый, или нижний, конец отрезка) и high [г] = ^ (правый, или верхний, конец). Мы говорим, что отрезки i и г' перекрываются (overlap), если г П г' / 0, т.е. если low [г] ^ high [г'] и low [г'] ^ high [г]. Для любых двух отрезков i и i* выполняется только одно из трех свойств (трихотомия отрезков):
i и i' перекрываются;
i находится слева от i' (т.е. high [г] < low [г']);
i находится справа от i' (т.е. high [г'] < low [г]).
Эти варианты взаимного расположения отрезков проиллюстрированы на рис. 14.3.
Дерево отрезков представляет собой красно-черное дерево, каждый элемент которого содержит отрезок int [ж]. Деревья отрезков поддерживают следующие операции.
IntervalJti4SERT(T, ж), которая добавляет в дерево отрезков Т элемент ж, поле int которого содержит некоторый отрезок.
Рис. 14.3. Варианты взаиморасположения отрезков г и i'
Interval_Delete(T, ж), которая удаляет элемент ж из дерева отрезков Т.
Interval_Search(T, г), которая возвращает указатель на элемент ж из дерева отрезков Т, такой что int [ж] перекрывается с отрезком г (либо ограничитель nil [Г], если такого элемента в дереве нет).
На рис. 14.4 показано множество отрезков и его представление в виде дерева отрезков. Давайте рассмотрим этапы расширения структур данных из раздела 14.2 при решении задачи разработки дерева отрезков и операций над ним.
Шаг 1. Выбор базовой структуры данных.
В качестве базовой структуры данных мы выбираем красно-черное дерево, каждый узел ж которого содержит отрезок int [ж], а ключом узла является левый конец отрезка low [гп^ж]]. Таким образом, центрированный обход дерева приводит к перечислению отрезков в порядке сортировки по их левым концам.
Шаг 2. Дополнительная информация.
В дополнение к самим отрезкам, каждый узел ж содержит значение max [ж], которое представляет собой максимальное значение всех конечных точек отрезков, хранящихся в поддереве, корнем которого является ж.
Шаг 3. Поддержка информации.
Мы должны убедиться, что вставка и удаление в дереве с п узлами могут быть выполнены за время O(lgn). Определить значение поля max в узле ж можно очень просто с использованием полей max дочерних узлов:
max [ж] = max (high [int [ж]], max [left [ж]], max [right [ж]]).
Таким образом, по теореме 14.1, вставка в дерево отрезков и удаление из него может быть выполнена за время О (lg п). В действительности, как показано в упражнениях 14.2-4 и 14.3-1, обновление поля max после вращения может быть выполнено за время О (1).
26 н 26
25 I130
19 ин 20
171Н9
16 I121
151123
8ьч9
61НО
5118
। .... । .... ...i .... i .... i>
051015202530
а)
Рис. 14.4. Множество отрезков и его представление в виде дерева отрезков
Шаг 4. Разработка новых операций.
Единственная новая операция, которую мы хотим разработать, — это Inter- val_Search(T, г), которая осуществляет поиск отрезка в дереве Г, который перекрывается с данным. Если такого отрезка в дереве нет, процедура возвращает указатель на ограничитель nil [71]:
Interval_Search(T, г)
х <— root [Г]
while х / mZ[T] и г не перекрывается с int^x]
do if к/6[ж] / mZ^] и тпо2;[/е/6[ж]] > Zow[z]
then х <— left^x]
else x <— right [ж]
return x
Для поиска отрезка, который перекрывается с г, мы начинаем с присвоения указателю х корня дерева и выполняем спуск по дереву. Спуск завершается когда мы находим перекрывающийся отрезок или когда х указывает на ограничитель
nil [Т]. Поскольку каждая итерация основного цикла выполняется за время О (1), а высота красно-черного дерева с п узлами равна О (lg п), время работы процедуры Interval_Search равно О (lg п).
Перед тем как мы убедимся в корректности процедуры Interval_Search, давайте посмотрим, как она работает, на примере дерева, показанного на рис. 14.4. Предположим, что мы хотим найти отрезок, перекрывающийся с отрезком г = = [22,25]. Мы начинаем работу с корня, в котором содержится отрезок [16,21], который не перекрывается с отрезком г. Поскольку значение max [left [ж]] = 23 превышает law [г] = 22, цикл продолжает выполнение с х, указывающим на левый дочерний узел корня. Этот узел содержит отрезок [8,9], который также не перекрывается с отрезком г. Теперь max [left [ж]] = 10 меньше low [г] = 22, так что мы переходим к правому дочернему узлу. В нем содержится отрезок [15,23], перекрывающийся с ж, так что процедура возвращает указатель на данный узел.
В качестве примера неудачного поиска попробуем найти в том же дереве отрезок, перекрывающийся с отрезком г = [11,14]. Мы вновь начинаем с корня. Поскольку отрезок в корне [16,21] не перекрывается с г, и поскольку max [left [ж]] = = 23 больше, чем low [г] = 11, мы переходим к левому дочернему узлу корня с отрезком [8,9]. Отрезок [8,9] также не перекрывается с г, a max [left [ж]] = 10, что меньше, чем low [г] = 11, поэтому мы переходим вправо (обратите внимание, что теперь в левом поддереве нет ни одного отрезка, перекрывающегося с г. Отрезок [15,23] не перекрывается с г, его левый дочерний узел — пг/[Т], так что цикл завершается и процедура возвращает указатель на ограничитель nil [Т].
Для того чтобы убедиться в корректности процедуры Interval_Search, нам надо разобраться, почему для поиска нам достаточно пройти по дереву всего лишь по одному пути. Основная идея заключается в том, что в любом узле ж, если int [ж] не перекрывается с г, то дальнейший поиск всегда идет в правильном направлении, т.е. перекрывающийся отрезок, если таковой имеется в дереве, гарантированно будет обнаружен в исследуемой части дерева. Более точно это свойство сформулировано в следующей теореме.
Теорема 14.2. Процедура Interval_Search(T, г) либо возвращает узел, отрезок которого перекрывается с отрезком г, либо, если в дереве Т не содержится отрезка, перекрывающегося с г, возвращает nil [Т].
Доказательство. Цикл while в строках 2-5 завершается, если ж = nil [Г] либо если i перекрывается с int [ж]. В последнем случае процедура тривиально возвращает значение ж. Поэтому нас интересует первый случай, когда цикл завершается из-за того, что ж = nil [Т].
Воспользуемся следующим инвариантом цикла while в строках 2-5.
Если дерево Т содержит отрезок, который перекрывается с г, то этот отрезок находится в поддереве, корнем которого является узел ж.
а)а)Рис. 14.5. Отрезки в доказательстве теоремы 14.2. Пунктирной линией показана величина max [left [ж]]Рис. 14.5. Отрезки в доказательстве теоремы 14.2. Пунктирной линией показана величина max [left [ж]]
а)
а)
Рис. 14.5. Отрезки в доказательстве теоремы 14.2. Пунктирной линией показана величина max [left [ж]]
Рис. 14.5. Отрезки в доказательстве теоремы 14.2. Пунктирной линией показана величина max [left [ж]]
Инициализация. Перед выполнением первой итерации в строке 1 переменной ж присваивается указатель на корень дерева, так что инвариант выполняется.
Сохранение. При каждой итерации цикла while выполняется либо строка 4, либо строка 5. Покажем, что инвариант цикла сохраняется в любом случае.
При выполнении строки 5 (в силу невыполнения условия в строке 3) мы имеем left [ж] = nil [Т] или max [/е/С[ж]] < low [г]. Если left [ж] = nil [Т], то поддерево, корнем которого является left [ж], очевидно, не может содержать отрезок, перекрывающийся с г, так что присвоение ж «— right [ж] сохраняет инвариант цикла. Предположим, следовательно, что left [ж] / nil [Т] и max [/е/([ж]] < low [г]. Как показано на рис. 14.5а, для каждого интервала i* из левого поддерева ж выполняется следующее соотношение:
high [г'] ^ max [left [ж]] < low [г].
В соответствии со свойством трихотомии отрезков, г' и г не перекрываются. Таким образом, левое поддерево ж не содержит отрезков, перекрывающихся с г, и присвоение ж <— right [ж] сохраняет инвариант.
Пусть выполняется строка 4. В этом случае мы покажем, что если в левом поддереве ж нет отрезка, перекрывающегося с г, то его вообще нет в дереве. Строка 4 выполняется в случае, когда max [left [ж]] ^ low [г]. Кроме того, по определению поля max в левом поддереве х должен быть некоторый интервал i', такой что high [г'] = max [left [ж]] ^ low [г]. (Данная ситуация проиллюстрирована на рис. 14.56.)
Поскольку г и г' не перекрываются и поскольку неверно, что high[i'\ < < low [г], отсюда в соответствии со свойством трихотомии отрезков следует, что high [г] < low [г']. Поскольку дерево отрезков упорядочено в соответствии с левыми концами отрезков, из свойства дерева поиска вытекает, что для любого отрезка i" из правого поддерева ж
high [г] < low [/] ^ low [г"] .
Из трихотомии отрезков следует, что г и г" не перекрываются. Мы можем, таким образом, заключить, что независимо от того, имеется ли в левом поддереве х отрезок, перекрывающийся с г, присвоение х «— left [ж] сохраняет инвариант цикла.
Завершение. Если цикл завершается по условию х = nil [Т], то в дереве, корнем которого является х, нет отрезков, перекрывающихся с г. Обращение инварианта цикла приводит к заключению, что дерево Т не содержит отрезков, перекрывающихся с г. Следовательно, возвращаемое процедурой значение nil [Т] совершенно корректно.■
Итак, процедура Interval_Search работает корректно.
Упражнения
1. Напишите псевдокод процедуры Left_Rotate, которая работает с узлами дерева отрезков и обновляет поля max за время 0(1).
2. Перепишите код процедуры Interval_Search для корректной работы с интервалами (отрезками без конечных точек).
3. Разработайте эффективно работающий алгоритм, который для данного отрезка г возвращает отрезок, перекрывающийся с г и имеющий минимальное значение левого конца (либо nil [Т], если такого отрезка не существует).
4. Пусть у нас имеется дерево отрезков Т и отрезок г. Опишите, каким образом найти все отрезки в дереве Т, перекрывающиеся с отрезком г, за время О (min(n, fclgn)), где к — количество найденных отрезков. (Дополнительное условие*. попробуйте найти решение, не изменяющее дерево.)
5. Какие изменения надо внести в процедуры дерева отрезков для поддержки новой операции Interval_Search_Exactly(T, г), которая возвращает указатель на узел х дерева отрезков Т, такой что low [int [ж]] = low [г] и high [int [ж]] = high [г] (либо nil [Г], если такого узла в дереве Т нет). Все операции, включая Interval_Search_Exactly, должны выполняться в дереве с п узлами за время О (1g п).
6. Пусть у нас есть динамическое множество натуральных чисел Q, на котором определена операция MinGap, возвращающая минимальное расстояние между соседними числами в Q. Например, если Q = {1,5,9,15,18, 22}, то Min_Gap(Q) возвратит значение 18 - 15 = 3, так как 15 и 18 — ближайшие соседние числа в Q. Разработайте максимально эффективные процедуры Insert, Delete, Search и Min_Gap и проанализируйте их время работы.
* 14.3-7. Базы данных при разработке СБИС зачастую представляют интегральную схему как список прямоугольников. Предположим, что все прямоугольники ориентированы вдоль осей ж и у, так что представление прямоугольника состоит из минимальных и максимальных координат ж и у. Разработайте алгоритм для выяснения, имеются ли в данном множестве из п прямоугольников два перекрывающихся (искать все перекрывающиеся пары не надо). Перекрытием считается также ситуация, когда один прямоугольник лежит полностью внутри другого, пусть при этом их границы и не пересекаются. Время работы алгоритма должно составлять О (nlgn). (Указание; перемещайте “строку развертки” по множеству прямоугольников.)
Задачи
14-1. Точка максимального перекрытия
Предположим, что мы хотим найти точку максимального перекрытия множества отрезков, т.е. точку, в которой перекрывается наибольшее количество отрезков множества.
Покажите, что такая точка всегда имеется и представляет собой конечную точку одного из отрезков.
Разработайте структуру данных, которая поддерживает эффективную работу операций Interval-Insert, Interval_Delete и Find_ РОМ (которая возвращает точку максимального перекрытия). (Указание: воспользуйтесь красно-черным деревом всех конечных точек отрезков. С каждым левым концом отрезка связано значение +1, с правым — значение —1. Добавьте к узлам дерева некоторую дополнительную информацию для поддержки точки максимального перекрытия.)
14-2. Перестановка Иосифа
Задача Иосифа) формулируется следующим образом. Предположим, что п человек расставлены в круг и задано некоторое натуральное число т ^ п. Начиная с определенного человека, мы идем по кругу, удаляя каждого m-го человека. После удаления человека счет продолжается дальше. Процесс продолжается, пока все п человек не будут удалены. Порядок, в котором люди удаляются из круга, определяет (п, тУперестановку
’Достаточно подробно об этой задаче, ее происхождении и вариациях можно прочесть, например, в книге У. Болл, Г. Коксетер. Математические эссе и развлечения. — М.:Мир, 1986 (стр. 43-47). — Прим. ред.
Иосифа целых чисел 1, 2,..., п. Например, (7,3)-перестановка Иосифа имеет вид (3,6,2,7,5,1,4).
Пусть т — некоторая фиксированная константа. Разработайте алгоритм, который для данного п за время О (п) выводит (п, т)-пере- становку Иосифа.
Пусть т не является константой. Разработайте алгоритм, который для данных питза время О (nlgn) выводит (n, т)-перестановку Иосифа.
Заключительные замечания
В книге [247] Препарата (Preparata) и Шамос (Shamos) описывают ряд деревьев отрезков, встречавшихся литературе, и приводят результаты из работ Эдельсбрун- нера (Н. Edelsbrunner, 1980) и Мак-Крейта (McCreight, 1981). В книге приведено дерево отрезков, в котором для данной статической базы данных из п отрезков все к отрезков, перекрывающихся с заданным, могут быть найдены за время O(fc + lg п).
ЧАСТЬ IV
Усовершенствованные методыразработки и анализа
Введение
В этой части описаны три важных метода разработки и анализа эффективных алгоритмов: динамическое программирование (глава 15), жадные алгоритмы (глава 16) и амортизационный анализ (глава 17). В предыдущих частях были представлены другие широко распространенные методы, такие как метод разбиения, рандомизация и решение рекуррентных соотношений. Новые подходы, с которыми нам предстоит ознакомиться в этой части, более сложные, однако они полезны для решения многих вычислительных задач. К темам, рассмотренным в данной части, мы еще обратимся в последующих частях.
Динамическое программирование обычно находит применение в задачах оптимизации, в которых для получения оптимального решения необходимо сделать определенное множество выборов. После того как выбор сделан, часто возникают вспомогательные подзадачи, по виду напоминающие основную. Динамическое программирование эффективно тогда, когда определенная вспомогательная подзадача может возникнуть в результате нескольких вариантов выборов. Основной метод решения таких задач заключается в сохранении решения каждой подзадачи, которая может возникнуть повторно. В главе 15 показано, как благодаря этой простой идее алгоритм, время решения которого экспоненциально зависит от объема входных данных, иногда можно преобразовать в алгоритм с полиномиальным временем работы.
Жадные алгоритмы, как и алгоритмы, применяющиеся в динамическом программировании, используются в задачах оптимизации, для рационального решения которых требуется сделать ряд выборов. Идея, лежащая в основе жадного алгоритма, заключается в том, чтобы каждый выбор был локально оптимальным. В качестве простого примера приведем задачу о выдаче сдачи: чтобы свести к минимуму количество монет, необходимых для выдачи определенной суммы, достаточно каждый раз выбирать монету наибольшего достоинства, не превышающую той суммы, которую осталось выдать. Можно сформулировать много таких задач, оптимальное решение которых с помощью жадных алгоритмов получается намного быстрее, чем с помощью методов динамического программирования. Однако не всегда просто выяснить, окажется ли эффективным жадный алгоритмы. В главе 16 приводится обзор теории матроида, которая часто оказывается полезной для принятия подобных решений.
Амортизационный анализ — это средство анализа алгоритмов, в которых выполняется последовательность однотипных операций. Вместо того чтобы накладывать границы на время выполнения каждой операции, с помощью амортизационного анализа оценивается длительность работы всей последовательности в целом. Одна из причин эффективности этой идеи заключается в том, что в некоторых последовательностях операций невозможна ситуация, когда время работы всех индивидуальных операций является наихудшим. Зачастую некоторые операции
в таких последовательностях оказываются дорогостоящими в плане времени работы, в то время как многие другие — дешевыми. Заметим, что амортизационный анализ — это не просто средство анализа. Его можно рассматривать и как метод разработки алгоритмов, поскольку разработка и анализ времени работы алгоритмов часто тесно переплетаются. В главе 17 излагаются основы трех способов амортизационного анализа алгоритмов.
ГЛАВА 15
Динамическое программирование
Динамическое программирование, как и метод разбиения, позволяет решать задачи, комбинируя решения вспомогательных задач. (Термин “программирование” в данном контексте означает табличный метод, а не составление компьютерного кода.) В главе 2 уже было показано, как в алгоритмах разбиения задача делится на несколько независимых подзадач, каждая из которых решается рекурсивно, после чего из решений вспомогательных задач формируется решение исходной задачи. Динамическое программирование, напротив, находит применение тогда, когда вспомогательные задачи не являются независимыми, т.е. когда разные вспомогательные задачи используют решения одних и тех же подзадач. В этом смысле алгоритм разбиения, многократно решая задачи одних и тех же типов, выполняет больше действий, чем было бы необходимо. В алгоритме динамического программирования каждая вспомогательная задача решается только один раз, после чего ответ сохраняется в таблице. Это позволяет избежать одних и тех же повторных вычислений каждый раз, когда встречается данная подзадача.
Динамическое программирование, как правило, применяется к задачам оптимизации (optimization problems). В таких задачах возможно наличие многих решений. Каждому варианту решения можно сопоставить какое-то значение, и нам нужно найти среди них решение с оптимальным (минимальным или максимальным) значением. Назовем такое решение одним из возможных оптимальных решений. В силу того, что таких решений с оптимальным значением может быть несколько, следует отличать их от единственного оптимального решения.
Процесс разработки алгоритмов динамического программирования можно разбить на четыре перечисленных ниже этапа.
Описание структуры оптимального решения.
Рекурсивное определение значения, соответствующего оптимальному решению.
Вычисление значения, соответствующего оптимальному решению, с помощью метода восходящего анализа.
Составление оптимального решения на основе информации, полученной на предыдущих этапах.
Этапы 1-3 составляют основу метода динамического программирования. Этап 4 может быть опущен, если требуется узнать только значение, соответствующее оптимальному решению. На четвертом этапе иногда используется дополнительная информация, полученная на третьем этапе, что облегчает процесс конструирования оптимального решения.'
В последующих разделах метод динамического программирования используется для решения некоторых задач оптимизации. В разделе 15.1 исследуется задача по составлению графика работы двух автосборочных конвейеров. По завершении каждого этапа сборки автомобиль либо остается на том же конвейере, либо перемещается на другой. В разделе 15.2 исследуется вопрос о том, в каком порядке следует выполнять перемножение нескольких матриц, чтобы свести к минимуму общее количество операций перемножения скаляров. На этих двух примерах в разделе 15.3 обсуждаются две основные характеристики, которыми должны обладать задачи, для которых подходит метод динамического программирования. Далее, в разделе 15.4 показано, как найти самую длинную общую подпоследовательность двух последовательностей. Наконец, в разделе 15.5 с помощью динамического программирования конструируется дерево бинарного поиска, оптимальное для заданного распределения ключей, по которым ведется поиск.
Расписание работы конвейера
В качестве первого примера динамического программирования рассмотрим решение производственной задачи. Некая автомобильная корпорация производит автомобили на заводе, оснащенном двумя конвейерами (рис. 15.1). На оба конвейера, на каждом из которых предусмотрено по несколько рабочих мест, поступают для сборки автомобильные шасси, после чего на каждом рабочем месте конвейера добавляются все новые детали. Наконец, собранный автомобиль покидает конвейер. На каждом конвейере имеется п рабочих мест, пронумерованных от 1 до п. Обозначим рабочее место под номером j на г-м конвейере (где г принимает значения 1 или 2) через Si^. На обоих конвейерах на рабочих местах с одинаковыми номерами выполняются один и те же операции. Однако конвейеры создавались в разное время и по разным технологиям, поэтому время выполнения одних и тех же операций на разных конвейерах различается. Обозначим время сборки на рабочем месте Sij через atj. Как видно из рис. 15.1, шасси поступает на первое
Рабочее Рабочее Рабочее Рабочее * Рабочее Рабочее место 521 место 52 2 место 52 3 место 524место 52п-1 место 52лРабочее Рабочее Рабочее Рабочее * Рабочее Рабочее место 521 место 52 2 место 52 3 место 524место 52п-1 место 52лВыход готового автомобиляВыход готового автомобиляРис. 15.1. Производственная задача по определению оптимального способа сборкиРис. 15.1. Производственная задача по определению оптимального способа сборки
Рабочее Рабочее Рабочее Рабочее * Рабочее Рабочее место 521 место 52 2 место 52 3 место 524место 52п-1 место 52л
Рабочее Рабочее Рабочее Рабочее * Рабочее Рабочее место 521 место 52 2 место 52 3 место 524место 52п-1 место 52л
Выход готового автомобиля
Выход готового автомобиля
Рис. 15.1. Производственная задача по определению оптимального способа сборки
Рис. 15.1. Производственная задача по определению оптимального способа сборки
рабочее место одного из конвейеров, а затем переходит от одного рабочего места к другому. Постановка шасси на конвейер занимает время е^ а снятие готового автомобиля с конвейера — время
Обычно поступившее на конвейер шасси проходит все этапы сборки на одном и том же конвейере. Временем перехода от одного рабочего места к другому, если этот переход выполняется в пределах одного конвейера, можно пренебречь. Однако иногда заказчик требует, чтобы автомобиль был собран за кратчайшее время, и такой порядок приходится нарушить. Для ускорения сборки шасси по-прежнему проходит все п рабочих мест в обычном порядке, однако менеджер может дать указание перебросить частично собранный автомобиль с одного конвейера на другой, причем такая переброска возможна на любом этапе сборки. Время, которое требуется для перемещения шасси с конвейера г на соседний после прохождения рабочего места S^j, равно tlj9 г = 1,2,....п — 1 (поскольку после прохождения п-то рабочего места сборка завершается). Задача заключается в том, чтобы определить, какие рабочие места должны быть выбраны на первом конвейере, а какие — на втором, чтобы минимизировать полное время, затраченное на заводе на сборку одного автомобиля. В примере, проиллюстрированном на рис. 15.2 а, полное время получается наименьшим, если на первом конвейере выбираются рабочие места 1, 3 и 6, а на втором — места 2, 4 и 5. На рисунке указаны величины е?, chj, tij и Xi. Самый быстрый путь через фабрику выделен жирной линией. В части б рисунка приведены величины fa [7], /*, It [j] и Z*, соответствующие примеру, изображенному в части а (о том, что означают эти величины, будет сказано немного позже).
Очевидный метод перебора, позволяющий минимизировать время сборки на конвейерах с малым числом рабочих мест, становится неприменимым для большого количества рабочих мест. Если заданы списки рабочих мест, которые исполь-
222244Сборочный конвейер 2Сборочный конвейер 2Рабочее место 52Рабочее место 52Запуск шассиЗапуск шассиРабочее место 5Рабочее место 5Выход готового автомобиляВыход готового автомобиляРабочее место 51Рабочее место 51Рабочее место 5Рабочее место 5Рабочее место 5Рабочее место 5Рабочее место 5Рабочее место 5Сборочный конвейер 1Сборочный конвейер 1Рабочее место 52Рабочее место 52Рабочее место 52>2Рабочее место 52>2Рабочее место 523Рабочее место 523Рабочее место 52бРабочее место 52бРабочее место 5Рабочее место 5Рабочее место 52>4Рабочее место 52>4а)а)И188124323512.16II253037И188124323512.16II253037j 1 2 3 4 5 6j 1 2 3 4 5 6/*=38/*=38ЛИ/2ИЛИ/2ИIII2Г12Si,212•2III2Г12Si,212•2j 2 3 4 5 6j 2 3 4 5 6Г = 1Г = 1
2
2
2
2
4
4
Сборочный конвейер 2
Сборочный конвейер 2
Рабочее место 52
Рабочее место 52
Запуск шасси
Запуск шасси
Рабочее место 5
Рабочее место 5
Выход готового автомобиля
Выход готового автомобиля
Рабочее место 51
Рабочее место 51
Рабочее место 5
Рабочее место 5
Рабочее место 5
Рабочее место 5
Рабочее место 5
Рабочее место 5
Сборочный конвейер 1
Сборочный конвейер 1
Рабочее место 52
Рабочее место 52
Рабочее место 52>2
Рабочее место 52>2
Рабочее место 523
Рабочее место 523
Рабочее место 52б
Рабочее место 52б
Рабочее место 5
Рабочее место 5
Рабочее место 52>4
Рабочее место 52>4
а)
а)
И
18
81
24
32
35
12.
16
II
25
30
37
И
18
81
24
32
35
12.
16
II
25
30
37
j 1 2 3 4 5 6
j 1 2 3 4 5 6
/*=38
/*=38
ЛИ
/2И
ЛИ
/2И
III
2
Г
1
2
Si
,2
1
2
•2
III
2
Г
1
2
Si
,2
1
2
•2
j 2 3 4 5 6
j 2 3 4 5 6
Г = 1
Г = 1
б)
Рис. 15.2. Пример задачи на составление расписания сборочного конвейера
зуются на первом и втором конвейерах, то время полного прохождения шасси по конвейеру легко вычислить за время 0 (тг). К сожалению, всего существует 2П возможных комбинаций. Это легко понять, рассматривая множество рабочих мест первого конвейера как подмножество множества {1,2,..., ?г}; очевидно, что всего существует 2П таких подмножеств. Таким образом, способ, при котором наиболее рациональное прохождение по конвейеру определяется методом перебора всех возможных вариантов, в результате чего определяется время сборки для каждого варианта, занял бы время, равное Q (2П). Очевидно, что при больших п этот способ неприемлем.
Первый этап: структура самой быстрой сборки
В парадигме динамического программирования первый этап заключается в том, чтобы охарактеризовать структуру оптимального решения. В задаче по составлению расписания работы конвейера этот шаг можно выполнить следующим образом. Рассмотрим способ, при котором шасси, поступившее на первый конвейер, попадет на рабочее место Sij за кратчайшее время. Если j = 1, существует всего один способ прохождения такого отрезка пути, поэтому легко определить время достижения рабочего места Sij. Однако если j = 2,3, ...,п, возможен один из двух вариантов: на рабочее место Sij шасси могло попасть непосредственно с рабочего места Sij-i или с Ssj-i- В первом случае временем перехода
от одного рабочего места к другому можно пренебречь, а во втором переход займет время t2j-i- Рассмотрим обе эти возможности отдельно, хотя впоследствии станет ясно, что у них много общего.
Сначала предположим, что самый быстрый путь, проходящий через рабочее место Sij, проходит также через рабочее место Sij-i. Основной вывод, который можно сделать в этой ситуации, заключается в том, что отрезок пути от начальной точки до Sij-i тоже должен быть самым быстрым. Почему? Если бы на это рабочее место можно было бы попасть быстрее, то при подстановке данного отрезка в полный путь получился бы более быстрый путь к рабочему месту Sij, а это противоречит начальному предположению.
Теперь предположим, что самый быстрый путь, проходящий через рабочее место Si j, проходит также через рабочее место S2J-1- В этом случае можно прийти к выводу, что на рабочее место S2J-1 шасси должно попасть за кратчайшее время. Объяснение аналогично предыдущему: если бы существовал более быстрый способ добраться до рабочего места S2j-b то при подстановке данного отрезка в полный путь получился бы более быстрый путь к рабочему месту Sij, а это снова противоречит сделанному предположению.
Обобщая эти рассуждения, можно сказать, что задача по составлению оптимального расписания (определение самого быстрого пути до рабочего места Sij) содержит в себе оптимальное решение подзадач (нахождение самого быстрого пути до рабочего места Sij-i или S2J-1). Назовем это свойство оптимальной подструктурой (optimal substructure). В разделе 15.3 мы убедимся, что наличие этого свойства — один из признаков применимости динамического программирования.
С помощью свойства оптимальной подструктуры можно показать, что определение оптимального решения задачи сводится к определению оптимального решения ее подзадач. В задаче по составлению расписания работы конвейера рассуждения проводятся следующим образом. Наиболее быстрый путь, проходящий через рабочее место Sij, должен также проходить через рабочее место под номером з — 1, расположенное на первом или втором конвейере. Таким образом, если самый быстрый путь проходит через рабочее место Sij, то справедливо одно из таких утверждений:
этот путь проходит через рабочее место Sij-i, после чего шасси попадает непосредственно на рабочее место Sij;
этот путь проходит через рабочее место S^j-b после чего автомобиль перебрасывается из второго конвейера на первый, а затем попадает на рабочее место Sij.
Из соображений симметрии для самого быстрого пути, проходящего через рабочее место 82 j, справедливо одно из следующих утверждений:
этот путь проходит через рабочее место S2j-b после чего шасси попадает непосредственно на рабочее место ^j;
этот путь проходит через рабочее место Sij-i, после чего автомобиль перебрасывается из первого конвейера на второй, а затем попадает на рабочее место S2J.
Чтобы решить задачу определения наиболее быстрого пути до рабочего места j, которое находится на любом из конвейеров, нужно решить вспомогательную задачу определения самого быстрого пути до рабочего места j — 1 (также на любом из конвейеров).
Таким образом, оптимальное решение задачи об оптимальном расписании работы конвейера можно найти путем поиска оптимальных решений подзадач.
Второй этап: рекурсивное решение
Второй этап в парадигме динамического программирования заключается в том, чтобы рекурсивно определить оптимальное решение в терминах оптимальных решений подзадач. В задаче по составлению расписания работы конвейера роль подзадач играют задачи по определению самого быстрого пути, проходящего через j-e рабочее место на любом из двух конвейеров для j = 2,3,..., п. Обозначим через /j [J] минимально возможное время, в течение которого шасси проходит от стартовой точки до рабочего места Sij.
Конечная цель заключается в том, чтобы определить кратчайшее время /*, в течение которого шасси проходит по всему конвейеру. Для этого автомобиль, который находится в сборке, должен пройти весь путь до рабочего места п, находящегося на первом или втором конвейере, после чего он покидает фабрику. Поскольку самый быстрый из этих путей является самым быстрым путем прохождения всего конвейера, справедливо следующее соотношение:
(15.1)(15.1)/* = min (/i [n] + ад, /2 [п] + ж2) •
(15.1)
(15.1)
Легко также сделать заключение по поводу величин /i [1] и /2 [1]. Чтобы за кратчайшее время пройти первое рабочее место на любом из конвейеров, шасси должно попасть на это рабочее место непосредственно. Таким образом, можно записать уравнения
(15.2)(15.3)(15.2)(15.3)/1 [1] = 61 + Й1Д,/2 [1] = е2 + а2д.
(15.2)
(15.3)
(15.2)
(15.3)
А теперь рассмотрим, как вычислить величину /t [j] при j = 2,3,..., п (и i = = 1,2). Рассуждая по поводу Д [Д, мы пришли к выводу, что самый быстрый путь до рабочего места Sij является также либо самым быстрым путем до рабочего
места Si j-i, после чего шасси попадает прямо на рабочее место 5ij, либо самым быстрым путем до рабочего места 52)J-i, с последующим переходом со второго конвейера на первый. В первом случае можно записать соотношение /1 [j] = = /1 [j — 1] + flij, а во втором — соотношение /1 [j] = /2 Ь — 1] + ^j-i + oij- Таким образом, при 3 = 2,3,..., п выполняется уравнение
/1 [j] = min (h [j - 1] + aid, f2 U - 1] + <2j-i + <H j) •(15.4)
Аналогично можно записать уравнение
/2 [j] = min (/2 [j - 1] + a2j-, /1 [j - 1] + hj-i + »2j) •(15.5)
Комбинируя уравнения (15.2)-(15.5), получим рекуррентные соотношения
Л ы =+[min (/1 У - 1) + ai,j, h Ь ~ 1] + ty-l + «и)Л ы =+[min (/1 У - 1) + ai,j, h Ь ~ 1] + ty-l + «и)ЛЫ =ЛЫ =62 + 02,1min (/2 [j - 1] + a2)jl fi [j - 1] + tij-i + a,2,j)62 + 02,1min (/2 [j - 1] + a2)jl fi [j - 1] + tij-i + a,2,j)при з = 1, при з 2.при з = 1, при з ^ 2.при з = 1, при з 2.при з = 1, при з ^ 2.(15.6)(15.7)(15.6)(15.7)
Л ы =+
[min (/1 У - 1) + ai,j, h Ь ~ 1] + ty-l + «и)
Л ы =+
[min (/1 У - 1) + ai,j, h Ь ~ 1] + ty-l + «и)
ЛЫ =
ЛЫ =
62 + 02,1
min (/2 [j - 1] + a2)jl fi [j - 1] + tij-i + a,2,j)
62 + 02,1
min (/2 [j - 1] + a2)jl fi [j - 1] + tij-i + a,2,j)
при з = 1, при з 2.
при з = 1, при з ^ 2.
при з = 1, при з 2.
при з = 1, при з ^ 2.
(15.6)
(15.7)
(15.6)
(15.7)
На рис. 15.26 приведены величины /, [7], соответствующие примеру, изображенному на рис. 15.2a, и вычисленные по уравнениям (15.6) и (15.7), а также величина f*.
Величины fi [j] являются значениями, соответствующими оптимальным решениям подзадач. Чтобы было легче понять, как конструируется оптимальное решение, обозначим через It [j] номер конвейера (1 или 2), содержащего рабочее место под номером J — 1, через которое проходит самый быстрый путь к рабочему месту Sij. Индексы г и j принимают следующие значения: г = 1,2; j = 2,3,..., п. (Величины Ц [1] не определяются, поскольку на обоих конвейерах отсутствуют рабочие места, предшествующие рабочему месту под номером 1.) Кроме того, обозначим через I* номер конвейера, через n-е рабочее место которого проходит самый быстрый полный путь сборки. Величины Ц [j] облегчат определение самого быстрого пути. С помощью приведенных на рис. 15.26 величин /* и Ц [7] самый быстрый способ сборки на заводе, изображенном на рис. 15.2a, выясняется путем таких рассуждений. Начнем с Г = 1; при этом используется рабочее место 51,6- Теперь посмотрим на величину /1 [6], которая равна 2, из чего следует, что используется рабочее место S2is. Продолжая рассуждения, смотрим на величину /2 [5] = 2 (используется рабочее место 52,4), величину 12 [4] = 1 (рабочее место 51,з), величину li [3] = 2 (рабочее место 52,2) и величину 12 [2] = 1 (рабочее место Sij).
Третий этап: вычисление минимальных промежутков времени
На данном этапе на основе уравнения (15.1) и рекуррентных соотношений (Аб) и (15.7) легко было бы записать рекурсивный алгоритм определения самого быстрого пути сборки автомобиля на заводе. Однако с таким алгоритмом связана одна проблема: время его работы экспоненциально зависит от п. Чтобы понять, почему это так, введем значения ?\ (j), обозначающие количество ссылок в рекурсивном алгоритме на величины /, [j]. Из уравнения (15.1) получаем:
п (п) = 7'2 (тг) = 1.(15.8)
Из рекуррентных уравнений (15.6) и (15.7) следует соотношение
П Ь) = 7-2 0) = 7'1 0 + 1) +г2 0 + 1),(15.9)
справедливое при j = 1,2,..., п — 1. В упражнении 15.1-2 предлагается показать, что Тг 0) = 2n-j. Таким образом, к величине /i [1] алгоритм обращается 2”-1 раз! В упражнении 15.1-3 предлагается показать, что полное количество обращений ко всем величинам ft Ы равно 0 (2П).
Намного лучших результатов можно достичь, если вычислять величины Д Ь] в порядке, отличном от рекурсивного. Обратите внимание, что при j > 2 каждое значение /, [j] зависит только от величин /i b — 1] и /2 b — 1]. Вычисляя значения /, [j] в порядке увеличения номеров рабочих мест j — слева направо (см. рис. 15.26), — можно найти самый быстрый путь (и время его прохождения) по заводу в течение времени 0(/i). Приведенная ниже процедура Fastest_Way принимает в качестве входных данных величины oij, tij, et и Хг, а также количество рабочих мест на каждом конвейере п:
FASTEST_Way(o, t, е, х, п)
/1[1]61 + Cl],]
/з[1]е2 + a2,i
for j <— 2 to ?г
do if /ib — 1] + oij < f-Дз — 1] + ^j-i + «ij
then /1 b] «- fx [j - 1] + O] j
Mj]<-i
else /ib] /гЬ ~ 1] + *2j-i + «ij
^i[j]^2
if ЛЬ — 1] + «2,3 — /1 Ь — 1] + ^1J-1 + °2J
then /2b] ЛЬ - 1] + «2,j
H/2b]
12else ЛЫ ЛЬ'~ 1] + hj-i+°2,j
Ш 1
if /1 [п] + $1 < /2Н + ж2
then /* = /i[n] +а?1
/* = 1
else /* = /2И+ж2
/* = 2
Процедура Fastest_Way работает следующим образом. В строках 1-2 с помощью уравнений (15.2) и (15.3) вычисляются величины /1 [1] и /2 [1]. Затем в цикле for в строках 3-13, вычисляются величины /, [j] и ^[7] при г = 1,2 и j = 2,3, ...,п. В строках 4-8 с помощью уравнения (15.4) вычисляются величины /1 [j] и li [j], а в строках 9-13, с помощью уравнения (15.5), величины /2 Ь] и ^2 ЬТ Наконец, в строках 14-18 с помощью уравнения (15.1) вычисляются величины /* и /*. Поскольку строки 1-2 и 14-18 выполняются в течение фиксированного времени, и выполнение каждой из п — 1 итераций цикла for, заданного в строках 3-13, тоже длится в течение фиксированного времени, на выполнение всей процедуры требуется время, равное 0 (п).
Один из способов вычисления значений fi [7] и li [j] — заполнение ячеек соответствующей таблицы. Как видно из рис. 15.26, таблицы для величин fi [j] и li [7] заполняются слева направо (и сверху вниз в каждом столбце). Для вычисления величины fi [j] понадобятся значения /1 [j — 1] и /2 [7 — 1]. Зная, что эти величины уже вычислены и занесены в таблицу, их можно просто извлечь из соответствующих ячеек таблицы, когда они понадобятся.
Четвертый этап: построение самого быстрого пути
После вычисления величин fi [7], f*, Ц [j] и I* нужно построить последовательность решений, используемых в самом быстром пути сборки. Ранее было рассказано, как это можно сделать для примера, проиллюстрированного на рис. 15.2.
Приведенная ниже процедура выводит в порядке убывания номера использующихся рабочих мест. В упражнении 15.1-1 предлагается модифицировать эту процедуру так, чтобы номера рабочих мест выводились в ней в порядке возрастания.
Print_Stations(/, п) 1 гI*
print “Конвейер ” г “, рабочее место ” п
for j «— п downto 2
do г 1- ^[j]
print “Конвейер ” г “, рабочее место ’’ j — 1
В примере, приведенном на рис. 15.2, процедура Print_Stations выведет такую последовательность рабочих мест:
Конвейер 1, рабочее место 6
Конвейер 2, рабочее место 5
Конвейер 2, рабочее место 4
Конвейер 1, рабочее место 3
Конвейер 2, рабочее место 2
Конвейер 1, рабочее место 1
Упражнения
1. Покажите, как модифицировать процедуру Print_Stations, чтобы она выводила данные в порядке возрастания номеров рабочих мест. (Указание: используйте рекурсию.)
5.1-2. С помощью уравнений (15.8) и (15.9) и метода подстановки покажите, что количество обращений Ti (j) к величинам fi [j] в рекурсивном алгоритме равно 2n~i.
5.1-3. Воспользовавшись результатом, полученном при выполнении упражнения 15.1-2, покажите, что полное число обращений ко всем величинам ft [j], выражающееся двойной суммой У^=1 52^=1Ti ^’ равно 2n+1 — 2.
5.1-4. В таблицах, содержащих величины fi [7] и /, [j], общее количество ячеек равно 4п — 2. Покажите, как свести количество ячеек к 2п + 2 и при этом иметь возможность вычисления величины f* и вывода информации о всех рабочих местах, составляющих самый быстрый путь прохождения завода.
5.1-5. Профессор предположил, что могут существовать значения ei, axj и tij, для которых процедура Fastest_Way дает такие значения Ц [у], что для некоторого рабочего места j li [j] = 2 и /2 Ь] = 1- Принимая во внимание, что все переходы выполняются в течение положительных промежутков времени tij, покажите, что предположение профессора ложно.
5.2 Перемножение цепочки матриц
Следующий пример динамического программирования — алгоритм, позволяющий решить задачу о перемножении цепочки матриц. Пусть имеется последовательность (цепочка), состоящая из п матриц, и нужно вычислить их произведение
А^-.-Ап.(15.10)
Выражение (15.10) можно вычислить, используя в качестве подпрограммы стандартный алгоритм перемножения пар матриц. Однако сначала нужно расставить скобки, чтобы устранить все неоднозначности в порядке перемножения. Порядок
произведения матриц полностью определен скобками (folly parenthesized), если произведение является либо отдельной матрицей, либо взятым в скобки произведением двух подпоследовательностей матриц, в котором порядок перемножения полностью определен скобками. Матричное умножение обладает свойством ассоциативности, поэтому результат не зависит от расстановки скобок. Например, если задана последовательность матриц (Ai, Аг, A3, А4), то способ вычисления их произведения можно полностью определить с помощью скобок пятью разными способами:
(Л1(Л2(ЛзЛ4))) , (Ai ((А2 A3) А4)) , ((Л1Л2)(Л3Л4)) , ((Ai (А2А3)) А4) , (((Л!Л2)Лз)Л4) .
От того как расставлены скобки при перемножении последовательности матриц, может сильно зависеть время, затраченное на вычисление произведения. Сначала рассмотрим, как определить стоимость произведения двух матриц. Ниже приводится псевдокод стандартного алгоритма. Атрибуты rows и columns означают количество строк и столбцов матрицы.
Matrix_Multiply(A, В)
if columns [А] / rows [В]
then error “Несовместимые размеры”
else for г <— 1 to rows [Л]
do for j <— 1 to columns ^B]
doC^j^t—0
for fc <— 1 to columns [A]
do С[г J] <- C^j] + А[г, fc] • В^з\
return C
Матрицы А и В можно перемножать, только если они совместимы*, количество столбцов матрицы А должно совпадать с количеством строк матрицы В. Если А — это матрица размера р х q, а В — матрица размера q х г, то в результате их перемножения получится матрица С размера р х г. Время вычисления матрицы С преимущественно определяется количеством произведений скаляров (далее в главе для краткости будем называть эту операцию скалярным умножением — Прим. перев.\ которое выполняется в строке 7. Это количество равно pqr. Итак, стоимость умножения матриц будет выражаться в количестве умножений скалярных величин.
Чтобы проиллюстрировать, как расстановка скобок при перемножении нескольких матриц влияет на количество выполняемых операций, рассмотрим при-
мер, в котором перемножаются три матрицы (Л1, Л2, Лз). Предположим, что размеры этих матриц равны 10 х 100, 100 х 5 и 5 х 50 соответственно. Перемножая матрицы в порядке, заданном выражением ((Л1Л2) Л3), необходимо выполнить 10 • 100 • 5 = 5000 скалярных умножений, чтобы найти результат произведения Л] Л2 (ПРИ этом получится матрица размером 10 х 5), а затем — еще 10 • 5 • 50 = = 2 500 скалярных умножений, чтобы умножить эту матрицу на матрицу Л3. Всего получается 7 500 скалярных умножений. Если вычислять результат в порядке, заданном выражением (Л] (Л2Л3)), то сначала понадобится выполнить 100 • 5 • 50 = 25 000 скалярных умножений (при этом будет найдена матрица Л2 Лз размером 100 х 50), а затем еще 10-100-50 = 50 000 скалярных умножений, чтобы умножить Л] на эту матрицу. Всего получается 75 000 скалярных умножений. Таким образом, для вычисления результата первым способом понадобится в 10 раз меньше времени.
Задачу о перемножении последовательности матриц (matrix-chain multiplication problem) можно сформулировать так: для заданной последовательности матриц (Л1, Л2,..., Лп), в которой матрица Л7, г = 1,2...., п имеет размер р^-г хр^ с помощью скобок следует полностью определить порядок умножений в матричном произведении АуА^ - • • А31. при котором количество скалярных умножений сведется к минимуму.
Обратите внимание, что само перемножение матриц в задачу не входит. Наша цель — определить оптимальный порядок перемножения. Обычно время, затраченное на нахождение оптимального способа перемножения матриц, с лихвой окупается, когда выполняется само перемножение (как это было в рассмотренном примере, когда удалось обойтись всего 7 500 скалярными умножениями вместо 75 000).
Подсчет количества способов расстановки скобок
Прежде чем приступить к решению задачи об умножении последовательности матриц методами динамического программирования, заметим, что исчерпывающая проверка всех возможных вариантов расстановки скобок не является эффективным алгоритмом ее решения. Обозначим через Р (п) количество альтернативных способов расстановки скобок в последовательности, состоящей из п матриц. Если п = 1, то матрица всего одна, поэтому скобки в матричном произведении можно расставить всего одним способом. Если п ^ 2, то произведение последовательности матриц, в котором порядок перемножения полностью определен скобками, является произведением двух таких произведений подпоследовательностей матриц, в которых порядок перемножения тоже полностью определен скобками. Разбиение на подпоследовательности может производиться на границе к-й и к 4- 1-й матриц для любого к = 1, 2,..., п — 1. В результате получаем
рекуррентное соотношение
{
1при п = 1,
п"1z х z х(15.11)
52 Р (к) Р (п - к) при п 2.
к=1
В задаче 12-4 предлагается показать, что решением аналогичного рекуррентного соотношения является последовательность чисел Каталана (Catalan numbers), возрастающая как Q (4п/п3/2). Более простое упражнение (упражнение 15.2-3) заключается в том, чтобы показать, что решение рекуррентного соотношения (15.11) ведет себя как Q (2П). Таким образом, количество вариантов расстановки скобок экспоненциально увеличивается с ростом п, и метод прямого перебора всех вариантов не подходит для определения оптимальной стратегии расстановки скобок в матричном произведении.
Первый этап: структура оптимальной расстановки скобок
Первый этап применения парадигмы динамического программирования — найти оптимальную вспомогательную подструктуру, а затем с ее помощью сконструировать оптимальное решение задачи по оптимальным решениям вспомогательных задач. В рассматриваемой задаче этот этап можно осуществить следующим образом. Обозначим для удобства результат перемножения матриц Ai A^+i • • • Aj через Ai..j, где г < j. Заметим, что если задача нетривиальна, т.е. г < j, то любой способ расстановки скобок в произведении АгА^ • • • Aj разбивает это произведение между матрицами Ак и Ак^ь где к — целое, удовлетворяющее условию г ^ к < j. Таким образом, при некотором к сначала вычисляются матрицы Л^ и Л^+i.j, а затем они умножаются друг на друга, в результате чего получается произведение At..j. Стоимость, соответствующая этому способу расстановки скобок, равна сумме стоимости вычисления матрицы Л^.^, стоимости вычисления матрицы Ак-v-i..j и стоимости вычисления их произведения.
Ниже описывается оптимальная вспомогательная подструктура для данной задачи. Предположим, что в результате оптимальной расстановки скобок последовательность AiЛг+1... Aj разбивается на подпоследовательности между матрицами Ак и Л^+1. Тогда расстановка скобок в “префиксной” подпоследовательности AiAi-^y. ..Ак тоже должна быть оптимальной. Почему? Если бы существовал более экономный способ расстановки скобок в последовательности АгА^у... Аь то его применение позволило бы перемножить матрицы AiAi+i.. .Aj еще эффективнее, что противоречит предположению об оптимальности первоначальной расстановки скобок. Аналогично можно прийти к выводу, что расстановка скобок в подпоследовательности матриц Ак-нАк-н ... Aj, возникающей в результате
оптимальной расстановки скобок в последовательности ЛгЛ7:+1... Aj, также должна быть оптимальной.
Теперь с помощью нашей оптимальной вспомогательной подструктуры покажем, что оптимальное решение задачи можно составить из оптимальных решений вспомогательных задач. Мы уже убедились, что для решения любой нетривиальной задачи об оптимальном произведении последовательности матриц всю последовательность необходимо разбить на подпоследовательности и что каждое оптимальное решение содержит в себе оптимальные решения подзадач. Другими словами, решение полной задачи об оптимальном перемножении последовательности матриц можно построить путем разбиения этой задачи на две подзадачи — оптимальную расстановку скобок в подпоследовательностях AiAi+i.. .А^ и Ak+iAk+2 • • • Aj. После этого находятся оптимальные решения подзадач, из которых затем составляется оптимальное решение полной задачи. Необходимо убедиться, что при поиске способа перемножения матриц учитываются все возможные разбиения — только в этом случае можно быть уверенным, что найденное решение будет глобально оптимальным.
Второй этап: рекурсивное решение
Далее, рекурсивно определим стоимость оптимального решения в терминах оптимальных решений вспомогательных задач. В задаче о перемножении последовательности матриц в качестве вспомогательной задачи выбирается задача об оптимальной расстановке скобок в подпоследовательности AiA^ • • - Aj при 1 г ^ j тг. Путь m[z,j] — минимальное количество скалярных умножений, необходимых для вычисления матрицы A^.j. Тогда в полной задаче минимальная стоимость матрицы Л1..п равна т [1, п].
Определим величину т [г, j] рекурсивно следующим образом. Если г = j, то задача становится тривиальной: последовательность состоит всего из одной матрицы Аг„з = Aj, и для вычисления произведения матриц не нужно выполнять никаких скалярных умножений. Таким образом, при г = 1,2,..., п т [г, г] = = 0. Чтобы вычислить m^j] при г < j, воспользуемся свойством подструктуры оптимального решения, исследованным на первом этапе. Предположим, что в результате оптимальной расстановки скобок последовательность AtAi-^i.. .Aj разбивается между матрицами А^ и Л^+1, где г < к < j. Тогда величина т [г, j] равна минимальной стоимости вычисления частных произведений А^.ь и A^vj плюс стоимость умножения этих матриц друг на друга. Если вспомнить, что каждая матрица Ai имеет размеры pi-^ х р^ то нетрудно понять, что для вычисления произведения матриц Ai..kA^i..j понадобится Pi-iPkPj скалярных умножений. Таким образом, получаем:
m [i, j] = т [г, к^ + т [А: + 1, j] + pt-iPkPj.
В этом рекурсивном уравнении предполагается, что значение к известно, но на самом деле это не так. Для выбора этого значения всего имеется j — г возможностей, а именно — к = i^i -V 1,... J — 1. Поскольку в оптимальной расстановке скобок необходимо использовать одно из этих значений к, все, что нужно сделать, — проверить все возможности и выбрать среди них лучшую. Таким образом, рекурсивное определение оптимальной расстановки скобок в произведении ЛгДг+1 • • • Aj принимает вид:
т [г, j] = <т [г, j] = <00при г = j,при г = j,min {m [г, Ц 4- т \к 4- 1J] -V Pt-iPkPA ПРИ ^ < 3-min {m [г, Ц 4- т \к 4- 1J] -V Pt-iPkPA ПРИ ^ < 3-(15.12)(15.12)
т [г, j] = <
т [г, j] = <
0
0
при г = j,
при г = j,
min {m [г, Ц 4- т \к 4- 1J] -V Pt-iPkPA ПРИ ^ < 3-
min {m [г, Ц 4- т \к 4- 1J] -V Pt-iPkPA ПРИ ^ < 3-
(15.12)
(15.12)
Величины т [г, J] равны стоимостям оптимальных решений вспомогательных задач. Чтобы легче было проследить за процессом построения оптимального решения, обозначим через s^j] значение к, при котором последовательность Л,Лг+1... Aj разбивается на две подпоследовательности в процессе оптимальной расстановки скобок. Таким образом, величина s [г, j] равна значению к, такому что m [г, j] = т [г, Ц 4- т ^к 4- 1J] 4- Pt-iPkPj-
Третий этап: вычисление оптимальной стоимости
На данном этапе не составляет труда написать на основе рекуррентного соотношения (15.12) рекурсивный алгоритм для вычисления минимальной стоимости т [1, п] для произведения А1А2... Ап. Однако в разделе 15.3 мы сможем убедиться, что время работы этого алгоритма экспоненциально зависит от п, что ничем не лучше метода прямого перебора, при котором проверяется каждый способ расстановки скобок в произведении.
Важное наблюдение, которое можно сделать на данном этапе, заключается в том, что у нас относительно мало подзадач: по одной для каждого выбора величин г и j, удовлетворяющих неравенству 1 ^ i Cj О, т.е. всего (2) 44- п = 0 ^У В рекурсивном алгоритме каждая вспомогательная задача может неоднократно встречаться в разных ветвях рекурсивного дерева. Такое свойство перекрытия вспомогательных подзадач — вторая отличительная черта применимости метода динамического программирования (первая отличительная черта — наличие оптимальной подструктуры).
Вместо того чтобы рекурсивно решать рекуррентное соотношение (15.12), выполним третий этап парадигмы динамического программирования и вычислим оптимальную стоимость путем построения таблицы в восходящем направлении. В описанной ниже процедуре предполагается, что размеры матриц Аг равны pt-\ х х pt (г = 1,2,... ,п). Входные данные представляют собой последовательность Р — (РО)Рь • • • ^РпУ длина данной последовательности равна length [р] = п 4- 1. В процедуре используется вспомогательная таблица т [1..п, 1..п] для хранения
стоимостей т [г, j] и вспомогательная таблица s [L.n, l..n], в которую заносятся индексы к, при которых достигаются оптимальные стоимости m [г, j]. Таблица s будет использоваться при построении оптимального решения.
Чтобы корректно реализовать восходящий подход, необходимо определить, с помощью каких записей таблицы будут вычисляться величины т [г, j], Из уравнения (15.12) видно, что стоимость т [г, j] вычисления произведения последовательности з — г + 1 матриц зависит только от стоимости вычисления последовательностей матриц, содержащих менее j — г + 1 матриц. Другими словами, при к = г, г + 1,..., з — 1 матрица Аг..к представляет собой произведение к — г + 1 < < j — г + 1 матриц, а матрица Ak+vj — произведение j — к < j — г + 1 матриц. Таким образом, в ходе выполнения алгоритма следует организовать заполнение таблицы т в порядке, соответствующем решению задачи о расстановке скобок в последовательностях матриц возрастающей длины:
Matrix_Chain_Order(p)
n <— /епу^[р] — 1
for г 1 to п
do т[г, г] <— 0.
for / <— 2 to п О / — длина последовательности
do for г <— 1 to п — / + 1
do j «— г + I — 1
m[i,J] 00
for к «— г to j — 1
do q «— т[г, А:] + т[А: + 1, j] + Pt-iPkPj
ifq<m[i,j]
then т[г, j] <— q
s[zj] «- к
return m и s
Сначала в этом алгоритме (строки 2-3) вычисляются величины т[г,г] <— <— 0 (г = 1,2,..., п), которые представляют собой минимальные стоимости для последовательностей единичной длины. Затем в первой итерации цикла в строках 4-12 с помощью рекуррентного соотношения (15.12) вычисляются величины m [г, г + 1] при г = 1,2,..., п — 1 (минимальные стоимости для последовательностей длины I = 2). При втором проходе этого цикла вычисляются величины m [г, г + 2] при г = 1,2,..., п — 2 (минимальные стоимости для последовательностей длины I = 3) и т.д. На каждом этапе вычисляемые в строках 9-12 величины m[i,j] зависят только от уже вычисленных и занесенных в таблицу значений т [г, А] ит[А + 1, j].
На рис. 15.3 описанный выше процесс проиллюстрирован для цепочки, состоящей из п = 6 матриц, размеры которых равны: Л1 — 30 х 35, Лг — 35 х 15, Аз — 15 х 5, А4 — 5 х 10, Л5 —10 х 20, Ле — 20 х 25. Поскольку величины т [г, j] опре-
Матрица Размерность
Ai
30x35
Л2
35 х 15
Аз
15x5
Ад
5 х 10
Аз
10x20
-Аб
20x25
тт
т
т
Рис. 15.3. Таблицы тиа, вычисленные процедурой MATRIX_CHAIN_ORDER для п = 6
делены только при г ^ j, используется только часть таблицы т, расположенная над ее главной диагональю. То же можно сказать и о таблице s. На рис. 15.3 таблица повернута так, чтобы ее главная диагональ была расположена горизонтально. В нижней части рисунка приведен список матриц, входящих в последовательность. На этой схеме легко найти минимальную стоимость т [г, J] перемножения частичной последовательности матриц АгАг_^л ...Ар Она находится на пересечении линий, идущих от матрицы At вправо и вверх, и от матрицы Aj — влево и вверх. В каждой горизонтальной строке таблицы содержатся стоимости перемножения частных последовательностей, состоящих из одинакового количества матриц. В процедуре Matrix_Chain_Order строки вычисляются снизу вверх, а элементы в каждой строке — слева направо. Величина т [г, J] вычисляется с помощью произведений Pi-iPkPj ДЛЯ к = i,i + 1,... ^j — 1 и величин внизу слева и внизу справа от m[z,j]. Из таблицы т видно, что минимальное количество скалярных умножений, необходимых для вычисления произведения шести матриц, равно т[1,6] = 15125. Для пояснения приведем пример. При вычислении элемента т[5,2] использовались пары элементов, идущие от матриц Л2 и Л5
и имеющие одинаковый оттенок фона:
' т[2,2] + т[3,5] + Р1Р2Р5 = 0 + 2500 + 35-15-20 = 13000 ,
т[2,5] = min т[2,3] + т[4,5] + Р1РзР5 = 2625 + 1000 + 35 • 5 • 20 = 7125 ,
k т[2,4] + т[5,5] + piP4Ps = 4375 + 0 + 35-10-20 = 11375
=7125 .
Несложный анализ структуры вложенных циклов в процедуре Matrix_Chain_ Order показывает, что время ее работы составляет О (п3). Глубина вложения циклов равна трем, а индексы в каждом из них (Z, гик) принимают не более п — 1 значений. В упражнении 15.2-4 предлагается показать, что время работы этого алгоритма фактически равно Q (п3). Для хранения таблиц m и s требуется объем, равный 0 (и2)- Таким образом, процедура Matrix_Chain_Order намного эффективнее, чем метод перебора и проверки всевозможных способов расстановки скобок, время работы которого экспоненциально зависит от количества перемножаемых матриц.
Четвертый этап: конструирование оптимального решения
Несмотря на то, что в процедуре Matrix_Chain_Order определяется оптимальное количество скалярных произведений, необходимых для вычисления произведения последовательности матриц, в нем не показано, как именно перемножаются матрицы. Оптимальное решение несложно построить с помощью информации, хранящейся в таблице s. В каждом элементе s [г, j] хранится значение индекса к, где при оптимальной расстановке «юбок в последовательности AtДг+1... А, выполняется разбиение. Таким образом, нам известно, что оптимальное вычисление произведения матриц Л1..п выглядит как Лх .»[1,п]Лв[1|П]+1„п- Эти частные произведения матриц можно вычислить рекурсивно, поскольку элемент s [1, s[l, п]] определяет матричное умножение, выполняемое последним при вычислении АТ-,s[i,n], a s [s[l,n] + l,n] — последнее умножение при вычислении Л8[1п]+1 -п. Приведенная ниже рекурсивная процедура выводит оптимальный способ расстановки «юбок в последовательности матриц (Лх, Лг+i,..., Aj), по таблице s, полученной в результате работы процедуры Matrix_Chain_Order, и индексам г и j. В результате вызова процедуры Print_Optimal_Parens(s, 1,п) выводится оптимальная расстановка скобок в последовательности (Лх, Лг,..., Лп):
Print_Optimal_Parens(s, г, j)
if г = j
then print “А’\
else print “(”
Print_Optimal_Parens(s, г, s [г. j])
Print_Optimal_Parens(s, s[z, j] + 1, j)
print “)”
В примере, проиллюстрированном на рис. 15.3, в результате вызова процедуры Print_Optimal_Parens(s, 1,6) выводится строка ((Ai (А2А3)) ((Л4Л5) Лб)).
Упражнения
1. Определите оптимальный способ расстановки скобок в произведении последовательности матриц, размеры которых равны (5,10,3,12,5,50,6).
2. Разработайте рекурсивный алгоритм Matrix_Chain_Multiply(Л, s, г, j), в котором оптимальным образом вычисляется произведение заданной последовательности матриц (Л1Л2,..., Лп). На вход этого алгоритма также подаются индексы г и j, а также таблица s, вычисленная с помощью процедуры Matrix_Chain_Order. (Начальный вызов этой процедуры выглядит следующим образом: MATRIX_CнAIN_MULTIPLY(Л, s, 1, п).)
3. Покажите с помощью метода подстановок, что решение рекуррентного соотношения (15.11) ведет себя как Q (2П).
4. Пусть R (i-j) — количество обращений к элементу матрицы т [г, j], которые выполняются в ходе вычисления других элементов этой матрицы в процедуре Matrix_Chain_Order. Покажите, что полное количество обращений ко всем элементам равно:
(Указание; при решении может оказаться полезным уравнение (А.З).)
5. Покажите, что в полной расстановке скобок в n-элементном выражении используется ровно п — 1 пар скобок.
Элементы динамического программирования
Несмотря на рассмотренные в предыдущем разделе два примера, в которых применялся метод динамического программирования, возможно, вам все еще не совсем понятно, когда применим этот метод. В каких случаях задачу следует решать с помощью динамического программирования? В данном разделе рассматриваются два ключевых ингредиента, которые должны быть присущи задаче
оптимизации, чтобы к ней можно было применить метод динамического программирования: наличие оптимальной подструктуры и перекрывающиеся вспомогательные программы. Мы также рассмотрим разновидность метода, который называется запоминанием (memoization) и позволяет воспользоваться свойством перекрывающихся вспомогательных программ.
Оптимальная подструктура
Первый шаг решения задачи оптимизации методом динамического программирования состоит в том, чтобы охарактеризовать структуру оптимального решения. Напомним, что оптимальная подструктура проявляется в задаче в том случае, если в ее оптимальном решении содержатся оптимальные решения вспомогательных подзадач. Если в задаче выявлено наличие оптимальной подструктуры, это служит веским аргументом в пользу того, что к ней может быть применим метод динамического программирования. (Однако наличие этого свойства может также свидетельствовать о применимости жадных алгоритмов; см. главу 16.) В динамическом программировании оптимальное решение задачи конструируется из оптимальных решений вспомогательных задач. Следовательно, необходимо убедиться в том, что в число рассматриваемых подзадач входят те, которые используются в оптимальном решении.
Оптимальная подструктура была обнаружена в обеих задачах, которые исследовались в настоящей главе. В разделе 15.1 было установлено, что самый быстрый путь до рабочего места с номером j, расположенного на одном из двух конвейеров, включает в себя самый быстрый путь до рабочего места с номером 3 — 1. В разделе 15.2 было продемонстрировано, что в оптимальной расстановке скобок, в результате которой последовательность матриц AiA^i.. .Aj разбивается на подпоследовательности между матрицами А^ и Л^+ь содержатся оптимальные решения задач о расстановке скобок в подпоследовательностях АгАщ-г.. .Ан и Ak+iAkv2 • • • Aj.
Можно видеть, что поиск оптимальной подструктуры происходит по общему образцу.
На первом этапе следует показать, что в процессе решения задачи приходится делать выбор. В рассмотренных примерах это был выбор рабочего места на конвейере или выбор индекса, при котором разбивается последовательность матриц. После выбора остается решить одну или несколько вспомогательных задач.
На этом этапе мы исходим из того, что для поставленной задачи делается выбор, ведущий к оптимальному решению. Пока что не рассматривается, как именно следует делать выбор, а просто предполагается, что он найден.
Исходя из предположения предыдущего этапа, определяется, какие вспомогательные задачи получаются и как лучше охарактеризовать получающееся в результате пространство подзадач.
Показывается, что решения вспомогательных задач, возникающих в ходе оптимального решения задачи, сами должны быть оптимальными. Это делается методом “от противного”: предполагая, что решение каждой вспомогательной задачи не оптимально, приходим к противоречию. В частности, путем “вырезания” неоптимального решения вспомогательной задачи и “вставки” оптимального демонстрируется, что можно получить лучшее решение исходной задачи, а это противоречит предположению, что уже имеется оптимальное решение. Если вспомогательных задач несколько, они обычно настолько похожи, что описанный выше способ рассуждения, примененный к одной из вспомогательных задач, легко модифицируется для остальных.
Характеризуя пространство подзадач, постарайтесь придерживаться такого практического правила: попытайтесь, чтобы это пространство было как можно проще, а потом расширьте его до необходимых пределов. Например, пространство в подзадачах, возникающих в задаче о составлении расписания работы конвейера, было образовано самым быстрым путем прохождения шасси от начала конвейера до рабочего места Si j или S2J. Это подпространство оказалось вполне подходящим, и не возникло необходимости его расширять.
Теперь предположим, что в задаче о перемножении цепочки матриц производится попытка ограничить пространство подзадач произведением вида Л1Л2... Ар Как и раньше, оптимальная расстановка скобок должна разбивать произведение между матрицами А^ и A^i для некоторого индекса 1 к < j. Если к не всегда равно j — 1, мы обнаружим, что возникают вспомогательные задачи в виде Л1Л2 ... А^ и Xfc+iXfc+2 ... Aj и что последняя подзадача не является подзадачей вида Л1Л2 ... Aj. В этой задаче необходима возможность изменения обоих концов последовательности, т.е. чтобы во вспомогательной задаче AtAi^i ...Aj могли меняться оба индекса, — и г, и j.
Оптимальная подструктура изменяется в области определения задачи в двух аспектах:
количество вспомогательных задач, которые используются при оптимальном решении исходной задачи;
количество выборов, возникающих при определении того, какая вспомогательная задача (задачи) используется в оптимальном решении.
В задаче о составлении расписания работы конвейера в оптимальном решении используется только одна вспомогательная задача, и для поиска оптимального решения необходимо рассмотрение двух вариантов. Чтобы найти самый быстрый
путь через рабочее место Si,j, мы используем либо самый быстрый путь через рабочее место Sij-i, либо самый быстрый путь через рабочее место S^j-i- Каждый из вариантов представляет одну вспомогательную задачу, для которой необходимо найти оптимальное решение. Перемножение вспомогательной цепочки матриц Л^-ц... Aj — пример, в котором возникают две вспомогательные задачи и j — г вариантов выбора. Если задана матрица Ак, у которой происходит разбиение произведения, то возникают две вспомогательные задачи — расстановка скобок в подпоследовательностях AiAi+i... Ак и Ак-цАк+2 • • • Aj, причем для каждой из них необходимо найти оптимальное решение. Как только оптимальные решения вспомогательных задач найдены, выбирается один из j — г вариантов индекса к.
Если говорить неформально, время работы алгоритма динамического программирования зависит от произведения двух множителей: общего количества вспомогательных задач и количества вариантов выбора, возникающих в каждой вспомогательной задаче. При составлении расписания работы сборочного конвейера у нас всего возникало 0 (п) вспомогательных задач и лишь два варианта выбора, которые нужно было проверить. В результате получается, что время работы алгоритма ведет себя как 0 (п). При перемножении матриц всего возникало 0 (п2) вспомогательных задач, и в каждой из них — не более п — 1 вариантов выбора, поэтому время работы алгоритма ведет себя как О (п3).
Оптимальная подструктура используется в динамическом программировании в восходящем направлении. Другими словами, сначала находятся оптимальные решения вспомогательных задач, после чего определяется оптимальное решение поставленной задачи. Поиск оптимального решения задачи влечет за собой необходимость выбора одной из вспомогательных задач, которые будут использоваться в решении полной задачи. Стоимость решения задачи обычно определяется как сумма стоимостей решений вспомогательных задач и стоимости, которая затрачивается на определение правильного выбора. Например, при составлении расписания работы сборочного конвейера сначала решались вспомогательные задачи по определению самого быстрого пути через рабочие места Si,j_i и 824-1, а потом одна из них выбиралась в качестве предыдущей для рабочего места 844. Стоимость, которая относится к самому выбору, зависит от того, происходит ли переход от одного конвейера к другому между рабочими местами j — 1 и j. Если шасси остается на одном и том же конвейере, то эта стоимость равна ajj, а если осуществляется переход от одного конвейера к другому — она равна 1414-1 4- 044, где г' / г. В задаче о перемножении цепочки матриц сначала был определен оптимальный способ расстановки скобок во вспомогательной цепочке ДЛ^^!... Aj, а потом была выбрана матрица Ак, у которой выполняется разбиение произведения. Стоимость, которая относится к самому выбору, выражается членом p4-iPkPj.
В главе 16 рассматриваются жадные алгоритмы, имеющие много общего с динамическим программированием. В частности, задачи, к которым применимы
жадные алгоритмы, обладают оптимальной подструктурой. Одно из характерных различий между жадными алгоритмами и динамическим программированием заключается в том, что в жадных алгоритмах оптимальная подструктура используется в нисходящем направлении. Вместо того чтобы находить оптимальные решения вспомогательных задач с последующим выбором одного из возможных вариантов, в жадных алгоритмах сначала делается выбор, который выглядит наилучшим на текущий момент, а потом решается возникшая в результате вспомогательная задача.
Некоторые тонкости
Следует быть особенно внимательным в отношении вопроса о применимости оптимальной подструктуры, когда она отсутствует в задаче. Рассмотрим такие две задачи, в которых имеется ориентированный граф G = (V, Е) и вершины и, v 6 V. Задача о кратчайшем невзвешенном пути1. Нужно найти путь от вершины и к вершине v, состоящий из минимального количества ребер. Этот путь обязан быть простым, поскольку в результате удаления из него цикла получается путь, состоящий из меньшего количества ребер.
Задача о самом длинном невзвешенном пути. Определите простой путь от вершины и к вершине 4), состоящий из максимального количества ребер. Требование простоты весьма важно, поскольку в противном случае можно проходить по одному и тому же циклу сколько угодно раз, получая в результате путь, состоящий из произвольного количества ребер.
В задаче о кратчайшем пути возникает оптимальная подструктура. Это можно показать с помощью таких рассуждений. Предположим, что и / v и задача является нетривиальной. В этом случае любой путь р от и к v должен содержать промежуточную вершину, скажем, w. (Заметим, что вершина w может совпадать с вершиной и или 4).) Поэтому путь и ^ v можно разложить на вспомогательные пути 41, ^ 41) % 4). Очевидно, что количество ребер, входящих в путь р, равно сумме числа ребер в путях р\ и ръ- Утверждается, что если путь р от вершины 41 к вершине 4) оптимальный (т.е. кратчайший), то р\ должен быть кратчайшим путем от вершины 41 к вершине w. Почему? Аргумент такой: если бы существовал другой путь, соединяющий вершины и и v и состоящий из меньшего количества ребер, чем рь скажем, р^, можно было бы вырезать путь р\ и вставить путь pv в результате чего получился бы путь и w и, состоящий из меньшего количества ребер, чем путь р. А это противоречит предположению об оптимальности пути р. Аналогично, р2 должен быть кратчайшим путем от вершины w
Термин “невзвешенный” используется, чтобы отличать эту задачу от той, при которой находится кратчайший путь на взвешенных ребрах, с которой мы ознакомимся в главах 24 и 25. Для решения задачи о невзвешенном пути можно использовать метод поиска в ширину, описанный в главе 26
Рис. 15.4. Пример, демонстрирующий отсутствие оптимальной подструктуры в задаче о поиске самого длинного простого пути
к вершине d. Таким образом, кратчайший путь от вершины и к вершине d можно найти, рассмотрев все промежуточные вершины w, отыскав кратчайший путь от вершины и к вершине w и кратчайший путь от вершины w к вершине v, и выбрав промежуточную вершину w, через которую весь путь окажется кратчайшим. В разделе 25.2 один из вариантов этой оптимальной подструктуры используется для поиска кратчайшего пути между всеми парами вершин во взвешенном ориентированном графе.
Напрашивается предположение, что в задаче поиска самого длинного простого невзвешенного пути тоже проявляется оптимальная подструктура. В конце концов, р если разложить самый длинный простои путь и v на вспомогательные пути и w v, то разве не должен путь pi быть самым длинным простым путем от вершины и к вершине w, а путь р2 — самым длинным простым путем от вершины w к вершине и? Оказывается, нет! Пример такой ситуации приведен на рис. 15.4. Рассмотрим путь q —> г —> t, который является самым длинным простым путем от вершины q к вершине 1. Является ли путь q —* т самым длинным путем от вершины q к вершине г? Нет, поскольку простой путь q —> s —> t —> т длиннее. Является ли путь г —* t самым длинным путем от вершины г к вершине fl Снова нет, поскольку простой путь г —* q —> s —* t длиннее.
Этот пример демонстрирует, что в задаче о самых длинных простых путях не только отсутствует оптимальная подструктура, но и не всегда удается составить “законное” решение задачи из решений вспомогательных задач. Если сложить самые длинные простые пути q —^ s —> t —> г и г —> q —> з —> f то получим путь q —* s —> t —> г —* q —* s —> t, который не является простым. Итак, на деле оказывается, что в задаче о поиске самого длинного невзвешенного пути не возникает никаких оптимальных подструктур. Для этой задачи до сих пор не найдено ни одного эффективного алгоритма, работающего по принципу динамического программирования. Фактически, это NP-полная задача, что означает — как будет показано в главе 34 — что вряд ли ее можно решить в течение полиномиального времени.
Что можно сказать по поводу структуры самого длинного простого пути, так отличающейся от структуры самого короткого пути? Несмотря на то, что
в решениях задач о поиске и самого короткого, и самого длинного пути возникают две вспомогательные задачи, вспомогательные задачи при определении самого длинного пути не являются независимыми, в то время как в задаче о кратчайшем пути они независимы. Что подразумевается под независимостью вспомогательных задач? Подразумевается, что решение одной вспомогательной задачи не влияет на решение другой вспомогательной задачи, возникающей в той же задаче. В примере, проиллюстрированном на рис. 15.4, рассматривается задача о поиске самого длинного простого пути между вершинами q и t, в которой возникают две вспомогательные задачи: определение самых длинных простых путей между вершинами q и г и между вершинами г и t. Для первой из этих вспомогательных задач выбирается путь q —> s ^ t —♦ г, в котором используются вершины s и t. Во второй вспомогательной задаче мы не сможем больше использовать эти вершины, поскольку в процессе комбинирования решений этих двух вспомогательных задач получился бы путь, который не является простым. Если во второй задаче нельзя использовать вершину t, то ее вообще невозможно будет решить, поскольку эта вершина должна быть в найденном пути, и это не та вершина, в которой “соединяются” решения вспомогательных задач (этой вершиной является г). Использование вершин s и t в решении одной вспомогательной задачи приводит к невозможности их применения в решении другой вспомогательной задачи. Однако для ее решения необходимо использовать хотя бы одну из них, а в оптимальное решение данной вспомогательной задачи входят обе эти вершины. Поэтому эти вспомогательные задачи не являются независимыми. Другими словами, использование ресурсов в решении одной вспомогательной задачи (в качестве ресурсов выступают вершины) делают их недоступными в другой вспомогательной задаче.
Почему же вспомогательные задачи остаются независимыми при поиске самого короткого пути? Ответ такой: по самой природе поставленной задачи возникающие в ней вспомогательные задачи не используют одни и те же ресурсы. Утверждается, что если вершина w находится на кратчайшем пути р от вершины и к вершине и, то можно соединить любой кратчайший путь и ^ и с любым крат- „Р2„„
чаишим путем ш —♦ и, получив в результате самый короткий путь от вершины и к вершине и. Мы уверены в том, что пути pi и р2 не содержат ни одной общей вершины, кроме w. Почему? Предположим, что имеется еще некоторая вершина ж / w, принадлежащая путям pi и р2, так что путь pi можно разложить как и -^ х —♦ w, а путь р2 — как w а; v. В силу оптимальной подструктуры этой задачи количество ребер в пути р равно сумме количеств ребер в путях pi и рг. Предположим, что путь р содержит е ребер. Теперь построим путь и ^? х ^ и от вершины и к вершине v. В этом пути содержится не более е — 2 вершин, что противоречит предположению о том, что путь р — кратчайший. Таким образом,
мы убедились, что вспомогательные задачи, возникающие в задаче поиска кратчайшего пути, являются независимыми.
Подзадачи, возникающие в задачах, которые рассматриваются в разделах 15.1 и 15.2, являются независимыми. При перемножении цепочки матриц, вспомогательные задачи заключались в перемножении подцепочек АЛ^н... А к и Ак4-1Ак^2 • • • Aj. Это непересекающиеся подцепочки, которые не могут содержать общих матриц. При составлении расписания конвейера для определения самого быстрого пути через рабочее место Si j осуществлялся поиск самого быстрого пути через рабочие места Sij-i и S2J-1- Поскольку решение (т.е. самый быстрый путь через рабочее место Si^ содержит только одно из решений этих подзадач, данная подзадача автоматически независима от всех других подзадач, использующихся в этом решении.
Перекрытие вспомогательных задач
Вторая составляющая часть, наличие которой необходимо для применения динамического программирования, заключается в том, что пространство вспомогательных задач должно быть “небольшим” в том смысле, что в результате выполнения рекурсивного алгоритма одни и те же вспомогательные задачи решаются снова и снова, а новые вспомогательные задачи не возникают. Обычно полное количество различающихся вспомогательных задач выражается как полиномиальная функция от объема входных данных. Когда рекурсивный алгоритм снова и снова обращается к одной и той же задаче, говорят, что задача оптимизации содержит перекрывающиеся вспомогательные задачи (overlapping subproblems). В отличие от описанной выше ситуации, в задачах, решаемых с помощью алгоритма разбиения, на каждом шаге рекурсии обычно возникают полностью новые задачи. В алгоритмах динамического программирования обычно используется преимущество, заключающееся в наличии перекрывающихся вспомогательных задач. Это достигается путем однократного решения каждой вспомогательной задачи с последующим сохранением результатов в таблице, где при необходимости их можно будет найти за фиксированное время.
В разделе 15.1 было показано, что в рекурсивном решении задачи о составлении расписания работы конвейера осуществляется 2n-J обращений к fi [j] для j = 1,2,..., п. Путем использования таблицы, содержащей результаты решений вспомогательных задач, экспоненциальное время работы алгоритма удается свести к линейному.
Чтобы подробнее проиллюстрировать свойство перекрывания вспомогательных задач, еще раз обратимся к задаче о перемножении цепочки матриц. Возвратимся к рис. 15.3. Обратите внимание, что процедура Matrix_Chain_Order в процессе решения вспомогательных задач в более высоких строках постоянно обращается к решениям вспомогательных задач в более низких строках. Например, к элементу т [3,4] осуществляется 4 обращения: при вычислении элементов т [2,4], т [1,4], т [3,5] и т [3,6]. Если бы элемент m [3,4] каждый раз приходилось каждый раз вычислять заново, а не просто находить в таблице, это привело бы к значительному увеличению времени работы. Чтобы продемонстрировать это, рассмотрим приведенную ниже (неэффективную) рекурсивную процедуру, в которой определяется величина т [г, j], т.е. минимальное количество скалярных умножений, необходимых для вычисления произведения цепочки матриц Ax.j = = ЛгЛ,+1... Aj. Эта процедура основана непосредственно на рекуррентном соотношении (15.12):
Recursive_Matrix_Chain(p, г, j)
if г = j
then return О
m[z,j] «— oo
for к <— г to j — 1
do g «- RECURSIVE_MaTRIX_CHA1N(p, z, к) + Recursive_Matrix_Chain(p, к + 1, j) + Pi-lPkPj
if q < m[z, j]
then m[z, j] <— q
return m[z,j]
На рис. 15.5 показано рекурсивное дерево, полученное в результате вызова процедуры Recursive_Matrix_Chain(p, 1,4). Каждый его узел обозначен величинами параметров г и j. Вычисления, которые производятся в части дерева, выделенной серым фоном, заменяются в процедуре Memoized_Matrix_Chain(p, 1,4). Обратите внимание, что некоторые пары значений встречаются много раз.
Можно показать, что время вычисления величины m [1,п] в этой рекурсивной процедуре, как минимум, экспоненциально по п. Обозначим через Т (п) время, которое потребуется процедуре Recursive_Matrix_Chain для вычисления оптимального способа расстановки скобок в цепочке, состоящей из п матриц. Если считать, что выполнение каждой из строк 1-2 и 6-7 требует как минимум единичного интервала времени, то мы получим такое рекуррентное соотношение:
Т(1)^1,
п—1
Т (п) ^ 1 + ^,(Т (к) ^Т (п - к) + 1) при n > 1.
к=1
Рис. 15.5. Рекурсивное дерево, соответствующее вызову процедуры Recur- sive_Matrix_Chain(p, 1,4)
Если заметить, что при г = 1,2,..., п — 1 каждое слагаемое Т (г) один раз появляется как Т (к) и один раз как Т (п — к), и просуммировать п — 1 единиц с той, которая стоит слева от суммы, то рекуррентное соотношение можно переписать в виде
п—1
Т (п) ^ 2^Т (г) + п. (15.13) г=1
Докажем с помощью метода подстановок, что Г (n) = Q(2n). В частности, покажем, что для всех n ^ 1 справедливо соотношение Т (п) > 2П-1. Очевидно, что базисное соотношение индукции выполняется, поскольку Т(1) ^ 1 = 2°. Далее, по методу математической индукции для п > 2 имеем
п—1 п—2
Т (п) 2 52 2i-1 + П = 2 52 2< + п = 2 (2П-1 - 1) + П = (2П - 2) + п 2n-1.
г=1 г=0
На этом доказательство завершено. Таким образом, полное количество вычислений, которые выполняются при вызове процедуры Recursive_Matrix_ Chain(p, 1,7г), как минимум, экспоненциально зависит от п.
Сравним этот нисходящий рекурсивный алгоритм с восходящим алгоритмом, построенным по принципу динамического программирования. Последний работает эффективнее, поскольку в нем используется свойство перекрывающихся вспомогательных задач. Всего возникает 0 (п2) различных вспомогательных задач, и в алгоритме, основанном на принципах динамического программирования, каждая из них решается ровно по одному разу. В рекурсивном же алгоритме каждую вспомогательную задачу необходимо решать всякий раз, когда она возникает в рекурсивном дереве. Каждый раз, когда рекурсивное дерево для обычного рекурсивного решения задачи несколько раз включает в себя одну и ту же вспомогательную
задачу, полезно проверить, нельзя ли воспользоваться динамическим программированием.
Построение оптимального решения
На практике зачастую мы сохраняем сведения о том, какой выбор делается в каждой вспомогательной программе, так что впоследствии нам не надо дополнительно решать задачу восстановления этой информации. В задаче о составлении расписания работы сборочного конвейера в элементе It [Д сохранялся номер рабочего места, предшествующего рабочему месту Sij на самом быстром пути через это рабочее место. Другая возможность — заполнить всю таблицу ft [Д. В этом случае можно было бы определить, какое рабочее место предшествует рабочему месту Sij на самом быстром пути, проходящем через рабочее место Sij, но на это потребовалось бы больше усилий. Если Д [Д = /1 [7 — 1] + Qij, то на самом быстром пути через рабочее место Sij ему предшествует рабочее место Sij-i. В противном случае должно выполняться соотношение Д [Д = Д [j — 1] + +<2j-i +01J, и рабочему месту S-^j предшествует рабочее место S2J-1- В задаче о составлении расписания работы сборочного конвейера на восстановление информации о предшествующем рабочем месте необходимо время, равное О (1) (на каждое рабочее место), даже если отсутствует таблица Ц [Д.
Однако в задаче о перемножении цепочки матриц в процессе воссоздания оптимального решения, благодаря таблице а[г,Д удается значительно уменьшить объем работы. Предположим, что таблица s [г,Д не поддерживается, а заполняется только таблица т [г, Д, в которой содержатся оптимальные стоимости вспомогательных задач. При выборе вспомогательной задачи, использующейся в оптимальном решении задачи о расстановке скобок в произведении Л,Лг+1.. .Aj, всего имеется j — г вариантов выбора, и это количество не является константой. Поэтому на восстановление сведений о том, какие вспомогательные задачи выбираются в процессе решения данной задачи, потребуется время, равное ©О' — г) = ш(1). Сохраняя в элементе з[г,Д индекс, где выполняется разбиение произведения AiAt+i.. .Aj, данные о каждом выборе можно восстановить за время О (1).
Запоминание
Одна из вариаций динамического программирования часто обеспечивает ту же степень эффективности обычного подхода динамического программирования, но при соблюдении нисходящей стратегии. Идея заключается в том, чтобы запомнить (memoize) обычный неэффективный рекурсивный алгоритм. Как и при
обычном динамическом программировании, поддерживается таблица, содержащая решения вспомогательных задач. Однако структура, управляющая заполнением таблицы, больше напоминает рекурсивный алгоритм.
В рекурсивном алгоритме с запоминанием поддерживается элемент таблицы для решения каждой вспомогательной задачи. Изначально в каждом таком элементе таблицы содержится специальное значение, указывающее на то, что данный элемент еще не заполнен. Если в процессе выполнения рекурсивного алгоритма вспомогательная задача встречается впервые, ее решение вычисляется и заносится в таблицу. Каждый раз, когда снова будет встречаться эта вспомогательная задача, в таблице находится и возвращается ее решение.
Ниже приведена версия процедуры Recursive_Matrix_Chain с запоминанием:
Memoized_Matrix_Chain(p)
п «— length\p\ — 1
for г <— 1 to п
do for j *— г to п
do m^,j] «— oo
return Lookup_Chain(p, 1, n)
Lookup_Chain(p, г, j)
if m[z,j] < oo
then return m[г, j]
if г = j
then т[г, j] ♦— 0
else for к <— i to 3' — 1
do g «- Lookup_Chain(p, г, fc)
+ LOOKUP_CHAIN(p, к + 1, j) + Pi-iPkPj
if g < т[г J]
then m[i,j] <— q
return m[i,j]
В процедуре Memoized_Matrix_Chain, как и в процедуре Matrix_Chain_Order, поддерживается таблица m [l..n, 1..п], состоящая из вычисленных значений m[z,j], которые представляют собой минимальное количество скалярных умножений, необходимых для вычисления матрицы Аг,.3. Изначально каждый элемент таблицы содержит значение оо, указывающее на то, что данный элемент еще должен быть заполнен. Если при вызове процедуры L00KUP_CHAIN(p, i, j) вы-
полняется условие m[z,j] < оо (строка 1), эта процедура просто возвращает ранее вычисленную стоимость m[z,j] (строка 2). В противном случае эта стоимость вычисляется так же, как и в процедуре Recursive_Matrix_Chain, сохраняется в элементе т [г, J], после чего возвращается. (Удобство использования значения оо для незаполненных элементов таблицы объясняется тем, что это же значение используется для инициализации элементов m [г, j] в строке 3 процедуры Recursive_Matrix_Chain.) Таким образом, процедура Lookup_Chain(p, zj) всегда возвращает значение т [г, у], но оно вычисляется лишь в том случае, если это первый вызов данной процедуры с параметрами г и j.
Рис. 15.5 иллюстрирует, насколько эффективнее процедура Memoized_ Matrix_Chain расходует время по сравнению с процедурой Recursive_Matrix_ Chain. Затененные поддеревья представляют значения, которые вычисляются только один раз. При возникновении повторной потребности в этих значениях осуществляется их поиск в хранилище.
Время работы процедуры Memoized_Matrix_Chain, как и время выполнения алгоритма Matrix_Chain_Order, построенного по принципу динамического программирования, равно О (та3). Каждая ячейка таблицы (а всего их 0 (п2)) однократно инициализируется в строке 4 процедуры Memoized_Matrix_Chain. Все вызовы процедуры Lookup_Chain можно разбить на два типа:
вызовы, в которых справедливо соотношение m^i,j] = оо и выполняются строки 3-9;
вызовы, в которых выполняется неравенство m [z, J] < оо и просто происходит возврат в строке 2.
Всего вызовов первого типа насчитывается 0 (та2), по одному на каждый элемент таблицы. Все вызовы второго типа осуществляются как рекурсивные обращения из вызовов первого типа. Всякий раз, когда в некотором вызове процедуры Lookup Chain выполняются рекурсивные обращения, общее их количество равно О (п). Поэтому в общем итоге производится О (п3) вызовов второго типа, причем на каждый из них расходуется время 0(1). На каждый вызов первого типа требуется время О (п) плюс время, затраченное на рекурсивные обращения в данном вызове первого типа. Поэтому общее время равно О (та3). Таким образом, запоминание преобразует алгоритм, время работы которого равно Q (2П), в алгоритм со временем работы О (та3).
В итоге получается, что задачу об оптимальном способе перемножения цепочки матриц можно решить либо с помощью алгоритма с запоминанием, работающего в нисходящем направлении, либо с помощью динамического программирования в восходящем направлении. При этом в обоих случаях потребуется время, равное О (п3). Оба метода используют преимущество, возникающее благодаря перекрыванию вспомогательных задач. Всего возникает только 0 (п2) различных вспомогательных задач, и в каждом из описанных выше методов решение каждой
из них вычисляется один раз. Если не применять запоминание, то время работы обычного рекурсивного алгоритма станет экспоненциальным, поскольку уже решенные задачи придется неоднократно решать заново.
В общем случае, если все вспомогательные задачи необходимо решить хотя бы по одному разу, восходящий алгоритм, построенный по принципу динамического программирования, обычно работает быстрее, чем нисходящий алгоритм с запоминанием. Причины — отсутствие непроизводительных затрат на рекурсию и их сокращение при поддержке таблицы. Более того, в некоторых задачах после определенных исследований удается сократить время доступа к таблице или занимаемый ею объем. Если же можно обойтись без решения некоторых вспомогательных задач, содержащихся в пространстве подзадач данной задачи, запоминание результатов решений обладает тем преимуществом, что решаются только необходимые вспомогательные задачи.
Упражнения
1. Как эффективнее определить оптимальное количество скалярных умножений в задаче о перемножении цепочки матриц: перечислить все способы расстановки скобок в произведении матриц и вычислить количество скалярных умножений в каждом из них или запустить процедуру Recur- sive_Matrix_Chain? Обоснуйте ответ.
2. Нарисуйте рекурсивное дерево для процедуры MERGESORT, описанной в разделе 2.3.1, работающей с массивом из 16 элементов. Объясните, почему для повышения производительности работы хорошего алгоритма разбиения, такого как Merge_Sort, использование запоминания не будет эффективным.
3. Рассмотрим разновидность задачи о перемножении цепочки матриц, цель которой — так расставить скобки в последовательности матриц, чтобы количество скалярных умножений стало не минимальным, а максимальным. Проявляется ли в этой задаче оптимальная подструктура?
4. Опишите, какие перекрывающиеся вспомогательные задачи возникают при составлении расписания работы конвейера.
5. Согласно сделанному выше утверждению, в динамическом программировании сначала решаются вспомогательные задачи, а потом выбираются те из них, которые будут использованы в оптимальном решении задачи. Профессор утверждает, что не всегда необходимо решать все вспомогательные задачи, чтобы найти оптимальное решение. Он выдвигает предположение, что оптимальное решение задачи о перемножении цепочки матриц можно найти, всегда выбирая матрицу Ак, после которой следует разбивать произведение АгА^ .. .Aj (индекс к выбирается
так, чтобы минимизировать величину pi-ipi-pj) перед решением вспомогательных задач. Приведите пример задачи о перемножении цепочки матриц, в котором такой жадный подход приводит к решению, отличному от оптимального.
Самая длинная общая подпоследовательность
В биологических приложениях часто возникает необходимость сравнить ДНК двух (или большего количества) различных организмов. Стандартная ДНК состоит из последовательности молекул, которые называются основаниями (bases). К этим молекулам относятся: аденин (adenine), гуанин (guanine), цитозин (cytosine) и тимин (thymine). Если обозначить каждое из перечисленных оснований его начальной буквой латинского алфавита, то стандартную ДНК можно представить в виде строки, состоящей из конечного множества элементов (Л, С, G, Т}. (Определение строки см. в приложении В.) Например, ДНК одного организма может иметь вид Si = ACCGGTCGAGTGCGCGGAAGCCGGCCGAA, а ДНК другого - Si = GTCGTTCGGAATGCCGTTGCTCTGTAAA. Одна из целей сравнения двух ДНК состоит в том, чтобы выяснить степень их сходства. Это один из показателей того, насколько тесно связаны между собой два организма. Степень подобия можно определить многими различными способами. Например, можно сказать, что два кода ДНК подобны, если один из них является подстрокой другого. (Алгоритмы, с помощью которых решается эта задача, исследуются в главе 32.) В нашем примере ни Si, ни Si не является подстрокой другой ДНК. В этом случае можно сказать, что две цепочки молекул подобны, если для преобразования одной из них в другую потребовались бы только небольшие изменения. (Такой подход рассматривается в задаче 15-3.) Еще один способ определения степени подобия последовательностей Si и Si заключается в поиске третьей последовательности S3, основания которой имеются как в Si, так и в Si; при этом они следуют в одном и том же порядке, но не обязательно одно за другим. Чем длиннее последовательность S3, тем более схожи последовательности Si и Si- В рассматриваемом примере самая длинная последовательность S3 имеет вид GTCGTCGGAAGCCGGCCGAA.
Последнее из упомянутых выше понятий подобия формализуется в виде задачи о самой длинной общей подпоследовательности. Подпоследовательность данной последовательности — это просто данная последовательность, из которой удалили ноль или больше элементов. Формально последовательность Z = = (21,22,...,^) является подпоследовательностью (subsequence) последовательности X = (zi,$2> • • • > ^т), если существует строго возрастающая последовательность (zi, ii,..., i^ индексов X, такая что для всех j = 1,2,..., к выполняется соотношение ж^. = Zj. Например, Z = (В, С, D, В^ — подпоследовательность
последовательности X = (Л, В, С, В, В, Л, В), причем соответствующая ей последовательность индексов имеет вид (2,3,5, 7).
Говорят, что последовательность Z является общей подпоследовательностью (common subsequence) последовательностей X и У, если Z является подпоследовательностью как X) так и У. Например, если X = (Л, В, С, В, Д В) и У = = (В, В, С, Л, В, Л), то последовательность (В, С, Л) — общая подпоследовательность X и У. Однако последовательность (В, С, Л) — не самая длинная общая подпоследовательность X и У, поскольку ее длина равна 3, а длина последовательности (В, С, В, Л), которая тоже является общей подпоследовательностью X и У, равна 4. Последовательность (В, С, В, Л) — самая длинная общая подпоследовательность (longest common subsequence, LCS) последовательностей X и У, как и последовательность (В, В, Л, В), поскольку не существует общей подпоследовательности длиной 5 элементов или более.
В задаче о самой длинной общей подпоследовательности даются две последовательности X = ($i, #2, • • •, xm) и У = (yi, у2, • • •, Уп)> и требуется найти общую подпоследовательность X и У максимальной длины. В данном разделе показано, что эта задача эффективно решается методом динамического программирования.
Этап 1: характеристика самой длинной общей подпоследовательности
Решение задачи поиска самой длинной общей подпоследовательности “в лоб” заключается в том, чтобы пронумеровать все подпоследовательности последовательности X и проверить, являются ли они также подпоследовательностями У, пытаясь отыскать при этом самую длинную из них. Каждая подпоследовательность последовательности X соответствует подмножеству индексов {1,2,..., т} последовательности X. Всего имеется 2771 подпоследовательностей последовательности X, поэтому время работы алгоритма, основанного на этом подходе, будет экспоненциально зависеть от размера задачи, и для длинных последовательностей он становится непригодным.
Однако задача поиска самой длинной общей подпоследовательности обладает оптимальной подструктурой. Этот факт доказывается в сформулированной ниже теореме. Как мы увидим, естественно возникающие классы вспомогательных задач соответствуют парам “префиксов” двух входных последовательностей. Дадим точное определение этого понятия: г-м префиксом последовательности X = = (^1)^2) • • •, ^т) Для г = 1,2, ...,т является подпоследовательность Xi = = (xi, Ж2> • • • > ^tY Например, если X = (Л, В, С, В, В, Л, В), то Х4 = (Л, В, С, В), а Хо — пустая последовательность.
Теорема 15.1 (Оптимальная подструктура LCS). Пусть имеются последовательности X = (^1,^2,...,^) и У = (,уъу2,...,уп^а Z = (zi^.-.^k) -™ самая длинная общая подпоследовательность.
Если Хт = уп, то Zk = хт = у1г и Zk-i — LCS последовательностей Хт_\ ^Yn-^
Если Хт т^ уП) то из Zk т^ хт следует, что Z — самая длинная общая подпоследовательность последовательностей Хт-1 и Y.
Если Хт + Ут то из Zk + уп следует, что Z — самая длинная общая подпоследовательность последовательностей X и Y3X_\.
Доказательство. (1) Если бы выполнялось соотношение Zk / Хт, то к последовательности Z можно было бы добавить элемент хт = у1Х. в результате чего получилась бы общая подпоследовательность последовательностей X и Y длиной k + 1, а это противоречит предположению о том, что Z — самая длинная общая подпоследовательность последовательностей X и У. Таким образом, должно выполняться соотношение Zk = хт = Ут Таким образом, префикс Zk-i — общая подпоследовательность последовательностей Хт-1 и У?г-1 длиной к — 1. Нужно показать, что это самая длинная общая подпоследовательность. Проведем доказательство методом от противного. Предположим, что имеется общая подпоследовательность W последовательностей Хт-1 и Уп-ь длина которой превышает к — 1. Добавив к W элемент хт = уХ1) получим общую подпоследовательность последовательностей X и У, длина которой превышает к, что приводит к противоречию.
Если Zk / хт, то Z — общая подпоследовательность последовательностей Хт-\ и У. Если бы существовала общая подпоследовательность W последовательностей Xm-i и У, длина которой превышает к, то она была бы также общей подпоследовательностью последовательностей Хт = X и У, что противоречит предположению о том, что Z — самая длинная общая подпоследовательность последовательностей X и У.
Доказательство этого случая аналогично доказательству случая (2) с точностью до замены элементов последовательности X соответствующими элементами последовательности У. а
И теоремы 15.1 видно, что самая длинная общая подпоследовательность двух последовательностей содержит в себе самую длинную общую подпоследовательность их префиксов. Таким образом, задача о самой длинной общей подпоследовательности обладает оптимальной подструктурой. В рекурсивном решении этой задачи также возникают перекрывающиеся вспомогательные задачи, но об этом речь пойдет в следующем разделе.
Этап 2: рекурсивное решение
Из теоремы 15.1 следует, что при нахождении самой длинной общей подпоследовательности последовательностей X = (a?i, Ж2,..., хш) и У = (уь У2> • • ч Ун) возникает одна или две вспомогательные задачи. Если хт = уп, необходимо найти самую длинную общую подпоследовательность последовательностей Хт_\ и ¥т-1* Добавив к ней элемент хт = уп, получим LCS последовательностей X и Y. Если хт / уп, необходимо решить две вспомогательных задачи: найти самые LSC последовательностей Хт_\ viY,a также последовательностей X и Уп-1. Какая из этих двух подпоследовательностей окажется длиннее, та и будет самой длинной общей подпоследовательностью последовательностей X и Y.
В задаче поиска самой длинной общей подпоследовательности легко увидеть проявление свойства перекрывающихся вспомогательных задач. Чтобы найти LCS последовательностей X и Y, может понадобиться найти LCS последовательностей Хш_1 и У, а также LCS X и Уп-1. Однако в каждой из этих задач возникает задача о поиске LCS последовательностей Xm-i и Уп-1. Общая вспомогательная задача возникает и во многих других подзадачах.
Как и в задаче о перемножении цепочки матриц, в рекурсивном решении задачи о самой длинной общей подпоследовательности устанавливается рекуррентное соотношение для значений, характеризующих оптимальное решение. Обозначим через c^j] длину самой длинной общей подпоследовательности последовательностей Xi и Yj. Если г = О или j = 0, длина одной из этих последовательностей равна нулю, поэтому самая длинная их общая подпоследовательность имеет нулевую длину. Оптимальная вспомогательная подструктура задачи о самой длинной общей подпоследовательности определяется формулой:
{Оприг = О или j = О,
(15.14)(15.14)с [г - 1, j - 1] + 1приг, 3 > 0 и Xi = yj,
(15.14)
(15.14)
max (с [г, j — 1], с[г — l,j]) при i,j > 0 и Xi / у3.
Обратите внимание, что в этой рекурсивной формулировке условия задачи ограничивают круг рассматриваемых вспомогательных задач. Если Xi = yj, можно и нужно рассматривать вспомогательную задачу поиска самой длинной общей подпоследовательности последовательностей Xi-i и Уу-ь В противном случае рассматриваются две вспомогательные задачи по поиску LCS последовательностей Xi и Yj-у, а также последовательностей Xi-i и Yj. В рассмотренных ранее алгоритмах, основанных на принципах динамического программирования (для задач о составлении расписания работы сборочного конвейера и о перемножении цепочки матриц), выбор вспомогательных задач не зависел от условий задачи. Задача о поиске LCS не единственная, в которой вид возникающих вспомогательных задач определяется условиями задачи. В качестве другого подобного примера можно привести задачу о расстоянии редактирования (см. задачу 15-3).
Этап 3: вычисление длины самой длинной общей подпоследовательности
На основе уравнения (15.14) легко написать рекурсивный алгоритм с экспоненциальным временем работы, предназначенный для вычисления длины LCS двух последовательностей. Однако благодаря наличию всего лишь 0 (mn) различных вспомогательных задач можно воспользоваться динамическим программированием для вычисления решения в восходящем направлении.
В процедуре LCS_Length в роли входных данных выступают две последовательности X = ($1, a?2,..., жт) и У = (yi,У2, • • •, Уп)- Величины с [г, j] хранятся в таблице c[0..m,0..n], элементы которой вычисляются по строкам (т.е. сначала слева направо заполняется первая строка, затем — вторая и т.д.). В процедуре также поддерживается таблица b [l..m, l..n], благодаря которой упрощается процесс построения оптимального решения. Наглядный смысл элементов b[i,j] состоит в том, что каждый из них указывает на элемент таблицы, соответствующий оптимальному решению вспомогательной задачи, выбранной при вычислении элемента с [г, j]. Процедура возвращает таблицы b и с; в элементе c[m,n] хранится длина LCS последовательностей X и У.
LCS_Length(X, У)
тп *— length. [X]
п«— length^Y]
for г«— 1 to m
do с[г, 0] «— О
for j «— 0 to n
do c[0,j] «— 0
for г <- 1 to m
891011121314151617891011121314151617do for j «— 1 to n
8
9
10
11
12
13
14
15
16
17
8
9
10
11
12
13
14
15
16
17
do if $t = yj
then с[г, j] «— с[г — 1, j — 1] + 1
Цм] - “\”
else if с[г - 1, j] > с[г, j - 1]
then c[ij] «- с[г - 1, j]
j] “T”
else с[г, j] «- с[г, j - 1]&[m] -
return с и b
На рис. 15.6 показаны таблицы, полученные в результате выполнения процедуры LCS_Length с входными последовательностями X = (Л, В, С, В, D,A,B)hY = = (В, D, С, А, В, Л). Время выполнения процедуры равно О (тп), поскольку на вычисление каждого элемента таблицы требуется время, равное 0(1). Квадрат,
Рис. 15.6. Таблицы с и Ь, которые возвращаются процедурой LCS_Length для входных последовательностей X = = {A,B,C,B,D,A,B') и У = (B,D,C, А, В, Д')
который находится на пересечении строки г и столбца j, содержит значение с [г, у] и соответствующую стрелку, выступающую в роли значения Ь[м]- Элемент 4, который является значением содержащегося в правом нижнем углу элемента с [7,6], — длина самой длинной общей подпоследовательности последовательностей X и У (в данном случае это (В, С, В, Л)). При i,j > 0 элемент с [г, j] зависит только от того, выполняется ли соотношение х^ = у?, и от значений элементов с [г — 1, j], с [г, j — 1] и с [г — 1, j — 1], которые вычисляются перед значением с [г, j]. Чтобы восстановить элементы, из которых состоит самая длинная общая подпоследовательность, проследуем по стрелочкам b [г, j], ведущим из правого нижнего угла. Полученный путь обозначен затенением серого цвета. Каждый элемент “\” на этом пути соответствует (выделенному цветом) элементу, для которого it = Уз является элементом самой длинной общей подпоследовательности.
Этап 4: построение самой длинной общей
подпоследовательности
С помощью таблицы Ь, которая возвращается процедурой LCS_Length, можно быстро сконструировать самую длинную общую подпоследовательность последовательностей X = (ж1,Ж2> • • •,жт) и У = (yi,y2, • • • ,Уп)- Мы просто начинаем с элемента Ь[т, п] и проходим таблицу по стрелкам. Если значением элемента Ь[м] является “\”, то элемент xt = у, принадлежит самой длинной
общей подпоследовательности. Элементы LCS, восстановленные этим методом, следуют в обратном порядке. Приведенная ниже рекурсивная процедура выводит элементы самой длинной общей подпоследовательности последовательностей Л" и У в прямом порядке. Начальный вызов этой процедуры выглядит как Print_LCS(6, X, length [X], length [У]):
Print_LCS(6, X,iJ)
if г = О или j = О
then return
if b[?J] = “\”
then Print_LCS(6, X, i - 1, j — 1)
elseif b[ij] = “Г
then PRlNT_LCS(b, X, г - 1, j)
else Print_LCS(6, X, i, j - 1)
Для таблицы b, изображенной на рис. 15.6, эта процедура выводит последовательность “ВС В А”. Время работы процедуры равно О (т 4- п), поскольку хотя бы один из индексов г или j уменьшается на каждой стадии рекурсии.
Улучшение кода
После разработки алгоритма часто оказывается, что можно улучшить время его работы или объем требуемой им памяти. Особенно это справедливо в отношении незамысловатых алгоритмов, основанных на принципах динамического программирования. Некоторые изменения могут упростить код и уменьшить постоянный множитель, но не приводят к повышению производительности в асимптотическом пределе. Другие же могут вызвать существенное асимптотическую экономию времени и пространства.
Например, можно обойтись без таблицы Ъ. Каждый элемент с [г, j] зависит только от трех других элементов этой же таблицы: с [г — l,j — 1], с [г — l,j] и с [г, j — 1]. Для данного элемента с [г, J] в течение времени О (1) можно определить, какое из этих трех значений было использовано для вычисления c[z,j], не прибегая к таблице Ь. Таким образом, самую длинную общую подпоследовательность можно восстановить в течение времени О (т 4- п). Для этого понадобится процедура, подобная процедуре PrintLCS (такую процедуру предлагается составить в упражнении 15.4-2). Несмотря на то, что в этом методе экономится объем памяти, равный 0 (mn), асимптотически количество памяти, необходимой для вычисления самой длинной общей подпоследовательности, не изменяется. Это объясняется тем, что таблица с все равно требует 0 (тп) памяти.
Однако можно уменьшить объем памяти, необходимой для работы процедуры PrintJLCS, поскольку одновременно нужны лишь две строки этой таблицы:
вычисляемая и предыдущая. (Фактически для вычисления длины самой длинной общей подпоследовательности можно обойтись пространством, лишь немного превышающим объем, необходимый для одной строки матрицы с — см. упражнение 15.4-4.) Это усовершенствование работает лишь в том случае, когда нужно знать только длину самой длинной общей подпоследовательности. Если же необходимо воссоздать элементы этой подпоследовательности, такая “урезанная” таблица содержит недостаточно информации для того, чтобы проследить обратные шаги в течение времени О (т + п).
Упражнения
1. Определите самую длинную общую подпоследовательность последовательностей (1,0,0,1,0,1,0,1) и (0,1,0,1,1,0,1,1,0).
2. Покажите, как в течение времени О (т + п) воссоздать самую длинную общую подпоследовательность, не используя при этом таблицу Ь, если имеется таблица с и исходные последовательности X = (o;i,X2,..., ^m) и У = (У1,У2,.-.,Уп).
3. Приведите версию процедуры LCSLength с запоминанием, время работы которой равно О (тп).
4. Покажите, как вычислить длину самой длинной общей подпоследовательности, используя при этом всего 2 • min (m, п) элементов таблицы с плюс О (1) дополнительной памяти. Затем покажите, как это же можно сделать с помощью min (m, п) элементов таблицы и О (1) дополнительной памяти.
5. Приведите алгоритм, предназначенный для вычисления самой длинной монотонно неубывающей подпоследовательности данной последовательности, состоящей из п чисел. Время работы алгоритма должно быть равно О (тг2).
* 15.4-6. Приведите алгоритм, предназначенный для вычисления самой длинной монотонно неубывающей подпоследовательности данной последовательности, состоящей из п чисел. Время работы алгоритма должно быть равно O(nlgn). (Указание: обратите внимание, что последний элемент кандидата в искомую подпоследовательность по величине не меньше последнего элемента кандидата длиной г — 1.)
15.5 Оптимальные бинарные деревья поиска
Предположим, что разрабатывается программа, предназначенная для перевода текстов с русского языка на украинский. Для каждого русского слова необходимо найти украинский эквивалент. Один из возможных путей поиска — построение
бинарного дерева поиска с п русскими словами, выступающими в роли ключей, и украинскими эквивалентами, играющими роль сопутствующих данных. Поскольку поиск с помощью этого дерева будет производиться для каждого отдельного слова из текста, полное затраченное на него время должно быть как можно меньше. С помощью красно-черного дерева или любого другого сбалансированного бинарного дерева поиска можно добиться того, что время каждого отдельного поиска будет равным O(lgn). Однако слова встречаются с разной частотой, и может получиться так, что какое-нибудь часто употребляемое слово (например, предлог или союз) находится далеко от корня, а такое редкое слово, как “контрвстреча”, — возле корня. Такой способ организации привел бы к замедлению перевода, поскольку количество узлов, просмотренных в процессе поиска ключа в бинарном дереве, равно увеличенной на единицу глубине узла, содержащего данный ключ. Нужно сделать так, чтобы слова, которые встречаются в тексте часто, были размещены поближе к корню. Кроме того, в исходном тексте могут встречаться слова, для которых перевод отсутствует. Таких слов вообще не должно быть в бинарном дереве поиска. Как организовать бинарное дерево поиска, чтобы свести к минимуму количество посещенных в процессе поиска узлов, если известно, с какой частотой встречаются слова?
Необходимая нам конструкция известна как оптимальное бинарное дерево поиска (optimal binary search tree). Приведем формальное описание задачи. Имеется заданная последовательность К = (fci, k^,..., fcn), состоящая из п различных ключей, которые расположены в отсортированном порядке (так что ky < к^ < < • • • < кп). Из этих ключей нужно составить бинарное дерево поиска. Для каждого ключа кг задана вероятность р, поиска этого ключа. Кроме того, может выполняться поиск значений, отсутствующих в последовательности К, поэтому следует предусмотреть n +1 фиктивных ключей (do, di,. • •, d^, представляющих эти значения. В частности, do представляет все значения, меньшие ki, a dn — все значения, превышающие кп. Фиктивный ключ di (г = 1,2,..., п — 1) представляет все значения, которые находятся между кг и kt+i- Для каждого фиктивного ключа di задана соответствующая ей вероятность qi. На рис. 15.7 показаны два бинарных дерева поиска для множества, состоящего из п = 5 ключей. Каждый ключ кг представлен внутренним узлом, а каждый фиктивный ключ di является листом. Поиск может быть либо успешным (найден какой-то ключ к^, либо неудачным (возвращается какой-то фиктивный ключ di), поэтому справедливо соотношение
пп
5> + £> = L(15.15)
г=1г=0
Вероятности, соответствующие внутренним узлам pi и листьям qi, приведены в табл. 15.1.
Поскольку вероятность поиска каждого обычного и фиктивного ключа считается известной, можно определить математическое ожидание стоимости поиска
Таблица 15.1. Вероятности поиска ключей в узлах бинарного дерева
г
0
1
2
3
4
5
Pi
0,15
0,10
0,05
0,10
0,20
qi
0,05
0,10
0,05
0,05
0,05
0,10
Рис. 15.7. Два бинарных дерева поиска для множества из 5 элементовРис. 15.7. Два бинарных дерева поиска для множества из 5 элементов
Рис. 15.7. Два бинарных дерева поиска для множества из 5 элементов
Рис. 15.7. Два бинарных дерева поиска для множества из 5 элементов
по заданному бинарному дереву поиска Т. Предположим, что фактическая стоимость поиска определяется количеством проверенных узлов, т.е. увеличенной на единицу глубиной узла на дереве Т, в котором находится искомый ключ. Тогда математическое ожидание стоимости поиска в дереве Т равно
п
Е [Стоимость поиска в Т] = 52 (depthT (kt) + 1) • pt*
1=1
п
+ У2 (depthT (di) + 1) • qi =
i=\(15.16)
= 1 + ^2 depthT (ki) • Pt+i=l
71
+ £ depthT (di) • qi,
i=0
где величина depthT () обозначает глубину узла в дереве Т. Последнее равенство следует из уравнения (15.15). В табл. 15.2 вычисляется математическое ожидание стоимости поиска для бинарного дерева, изображенного на рис. 15.7а.
Наша цель — построить для данного набора вероятностей бинарное дерево поиска, математическое ожидание стоимости поиска для которого будет
Таблица 15.2. Вычисление математического ожидания стоимости поиска
Узел
Глубина
Вероятность
Вклад
^1
1
0,15
0,30
^2
0
0,10
0,10
кз
2
0,05
0,15
к4
1
0,10
0,20
кз
2
0,20
0,60
do
2
0,05
0,15
di
2
0,10
0,30
d2
3
0,05
0,20
йз
3
0,05
0,20
d4
3
0,05
0,20
ds
3
0,10
0,40
Всего
2,80
минимальным. Такое дерево называется оптимальным бинарным деревом поиска. На рис. 15.76 показано оптимальное бинарное дерево поиска для вероятностей, заданных в табл. 15.1. Математическое ожидание поиска в этом дереве равно 2.75. Этот пример демонстрирует, что оптимальное бинарное дерево поиска — это не обязательно дерево минимальной высоты. Кроме того, в оптимальном дереве ключ, которому соответствует максимальная вероятность, не всегда находится в корне. В данном случае вероятность имеет самую большую величину для ключа к^ хотя в корне оптимального бинарного дерева расположен ключ к^. (Минимальная величина математического ожидания для всевозможных бинарных деревьев поиска, в корне которых находится ключ ^5, равна 2.85.)
Как и в задаче о перемножении цепочки матриц, последовательный перебор всех возможных деревьев в данном случае оказывается неэффективным. Чтобы сконструировать бинарное дерево поиска, можно обозначить ключами ^1,^2,- -^п узлы бинарного дерева с п узлами, а затем добавить листья для фиктивных ключей. В задаче 12-4 было показано, что количество бинарных деревьев с п узлами равно Q (4п/тг3/2), так что количество бинарных деревьев, которые надо проверять при полном переборе, растет экспоненциально с ростом п. Не удивительно, что эта задача будет решаться методом динамического программирования.
Этап 1: структура оптимального бинарного дерева поиска
Чтобы охарактеризовать оптимальную подструктуру оптимального бинарного дерева поиска, исследуем его поддеревья. Рассмотрим произвольное поддерево бинарного дерева поиска. Оно должно содержать ключи, которые составляют непрерывный интервал kt,...,kj для некоторых 1 ^ г ^ j ^ п. Кроме того, такое поддерево должно также содержать в качестве листьев фиктивные ключи ^г—1) • • •) dj.
Теперь можно сформулировать оптимальную подструктуру: если в состав оптимального бинарного дерева поиска Т входит поддерево Т, содержащее ключи к{,..., kj, то это поддерево тоже должно быть оптимальным для вспомогательной подзадачи с ключами к{,... ,kj и фиктивными ключами d[_i,...,dj. Для доказательства этого утверждения применяется обычный метод “вырезания и вставки”. Если бы существовало поддерево Т", математическое ожидание поиска в котором ниже, чем математическое ожидание поиска в поддереве Т, то из дерева Т можно было бы вырезать поддерево Г' и подставить вместо него поддерево Т". В результате получилось бы дерево, математическое ожидание времени поиска в котором оказалось бы меньше, что противоречит оптимальности дерева Т.
Покажем с помощью описанной выше оптимальной подструктуры, что оптимальное решение задачи можно воссоздать из оптимальных решений вспомогательных задач. Если имеется поддерево, содержащее ключи к^ ..., kj, то один из этих ключей, скажем, кт (г ^ г ^ j) будет корнем этого оптимального поддерева. Поддерево, которое находится слева от корня кг, будет содержать ключи ki,..., kr-i (и фиктивные ключи d{-i, ... dT-i\ а правое поддерево — ключи fcr+i,... ,kj (и фиктивные ключи dr,.... dj). Как только будут проверены все ключи кт (где г ^ г ^ j), которые являются кандидатами на роль корня, и найдем оптимальные бинарные деревья поиска, содержащие элементы ki,..., kT-i и кт-^1^..., kj, мы гарантированно построим оптимальное бинарное дерево поиска.
Стоит сделать одно замечание по поводу “пустых” поддеревьев. Предположим, что в поддереве с ключами ki,...,kj в качестве корня выбран ключ к^ Согласно приведенным выше рассуждениям, поддерево, которое находится слева от корня кг, содержит ключи кг,..., kt-г. Естественно интерпретировать эту последовательность как такую, в которой не содержится ни одного ключа. Однако следует иметь в виду, что поддеревья содержат помимо реальных и фиктивные ключи. Примем соглашение, согласно которому поддерево, состоящее из ключей кг,..., кг-1, не содержит обычных ключей, но содержит один фиктивный ключ d{-i. Аналогично, если в качестве корня выбран ключ kj, то правое поддерево не содержит обычных ключей, но содержит один фиктивный ключ dj.
Этап 2: рекурсивное решение
Теперь все готово для рекурсивного определения оптимального решения. В качестве вспомогательной задачи выберем задачу поиска оптимального бинарного дерева поиска, содержащего ключи ki,..., kj, где г ^ 1, j^naj^i — 1 (если з = г — 1, то фактических ключей не существует, имеется только фиктивный ключ dj-i). Определим величину е [г, j] как математическое ожидание стоимости поиска в оптимальном бинарном дереве поиска с ключами ki, ..., kj. В конечном итоге нужно вычислить величину е [1,п].
Если j = г — 1, то все просто. В этом случае имеется всего один фиктивный ключ di-i, и математическое ожидание стоимости поиска равно е [г, г — 1] = %_i.
Если j ^ г, то среди ключей ki,..., kj нужно выбрать корень кт, а потом из ключей кг,..., А:Г-1 составить левое оптимальное бинарное дерево поиска, а из ключей A:r+i,..., kj — правое оптимальное бинарное дерево поиска. Что происходит с математическим ожиданием стоимости поиска в поддереве, когда оно становится поддеревом какого-то узла? Глубина каждого узла в поддереве возрастает на единицу. Согласно уравнению (15.16), математическое ожидание стоимости поиска в этом поддереве возрастает на величину суммы по всем вероятностям поддерева. Обозначим эту сумму вероятностей, вычисленную для поддерева с ключами ki,..., kj, так:
j j
w(m) = 2LPz + ^ Qb(15.17)
l=il=i—1
Таким образом, если кт — корень оптимального поддерева, содержащего ключи ki,..., kj, то выполняется соотношение
е [г, j] = рг + (е[г,г — 1] +w(i,r- 1)) + (е [г + 1 J] + ы (г + 1 J)).
Заметив, что
w (i,f) = w (г,г - 1) +pr + w(r + 1, j), выражение для величины е [г, j] можно переписать так:
е [г, j] = е[г,г - 1] + е [г+ 1, j] + w (г, j).(15.18)
при j = г — 1, при г j.при j = г — 1, при г j.(15.19)(15.19)Рекурсивное соотношение (15.18) предполагает, что нам известно, какой узел кт используется в качестве корня. На эту роль выбирается ключ, который приводит к минимальному значению математического ожидания стоимости поиска. С учетом этого получаем окончательную рекурсивную формулу:
при j = г — 1, при г j.
при j = г — 1, при г j.
(15.19)
(15.19)
Vi-l
min (е [г, г — 1] + е [г + 1, Л + w (г, j)}
Величины е [г, j] — это математическое ожидание стоимостей поиска в оптимальных бинарных деревьях поиска. Чтобы было легче следить за структурой оптимального бинарного дерева поиска, обозначим через root [г, j] (где 1 < г < ^ j ^ п) индекс г узла кт, который является корнем оптимального бинарного дерева поиска, содержащего ключи ki,..., kj. Скоро мы узнаем, как вычисляются величины root [г, J], а способ восстановления из этих величин оптимального бинарного дерева поиска оставим до того момента, когда придет время выполнить упражнение 15.5-1.
Этап 3: вычисление математического ожидания стоимости поиска в оптимальном бинарном дереве поиска
На данном этапе некоторые читатели, возможно, заметили некоторое сходство между характеристиками задач об оптимальных бинарных деревьях поиска и о перемножении цепочки матриц. Во вспомогательных задачах обеих задач индексы элементов изменяются последовательно. Прямая рекурсивная реализация уравнения (15.19) может оказаться такой же неэффективной, как и прямая рекурсивная реализация алгоритма в задаче о перемножении цепочки матриц. Вместо этого будем сохранять значения e^j] в таблице е [1..п + 1,0..п]. Первый индекс должен пробегать не n, а n + 1 значений. Это объясняется тем, что для получения поддерева, в который входит только фиктивный ключ dn, понадобится вычислить и сохранить значение е[п + 1,п]. Второй индекс должен начинаться с нуля, поскольку для получения поддерева, содержащего лишь фиктивный ключ do, нужно вычислить и сохранить значение е [1,0]. Мы будем использовать только те элементы e^j], для которых j ^ г — 1. Кроме того, будет использована таблица root [г, j], в которую будут заноситься корни поддеревьев, содержащих ключи kt,... ,kj. В этой таблице задействованы только те записи, для которых 1 i 3
Для повышения эффективности понадобится еще одна таблица. Вместо того чтобы каждый раз при вычислении e^i,j] вычислять значения w(i,j) “с нуля”, для чего потребуется 0 (j — г) операций сложения, будем сохранять эти значения в таблице w [l..n + 1,0..п]. В базовом случае вычисляются величины w [г, г — 1] = = qt-1 для 1 ^ г ^ n + 1. Для j ^ г вычисляются величины
w [г,;] = w [г, j - 1] + pj + д,.(15.20)
Таким образом, каждое из 0 (п2) значений матрицы w [г, j] можно вычислить за время 0 (1).
Ниже приведен псевдокод, который принимает в качестве входных данных вероятности pi,... ,рп и до,..., дп и размер п и возвращает таблицы е и root.
OPTIMAL_BST(р, q, 7г)
12345678910111213141234567891011121314for z 1 to тг + 1
1
2
3
4
5
6
7
8
9
10
11
12
13
14
1
2
3
4
5
6
7
8
9
10
11
12
13
14
do е[г,г — 1] «— Qi-i
w[z, г — 1] «— 9,_i
for I 1 to n
do for г <— 1 to тг — Z + 1
do j <— г + Z — 1 е[м] «- oo w[z, j] «- w[z, j - 1] + pi + qj for r i to j
do t e[z,r — 1] + e[r + 1, j] + w^j]if t < e[zj]then e^i.j] <— t
root^,j] r
return e и root
Благодаря приведенному выше описанию и аналогии с процедурой Matrix_ Chain_Order, описанной в разделе 15.2, работа представленной выше процедуры должна быть понятной. Цикл for в строках 1-3 инициализирует значения е [г, г — 1] и w [г, г — 1]. Затем в цикле for в строках 4-13 с помощью рекуррентных соотношений (15.19) и (15.20) вычисляются элементы матриц е [г, у] и w [г, у] для всех индексов 1 < г ^ j ^ п. В первой итерации, когда Z = 1, в этом цикле вычисляются элементы е [г, г] и w [г, г] для г = 1,2,..., тг. Во второй итерации, когда I = 2, вычисляются элементы е [г, г + 1] и w [г, г + 1] для г = 1,2, ...,п—1и т.д. Во внутреннем цикле for (строки 9-13) каждый индекс г апробируется на роль индекса корневого элемента кт оптимального бинарного дерева поиска с ключами ki,...,kj. В этом цикле элементу root [z, j] присваивается то значение индекса г, которое подходит лучше всего.
На рис. 15.8 показаны таблицы е [z, j], w [г, j] и root [г, j], вычисленные с помощью процедуры OptimalBST для распределения ключей из табл. 15.1. Как и в примере с перемножением цепочки матриц, таблицы повернуты так, чтобы диагонали располагались горизонтально. В процедуре OPTIMALBST строки вычисляются снизу вверх, а в каждой строке заполнение элементов производится слева направо.
Время выполнения процедуры OPTIMAL BST, как и время выполнения процедуры MatrixChainOrder, равно 0(п3). Легко увидеть, что время работы составляет О (тг3), поскольку циклы for этой процедуры трижды вложены друг в друга, и индекс каждого цикла принимает не более тг значений. Далее, индексы циклов в процедуре Optimal BST изменяются не в тех же пределах, что и индексы циклов в процедуре MatrixChainOrder, но во всех направлениях они принимают по крайней мере одно значение. Таким образом, процедура Optimal BST, как и процедура Matrix Chain Order, выполняется в течение времени Q (тг3).
госИ
Рис. 15.8. Таблицы e[i,j], w[?,j] и root^ij^ вычисленные процедурой OPTIMAL BST для распределения ключей из табл. 15.1
Упражнения
1. Напишите псевдокод для процедуры CONSTRUCT_OPTiMAL_BST(roo£), которая по заданной таблице root выдает структуру оптимального бинарного дерева поиска. Для примера, приведенного на рис. 15.8, процедура должна выводить структуру, соответствующую оптимальному бинарному дереву поиска, показанному на рис. 15.76:
к2 — корень
ki — левый дочерний элемент к^ do — левый дочерний элемент ку di — правый дочерний элемент ki кз — правый дочерний элемент к^ кд — левый дочерний элемент кз кз — левый дочерний элемент кд d^ — левый дочерний элемент кз d3 — правый дочерний элемент кз dд — правый дочерний элемент кд ds — правый дочерний элемент кз
2. Определите стоимость и структуру оптимального бинарного дерева поиска для множества, состоящего из п = 7 ключей, которым соответствуют следующие вероятности:
г
0
1
2
3
4
5
6
7
Pi
0,04
0,06
0,08
0,02
0,10
0,12
0,14
Qi
0,06
0,06
0,06
0,06
0,05
0,05
0,05
0,05
3. Предположим, что вместо того, чтобы поддерживать таблицу го [г, j], значение го (г, j) вычисляется в строке 8 процедуры O?TIMAL_BST непосредственно из уравнения (15.17) и используется в строке 10. Как это изменение повлияет на асимптотическое поведение времени выполнения этой процедуры?
* 15.5-4. Кнут [184] показал, что всегда существуют корни оптимальных поддеревьев, такие что root\i,j — 1] ^ root [г, j] < root^i+ 1, j] для всех 1 ^ i ^ 3^ п- Используйте этот факт для модификации процедуры Optimal_BST, при которой время ее выполнения станет равным 0 (п2).
Задачи
15-1. Битоническая евклидова задача о коммивояжере
Евклидова задача о коммивояжере (euclidean travelling-salesman problem) — это задача, в которой определяется кратчайший замкнутый путь, соединяющий заданное множество, которое состоит из п точек на плоскости. На рис. 15.9а приведено решение задачи, в которой имеется семь точек. В общем случае задача является NP-полной, поэтому считается, что для ее решения требуется время, превышающее полиномиальное (см. главу 34).
Бентли (J.L. Bentley) предположил, что задача упрощается благодаря ограничению интересующих нас маршрутов битоническими (bitonic tour), т.е. такими, которые начинаются в крайней левой точке, проходят слева направо, а затем — справа налево, возвращаясь прямо к исходной точке. На рис. 15.96 показан кратчайший битонический маршрут, проходящий через те же семь точек. В этом случае возможна разработка алгоритма, время работы которого является полиномиальным.
Напишите алгоритм, предназначенный для определения оптимального битонического маршрута, время работы которого будет равным О (п2). Предполагается, что не существует двух точек, координаты х которых совпадают. (Указание: перебор вариантов следует организовать слева направо, поддерживая оптимальные возможности для двух частей, из которых состоит маршрут.)
Рис. 15.9. а) кратчайший (не битонический) замкнутый маршрут длиной 24.89; б) кратчайший битонический маршрут длиной 25.58
15-2. Вывод на печать с форматированием
Рассмотрим задачу о форматировании параграфа текста, предназначенного для вывода на печать. Входной текст представляет собой последовательность, состоящую из п слов, длины которых равны Zl,^)---Jn (длина слов измеряется в символах). При выводе на печать параграф должен быть аккуратно отформатирован и размещен в несколько строк, в каждой из которых помещается по М символов. Сформулируем критерий “аккуратного” форматирования. Если данная строка содержит слова от г-го до j-ro и мы оставляем между словами ровно по одному пробелу, количество оставшихся пробелов, равное М — j + i — Y^fe=i Ik, должно быть неотрицательно, чтобы все слова поместились в строке. Мы хотим минимизировать сумму возведенных в куб остатков по всем строкам, кроме последней. Сформулируйте алгоритм, основанный на принципах динамического программирования, который аккуратно выводит на принтер параграф, состоящий из п слов. Проанализируйте время работы этого алгоритма и требуемое для его работы количество памяти.
15-3. Расстояние редактирования
Для того чтобы преобразовать исходную строку текста х [l..m] в конечную строку у [1..п], можно воспользоваться различными операциями преобразования. Наша цель заключается в том, чтобы для данных строк х и у определить последовательность преобразований, превращающих х в у. Для хранения промежуточных результатов используется массив х (предполагается, что он достаточно велик для хранения необходимых промежуточных результатов). Изначально массив х пуст, а в конце работы х [у] = у [j] для всех j = 1,2,..., п. Поддерживается текущий индекс г массива х и индекс j массива х, и в ходе выполнения операций преобразования разрешено изменять элементы массива х и эти индексы. В начале работы алгоритма г = j = 1. В процессе преобразования необходимо
проверить каждый символ массива х. Это означает, что в конце выполнения последовательности операций значение г должно быть равно m + 1. Всего имеется шесть перечисленных ниже операций преобразования.
Копирование символа из массива х в массив z путем присвоения z [J] <— я И с последующим увеличением индексов г и j. В этой операции проверяется элемент х [г].
Замена символа из массива х другим символом с путем присвоения г Ь1 ^ с ^ последующим увеличением индексов г и j. В этой операции проверяется элемент х [г].
Удаление символа из массива х путем увеличения на единицу индекса г и сохранения индекса j прежним. В этой операции проверяется элемент х [г].
Вставка символа с в массив z путем присвоения z [j] с и увеличения на единицу индекса j при сохранении индекса г прежним. В этой операции не проверяется ни один элемент массива х.
Перестановка двух следующих символов путем копирования их из массива х в массив z в обратном порядке. Это делается путем присваиваний z [j] X [г + 1] и z [j + 1] х [г] с последующим изменением значений индексов г <— г + 2 и j <— j + 2. В этой операции проверяются элементы х [г] и х [г + 1].
Удаление остатка массива х путем присвоения г *— т + 1. В этой операции проверяются все элементы массива ж, которые не были проверены до сих пор. Если эта операция выполняется, то она должна быть последней.
В качестве примера приведем один из способов преобразования исходной строки algorithm в конечную строку altruistic. В ходе этого преобразования выполняется перечисленная ниже последовательность операций, в которых символы подчерка — это элементы х [г] и z [j] после выполнения очередной операции:
Операция
X
z
Исходные строки
algorithm
Копирование
algorithm
a_
Копирование
algorithm
al_
Замена символом t
algorithm
alt_
Удаление
algorithm
alt_
Копирование
algorithm
altr_
Вставка символа и
algorithm
altru_
Вставка символа i
algorithm
altrui—
Вставка символа s
algorithm
altruiS—
Перестановка
algorithm
altruisti—
Вставка символа с
algorithm
altruistic—
Удаление остатка
algorithm—
altruistic—
Заметим, что существует несколько других последовательностей операций, позволяющих преобразовать строку algorithm в строку altruistic.
С каждой операцией преобразования связана своя стоимость, которая зависит от конкретного приложения. Однако мы предположим, что стоимость каждой операции — известная константа. Кроме того, предполагается, что стоимости отдельно взятых операций копирования и замены меньше суммарной стоимости операций удаления и вставки, иначе применять эти операции было бы нерационально. Стоимость данной последовательности операций преобразования представляет собой сумму стоимостей отдельных операций последовательности. Стоимость приведенной выше последовательности преобразований строки algorithm в строку altruistic равна сумме трех стоимостей копирования, стоимости замены, стоимости удаления, четырем стоимостям вставки, стоимости перестановки и удаления остатка.
а) Пусть имеется две последовательности z[l..m] и у[1..п], а также множество, элементами которого являются стоимости операций преобразования. Расстоянием редактирования (edit distance) от х до ?/ называется минимальная стоимость последовательности операций преобразования х в у. Опишите основанный на принципах динамического программирования алгоритм, в котором определяется расстояние редактирования от х [l..m] до у [1..п] и выводится оптимальная последовательность операций редактирования. Проанализируйте время работы этого алгоритма и требуемую для него память.
Задача о расстоянии редактирования — это обобщение задачи об анализе двух ДНК (см., например, книгу Сетубала (Setubal) и Мейданиса (Meidanis) [272, раздел 3.2]). Имеется два метода, позволяющих оценить подобие двух ДНК путем их выравнивания. Один способ выравнивания двух последовательностей х и у заключается в том, чтобы вставлять пробелы в произвольных местах этих двух последовательностей (включая позиции, расположенные в конце одной из них). Получившиеся в результате последовательности х' и у7 должны иметь одинаковую длину, однако они не могут содержать пробелы в одинаковых позициях (т.е. не существует
такого индекса j, чтобы и х' [j], и у' [j] были пробелами). Далее каждой позиции присваивается определенное количество баллов в соответствии со сформулированными ниже правилами:
+1, если х* [7] = aj* [у] и ни один из этих элементов не является пробелом;
— 1, если х* [j] ^ V [J] и ни один из этих элементов не является пробелом;
—2, если элемент х* [Д или элемент у' [j] является пробелом.
Стоимость выравнивания определяется как сумма баллов, полученных при сравнении отдельных позиций. Например, если заданы последовательности х = GATCGGCAT и у = CAATGTGAATC, то одно из возможных выравниваний имеет вид:
G ATCG GCAT
СААТ GTGAATC
-*++* + *4—++*
Символ + под позицией указывает на то, что ей присваивается балл +1, символ - означает балл — 1, а символ * — балл —2. Таким образом, полная стоимость равна 6 • 1 — 2 • 1 — 4 • 2 = —4.
Объясните, как свести задачу о поиске оптимального выравнивания к задаче о поиске расстояния редактирования с помощью подмножества операций преобразования, состоящего из копирования, замены, удаления элемента, вставки, перестановки и удаления остатка.
15-4. Вечеринка в фирме
Профессор Тамада является консультантом президента корпорации по вопросам проведения вечеринок компании. Взаимоотношения между сотрудниками компании описываются иерархической структурой. Это означает, что отношение “начальник-подчиненный” образует дерево, во главе (в корне) которого находится президент. В отделе кадров каждому служащему присвоили рейтинг дружелюбия, представленный действительным числом. Чтобы на вечеринке все чувствовали себя раскованно, президент выдвинул требование, согласно которому ее не должны одновременно посещать сотрудник и его непосредственный начальник.
Профессору Тамаде предоставили дерево, описывающее структуру корпорации в представлении с левым дочерним и правым сестринским узлами, описанном в разделе 10.4. Каждый узел дерева, кроме указателей, содержит имя сотрудника и его рейтинг дружелюбия. Опишите алгоритм,
предназначенный для составления списка гостей, который бы давал максимальное значение суммы рейтингов дружелюбия гостей. Проанализируйте время работы этого алгоритма.
15-5. Алгоритм Витерби
Подход динамического программирования можно использовать в ориентированном графе G = (V, Е) для распознавания речи. Каждое ребро (u, v) еЕ графа помечено звуком ст (и, v), который является членом конечного множества звуков S. Граф с метками представляет собой формальную модель речи человека, который разговаривает на языке, состоящем из ограниченного множества звуков. Все пути в графе, которые начинаются в выделенной вершине vo € V, соответствуют возможной последовательности звуков, допустимых в данной модели. Метка направленного пути по определению является объединением меток, соответствующих ребрам, из которых состоит путь.
Разработайте эффективный алгоритм, который для заданного графа G с помеченными ребрами и выделенной вершиной vo, и последовательности s = (сг1, Ф2,..., сг^) символов из множества X возвращал бы путь в графе G, который начинается в вершине vo и имеет метку s (если таковой существует). В противном случае алгоритм должен возвращать строку NO-SUCH-PATH (нет такого пути). Проанализируйте время работы алгоритма. (Указание; могут оказаться полезными концепции, изложенные в главе 22.)
Теперь предположим, что каждому ребру (-и, v) е Е также сопоставляется неотрицательная вероятность р(гб,у) перехода по этому ребру из вершины и. При этом издается соответствующий звук. Сумма вероятностей по всем ребрам, исходящим из произвольной вершины, равна 1. По определению вероятность пути равна произведению вероятностей составляющих его ребер. Вероятность пути, берущего начало в вершине vo, можно рассматривать как вероятность “случайной прогулки”, которая начинается в этой вершине и продолжается по случайному пути. Выбор каждого ребра на этом пути в вершине и производится в соответствии с вероятностями ребер, исходящих из этой вершины.
Обобщите сформулированный в части а) ответ так, чтобы возвращаемый путь (если он существует) был наиболее вероятным из всех путей, начинающихся в вершине vo и имеющих метку з. Проанализируйте время работы этого алгоритма.
15-6. Передвижение по шахматной доске
Предположим, имеется шахматная доска размером пхп клеток и шашка. Необходимо провести шашку от нижнего края доски к верхнему. Ходы
можно делать в соответствии со сформулированным далее правилом. На каждом ходу шашка передвигается в одну из следующих клеток:
на соседнюю клетку, расположенную непосредственно над текущей;
на ближайшую клетку, расположенную по диагонали в направлении вверх и влево (если шашка не находится в крайнем левом столбце);
на ближайшую клетку, расположенную по диагонали в направлении вверх и вправо (если шашка не находится в крайнем правом столбце).
Каждый ход из клетки х в клетку у имеет стоимость р (х, у), которая задается для всех пар (ж, у), допускающих ход. При этом величины р (х, у) не обязательно положительны.
Сформулируйте алгоритм, определяющий последовательность ходов, для которой стоимость полного пути от нижнего края доски к верхнему краю будет максимальной. В качестве начальной может быть выбрана любая клетка в нижнем ряду. Аналогично, маршрут может заканчиваться в любой клетке верхнего ряда. Чему равно время работы этого алгоритма?
15-7. Расписание для получения максимального дохода
Предположим, что имеется один компьютер и множество, состоящее из п заданий ^^2,... ,ап, которые нужно выполнить на этом компьютере. Каждому заданию aj соответствует время обработки tj, прибыль pj и конечный срок выполнения dj. Компьютер не способен выполнять несколько заданий одновременно. Кроме того, если запущено задание а^ то оно должно выполняться без прерываний в течение времени tj. Если задание aj завершается до того, как истечет конечный срок его выполнения dj, вы получаете доход pj. Если же это произойдет после момента времени dj, то полученный доход равен нулю. Сформулируйте алгоритм, который бы выдавал расписание для получения максимальной прибыли. При этом предполагается, что любое время выполнения задания выражается целым числом в интервале от 1 до п. Чему равно время работы этого алгоритма?
Заключительные замечания
Беллман (R. Bellman) приступил к систематическому изучению динамического программирования в 1955 году. Как в названии “динамическое программирование”, так и в термине “линейное программирование” слово “программирование” относится к методу табличного решения. Методы оптимизации, включающие в себя элементы динамического программирования, были известны и раньше, однако именно Беллман дал строгое математическое обоснование этой области [34].
Ху (Ни) и Шинг (Shing) [159,160] сформулировали алгоритм, позволяющий решить задачу о перемножении матриц в течение времени О [n\gn).
По-видимому, алгоритм решения задачи о самой длинной общей подпоследовательности, время работы которого равно О (тп), — плод “народного” творчества. Кнут (Knuth) [63] поставил вопрос о том, существует ли алгоритм решения этой задачи, время работы которого возрастало бы медленнее, чем квадрат размера. Масек (Masek) и Патерсон (Paterson) ответили на этот вопрос утвердительно, разработав алгоритм, время работы которого равно О (mn/lgn), где п < т, а последовательности составлены из элементов множества ограниченного размера. Шимански (Szimanski) [288] показал, что в особом случае, когда ни один элемент не появляется во входной последовательности более одного раза, эту задачу можно решить в течение времени О ((n + m) 1g (п + т)). Многие из этих результатов были обобщены для задачи о вычислении расстояния редактирования (задача 15-3).
Ранняя работа Гильберта (Gilbert) и Мура (Moore) [114], посвященная бинарному кодированию переменной длины, нашла применение при конструировании оптимального бинарного дерева поиска для случая, когда все вероятности pi равны 0. В этой работе приведен алгоритм, время работы которого равно О (п3). Ахо (Aho), Хопкрофт (Hopcroft) и Ульман (Ullman) [5] представили алгоритм, описанный в разделе 15.5. Упражнение 15.5-4 предложено Кнутом [184]. Ху и Такер (Tucker) [161] разработали алгоритм для случая, когда все вероятности pt равны 0; время работы этого алгоритма равно О (п2), а количество необходимой для него памяти — О (п). Впоследствии Кнуту [185] удалось уменьшить это время до величины О (nlgn).
ГЛАВА 16
Жадные алгоритмы
Алгоритмы, предназначенные для решения задач оптимизации, обычно представляют собой последовательность шагов, на каждом из которых предоставляется некоторое множество выборов. Определение наилучшего выбора, руководствуясь принципами динамического программирования, во многих задачах оптимизации напоминает стрельбу из пушки по воробьям; другими словами, для этих задач лучше подходят более простые и эффективные алгоритмы. В жадном алгоритме (greedy algorithm) всегда делается выбор, который кажется самым лучшим в данный момент — т.е. производится локально оптимальный выбор в надежде, что он приведет к оптимальному решению глобальной задачи. В этой главе рассматриваются задачи оптимизации, пригодные для решения с помощью жадных алгоритмов. Перед освоением главы следует ознакомиться с динамическим программированием, изложенным в главе 15, в частности, с разделом 15.3.
Жадные алгоритмы не всегда приводят к оптимальному решению, но во многих задачах они дают нужный результат. В разделе 16.1 рассматривается простая, но нетривиальная задача о выборе процессов, эффективное решение которой можно найти с помощью жадного алгоритма. Чтобы прийти к жадному алгоритму, сначала будет рассмотрено решение, основанное на парадигме динамического программирования, после чего будет показано, что оптимальное решение можно получить, исходя из принципов жадных алгоритмов. В разделе 16.2 представлен обзор основных элементов подхода, в соответствии с которым разрабатываются жадные алгоритмы. Это позволит упростить обоснование корректности жадных алгоритмов, не используя при этом сравнение с динамическим программированием, как это делается в разделе 16.1. В разделе 16.3 приводится важное приложение методов жадного программирования: разработка кодов Хаффмана (Huffman) для
сжатия данных. В разделе 16.4 исследуются теоретические положения, на которых основаны комбинаторные структуры, известные под названием “матроиды”, для которых жадный алгоритм всегда дает оптимальное решение. Наконец, в разделе 16.5 матроиды применяются для решения задачи о составлении расписания заданий равной длительности с предельным сроком и штрафами.
Жадный метод обладает достаточной мощью и хорошо подходит для довольно широкого класса задач. В последующих главах представлены многие алгоритмы, которые можно рассматривать как применение жадного метода, включая алгоритмы поиска минимальных остовных деревьев (minimum-spanning-tree) (глава 23), алгоритм Дейкстры (Dijkstra) для определения кратчайших путей из одного источника (глава 24) и эвристический жадный подход Чватала (Chvatal) к задаче о покрытии множества (set-covering) (глава 35). Алгоритмы поиска минимальных остовных деревьев являются классическим примером применения жадного метода. Несмотря на то, что эту главу и главу 23 можно читать независимо друг от друга, может оказаться полезно читать их одна за другой.
Задача о выборе процессов
В качестве первого примера рассмотрим задачу о составлении расписания для нескольких конкурирующих процессов, каждый из которых безраздельно использует общий ресурс. Цель этой задачи — выбор набора взаимно совместимых процессов, образующих множество максимального размера. Предположим, имеется множество S = {ai, а^ ..., ап}, состоящее из п процессов (activities). Процессам требуется некоторый ресурс, который одновременно может использоваться лишь одним процессом. Каждый процесс at характеризуется начальным моментом Si и конечным моментом ft, где 0 ^ Si < Ji < оо. Будучи выбран, процесс at длится в течение полуоткрытого интервала времени [s^/i). Процессы а? и aj совместимы (compatible), если интервалы [st, /г) и [sj, Jj) не перекрываются (те. если st ^ fj или S3 ^ Ji). Задача о выборе процессов (activity-selection problem) заключается в том, чтобы выбрать подмножество взаимно совместимых процессов, образующих множество максимального размера. Например, рассмотрим описанное ниже множество S процессов, отсортированных в порядке возрастания моментов окончания:
г | 1 2 3 4 5 6 7 8 9 10 11
~i 1 3 0 5 3 5 6 8 8 2 ТГ
/г 4 5 6 7 8 9 10 11 12 13 14
(Вскоре станет понятно, почему удобнее рассматривать процессы, расположенные именно в таком порядке.) В данном примере из взаимно совместимых процессов можно составить подмножество {аз, ад, ап}- Однако оно не является максималь-
ным, поскольку существует подмножество {ai, а4, as,^п}, состоящее из большего количества элементов. Еще одно такое подмножество — {а2, ад, ад, ап}.
Разобьем решение этой задачи на несколько этапов. Начнем с того, что сформулируем решение рассматриваемой задачи, основанное на принципах динамического программирования. Это оптимальное решение исходной задачи получается путем комбинирования оптимальных решений подзадач. Рассмотрим несколько вариантов выбора, который делается в процессе определения подзадачи, использующейся в оптимальном решении. Впоследствии станет понятно, что заслуживает внимания лишь один выбор — жадный — и что когда делается этот выбор, одна из подзадач гарантированно получается пустой. Остается лишь одна непустая подзадача. Исходя из этих наблюдений, мы разработаем рекурсивный жадный алгоритм, предназначенный для решения задачи о составлении расписания процессов. Процесс разработки жадного алгоритма будет завершен его преобразованием из рекурсивного в итерационный. Описанные в этом разделе этапы сложнее, чем те, что обычно имеют место при разработке жадных алгоритмов, однако они иллюстрируют взаимоотношение между жадными алгоритмами и динамическим программированием.
Оптимальная подструктура задачи о выборе процессов
Как уже упоминалось, мы начнем с того, что разработаем решение для задачи о выборе процессов по методу динамического программирования. Как и в главе 15, первый шаг будет состоять в том, чтобы найти оптимальную подструктуру и с ее помощью построить оптимальное решение задачи, пользуясь оптимальными решениями подзадач.
В главе 15 мы убедились, что для этого нужно определить подходящее пространство подзадач. Начнем с определения множеств
Sij = VLk eS : ft ^ sk < fk^Sj}.
Sij — подмножество процессов из множества S, которые можно успеть выполнить в промежутке времени между завершением процесса аг и началом процесса aj. Фактически множество Sij состоит из всех процессов, совместимых с процессами а, и ар а также теми, которые оканчиваются не позже процесса at и теми, которые начинаются нс ранее процесса aj. Для представления всей задачи добавим фиктивные процессы ао и a7l+i и примем соглашение, что /о = 0 и sn+i = 00. Тогда S = Sq^+i, а ащексы г и j находятся в диапазоне 0 < i^j ^ п + 1.
Дополнитсльнь : ограничения диапазонов индексов г и j можно получить с помощью приведенных ниже рассуждений. Предположим, что процессы отсортированы в порядке возрастания соответствующих им конечных моментов времени:
/Ь^/1 fn^Jn-^V(16.1)
Утверждается, что в этом случае Sij = 0, если г ^ j. Почему? Предположим, что существует процесс a^eS^ для некоторого г ^ j, так что процесс at следует после процесса aj, если расположить их в порядке сортировки. Однако из определения Sy следует соотношение fi ^ Sk < fk ^ sj < fj, откуда ft < fj, что противоречит предположению о том, что процесс а^ следует после процесса aj, если расположить их в порядке сортировки. Можно прийти к выводу, что если процессы отсортированы в порядке монотонного возрастания времени их окончания, то пространство подзадач образуется путем выбора максимального подмножества взаимно совместимых процессов из множества Stj для 0^z<j^n+l (мы знаем, что все прочие Sy — пустые).
Чтобы понять подструктуру задачи о выборе процессов, рассмотрим некоторую непустую подзадачу Stj и предположим, что ее решение включает некоторый процесс ак, так что Л ^ з^ < Д ^ Sj. С помощью процесса ак генерируются две подзадачи, Sik (процессы, которые начинаются после окончания процесса at и заканчиваются перед началом процесса a/J и Sy (процессы, которые начинаются после окончания процесса ак и заканчиваются перед началом процесса aj\ каждая из которых состоит из подмножества процессов, входящих в Sij. Решение задачи Stj представляет собой объединение решений задач Stk, Sy и процесса ак. Таким образом, количество процессов, входящее в состав решения задачи Sy, — это сумма количества процессов в решении задачи Si к, количества процессов в решении задачи Sy и еще одного процесса (а^.
Опишем оптимальную подструктуру этой задачи. Предположим, что оптимальное решение Ау задачи Sy включает в себя процесс а^. Тогда решения Aik задачи Sik и Ау задачи Sy в рамках оптимального решения Sij тоже должны быть оптимальными. Как обычно, это доказывается с помощью рассуждений типа “вырезания и вставки”. Если бы существовало решение A'ik задачи Sik, включающее в себя большее количество процессов, чем Aik, в решение Aij можно было бы вместо Aik подставить A'ik, что привело бы к решению задачи Sij, в котором содержится больше процессов, чем в Ау. Поскольку предполагается, что Aij — оптимальное решение, мы приходим к противоречию. Аналогично, если бы существовало решение Ак- задачи Sy, содержащее больше процессов, чем Ау, то путем замены Ау на Ак- можно было бы получить решение задачи Sij, в которое входит больше процессов, чем в Ау.
Теперь с помощью сформулированной выше оптимальной подструктуры покажем, что оптимальное решение задачи можно составить из оптимальных решений подзадач. Мы уже знаем, что в любое решение непустой задачи Sy входит некоторый процесс ак и что любое оптимальное решение задачи содержит в себе
оптимальные решения подзадач S,^ и Skj. Таким образом, максимальное подмножество взаимно совместимых процессов множества 8^ можно составить путем разбиения задачи на две подзадачи (определение подмножеств максимального размера, состоящих из взаимно совместимых процессов в задачах Sik и 8^ — собственно нахождения максимальных подмножеств А^ и Akj взаимно совместимых процессов, являющихся решениями этих подзадач, и составления подмножества А^ максимального размера, включающего в себя взаимно совместимые задачи:
>1у — А^к U {%} ^ -^-kj->1у — А^к U {%} ^ -^-kj-(16.2)(16.2)
>1у — А^к U {%} ^ -^-kj-
>1у — А^к U {%} ^ -^-kj-
(16.2)
(16.2)
Оптимальное решение всей задачи представляет собой решение задачи 5о)П+ь
Рекурсивное решение
Второй этап разработки решения по методу динамического программирования — определение значения, соответствующего оптимальному решению. Пусть в задаче о выборе процесса с [г, j] — количество процессов в подмножестве максимального размера, состоящем из взаимно совместимых процессов в задаче 8^. Эта величина равна нулю при 8^ = 0; в частности, с [г, j] = 0 при г > j.
Теперь рассмотрим непустое подмножество Stj. Мы уже знаем, что если процесс йк используется в максимальном подмножестве, состоящем из взаимно совместимых процессов задачи Зц, то для подзадач З^к и Skj также используются подмножества максимального размера. С помощью уравнения (16.2) получаем рекуррентное соотношение
с[м] = с [г, А] + с [A:, j] + 1.
В приведенном выше рекурсивном уравнении предполагается, что значение к известно, но на самом деле это не так. Это значение можно выбрать из j — г — 1 возможных значений: к = г + 1,... ,j — 1. Поскольку в подмножестве максимального размера для задачи 8^ должно использоваться одно из этих значений к, нужно проверить, какое из них подходит лучше других. Таким образом, полное рекурсивное определение величины с [г, j] принимает вид:
при 8у = 0, при Sy ^ 0.при 8у = 0, при Sy ^ 0.(16.3)(16.3)
при 8у = 0, при Sy ^ 0.
при 8у = 0, при Sy ^ 0.
(16.3)
(16.3)
Преобразование решения динамического программирования в жадное решение
На данном этапе не составляет труда написать восходящий алгоритм динамического программирования, основанный на рекуррентном уравнении (16.3). Это
предлагается сделать читателю в упражнении (16.1-1). Однако можно сделать два наблюдения, позволяющие упростить полученное решение.
Теорема 16.1. Рассмотрим произвольную непустую задачу S^ и пусть ат — процесс, который оканчивается раньше других:
/т = min {А : dfc е Sy} .
В этом случае справедливы такие утверждения.
Процесс ат используется в некотором подмножестве максимального размера, состоящем из взаимно совместимых процессов задачи Stj.
Подзадача Stm пустая, поэтому в результате выбора процесса ат непустой остается только подзадача Smj.
Доказательство. Сначала докажем вторую часть теоремы, так как она несколько проще. Предположим, что подзадача Stm непустая и существует некоторый процесс Gk, такой что ft ^ Sk < fk ^ sm < fm. Тогда процесс Gk также входит в решение подзадачи Stm» причем он оканчивается раньше, чем процесс ат, что противоречит выбору процесса ат. Таким образом, мы приходим к выводу, что решение подзадачи Stm — пустое множество.
Чтобы доказать первую часть, предположим, что А^ — подмножество максимального размера взаимно совместимых процессов задачи S^, и упорядочим процессы этого подмножества в порядке возрастания времени их окончания. Пусть ak — первый процесс множества Atj. Если Gk = Gm, то доказательство завершено, поскольку мы показали, что процесс Gm используется в некотором подмножестве максимального размера, состоящем из взаимно совместимых процессов задачи Stj. Если же Gk ^ ат, то составим подмножество А^ = А^ — ^g^ U {am}. Процессы в А^ не перекрываются, поскольку процессы во множестве А^ не перекрываются, Gk — процесс из множества А^, который оканчивается раньше всех, и Jm fk- Заметим, что количество процессов во множестве А'- совпадает с количеством процессов во множестве А^, поэтому А'- — подмножество максимального размера, состоящее из взаимно совместимых процессов задачи Stj и включающее в себя процесс ат.□
Почему теорема 16.1 имеет такое большое значение? Из раздела 15.3 мы узнали, что оптимальные подструктуры различаются количеством подзадач, использующихся в оптимальном решении исходной задачи, и количеством возможностей, которые следует рассмотреть при определении того, какие подзадачи нужно выбрать. В решении, основанном на принципах динамического программирования, в оптимальном решении используется две подзадачи, а также до j — г — 1 вариантов выбора для подзадачи S^. Благодаря теореме 16.1 обе эти величины значительно
уменьшаются: в оптимальном решении используется лишь одна подзадача (вторая подзадача гарантированно пустая), а в процессе решения подзадачи S^j достаточно рассмотреть только один выбор — тот процесс, который оканчивается раньше других. К счастью, его легко определить.
Кроме уменьшения количества подзадач и количества выборов, теорема 16.1 дает еще одно преимущество: появляется возможность решать каждую подзадачу в нисходящем направлении, а не в восходящем, как это обычно происходит в динамическом программировании. Чтобы решить подзадачу S7j, в ней выбирается процесс ат, который оканчивается раньше других, после чего в это решение добавляется множество процессов, использующихся в оптимальном решении подзадачи Smj. Поскольку известно, что при выбранном процессе ат в оптимальном решении задачи S^- безусловно используется решение задачи 8П1р нет необходимости решать задачу Smj до задачи Stj. Чтобы решить задачу Sij, можно сначала выбрать aw, который представляет собой процесса из S^, который заканчивается раньше других, а потом решать задачу Smj.
Заметим также, что существует единый шаблон для всех подзадач, которые подлежат решению. Наша исходная задача — S = So,п+1 • Предположим, что в качестве процесса задачи 5о,п+ь который оканчивается раньше других, выбран процесс апи. (Поскольку процессы отсортированы в порядке монотонного возрастания времени их окончания, и /о = 0, должно выполняться равенство mi = 1.) Следующая подзадача — 8т1)П^. Теперь предположим, что в качестве процесса задачи S7ni,n+i, который оканчивается раньше других, выбран процесс ап12 (не обязательно, чтобы m2 = 2). Следующая на очереди подзадача — S7n2?n+i. Продолжая рассуждения, нетрудно убедиться в том, что каждая подзадача будет иметь вид S7?, .)7l+i и ей будет соответствовать некоторый номер процесса т7. Другими словами, каждая подзадача состоит из некоторого количества процессов, завершающихся последними, и это количество меняется от одной подзадачи к другой.
Для процессов, которые первыми выбираются в каждой подзадаче, тоже существует свой шаблон. Поскольку в задаче Sm^n+i всегда выбирается процесс, который оканчивается раньше других, моменты окончания процессов, которые последовательно выбираются во всех подзадачах, образуют монотонно возрастающую последовательность. Более того, каждый процесс в процессе решения задачи можно рассмотреть лишь один раз, воспользовавшись сортировкой в порядке возрастания времен окончания процессов.
В ходе решения подзадачи всегда выбирается процесс а™, который оканчивается раньше других. Таким образом, выбор является жадным в том смысле, что интуитивно для остальных процессов он оставляет как можно больше возможностей войти в расписание. Таким образом, жадный выбор — это такой выбор, который максимизирует количество процессов, пока что не включенных в расписание.
Рекурсивный жадный алгоритм
После того как стал понятен путь упрощения решения, основанного на принципах динамического программирования, и преобразования его в нисходящий метод, можно перейти к рассмотрению алгоритма, работающего исключительно в жадной нисходящей манере. Здесь приводится простое рекурсивное решение, реализованное в виде процедуры Recursive_Activity_Selector. На ее вход подаются значения начальных и конечных моментов процессов, представленные в виде массивов s и /, а также индексы г и п, определяющие подзадачу З^п+ь которую требуется решить. (Параметр п идентифицирует последний реальный процесс ап в подзадаче, а не фиктивный процесс ап^ь который тоже входит в эту подзадачу.) Процедура возвращает множество максимального размера, состоящее из взаимно совместимых процессов задачи S^n+i. В соответствии с уравнением (16.1), предполагается, что все п входных процессов расположены в порядке монотонного возрастания времени их окончания. Если это не так, их можно отсортировать в указанном порядке за время О (п 1g п). Начальный вызов этой процедуры имеет вид Recursive_Activity_Selector(s, /, 0, п).
RECURSIVE-ACTIVITYJSELECTOR(s, /, г, п) 1 тп <— г + 1
while т < п и sm < ft О Поиск первого процесса в Si^v
do т т + 1 4 if т < п
then return {am} U Recursive_Activity_Selector(s, /, m, n)
else return 0
Работа представленного алгоритма для рассматривавшихся в начале этого раздела 11 процессов проиллюстрирована на рис. 16.1. Процессы, которые рассматриваются в каждом рекурсивном вызове, разделены горизонтальными линиями. Фиктивный процесс ао оканчивается в нулевой момент времени, и в начальном вызове, который имеет вид Recursive_Activity_Selector(s, /, 0,11), выбирается процесс а^ В каждом рекурсивном вызове заштрихованы процессы, которые уже были выбраны, а белым цветом обозначен рассматриваемый процесс. Если начальный момент процесса наступает до конечного момента процесса, который был добавлен последним (т.е. стрелка, проведенная от первого процесса ко второму, направлена влево), такой процесс отвергается. В противном случае (стрелка направлена прямо вверх или вправо) процесс выбирается. В последнем рекурсивном вызове процедуры, имеющем вид Recursive_Activity_Selector(s, /, 11,11), возвращается 0. Результирующее множество выбранных процессов — {aj, а4, as, ап }.
В рекурсивном вызове процедуры Recursive_Activity_Selector(s,/, г,п) в цикле while в строках 2-3 осуществляется поиск первого процесса задачи S?jn+i. В цикле проверяются процессы а^-ц, а^з • • •, ап до тех пор, пока не будет найден
к sk fkк sk fkоооо114114j’ hi ।j’ hi ।pCURSIVE0 J1)pCURSIVE0 J1)223355RECURSIVE„ACT1VHXSELECTOR($^ 1J1)RECURSIVE„ACT1VHXSELECTOR($^ 1J1)330066«л«л445577m -4 ’m -4 ’
к sk fk
к sk fk
о
о
о
о
114
114
j’ hi ।
j’ hi ।
pCURSIVE0 J1)
pCURSIVE0 J1)
2
2
3
3
5
5
RECURSIVE„ACT1VHXSELECTOR($^ 1J1)
RECURSIVE„ACT1VHXSELECTOR($^ 1J1)
3
3
0
0
6
6
«л
«л
4
4
5
5
7
7
m -4 ’
m -4 ’
tlHL’lSHT AO.M1Y Sl:11ХЛАШ.,/Л Ш
553388~ ""If}~ ""If}665599ti6ti677661010888811119988121210102213131111121214141212ИИЯЯk.k.SilSilRECUR d\ I линии чин И Ши,/А 1RECUR d\ I линии чин И Ши,/А 1■■ЖЖЙ7Й7т Кт КYAIYAIRECURSM VnVHY Sri 14 iORfU, И, 1 : ГЕШИ.'ГаН1RECURSM VnVHY Sri 14 iORfU, И, 1 : ГЕШИ.'ГаН100^- time2345678910 1112 13 14^- time2345678910 1112 13 14
5
5
3
3
8
8
~ ""If}
~ ""If}
6
6
5
5
9
9
ti6
ti6
7
7
6
6
10
10
8
8
8
8
11
11
9
9
8
8
12
12
10
10
2
2
13
13
11
11
12
12
14
14
12
12
И
И
Я
Я
k.
k.
Sil
Sil
RECUR d\ I линии чин И Ши,/А 1
RECUR d\ I линии чин И Ши,/А 1
■
■
Ж
Ж
Й7
Й7
т К
т К
YAI
YAI
RECURSM VnVHY Sri 14 iORfU, И, 1 : ГЕШИ.'ГаН1
RECURSM VnVHY Sri 14 iORfU, И, 1 : ГЕШИ.'ГаН1
0
0
^- time
2345678910 1112 13 14
^- time
2345678910 1112 13 14
Рис. 16.1. Обработка алгоритмом Recursive_Activity_Selector множества из одиннадцати процессов
первый процесс ат, совместимый с процессом а^ для такого процесса справедливо соотношение sm^ ft. Если цикл завершается из-за того, что такой процесс найден, то происходит возврат из процедуры в строке 5, в которой процесс {ат} объединяется с подмножеством максимального размера для задачи S^n+i, которое возвращается рекурсивным вызовом Recursive_Activity_Selector(s, /, m, n). Еще одна возможная причина завершения процесса — достижение условия т > п.
В этом случае проверены все процессы, но среди них не найден такой, который был бы совместим с процессом а;. Таким образом, S^n+i = 0 и процедура возвращает значение 0 в строке 6.
Если процессы отсортированы в порядке, заданном временем их окончания, время, которое затрачивается на вызов процедуры Recursive_Activity_Selec- tor(s, f, 0, п), равно 0(п). Это можно показать следующим образом. Сколько бы ни было рекурсивных вызовов, каждый процесс проверяется в цикле while в строке 2 ровно по одному разу. В частности, процесс ан проверяется в последнем вызове, когда г < к.
Итерационный жадный алгоритм
Представленную ранее рекурсивную процедуру легко преобразовать в итеративную. Процедура RECURSIVE_ACTIVITY_S ELECTOR почти подпадает под определение оконечной рекурсии (см. задачу 7-4): она оканчивается рекурсивным вызовом самой себя, после чего выполняется операция объединения. Преобразование процедуры, построенной по принципу оконечной рекурсии, в итерационную — обычно простая задача. Некоторые компиляторы разных языков программирования выполняют эту задачу автоматически. Как уже упоминалось, процедура Re- CURSIVE_Activity_SELECTOR выполняется для подзадач Si>n+i, т.е. для подзадач, состоящих из процессов, которые оканчиваются позже других.
Процедура Greedy_Activity_Selector — итеративная версия процедуры Re- CURSIVE_Activity_Selector. В ней также предполагается, что входные процессы расположены в порядке монотонного возрастания времен окончания. Выбранные процессы объединяются в этой процедуре в множество А, которое и возвращается процедурой после ее окончания.
Greedy_Activity_Selector(s, /)
n «— length^
A^-{ai}
г 1
for m <— 2 to n
do if sm > fi
then A <— A U {aTO}
г <— m
return A
Процедура работает следующим образом. Переменная г индексирует самое последнее добавление к множеству А, соответствующее процессу а, в рекурсивной версии. Поскольку процессы рассматриваются в порядке монотонного возрастания моментов их окончания, /, — всегда максимальное время окончания всех
процессов, принадлежащих множеству А;
fi = max ук : ак € А}(16.4)
В строках 2-3 выбирается процесс аь инициализируется множество А, содержащее только этот процесс, а переменной г присваивается индекс этого процесса. В цикле for в строках 4-7 происходит поиск процесса задачи S^n-vh оканчивающегося раньше других. В этом цикле по очереди рассматривается каждый процесс аш, который добавляется в множество А, если он совместим со всеми ранее выбранными процессами; этот процесс оканчивается раньше других в задаче З^п-н.* Чтобы узнать, совместим ли процесс ат с процессами, которые уже содержатся во множестве А, в соответствии с уравнением (16.4) достаточно проверить (строка 5), что его начальный момент зт наступает не раньше момента ft окончания последнего из добавленных в множество А процессов. Если процесс ат удовлетворяет сформулированным выше условиям, то в строках 6-7 он добавляется в множество А и переменной г присваивается значение т. Множество А, возвращаемое процедурой Greedy_Activity_Selector(s,/), совпадает с тем, которое возвращается процедурой Recursive_Activity_Selector(s, /, 0, п\
Процедура Greedy_Activity_Selector, как и ее рекурсивная версия, составляет расписание для n-элементного множества в течение времени 0 (п). Это утверждение справедливо в предположении, что процессы уже отсортированы в порядке возрастания времени их окончания.
Упражнения
1. Разработайте алгоритм динамического программирования для решения задачи о выборе процессов, основанный на рекуррентном соотношении (16.3). В этом алгоритме должны вычисляться определенные выше размеры с [г, з^ а также выводиться подмножество процессов А максимального размера. Предполагается, что процессы отсортированы в порядке, заданном уравнением (16.1). Сравните время работы найденного алгоритма со временем работы процедуры Greedy_Activity_Selector.
2. Предположим, что вместо того, чтобы все время выбирать процесс, который оканчивается раньше других, выбирается процесс, который начинается позже других и совместим со всеми ранее выбранными процессами. Опишите этот подход как жадный алгоритм и докажите, что он позволяет получить оптимальное решение.
3. Предположим, что имеется множество процессов, для которых нужно составить расписание при наличии большого количества ресурсов. Цель — включить в расписание все процессы, использовав при этом как можно меньше ресурсов. Сформулируйте эффективный жадный алгоритм,
позволяющий определить, какой ресурс должен использоваться тем или иным процессом.
(Эта задача известна также как задача о раскрашивании интервального графа (interval-graph colouring problem). Можно создать интервальный граф, вершины которого сопоставляются заданным процессам, а ребра соединяют несовместимые процессы. Минимальное количество цветов, необходимых для раскрашивания всех вершин таким образом, чтобы никакие две соединенные вершины не имели один и тот же цвет, будет равно минимальному количеству ресурсов, необходимых для работы всех заданных процессов.)
4. Не все жадные подходы к задаче о выборе процессов позволяют получить множество, состоящее из максимального количества взаимно совместимых процессов. Приведите пример, иллюстрирующий, что выбор самых коротких процессов среди тех, что совместимы с ранее выбранными, не дает правильного результата. Выполните такое же задание для подходов, в одном из которых всегда выбирается процесс, совместимый с ранее выбранными и перекрывающийся с минимальным количеством оставшихся, а в другом — совместимый с ранее выбранными процесс, который начинается раньше других.
Элементы жадной стратегии
Жадный алгоритм позволяет получить оптимальное решение задачи путем осуществления ряда выборов. В каждой точке принятия решения в алгоритме делается выбор, который в данный момент выглядит самым лучшим. Эта эвристическая стратегия не всегда дает оптимальное решение, но все же решение может оказаться и оптимальным, в чем мы смогли убедиться на примере задачи о выборе процессов. В настоящем разделе обсуждаются некоторые общие свойства жадных методов.
Процесс разработки жадного алгоритма, рассмотренный в разделе 16.1, несколько сложнее, чем обычно. Были пройдены перечисленные ниже этапы.
Определена оптимальная подструктура задачи.
Разработано рекурсивное решение.
Доказано, что на любом этапе рекурсии один из оптимальных выборов является жадным. Из этого следует, что всегда можно делать жадный выбор.
Показано, что все возникающие в результате жадного выбора подзадачи, кроме одной, — пустые.
Разработан рекурсивный алгоритм, реализующий жадную стратегию.
Рекурсивный алгоритм преобразован в итеративный.
В ходе выполнения этих этапов мы во всех подробностях смогли рассмотреть, как динамическое программирование послужило основой для жадного алгоритма. Однако обычно на практике при разработке жадного алгоритма эти этапы упрощаются. Мы разработали подструктуру так, чтобы в результате жадного выбора оставалась только одна подзадача, подлежащая оптимальному решению. Например, в задаче о выборе процессов сначала определяются подзадачи Зц, в которых изменяются оба индекса, — и г, и j. Потом мы выяснили, что если всегда делается жадный выбор, то подзадачи можно было бы ограничить видом S^n+i-
Можно предложить альтернативный подход, в котором оптимальная подструктура приспосабливалась бы специально для жадного выбора — т.е. второй индекс можно было бы опустить и определить подзадачи в виде St = {а^ е S : fi ^ s^}. Затем можно было бы доказать, что жадный выбор (процесс, который оканчивается первым в задаче 3^ в сочетании с оптимальным решением для множества 8т остальных совместимых между собой процессов приводит к оптимальному решению задачи St. Обобщая сказанное, опишем процесс разработки жадных алгоритмов в виде последовательности перечисленных ниже этапов.
Привести задачу оптимизации к виду, когда после сделанного выбора остается решить только одну подзадачу.
Доказать, что всегда существует такое оптимальное решение исходной задачи, которое можно получить путем жадного выбора, так что такой выбор всегда допустим.
Показать, что после жадного выбора остается подзадача, обладающая тем свойством, что объединение оптимального решения подзадачи со сделанным жадным выбором приводит к оптимальному решению исходной задачи.
Описанный выше упрощенный процесс будет использоваться в последующих разделах данной главы. Тем не менее, заметим, что в основе каждого жадного алгоритма почти всегда находится более сложное решение в стиле динамического программирования.
Как определить, способен ли жадный алгоритм решить стоящую перед нами задачу оптимизации? Общего пути здесь нет, однако можно выделить две основные составляющие — свойство жадного выбора и оптимальную подструктуру. Если удается продемонстрировать, что задача обладает двумя этими свойствами, то с большой вероятностью для нее можно разработать жадный алгоритм.
Свойство жадного выбора
Первый из названных выше основных составляющих жадного алгоритма — свойство жадного выбора-, глобальное оптимальное решение можно получить, делая локальный оптимальный (жадный) выбор. Другими словами, рассуждая по поводу того, какой выбор следует сделать, мы делаем выбор, который кажется
самым лучшим в текущей задаче; результаты возникающих подзадач при этом не рассматриваются.
Рассмотрим отличие жадных алгоритмов от динамического программирования. В динамическом программировании на каждом этапе делается выбор, однако обычно этот выбор зависит от решений подзадач. Следовательно, методом динамического программирования задачи обычно решаются в восходящем направлении, т.е. сначала обрабатываются более простые подзадачи, а затем — более сложные. В жадном алгоритме делается выбор, который выглядит в данный момент наилучшим, после чего решается подзадача, возникающая в результате этого выбора. Выбор, сделанный в жадном алгоритме, может зависеть от сделанных ранее выборов, но он не может зависеть от каких бы то ни было выборов или решений последующих подзадач. Таким образом, в отличие от динамического программирования, где подзадачи решаются в восходящем порядке, жадная стратегия обычно разворачивается в нисходящем порядке, когда жадный выбор делается один за другим, в результате чего каждый экземпляр текущей задачи сводится к более простому.
Конечно же, необходимо доказать, что жадный выбор на каждом этапе приводит к глобальному оптимальному решению, и здесь потребуются определенные интеллектуальные усилия. Обычно, как это было в теореме 16.1, в таком доказательстве исследуется глобальное оптимальное решение некоторой подзадачи. Затем демонстрируется, что решение можно преобразовать так, чтобы в нем использовался жадный выбор, в результате чего получится аналогичная, но более простая подзадача.
Свойство жадного выбора часто дает определенное преимущество, позволяющее повысить эффективность выбора в подзадаче. Например, если в задаче о выборе процессов предварительно отсортировать процессы в порядке монотонного возрастания моментов их окончания, то каждый из них достаточно рассмотреть всего один раз. Зачастую оказывается, что благодаря предварительной обработке входных данных или применению подходящей структуры данных (нередко это очередь с приоритетами) можно ускорить процесс жадного выбора, что приведет к повышению эффективности алгоритма.
Оптимальная подструктура
Оптимальная подструктура проявляется в задаче, если в ее оптимальном решении содержатся оптимальные решения подзадач. Это свойство является основным признаком применимости как динамического программирования, так и жадных алгоритмов. В качестве примера оптимальной подструктуры напомним результаты раздела 16.1. В нем было продемонстрировано, что если оптимальное решение подзадачи Sy содержит процесс ак, то оно также содержит оптимальные решение подзадач Stk и Skj. После выявления этой оптимальной подструктуры
было показано, что если известно, какой процесс используется в качестве процесса ак, то оптимальное решение задачи Sy можно построить путем выбора процесса йк и объединения его со всеми процессами в оптимальных решениях подзадач Sik и Skj. На основе этого наблюдения удалось получить рекуррентное соотношение (16.3), описывающее оптимальное решение.
Обычно при работе с жадными алгоритмами применяется более простой подход. Как уже упоминалось, мы воспользовались предположением, что подзадача получилась в результате жадного выбора в исходной задаче. Все, что осталось сделать, — это обосновать, что оптимальное решение подзадачи в сочетании с ранее сделанным жадным выбором приводит к оптимальному решению исходной задачи. В этой схеме для доказательства того, что жадный выбор на каждом шаге приводит к оптимальному решению, неявно используется индукция по вспомогательным задачам.
Сравнение жадных алгоритмов и динамического программирования
Поскольку свойство оптимальной подструктуры применяется и в жадных алгоритмах, и в стратегии динамического программирования, может возникнуть соблазн разработать решение в стиле динамического программирования для задачи, в которой достаточно применить жадное решение. Не исключена также возможность ошибочного вывода о применимости жадного решения в той ситуации, когда необходимо решать задачу методом динамического программирования. Чтобы проиллюстрировать тонкие различия между этими двумя методами, рассмотрим две разновидности классической задачи оптимизации.
Дискретная задача о рюкзаке (0-1 knapsack problem) формулируется следующим образом. Вор во время ограбления магазина обнаружил и предметов. Предмет под номером г имеет стоимость ut грн. и вес wt кг, где и Vi, и Wi - целые числа. Нужно унести вещи, суммарная стоимость которых была бы как можно большей, однако грузоподъемность рюкзака ограничивается W килограммами, где W — целая величина. Какие предметы следует взять с собой?
Ситуация в непрерывной задаче о рюкзаке (fractional knapsack problem) та же, но теперь тот или иной товар вор может брать с собой частично, а не делать каждый раз бинарный выбор — брать или не брать (0-1). В дискретной задаче о рюкзаке в роли предметов могут выступать, например, слитки золота, а для непрерывной задачи больше подходят такие товары, как золотой песок.
В обеих разновидностях задачи о рюкзаке проявляется свойство оптимальной подструктуры. Рассмотрим в целочисленной задаче наиболее ценную загрузку, вес которой не превышает W кг. Если вынуть из рюкзака предмет под номером j, то остальные предметы должны быть наиболее ценными, вес которых не превышает W — Wj и которые можно составить из п — 1 исходных предметов, из множества
б)б)Рис. 16.2. Жадная стратегия не работает для дискретной задачи о рюкзакеРис. 16.2. Жадная стратегия не работает для дискретной задачи о рюкзакеГ;' ’° rP,L
б)
б)
Рис. 16.2. Жадная стратегия не работает для дискретной задачи о рюкзаке
Рис. 16.2. Жадная стратегия не работает для дискретной задачи о рюкзаке
И) ^Нрм
В)
которых исключен предмет под номером j. Для аналогичной непрерывной задачи можно привести такие же рассуждения. Если удалить из оптимально загруженного рюкзака товар с индексом j, который весит w кг, остальное содержимое рюкзака будет наиболее ценным, состоящим из п — 1 исходных товаров, вес которых не превышает величину W — w плюс wj — w кг товара с индексом j.
Несмотря на сходство сформулированных выше задач, непрерывная задача о рюкзаке допускает решение на основе жадной стратегии, а дискретная — нет. Чтобы решить непрерывную задачу, вычислим сначала стоимость единицы веса Di/wt каждого товара. Придерживаясь жадной стратегии, вор сначала загружает как можно больше товара с максимальной удельной стоимостью (за единицу веса). Если запас этого товара исчерпается, а грузоподъемность рюкзака — нет, он загружает как можно больше товара, удельная стоимость которого будет второй по величине. Так продолжается до тех пор, пока вес товара не достигает допустимого максимума. Таким образом, вместе с сортировкой товаров по их удельной стоимости время работы алгоритма равно O(nlgn). Доказательство того, что непрерывная задача о рюкзаке обладает свойством жадного выбора, предлагается провести в упражнении 16.2-1.
Чтобы убедиться, что подобная жадная стратегия не работает в целочисленной задаче о рюкзаке, рассмотрим пример, проиллюстрированный на рис. 16.2а. Имеется 3 предмета и рюкзак, способный выдержать 50 кг. Первый предмет весит 10 кг и стоит 60 грн. Второй предмет весит 20 кг и стоит 100 грн. Третий предмет весит 30 кг и стоит 120 грн. Таким образом, один килограмм первого предмета стоит 6 грн, что превышает аналогичную величину для второго (5 грн/кг) и третьего (4 грн/кг) предметов. Поэтому жадная стратегия должна состоять в том, чтобы сначала взять первый предмет. Однако, как видно из рис. 16.26, оптимальное решение — взять второй и третий предмет, а первый — оставить. Оба возможных решения, включающих в себя первый предмет, не являются оптимальными.
Однако для аналогичной непрерывной задачи жадная стратегия, при которой сначала загружается первый предмет, позволяет получить оптимальное решение,
как видно из рис. 16.2в. Если же сначала загрузить первый предмет в дискретной задаче, то невозможно будет загрузить рюкзак до отказа и оставшееся пустое место приведет к снижению эффективной стоимости единицы веса при такой загрузке. Принимая в дискретной задаче решение о том, следует ли положить тот или иной предмет в рюкзак, необходимо сравнить решение подзадачи, в которую входит этот предмет, с решением подзадачи, в которой он отсутствует, и только после этого можно делать выбор. В сформулированной таким образом задаче возникает множество перекрывающихся подзадач, что служит признаком применимости динамического программирования. И в самом деле, целочисленную задачу о рюкзаке можно решить с помощью динамического программирования (см. упражнение 16.2-2).
Упражнения
1. Докажите, что непрерывная задача о рюкзаке обладает свойством жадного выбора.
2. Приведите решение дискретной задачи о рюкзаке с помощью динамического программирования. Время работы вашего алгоритма должно быть равно О (nW\ где п — количество элементов, a W — максимальный вес предметов, которые вор может положить в свой рюкзак.
3. Предположим, что в дискретной задаче о рюкзаке порядок сортировки по увеличению веса совпадает с порядком сортировки по уменьшению стоимости. Сформулируйте эффективный алгоритм для поиска оптимального решения этой разновидности задачи о рюкзаке и обоснуйте его корректность.
4. Профессор едет из Киева в Москву на автомобиле. У него есть карта, где обозначены все заправки с указанием расстояния между ними. Известно, что если топливный бак заполнен, то автомобиль может проехать п километров. Профессору хочется как можно реже останавливаться на заправках. Сформулируйте эффективный метод, позволяющий профессору определить, на каких заправках следует заливать топливо, чтобы количество остановок оказалось минимальным. Докажите, что разработанная стратегия дает оптимальное решение.
5. Разработайте эффективный алгоритм, который по заданному множеству {^1> ^2) • • •, ^п} действительных точек на числовой прямой позволил бы найти минимальное множество закрытых интервалов единичной длины, содержащих все эти точки. Обоснуйте корректность алгоритма.
* 16.2-6. Покажите, как решить непрерывную задачу о рюкзаке за время О (п\
-7. Предположим, что имеется два множества, А и В, каждое из которых состоит из п положительных целых чисел. Порядок элементов каждого
множества можно менять произвольным образом. Пусть а, — г-й элемент множества A, abt — г-й элемент множества В после переупорядочения. Составим величину П?=1 °ч- Сформулируйте алгоритм, который бы максимизировал эту величину. Докажите, что ваш алгоритм действительно максимизирует указанную величину, и определите время его работы.
Коды Хаффмана
Коды Хаффмана (Huffman codes) — широко распространенный и очень эффективный метод сжатия данных, который, в зависимости от характеристик этих данных, обычно позволяет сэкономить от 20% до 90% объема. Мы рассматриваем данные, представляющие собой последовательность символов. В жадном алгоритме Хаффмана используется таблица, содержащая частоты появления тех или иных символов. С помощью этой таблицы определяется оптимальное представление каждого символа в виде бинарной строки.
Предположим, что имеется файл данных, состоящий из 100000 символов, который требуется сжать. Символы в этом файле встречаются с частотой, представленной в табл. 16.1. Таким образом, всего файл содержит шесть различных символов, а, например, символ а встречается в нем 45 000 раз.
Таблица 16.1. Задача о кодировании последовательности символов
а
ь
с
d
е
f
Частота (в тысячах)
45
13
12
16
9
5
Кодовое слово фиксированной длины
000
001
010
011
100
101
Кодовое слово переменной длины
0
101
100
111
1101
1100
Существует множество способов представить подобный файл данных. Рассмотрим задачу по разработке бинарного кода символов (binary character code; или для краткости просто кода), в котором каждый символ представляется уникальной бинарной строкой. Если используется код фиксированной длины, или равномерный код (fixed-length code), то для представления шести символов понадобится 3 бита: а = 000, b = 001, ...,/= 101. При использовании такого метода для кодирования всего файла понадобится 300 000 битов. Можно ли добиться лучших результатов?
С помощью кода переменной длины, или неравномерного кода (variablelength code), удается получить значительно лучшие результаты, чем с помощью кода фиксированной длины. Это достигается за счет того, что часто встречающимся символам сопоставляются короткие кодовые слова, а редко встречающимся — длинные. Такой код представлен в последней строке табл. 16.1. В нем символ а
представлен 1-битовой строкой 0, а символ f — 4-битовой строкой 1100. Для представления файла с помощью этого кода потребуется
(45 • 1 + 13 • 3 + 12 • 3 + 16 • 3 + 9 • 4 + 5 • 4) • 1000 = 224 000 битов.
Благодаря этому дополнительно экономится 25% объема. Кстати, как мы вскоре убедимся, для рассматриваемого файла это оптимальная кодировка символов.
Префиксные коды
Мы рассматриваем только те коды, в которых никакое кодовое слово не является префиксом какого-то другого кодового слова. Такие коды называются префиксными (prefix codes). Можно показать (хотя здесь мы не станем этого делать), что оптимальное сжатие данных, которого можно достичь с помощью кодов, всегда достижимо при использовании префиксного кода, поэтому рассмотрение одних лишь префиксных кодов не приводит к потере общности.
Для любого бинарного кода символов кодирование текста — очень простой процесс: надо просто соединить кодовые слова, представляющие каждый символ в файле. Например, в кодировке с помощью префиксного кода переменной длины, представленного в табл. 16.1, трехсимвольный файл abc имеет вид 0 • 101 • 100 = = 0101100, где символом “•” обозначена операция конкатенации.
Предпочтение префиксным кодам отдается из-за того, что они упрощают декодирование. Поскольку никакое кодовое слово не выступает в роли префикса другого, кодовое слово, с которого начинается закодированный файл, определяется однозначно. Начальное кодовое слово легко идентифицировать, преобразовать его в исходный символ и продолжить декодирование оставшейся части закодированного файла. В рассматриваемом примере строка 001011101 однозначно раскладывается на подстроки 0 • 0 • 101 • 1101, что декодируется как aabe.
Для упрощения процесса декодирования требуется удобное представление префиксного кода, чтобы кодовое слово можно было легко идентифицировать. Одним из таких представлений является бинарное дерево, листьями которого являются кодируемые символы. Бинарное кодовое слово, представляющее символ, интерпретируется как путь от корня к этому символу. В такой интерпретации 0 означает “перейти к левому дочернему узлу”, а 1 — “перейти к правому дочернему узлу”. На рис. 16.3 показаны такие деревья для двух кодов, взятых из нашего примера. Каждый лист на рисунке помечен соответствующим ему символом и частотой появления, а внутренний узел — суммой частот листьев его поддерева. В части а рисунка приведено дерево, соответствующее коду фиксированной длины, где а = 000, ...,/ = 101. В части б показано дерево, соответствующее оптимальному префиксному коду а = 0, b = 101, ...,/ = 1100. Заметим,
Рис. 16.3. Деревья, соответствующие схемам кодирования, приведенным в табл. 16.1Рис. 16.3. Деревья, соответствующие схемам кодирования, приведенным в табл. 16.1а)а)
Рис. 16.3. Деревья, соответствующие схемам кодирования, приведенным в табл. 16.1
Рис. 16.3. Деревья, соответствующие схемам кодирования, приведенным в табл. 16.1
а)
а)
что изображенные на рисунке деревья не являются бинарными деревьями поиска, поскольку листья в них не обязательно расположены в порядке сортировки, а внутренние узлы не содержат ключей символов.
Оптимальный код файла всегда может быть представлен полным бинарным деревом, в котором у каждого узла (кроме листьев) имеется по два дочерних узла (см. упражнение 16.3-1). Код фиксированной длины, представленный в рассмотренном примере, не является оптимальным, поскольку соответствующее ему дерево, изображенное на рис. 16.3а, — неполное бинарное дерево: некоторые слова кода начинаются с 10..., но ни одно из них не начинается с 11.... Поскольку в нашем обсуждении мы можем ограничиться только полными бинарными деревьями, можно утверждать, что если С — алфавит, из которого извлекаются кодируемые символы, и все частоты, с которыми встречаются символы, положительны, то дерево, представляющее оптимальный префиксный код, содержит ровно |С| листьев, по одному для каждого символа из множества С, и ровно |С| — 1 внутренних узлов (см. упражнение Б.5-3).
Если имеется дерево Т, соответствующее префиксному коду, легко подсчитать количество битов, которые потребуются для кодирования файла. Обозначим через / (с) частоту символа с из множества С в файле, а через йт ^ — глубину листа, представляющего этот символ в дереве. Заметим, что йт (с) является также длиной слова, кодирующего символ с. Таким образом, для кодировки файла необходимо количество битов, равное
B(T) = ^/(c)dr(c) (16.5) сёС
Назовем эту величину стоимостью дерева Т.
Построение кода Хаффмана
Хаффман изобрел жадный алгоритм, позволяющий составить оптимальный префиксный код, который получил название код Хаффмана. В соответствии с линией, намеченной в разделе 16.2, доказательство корректности этого алгоритма основывается на свойстве жадного выбора и оптимальной подструктуре. Вместо того чтобы демонстрировать, что эти свойства выполняются, а затем разрабатывать псевдокод, сначала мы представим псевдокод. Это поможет прояснить, как алгоритм осуществляет жадный выбор.
В приведенном ниже псевдокоде предполагается, что С — множество, состоящее из п символов, и что каждый из символов сЕС — объект с определенной частотой / (с). В алгоритме строится дерево Т, соответствующее оптимальному коду, причем построение идет в восходящем направлении. Процесс построения начинается с множества, состоящего из |С| листьев, после чего последовательно выполняется |С| — 1 операций “слияния”, в результате которых образуется конечное дерево. Для идентификации двух наименее часто встречающихся объектов, подлежащих слиянию, используется очередь с приоритетами Q, ключами в которой являются частоты /. В результате слияния двух объектов образуется новый объект, частота появления которого является суммой частот объединенных объектов:
Huffman(C)
п<—\С\
Q^-C
for г 1 to п - 1
do Выделить память для узла z
left\z\ +- х +-Extract_Min(Q)
right^ <-y <- EXTRACT_MlN(Q)
/И /И +f [y]
lNSERT(Q, г)
return Extract_Min(Q)О Возврат корпя дерева
Для рассмотренного ранее примера алгоритм Хаффмана выводит результат, приведенный на рис. 16.4. На каждом этапе показано содержимое очереди, элементы которой рассортированы в порядке возрастания их частот. На каждом шаге работы алгоритма объединяются два объекта (дерева) с самыми низкими частотами. Листья изображены в виде прямоугольников, в каждом из которых указана буква и соответствующая ей частота. Внутренние узлы представлены кругами^ содержащими сумму частот дочерних узлов. Ребро, соединяющее внутренний узел с левым дочерним узлом, имеет метку 0, а ребро, соединяющее его с правым дочерним узлом, — метку 1. Слово кода для буквы образуется последовательностью меток на ребрах, соединяющих корень с листом, представляющим эту букву. По-
Рис. 16.4. Этапы работы алгоритма Хаффмана для частот, заданных в табл. 16.1
скольку данное множество содержит шесть букв, размер исходной очереди равен 6 (часть а рисунка), а для построения дерева требуется пять слияний. Промежуточные этапы изображены в частях б-д. Конечное дерево (рис. 16.4е) представляет оптимальный префиксный код. Как уже говорилось, слово кода для буквы — это последовательность меток на пути от корня к листу с этой буквой.
В строке 2 инициализируется очередь с приоритетами Q, состоящая из элементов множества С. Цикл for в строках 3-8 поочередно извлекает по два узла, ж и у, которые характеризуются в очереди наименьшими частотами, и заменяет их в очереди новым узлом z, представляющим объединение упомянутых выше элементов. Частота появления z вычисляется в строке 7 как сумма частот х и у. Узел х является левым дочерним узлом г, а у — его правым дочерним узлом. (Этот порядок является произвольным; перестановка левого и правого дочерних узлов приводит к созданию другого кода с той же стоимостью.) После n — 1 объединений в очереди остается один узел — корень дерева кодов, который возвращается в строке 9.
При анализе времени работы алгоритма Хаффмана предполагается, что Q реализована как бинарная неубывающая пирамида (см. главу 6). Для множества С, состоящего из п символов, инициализацию очереди Q в строке 2 можно выполнить
за время О (п) с помощью процедуры Build_Min_Heap из раздела 6.3. Цикл for в строках 3-8 выполняется ровно п — 1 раз, и поскольку для каждой операции над пирамидой требуется время O(lgn), вклад цикла во время работы алгоритма равен О^пХ^пУ Таким образом, полное время работы процедуры Huffman с входным множеством, состоящим из п символов, равно О (nlgn).
Корректность алгоритма Хаффмана
Чтобы доказать корректность жадного алгоритма Huffman, покажем, что в задаче о построении оптимального префиксного кода проявляются свойства жадного выбора и оптимальной подструктуры. В сформулированной ниже лемме показано соблюдение свойства жадного выбора.
Лемма 16.2. Пусть С — алфавит, каждый символ сЕС которого встречается с частотой / [с]. Пусть х и у — два символа алфавита С с самыми низкими частотами. Тогда для алфавита С существует оптимальный префиксный код, кодовые слова символов х и у в котором имеют одинаковую длину и отличаются лишь последним битом.
Доказательство. Идея доказательства состоит в том, чтобы взять дерево Т, представляющее произвольный оптимальный префиксный код, и преобразовать его в дерево, представляющее другой оптимальный префиксный код, в котором символы х и у являются листьями с общим родительским узлом, причем в новом дереве эти листья находятся на максимальной глубине.
Пусть а и b — два символа, представленные листьями с общим родительским узлом, которые находятся на максимальной глубине дерева Т. Предположим без потери общности, что / [а] ^ / \Ь\ и f [х] ^ f [у]. Поскольку / [ж] и / [у] — две самые маленькие частоты (в указанном порядке), а / [а] и / [Ь] — две произвольные частоты, то выполняются соотношения J ^ ^ f [а] и / [у] ^ / [Ь]. Как показано на рис. 16.5, в результате перестановки в дереве Т листьев аих получается дерево Г, а при последующей перестановке в дереве Т" листьев b и у получается дерево Тм. Согласно уравнению (16.5), разность стоимостей деревьев Т и Т равна
В (Т) — В (Г) = 52 / (с) dT (с) - 52 / (с) dT' (с) = сес сес
= / [ж] dT (ж) + / [a] dT (а) - f [ж] dT. (ж) - / [а] dT. (а) =
= / [ж] dT (ж) + / [а] dT (а) - / [ж] dT (а) - / [а] dT (ж) =
= (/ [°1 ~ / И) № (а) - dT (ж)) > О,
поскольку величины / [а]—/ [ж] «dT (a)—dT (ж) неотрицательны. Величина / [а]— / [ж] неотрицательна, потому что ж — лист с минимальной частотой, величина йт (а) ~ Ат (ж) неотрицательна, потому что а — лист на максимальной глубине
Рис. 16.5. Иллюстрация ключевых этапов доказательства леммы 16.2
в дереве Т. Аналогично, перестановка листьев у и b не приведет к увеличению стоимости, поэтому величина В (Т) — В (Тн) неотрицательна. Таким образом, выполняется неравенство В (Тп) < В (Т), и поскольку Т — оптимальное дерево, то должно также выполняться неравенство В (Т) < В (Т"\ откуда следует, что В(Т”) = В (Т). Таким образом, Тм — оптимальное дерево, в котором х и у — находящиеся на максимальной глубине дочерние листья одного и того же узла, что и доказывает лемму. □
Из леммы 16.2 следует, что процесс построения оптимального дерева путем объединения узлов без потери общности можно начать с жадного выбора, при котором объединению подлежат два символа с наименьшими частотами. Почему такой выбор будет жадным? Стоимость объединения можно рассматривать как сумму частот входящих в него элементов. В упражнении 16.3-3 предлагается показать, что полная стоимость сконструированного таким образом дерева равна сумме стоимостей его составляющих. Из всевозможных вариантов объединения на каждом этапе в процедуре Huffman выбирается тот, в котором получается минимальная стоимость.
В приведенной ниже лемме показано, что задача о составлении оптимальных префиксных кодов обладает свойством оптимальной подструктуры.
Лемма 16.3. Пусть дан алфавит С, в котором для каждого символа сЕС определены частоты / [с]. Пусть х и у — два символа из алфавита С с минимальными частотами. Пусть С’ — алфавит, полученный из алфавита С путем удаления символов х и у и добавления нового символа г, так что С' = С — {ж, у} U {г}. По определению частоты / в алфавите С1 совпадают с частотами в алфавите С, за исключением частоты / И = / [ж] + / [у]. Пусть Т — произвольное дерево, представляющее оптимальный префиксный код для алфавита С'. Тогда дерево Т, полученное из дерева Т путем замены листа z внутренним узлом с дочерними элементами х и у, представляет оптимальный префиксный код для алфавита С.
Доказательство. Сначала покажем, что стоимость В (Т) дерева Т можно выразить через стоимость В (Т') дерева Т, рассматривая стоимости компонентов из уравнения (16.5). Для каждого символа с е С — {ж, у} выполняется соотношение
Дт (с) = Дт' (с), следовательно, / [с] Дт (с) = / [с] Дт' (с)- Поскольку Дт (ж) = = Дт (у) = Дт (2) + L получаем соотношение
/ [ж] Дт (ж) + / [у] Дт (у) = (/ [ж] + / [у]) (dr, (z) + 1) = = / [2] dT- (z) + (/ [ж] + / [у]),
из которого следует равенство
В(Т) = В(Г)+/[ж] + /[у],
ИЛИ
В (Т') = В (Т) — / [ж] — / [у].
Докажем лемму методом от противного. Предположим, дерево Т не представляет оптимальный префиксный код для алфавита С. Тогда существует дерево Т”, для которого справедливо неравенство B(TN) < В (Т). Согласно лемме 16.2, х и у без потери общности можно считать дочерними элементами одного и того же узла. Пусть дерево Т,м получено из дерева Тм путем замены элементов х и у листом х с частотой / [г] = / [ж] + / [у]. Тогда можно записать:
В (Г") = В (Т") - / [ж] - / [у] < В (Т) - / [ж] - / [у] = В (Г) ,
что противоречит предположению о том, что дерево Т представляет оптимальный префиксный код для алфавита С'. Таким образом, дерево Т должно представлять оптимальный префиксный код для алфавита С.□
Теорема 16.4. Процедура Huffman дает оптимальный префиксный код.
Доказательство. Справедливость теоремы непосредственно следует из лемм 16.2 и 16.3.□
Упражнения
1. Докажите, что бинарное дерево, которое не является полным, не может соответствовать оптимальному префиксному коду.
2. Определите оптимальный код Хаффмана для представленного ниже множества частот, основанного на первых восьми числах Фибоначчи.
а:1 b:1 с:2 d:3 е:5 f:8 g:13 h:21
Попытайтесь обобщить ответ на случай первых и чисел Фибоначчи.
3. Докажите, что полную стоимость дерева, представляющего какой-нибудь код, можно также вычислить как сумму комбинаций частот двух дочерних узлов по всем внутренним узлам.
4. Докажите, что если символы отсортированы в порядке монотонного убывания частот, то существует оптимальный код, длина слов в котором — монотонно неубывающая величина.
5. Предположим, имеется оптимальный префиксный код для множества С = {0,1,..., п — 1} и мы хотим передать его, использовав как можно меньше битов. Покажите, как представить любой оптимальный префиксный код для множества С с помощью всего 2п — 1 + n fig п"] битов. ^Указание; для представления структуры дерева, определяемой его обходом, достаточно 2п — 1 битов.)
6. Обобщите алгоритм Хаффмана для кодовых слов в троичной системе счисления (т.е. слов, в которых используются символы 0, 1 и 2) и докажите, что с его помощью получается оптимальный троичный код.
7. Предположим, что файл данных содержит последовательность 8-битовых символов, причем все 256 символов встречаются достаточно часто: максимальная частота превосходит минимальную менее чем в два раза. Докажите, что в этом случае кодирование Хаффмана по эффективности не превышает обычный 8-битовый код фиксированной длины.
8. Покажите, что в среднем ни одна схема сжатия не в состоянии даже на один бит сжать файл, состоящий из случайных 8-битовых символов. (Указание: сравните количество возможных файлов с количеством сжатых файлов.)
* 16.4 Теоретические основы жадных методов
В этом разделе в общих чертах рассматривается элегантная теория жадных алгоритмов. Она оказывается полезной, когда нужно определить, когда жадный метод дает оптимальное решение. Эта теория содержит комбинаторные структуры, известные под названием “матроиды”. Несмотря на то, что рассматриваемая теория не описывает все случаи, для которых применим жадный метод (например, она не описывает задачу о выборе процессов из раздела 16.1 или задачу о кодах Хаффмана из раздела 16.3), она находит применение во многих случаях, представляющих практический интерес. Более того, эта теория быстро развивается и обобщается, находя все больше приложений. В конце данной главы приводятся ссылки на литературу, посвященную этой теме.
Матроиды
Матроид (matroid) — это упорядоченная пара М = (8Д\ удовлетворяющая сформулированным ниже условиям.
Множество S конечное.
Т — непустое семейство подмножеств множества S (которые называются независимыми подмножествами), таких что если В е Т и А С В, то А 6 I. Если семейство Т удовлетворяет этому свойству, то его называют наследственным (hereditary). Заметим, что пустое множество 0 с необходимостью принадлежит семейству 2*.
Если А е 2*, В е I и |Л| < |В|, то существует такой элемент х е А — В, что A U {ж} е I. Говорят, что структура М удовлетворяет свойству замены (exchange property).
Термин “матроид” был введен Хасслером Уитни (Hassler Whitney). Он изучал матричные матроиды, элементами S которых являются строки заданной матрицы. Множество строк является независимым, если они линейно независимы в обычном смысле. Легко показать, что эта структура задает матроид (см. упражнение 16.4-2).
В качестве другого примера матроида рассмотрим графовый матроид Mg = = (8сДс\ определенный ниже в терминах неориентированного графа G =
Sq — множество Е ребер графа G.
Если А — подмножество множества Е, то А е Ig тогда и только тогда, когда множество А ациклическое, т.е. множество ребер А независимо тогда и только тогда, когда подграф Ga = (V, А) образует лес.
Графовый матроид Mg тесно связан с задачей о минимальном остовном дереве, подробно описанном в главе 23.
Теорема 16.5. Если G = (V, Е) — неориентированный граф, то Mg = (8сДс) — матроид.
Доказательство. Очевидно, что Sg = Е — конечное множество. Кроме того, Ig — наследственное семейство, поскольку подмножество леса является лесом. Другими словами, удаление ребер из ациклического множества ребер не может привести к образованию циклов.
Таким образом, осталось показать, что структура Mg удовлетворяет свойству замены. Предположим, что Ga — УУ) ^ Gb — У В) — леса графа G и что |В| > |А|, т.е. А и В — ациклические множества ребер, и в множестве В содержится больше ребер, чем во множестве А.
Из теоремы Б.2 следует, что лес, в котором имеется к ребер, содержит ровно |У| — к деревьев. (Чтобы доказать это другим путем, начнем с |V| деревьев, каждое из которых содержит только одну вершину и не содержит ни одного ребра. Тогда каждое ребро, которое добавляется в лес, на единицу уменьшает
количество деревьев.) Таким образом, лес Ga содержит | V | — |Л| деревьев, а лес Gs — |V| — |5| деревьев.
Поскольку в лесу Gb меньше деревьев, чем в лесу Ga, в нем должно содержаться некоторое дерево Т, вершины которого принадлежат двум различным деревьям леса Ga- Более того, так как дерево Т — связное, оно должно содержать такое ребро (u,v), что вершины и и v принадлежат разным деревьям леса Ga- Поскольку ребро (и, v) соединяет вершины двух разных деревьев леса Ga, его можно добавить в лес Ga, не образовав при этом цикла. Таким образом, структура Mq удовлетворяет свойству замены, что и завершает доказательство того, что MG — матроид. 0
Для заданного матроида М = (S,T) назовем элемент х ф А расширением (extension) множества Л Е Т, если его можно добавить в А без нарушения независимости, т.е. х — расширение множества Л, если A U {ж} ЕI. В качестве примера рассмотрим графовый матроид Mg- Если А — независимое множество ребер, то ребро е является расширением множества А тогда и только тогда, когда оно не принадлежит этому множеству и его добавление в Л не приведет к образованию цикла.
Если А — независимое подмножество в матроиде М, то если у него нет расширений, говорят, что А — максимальное множество. Таким образом, множество А — максимальное, если оно не содержится ни в одном большем независимом подмножестве матроида М. Сформулированное ниже свойство часто оказывается весьма полезным.
Теорема 16.6. Все максимальные независимые подмножества матроида имеют один и тот же размер.
Доказательство. Докажем теорему методом от противного. Предположим, что А — максимальное независимое подмножество матроида М и что существует другое максимальное независимое подмножество В матроида М, размер которого превышает размер подмножества А. Тогда из свойства замены следует, что множество А расширяемо до большего независимого множества A U {ж} за счет некоторого элемента х Е В — Л, что противоречит предположению о максимальности множества А. □
В качестве иллюстрации применения этой теоремы рассмотрим графовый матроид Mg связного неориентированного графа G. Каждое максимальное независимое подмножество Mg должно представлять собой свободное дерево, содержащее ровно | V | — 1 ребер, которые соединяют все вершины графа G. Такое дерево называется остовным деревом (spanning tree) графа G.
Говорят, что матроид М = (S,Z) взвешенный (weighted), если с ним связана весовая функция w, назначающая каждому элементу х Е S строго положительный
вес w(x\ Весовая функция w обобщается на подмножества S путем суммирования:
w (Л) = У^ w (ж)хеа
для любого подмножества ACS. Например, если обозначить через w (е) длину ребра е графового матроида Mg, то w (Л) — суммарная длина всех ребер, принадлежащих множеству А.
Жадные алгоритмы на взвешенном матроиде
Многие задачи, для которых жадный подход позволяет получить оптимальное решение, можно сформулировать в терминах поиска независимого подмножества с максимальным весом во взвешенном матроиде. Итак, задан взвешенный мат- роид М = (S, Z) и нужно найти независимое множество Л Е Т, для которого величина w (Л) будет максимальной. Назовем такое максимальное независимое подмножество с максимально возможным весом оптимальным подмножеством матроида. Поскольку вес w (ж) каждого элемента xeS положителен, оптимальное подмножество всегда является максимальным независимым подмножеством, что всегда помогает сделать множество А большим, насколько это возможно.
Например, в задаче о минимальном остовном дереве (minimum-spanningtree problem) задается связный неориентированный граф G = (У,Б) и функция длин w такая, что w (е) — (положительная) длина ребра е. (Термин “длина” используется здесь для обозначения исходного веса, соответствующего ребру графа; термин “вес” сохранен для обозначения весов в соответствующем матроиде.) Необходимо найти подмножество ребер, которые соединяют все вершины и имеют минимальную общую» длину. Чтобы представить эту проблему в виде задачи поиска оптимального подмножества матроида, рассмотрим взвешенный матроид Mq с весовой функцией w', где w' (е) = wo — w (е), а величина wq превышает максимальную длину ребра. В таком взвешенном матроиде любой вес является положительным, а оптимальное подмножество представляет собой остовное дерево в исходном графе, имеющее минимальную общую длину. Точнее говоря, каждое максимальное независимое подмножество А соответствует остовному дереву, и, поскольку для любого максимального независимого подмножества А справедливо соотношение
w' (Л) = (| V| - 1) wo - w (Л),
то независимое подмножество, которое максимизирует величину w' (Л), должно минимизировать величину w (Л). Таким образом, любой алгоритм, позволяющий найти оптимальное подмножество А произвольного матроида, позволяет также решить задачу о минимальном остовном дереве.
В главе 23 приводится алгоритм решения задачи о минимальном остовном дереве, а здесь описывается жадный алгоритм, который работает для произвольного взвешенного матроида. В качестве входных данных в этом алгоритме выступает взвешенный матроид М = (5,2) и связанная с ним весовая функция w. Алгоритм возвращает оптимальное подмножество А. В рассматриваемом псевдокоде компоненты матроида М обозначены как S [М] и 2 [М], а весовая функция — через w. Алгоритм является жадным, поскольку все элементы ж 6 5 рассматриваются в нем в порядке монотонного убывания веса, после чего элемент добавляется в множество А, если множество A U {ж} — независимое.
Greedy(M, w) i A^e
Сортировка множества 5 [Л/] в порядке убывания w
for каждого ж € 5 [Л/] в порядке монотонного убывания веса ш(ж)
do if A U {ж} € Х^М]
then А ♦— A U {ж}
return А
Элементы множества S рассматриваются по очереди, в порядке монотонного убывания веса. Рассматриваемый элемент ж добавляется в множество А, если он не нарушает независимость последнего. В противном случае элемент ж отбрасывается. Поскольку по определению матроида пустое множество является независимым и поскольку элемент ж добавляется в множество А, только если множество A U {ж} — независимое, подмножество А по индукции всегда независимо. Таким образом, алгоритм GREEDY всегда возвращает независимое подмножество А. Вскоре вы увидите, что А — подмножество с максимальным возможным весом, поэтому оно является оптимальным.
Время работы алгоритма GREEDY легко проанализировать. Обозначим через п величину |5|. Фаза сортировки длится в течение времени О (nlgn). Строка 4 выполняется ровно п раз, по одному разу для каждого элемента множества S. При каждом выполнении строки 4 требуется проверить, является ли независимым множество A U {ж}. Если каждая подобная проверка длится в течение времени О (/ (п)), общее время работы алгоритма составляет О (п lg п + nf (п)).
Теперь докажем, что алгоритм Greedy возвращает оптимальное подмножество.
Лемма 16.7 (Матроиды обладают свойством жадного выбора). Пусть М = = (5,2) — взвешенный матроид с весовой функцией го, и пусть множество 5 отсортировано в порядке монотонного убывания весов. Пусть ж — первый элемент множества 5, такой что множество {ж} независимо (если он существует). Если элемент ж существует, то существует оптимальное подмножество А множества 5, содержащее элемент ж.
Доказательство. Если такого элемента х не существует, то единственным независимым подмножеством является пустое множество и доказательство закончено. В противном случае предположим, что В — произвольное непустое оптимальное подмножество. Предположим также, что х ф В; в противном случае считаем, что А = В, и доказательство закончено.
Ни один из элементов множества В не имеет вес, больший чем w (х\ Чтобы продемонстрировать это, заметим, что из у 6 В следует, что множество {у} независимо, поскольку В е Т, а семейство Т наследственное. Таким образом, благодаря выбору элемента х обеспечивается выполнение неравенства w (ж) ^ w (у) для любого элемента у е В.
Построим множество А, как описано ниже. Начнем с А = {ж}. В соответствии с выбором элемента х, множество А — независимое. С помощью свойства замены будем осуществлять поиск нового элемента множества В, который можно добавить в множество А, пока не станет справедливо соотношение |Л| = \В\; при этом множество А останется независимым. Тогда А = В — {у} U {ж} для некоторого элемента у е В, так что
w (Л) = w (В) — w (у) + w (ж) ^ w (В).
Поскольку множество В — оптимальное, множество А тоже должно быть оптимальным. Поскольку х е А, лемма доказана. I
Теперь покажем, что если какой-то элемент не может быть добавлен вначале, он также не может быть добавлен позже.
Лемма 16.8. Пусть М = (S,T) — произвольный матроид. Если х — элемент S, представляющий собой расширение некоторого независимого подмножества А множества S, то х также является расширением пустого множества 0.
Доказательство. Поскольку х — расширение множества А, то множество A U {х} независимое. Так как семейство Т является наследственным, то множество {ж} должно быть независимым. Таким образом, х — расширение пустого множества 0. I
Следствие 16.9. Пусть М = (S,Z) — произвольный матроид. Если х — элемент множества S, который не является расширением пустого множества 0, то этот элемент также не является расширением любого независимого подмножества А множества S.
Доказательство. Это следствие — обращение леммы 16.8. ■
В следствии 16.9 утверждается, что любой элемент, который не может быть использован сразу, не может использоваться никогда. Таким образом, в алгоритме
Greedy не может быть допущена ошибка, состоящая в пропуске какого-нибудь начального элемента из множества S, который не является расширением пустого множества 0, поскольку такие элементы никогда не могут быть использованы.
Лемма 16.10 (Матроиды обладают свойством оптимальной подструктуры).
Пусть х — первый элемент множества S, выбранный алгоритмом Greedy для взвешенного матроида М = (S,Z). Оставшаяся задача поиска независимого подмножества с максимальным весом, содержащего элемент ж, сводится к поиску независимого подмножества с максимальным весом для взвешенного матроида М* = ^S\T\ где
S' = {у € S : {ж, у} € Т},
I* = {В С S - {ж} : В U {ж} е 2"} , и
весовая функция матроида М' совпадает с весовой функцией матроида М, ограниченной на множество S'. (Назовем матроид М* сужением (contraction) матроида М на элемент х?)
Доказательство. Если А — произвольное независимое подмножество с максимальным весом матроида М, содержащее элемент х, то А’ = А — {х} — независимое подмножество матроида М*. Справедливо также обратное: из любого независимого подмножества А' матроида М' можно получить независимое подмножество А = A* U {ж} матроида М. Поскольку в обоих случаях выполняется соотношение w (А) = w (А') + w (ж), решение с максимальным весом, содержащее элемент х, для матроида М позволяет получить решение с максимальным весом для матроида М' и наоборот. в
Теорема 16.11 (Корректность жадного алгоритма для матроидов). Если М = = (S, Т) — взвешенный матроид с весовой функцией w, то алгоритм Greedy(М, w) возвращает оптимальное подмножество.
Доказательство. Согласно следствию 16.9, обо всех пропущенных ранее элементах, не являющихся расширениями пустого множества 0, можно забыть, поскольку они никогда больше не понадобятся. Когда выбран первый элемент х, из леммы 16.7 следует, что процедура Greedy не допускает ошибки, добавляя элемент х в множество А, потому что существует оптимальное подмножество, содержащее элемент х. И наконец, из леммы 16.10 следует, что в оставшейся задаче требуется найти оптимальное подмножество матроида М\ представляющего собой сужение матроида М на элемент х. После того как в процедуре Greedy множество А приобретет вид {ж}, все остальные действия этой процедуры можно интерпретировать как действия над матроидом М’ = (Д Д'\ Это утверждение справедливо благодаря тому, что любое множество ВеТ — независимое подмножество матроида NT тогда и только тогда, когда множество В U {ж} независимо
в матроиде М. Таким образом, в ходе последующей работы процедуры GREEDY будет найдено независимое подмножество с максимальным весом для матроида М', а в результате полного выполнения этой процедуры будет найдено независимое подмножество с максимальным весом для матроида М. ■
Упражнения
1. Покажите, что если S — произвольное конечное множество, alk — множество всех подмножеств S, размер которых не превышает к ^ |5|, то (S,Tk) — матроид.
* 16.4-2. Пусть Т — матрица размером тх п над некоторым полем (например, действительных чисел). Покажите, что если S — множество столбцов Т, а Л е2, то (5,2) является матроидом тогда и только тогда, когда столбцы матрицы А линейно независимы.
* 16.4-3. Покажите, что если (5,2) — матроид, то матроидом является и (5,2'), где
2' = { Л' : S — А! содержит некоторое максимальное Л € 2},
т.е. максимальные независимые множества матроида (5, 2') представляют собой дополнения максимальных независимых множеств матроида (5,2).
* 16.4-4. Пусть S — конечное множество, a Si, S2,..., Sk — разбиение этого множества на непустые непересекающиеся подмножества. Определим структуру (5,2) с помощью условия 2 = {Л : |Л П SJ ^ 1 для г = 1,2,... ,ку Покажите, что (5,2) — матроид. Другими словами, семейство всех множеств А, содержащих не более одного члена в каждом блоке разбиения, определяет независимые множества матроида.
5. Покажите, как можно преобразовать весовую функцию в задаче о взвешенном матроиде, в которой оптимальное решение представляет собой максимальное независимое подмножество с минимальным весом, чтобы преобразовать ее в стандартную задачу о взвешенном матроиде. Обоснуйте корректность преобразования.
* 16.5 Планирование заданий
Интересная задача, которую можно решить с помощью матроидов, — задача по составлению оптимального расписания единичных заданий, выполняющихся на одном процессоре. Каждое задание характеризуется конечным сроком выпол-
нения, а также штрафом при пропуске этого срока. Эта задача кажется сложной, однако она на удивление просто решается с помощью жадного алгоритма.
Единичное задание (unit-time job) — это задание (например, компьютерная программа), для выполнения которого требуется единичный интервал времени. Если имеется конечное множество S таких заданий, расписание (schedule) для этого множества представляет собой перестановку элементов множества S, определяющую порядок их выполнения. Первое задание в расписании начинается в нулевой момент времени и заканчивается в момент времени 1, второе задание начинается в момент времени 1 и заканчивается в момент времени 2 и т.д.
Входные данные в задаче по планированию на одном процессоре единичных заданий, характеризующихся конечным сроком выполнения и штрафом, имеют следующий вид:
множество S = {ai, а2,..., ап}, состоящее из п единичных заданий;
множество di, d2^..., dn конечных сроков выполнения, представленных целыми числами 1 ^ di ^ п; предполагается, что задание ai должно завершиться к моменту времени dv,
множество из п неотрицательных весов или штрафных сумм wi,W2,..., wn; если задание ai не будет выполнено к моменту времени dn изымается штраф wv, если это задание будет выполнено в срок, штрафные санкции не применяются.
Для множества заданий S нужно найти расписание, минимизирующее суммарный штраф, который накладывается за все просроченные задания.
Рассмотрим произвольное расписание. Говорят, что задание в нем просрочено, если оно завершается позже конечного срока выполнения. В противном случае задание своевременное. Произвольное расписание всегда можно привести к виду с первоочередными своевременными заданиями (early-first form), когда своевременные задания выполняются перед просроченными. Чтобы продемонстрировать это, заметим, что если какое-нибудь своевременное задание at следует после некоторого просроченного задания aj, то задания ai и а^- можно поменять местами, причем задание at все равно останется своевременным, а задание aj — просроченным.
Аналогично, справедливо утверждение, согласно которому произвольное расписание можно привести к каноническому виду (canonical form), в котором своевременные задания предшествуют просроченным и расположены в порядке монотонного возрастания конечных сроков выполнения. Для этого сначала приведем расписание к виду с первоочередными своевременными заданиями. После этого, до тех пор пока в расписании будут иметься своевременные задания а, и aj, которые заканчиваются в моменты времени к и к + 1 соответственно, но при этом dj < di, мы будем менять их местами. Поскольку задание aj до перестановки
было своевременным, к + 1 < dj. Таким образом, к + 1 < dt, и задание at остается своевременным и после перестановки. Задание aj сдвигается на более раннее время, поэтому после перестановки оно тоже остается своевременным.
Приведенные выше рассуждения позволяют свести поиск оптимального расписания к определению множества Л, состоящего из своевременных заданий в оптимальном расписании. Как только такое множество будет определено, можно будет создать фактическое расписание, включив в него элементы множества Л в порядке монотонного возрастания моментов их окончания, а затем — перечислив просроченные задания (S — Л) в произвольном порядке. Таким образом будет получено канонически упорядоченное оптимальное расписание.
Говорят, что множество заданий А независимое, если для него существует расписание, в котором отсутствуют просроченные задания. Очевидно, что множество своевременных заданий расписания образует независимое множество заданий. Обозначим через I семейство всех независимых множеств заданий.
Рассмотрим задачу, состоящую в определении того, является ли заданное множество заданий А независимым. Обозначим через Nt (Л) количество заданий множества А, конечный срок выполнения которых равен t или наступает раньше (величина t может принимать значения 0,1,2,... ,п). Заметим, что No (Л) = О для любого множества А.
Лемма 16.12. Для любого множества заданий А сформулированные ниже утверждения эквивалентны.
Множество А независимое.
Для всех t = 0,1,2,..., п выполняются неравенства Nt (Л) ^ I.
Если в расписании задания из множества А расположены в порядке монотонного возрастания конечных сроков выполнения, то ни одно из них не является просроченным.
Доказательство. Очевидно, что если для некоторого t Nt (Л) > t, то невозможно составить расписание таким образом, чтобы в множестве А не оказалось просроченных заданий, поскольку до наступления момента t остается более t незавершенных заданий. Таким образом, утверждение (1) предполагает выполнение утверждения (2). Если выполняется утверждение (2), то г-й по порядку срок завершения задания не превышает г, так что при расстановке заданий в этом порядке все сроки будут соблюдены. Наконец, из утверждения (3) тривиальным образом следует справедливость утверждения (1).I
С помощью свойства (2) леммы 16.12 легко определить, является ли независимым заданное множество заданий (см. упражнение 16.5-2).
Задача по минимизации суммы штрафов за просроченные задания — это то же самое, что задача по максимизации суммы штрафов, которых удалось избежать благодаря своевременному выполнению заданий. Таким образом, приведенная ниже теорема гарантирует, что с помощью жадного алгоритма можно найти независимое множество заданий А с максимальной суммой штрафов.
Теорема 16.13. Если S — множество единичных заданий с конечным сроком выполнения, al- семейство всех независимых множеств заданий, то соответствующая система (8Д) — матроид.
Доказательство. Ясно, что любое подмножество независимого множества заданий тоже независимо. Чтобы доказать, что выполняется свойство замены, предположим, что В и А — независимые множества заданий, и что |5| > |Л|. Пусть к — наибольшее I, такое что Nt (5) ^ Nt (Л) (такое значение t существует, поскольку Л^о(Л) = ДГ0(В) = 0.) Так как Nn (В) = |В| и Nn (Л) = |Л|, но |В| > |Л|, получается, что к < п, и для всех j в диапазоне к + 1 < j < п должно выполняться соотношение Nj (В) > Nj (Л). Таким образом, в множестве В содержится больше заданий с конечным сроком выполнения к + 1, чем в множестве А. Пусть at — задание из множества В — Л с конечным сроком выполнения к + 1, и пусть А* = A U {aj.
Теперь с помощью второго свойства леммы 16.12 покажем, что множество А' должно быть независимым. Поскольку множество А независимое, для любого 0 ^ t ^ к выполняется соотношение Nt (А') = Nt (Л) ^ t. Для к < t п, поскольку В — независимое множество, имеем Nt (Л') ^ Nt (В) ^ t. Следовательно, множество А’ независимое, что и завершает доказательство того, что (8, Т) — матроид. н
С помощью теоремы 16.11 можно сформулировать жадный алгоритм, позволяющий найти независимое множество заданий А с максимальным весом. После этого можно будет создать оптимальное расписание, в котором элементы множества А будут играть роль своевременных заданий. Этот метод дает эффективный алгоритм планирования единичных заданий с конечным сроком выполнения и штрафом для одного процессора. Время работы этого алгоритма, в котором используется процедура GREEDY, равно О (?г2), поскольку каждая из О^ проверок независимости, выполняющихся в этом алгоритме, требует времени О (гг) (см. упражнение 16.5-2). Более быструю реализацию этого алгоритма предлагается разработать в задаче 16-4.
В табл. 16.2 приводится пример задачи по планированию на одном процессоре единичных заданий с конечным сроком выполнения и штрафом. В этом примере жадный алгоритм выбирает задания аь а^ аз и а^ затем отвергает задания аз и аз, и наконец выбирает задание ат. В результате получается оптимальное рас-
Таблица 16.2. Пример задачи по планированию единичных заданий с конечным сроком выполнения и штрафом на одном процессоре
1
2
3
4
5
6
7
d<^
4
2
4
3
1
4
6
Wi
70
60
50
40
30
20
10
писание (02,04,01,03,07,05,06), которому соответствует общая сумма штрафа, равная W5 + we = 50.
Упражнения
1. Решите задачу планирования, параметры которой приведены в табл. 16.2, но каждый штраф ш» в которой заменен величиной 80 — w».
2. Покажите, как с помощью второго свойства леммы 16.12 в течение времени О (|Д|) определить, независимо ли заданное множество заданий Л.
Задачи
16-1. Размен монет
Рассмотрим задачу по выдаче сдачи, сумма которой составляет п копеек, использовав как можно меньшее количество монет. Предполагается, что номинал каждой монеты выражается целым числом.
Опишите жадный алгоритм, в котором сдача выдается монетами номиналом 25 копеек, 10 копеек, 5 копеек и 1 копейка. Докажите, что алгоритм позволяет получить оптимальное решение.
Предположим, что номинал монет выражается степенями некоторого целого числа с > 1, т.е. номиналы представляют собой числа с°, с1,..., ск, где к ^ 1. Покажите, что жадный алгоритм всегда дает оптимальное решение.
Приведите пример множества номиналов монет, для которого жадный алгоритм не выдает оптимального решения. В это множество должна входить монета номиналом 1 копейка, чтобы решение существовало для любого значения п.
Разработайте алгоритм, позволяющий выдать сдачу с помощью любого набора монет, множество номиналов в котором состоит из к
различных номиналов. Предполагается, что один из номиналов обязательно равен 1 копейке. Время работы алгоритма должно быть равно О (пк).
16-2. Расписание, минимизирующее среднее время выполнения
Предположим, у нас имеется множество заданий S = {01,^2, ••• ^п}, в котором для выполнения задания at требуется pt единиц времени. Имеется один компьютер, на котором будут выполняться эти задания, который способен одновременно выполнять не более одного задания. Пусть Ci — время завершения задания а^ т.е. момент времени, когда прекращается его выполнение. Задача заключается в том, чтобы минимизировать среднее время завершения, т.е. величину У^уСч/п. Например, предположим, что имеется два задания aj и а2, которым соответствуют времена выполнения р± = 3 и р2 = 5. Рассмотрим расписание, в котором сначала выполняется задание 0,2, а затем — задание ар Тогда С2 = 5, С] = 8, и среднее время завершения равно (5 + 8)/2 — 6.5.
Сформулируйте алгоритм, который планирует задания таким образом, чтобы минимизировать среднее время завершения. Каждое задание должно выполняться без прерываний, т.е. будучи запущено, задание at должно непрерывно выполняться в течение pt единиц времени. Докажите, что ваш алгоритм минимизирует среднее время завершения, и определите время его работы.
Предположим, что не все задания доступны сразу. Другими словами, с каждым заданием связано время выпуска (release time) г?, раньше которого оно недоступно для обработки. Предположим также, что допускаются прерывания, т.е. что задание может быть приостановлено и возобновлено позже. Например, задание а^ время обработки которого равно pi = 6, может быть запущено в момент времени 1 и приостановлено в момент времени 4. Затем оно может быть возобновлено в момент времени 10, еще раз приостановлено в момент времени 11, снова возобновлено в момент времени 13, и наконец завершено в момент времени 15. Таким образом, задание сц в общей сложности выполняется в течение шести единиц времени, но время его выполнения разделено на три фрагмента. Время завершения задания at равно при таком расписании 15. Сформулируйте алгоритм, планирующий задания таким образом, чтобы минимизировать среднее время завершения в этом новом сценарии. Докажите, что ваш алгоритм минимизирует среднее время завершения и найдите время его работы.
16-3. Ациклические подграфы
Пусть G = (V, Е) — неориентированный граф. Покажите с помощью определения матроида, что (Е3Т) — матроид, где A El тогда и только тогда, когда А — ациклическое подмножество Е.
Для неориентированного графа G = (V, Е) матрицей инцидентности (incidence matrix) называется матрица М размером |У| х \Е\, такая что Mve = 1, если ребро е инцидентно вершине v, и Mve = О в противном случае. Докажите, что множество столбцов матрицы М линейно независимо над полем целых чисел по модулю 2 тогда и только тогда, когда соответствующее множество ребер ациклично. Затем с помощью результата упражнения 16.4-2 приведите альтернативное доказательство того, что структура (Е, Т) из части а задачи - матроид.
Предположим, с каждым ребром неориентированного графа G = = (V^E) связан неотрицательный вес w(e\ Разработайте эффективный алгоритм поиска ациклического подмножества множества Е с максимальным общим весом.
Пусть G = (V, Е) — произвольный ориентированный граф, и пусть (Е,Т) определено так, что А еТ тогда и только тогда, когда А не содержит ориентированных циклов. Приведите пример ориентированного графа G, такого что связанная с ним система (Е, Т) не является матроидом. Укажите, какое условие из определения матроида не соблюдается.
Для ориентированного графа G = (V, Е) матрицей инцидентности (incidence matrix) называется матрица М размером |У| х \Е\, такая что Mve = — 1, если ребро в исходит из вершины v, Mve = +1, если ребро в входит в вершину v, и Mve = 0 в противном случае. Докажите, что если множество столбцов матрицы М линейно независимо, то соответствующее множество ребер не содержит ориентированных циклов.
В упражнении 16.4-2 утверждается, что семейство линейно независимых столбцов произвольной матрицы М образует матроид. Объясните, почему результаты частей г) и Э) задачи не противоречат друг другу. В чем могут быть различия между понятием ациклического множества ребер и понятием множества связанных с ними линейно независимых столбцов матрицы инцидентности?
16-4. Вариации задачи планирования
Рассмотрим сформулированный ниже алгоритм применительно к задаче из раздела 16.5, в которой предлагается составить расписание единичных
задач с конечными сроками выполнения и штрафами. Пусть все п отрезков времени изначально являются пустыми, где г-й интервал времени — это единичный промежуток времени, который заканчивается в момент г. Задачи рассматриваются в порядке монотонного убывания штрафов. Если при рассмотрении задания а^ существуют незаполненные отрезки времени, расположенные на шкале времени не позже конечного момента выполнения dj этого задания, то задание aj планируется для выполнения в течение последнего из этих отрезков, заполняя данный отрезок. Если же ни одного такого отрезка времени не осталось, задание Qj планируется для выполнения в течение последнего из незаполненных отрезков.
Докажите, что этот алгоритм всегда позволяет получить оптимальный ответ.
Реализуйте эффективный алгоритм с помощью леса непересекаю- щихся множеств, описанного в разделе 21.3. Предполагается, что множество входных заданий уже отсортировано в порядке монотонного убывания штрафов. Проанализируйте время работы алгоритма в вашей реализации.
Заключительные замечания
Намного большее количество материала по жадным алгоритмам и матроидам можно найти в книгах Лоулера (Lawler) [196], а также Пападимитриу (Papadimitriou) и Штейглица (Steiglitz) [237].
Впервые жадный алгоритм был описан в литературе по комбинаторной оптимизации в статье Эдмондса (Edmonds) [85], опубликованной в 1971 году. Появление же теории матроидов датируется 1935 годом, когда вышла статья Уитни (Whitney) [314].
Приведенное здесь доказательство корректности жадного алгоритма для решения задачи о выборе процессов основано на доказательстве, предложенном Гаврилом (Gavril) [112]. Задача о планировании заданий изучалась Лоулером [196], Горовицем (Horowitz) и Сахни (Sahni) [157], а также Брассардом (Brassard) и Брейтли (Bratley) [47].
Коды Хаффмана были разработаны в 1952 году [162]. В работе Лелевера (Lelewer) и Хиршберга (Hirschberg) [200] имеется обзор методов сжатия данных, известных к 1987 году.
Развитие теории матроидов до теории гридоидов (greedoid) впервые было предложено Кортом (Korte) и Ловасом (Lovasz) [189-192], которые значительно обобщили представленную здесь теорию.
ГЛАВА 17
Амортизационный анализ
При амортизационном анализе (amortized analysis) время, требуемое для выполнения последовательности операций над структурой данных, усредняется по всем выполняемым операциям. Этот анализ можно использовать, например, чтобы показать, что даже если одна из операций последовательности является дорогостоящей, то при усреднении по всей последовательности средняя стоимость операций будет небольшой. Амортизационный анализ отличается от анализа средних величин тем, что в нем не учитывается вероятность. При амортизационном анализе гарантируется средняя производительность операций в наихудшем случае.
В первых трех разделах этой главы описываются три наиболее распространенных метода, используемые при амортизационном анализе. Начало раздела 17.1 посвящено групповому анализу, в ходе которого определяется верхняя граница Т(п) полной стоимости последовательности п операций. Тогда средняя стоимость операции вычисляется как Т (п)/п. Мы принимаем среднюю стоимость равной амортизированной стоимости каждой операции, так что амортизированная стоимость всех операций одинакова.
В разделе 17.2 описывается метод бухгалтерского учета, в котором определяется амортизированная стоимость каждой операции. Если имеется несколько видов операций, то каждый из них может характеризоваться своей амортизированной стоимостью. В этом методе стоимость некоторых операций, находящихся в начальной части последовательности, может переоцениваться. Эта переоценка рассматривается как своего рода “предварительный кредит” для определенных объектов структуры данных. Впоследствии такой кредит используется для “оплаты” тех операций последовательности, которые оцениваются ниже, чем стоят на самом деле.
В разделе 17.3 обсуждается метод потенциалов, напоминающий метод бухгалтерского учета в том отношении, что в нем определяется амортизированная стоимость каждой операции, причем стоимость ранних операций последовательности может переоцениваться, чтобы впоследствии компенсировать заниженную стоимость более поздних операций. В методе потенциалов кредит поддерживается как “потенциальная энергия” структуры данных в целом, а не связывается с отдельными объектами этой структуры данных.
Все три перечисленных метода будут опробованы на двух примерах. В одном из них рассматривается стек с дополнительной операцией Multipop, в ходе выполнения которой со стека одновременно снимается несколько объектов. Во втором примере реализуется бинарный счетчик, ведущий счет от нуля при помощи единственной операции — Increment.
В ходе чтения этой главы следует иметь в виду, что при выполнении амортизационного анализа расходы начисляются только для анализа алгоритма, и в коде в них нет никакой необходимости. Например, если при использовании метода бухгалтерского учета объекту х приписывается какой-нибудь кредит, то в коде не нужно присваивать соответствующую величину некоторому атрибуту credit [ж].
Глубокое понимание той или иной структуры данных, возникающей в ходе амортизационного анализа, может помочь оптимизировать ее устройство. Например, в разделе 17.4 с помощью метода потенциалов проводится анализ динамически увеличивающейся и уменьшающейся таблицы.
7.1 Групповой анализ
В ходе группового анализа (aggregate analysis) исследователь показывает, что в наихудшем случае общее время выполнения последовательности всех п операций в сумме равно Т (п). Поэтому в наихудшем случае средняя, или амортизированная, стоимость (amortized cost), приходящаяся на одну операцию, определяется соотношением Т (п) ,тг. Заметим, что такая амортизированная стоимость применима ко всем операциям, даже если в последовательности они представлены несколькими типами. В других двух методах, которые изучаются в этой главе, — методе бухгалтерского учета и методе потенциалов — операциям различного вида могут присваиваться разные амортизированные стоимости.
Стековые операции
В качестве первого примера группового анализа рассматриваются стеки, в которых реализована дополнительная операция. В разделе 10.1 представлены две основные стековые операции, для выполнения каждой из которых требуется время О (1):
top -*■ 23
17
6
39
10 top -*• 10
4747
а)б)в)
Рис. 17.1. Действие операции MULTIPOP над стеком S
Push(S, ж) добавляет объект х в стек S;
Pop(S) извлекает объект с вершины стека S и возвращает его.
Поскольку каждая из этих операций выполняется в течение времени 0(1), примем их длительность за единицу. Тогда полная стоимость последовательности, состоящей из п операций Push и Pop, равна п, а фактическое время выполнения п таких операций — 0 (п).
Теперь добавим к стеку операцию Multipop(S, к), извлекающую с вершины стека S к объектов (или все оставшиеся, если всего их меньше, чем к\ В приведенном ниже псевдокоде операция Stack_Empty возвращает значение TRUE, если в данный момент в стеке нет объектов, и значение FALSE в противном случае:
Multipop(S, к)
while Stack_Empty(S) / false и к / 0
do Рор(5)
к <— к — 1
Пример работы операции MULTIPOP проиллюстрирован на рис. 17.1. На рис. 17. к показано начальное состояние стека. В результате выполнения операции MULTI- pop(S, 4) извлекаются верхние 4 объекта (см. рис. 17.1 б). Следующая операция - MULTIPOP(S, 7). Она опустошает стек, поскольку в нем осталось меньше семи объектов. Результирующее состояние стека показано на рис. 17.1 в.
В течение какого времени операция Multipop(S, к) выполняется над стеком, содержащем s объектов? Фактическое время работы линейно зависит от количества реально выполняемых операций Pop, поэтому достаточно проанализировать процедуру Multipop в терминах абстрактных единичных стоимостей каждой из операций PUSH и Pop. Количество итераций цикла while равно количеству min (s, к) объектов, извлекаемых из стека. При каждой итерации в строке 2 выполняется однократный вызов процедуры Pop. Таким образом, полная стоимость процедуры MULTIPOP равна min(s, к), а фактическое время работы является линейной функцией от этой величины.
Теперь проанализируем последовательность операций PUSH, Pop и Multipop, действующих на изначально пустой стек. Стоимость операции Multipop в наихудшем случае равна О (тг), поскольку в стеке не более тг объектов. Таким образом, время работы любой стековой операции в наихудшем случае равно О (тг), поэтому стоимость последовательности тг операций равна О (тг2), так как эта последовательность может содержать О (тг) операций Multipop, стоимость каждой из которых равна О (тг). Но несмотря на то, что анализ проведен правильно, результат О (тг2), полученный при рассмотрении наихудшей стоимости каждой операции в отдельности, является слишком грубым.
С помощью группового анализа можно получить более точную верхнюю границу при рассмотрении совокупной последовательности тг операций. Фактически хотя одна операция MULTIPOP может быть весьма дорогостоящей, стоимость произвольной последовательности, состоящей из тг операций PUSH, Pop и MULTIPOP, которая выполняется над изначально пустым стеком, не превышает О (тг). Почему? Потому что каждый помещенный в стек объект можно извлечь оттуда не более одного раза. Таким образом, число вызовов операций Pop (включая их вызовы в процедуре MULTIPOP) для непустого стека не может превышать количество выполненных операций Push, которое, в свою очередь, не больше тг. При любом тг для выполнения произвольной последовательности из тг операций PUSH, Pop и Multipop требуется суммарное время О (тг). Таким образом, средняя стоимость операции равна О (п)/п = О (1). В групповом анализе амортизированная стоимость каждой операции принимается равной ее средней стоимости, поэтому в данном примере все три стековые операции характеризуются амортизированной стоимостью, равной 0(1).
Еще раз стоит заметить, что хотя только что было показано, что средняя стоимость (а следовательно, и время выполнения) стековой операции равна 0(1), при этом не делалось никаких вероятностных рассуждений. Фактически была найдена граница времени выполнения последовательности из тг операций в наихудшем случае, равная О (тг). После деления этой полной стоимости на тг получается средняя стоимость одной операции, или амортизированная стоимость.
Приращение показаний бинарного счетчика
В качестве другого примера группового анализа рассмотрим задачу о реализации /с-битового бинарного счетчика, который ведет счет от нуля в восходящем направлении. В качестве счетчика используется битовый массив Л [0..А — 1], где length [Л] = к. Младший бит хранящегося в счетчике бинарного числа х находится в элементе А [0], а старший бит — в элементе А [А: — 1], так что х = = ^^Zq1 А [г] ■ 2*. Изначально х = 0, т.е. А [г] = 0 для г = 0,1,..., к — 1. Чтобы увеличить показания счетчика на 1 (по модулю 2fc), используется приведенная ниже процедура:
Значение
4s ^ so <ь хг
Общая
счетчика
Г уч уЧуч учуХ
стоимость
0
0 0 0 0 0 0 0 0
0
1
0 0 0 0 0 0 0 Г
1
2
0 0 0 0 0 0 1 0
3
3
0 0 0 0 0.01 1.
4
4
0 0 0 0 0 10 0
7
5
0 0 0
8
6
0 0 0 0 0 11 О'
К)
7
0 0 0 0 0 1 1 1
и
S
0 0 0 0 1 0 0 .0
15
9
0 0 0 0 10 0 1
16
10
0 0 0 0 10 10
18
11
0000 10 KJ
19
12
0 0 0 0 110 0
22
13
0 0 0 0 I 16' Т
23
14
0 0 0 0 1 1 1 0.
25
15
0 0 0 ...0 ,1., 1.1 . J
26
16
0 0 0 1 0 (1 0 0
31
Рис. 17.2. Бинарный 8-битовый счетчик в процессе изменения его значения от 0 до 16 операцией INCREMENT
Increment(A)
1 i+-0
2 while г < length^ и Afi] = 1
do Л [г] <- О
г ♦— г + 1
if г < length[A]
then Л [г]<— 1
На рис. 17.2 показано, что происходит в бинарном счетчике при его увеличении 16 раз. Биты, значения которых изменяются при переходе к следующему этапу, заштрихованы. Справа приведена стоимость, требуемая для изменения битов. Обратите внимание, что полная стоимость никогда более чем в два раза не превышает общего количества операций INCREMENT. При этом показания счетчика возрастают от 0 до 16. В начале каждой итерации цикла while в строках 2-4 мы добавляем 1 к биту в позиции г. Если А [г] = 1, то добавление 1 обнуляет бит, который находится на позиции г, и приводит к тому, что добавление 1 будет выполнено и в позиции г + 1, на следующей операции цикла. В противном случае цикл оканчивается, так что если по его окончании г < к, то А [г] = 0 и нам надо изменить значение г-го бита на 1, что и делается в строке 6. Стоимость каждой операции INCREMENT линейно зависит от количества измененных битов.
Как и в примере со стеком, поверхностный анализ даст правильную, но неточную оценку. В наихудшем случае, когда массив А состоит только из единиц, для
выполнения операции Increment потребуется время ©(к). Таким образом, выполнение последовательности из п операций INCREMENT для изначально обнуленного счетчика в наихудшем случае займет время О (пк).
Этот анализ можно уточнить, в результате чего для последовательности из п операций INCREMENT в наихудшем случае получается стоимость О(п). Такая оценка возможна благодаря тому, что далеко не при каждом вызове процедуры Increment изменяются значения всех битов. Как видно из рис. 17.2, элемент А [0] изменяется при каждом вызове операции INCREMENT. Следующий по старшинству бит А [1] изменяется только через раз, так что последовательность из п операций Increment над изначально обнуленном счетчиком приводит к изменению элемента Л[1] [n/2j раз. Аналогично, бит А [2] изменяется только каждый четвертый раз, т.е. [n/4j раз в последовательности из п операций INCREMENT над изначально обнуленном счетчиком. В общем случае, для i = 0,l,...,fc — 1, бит А [г] изменяется [п/2г] раз в последовательности из п операций Increment в изначально обнуленном счетчике. Биты же на позициях г ^ к не изменяются. Таким образом, общее количество изменений битов при выполнении последовательности операций равно к—1оо -
v-л I I1 л
^ L2lJ^2*
г=0г=0
(см. уравнение (А. 6)). Поэтому время выполнения последовательности из п операций Increment над изначально обнуленном счетчиком в наихудшем случае равно О (п). Средняя стоимость каждой операции, а следовательно, и амортизированная стоимость операции, равна О (п)/п = О (1).
Упражнения
1. Остается ли справедливой оценка амортизированной стоимости стековых операций, равная 0(1), если включить в множество стековых операций операцию MULTIPUSH, помещающую в стек к элементов?
2. Покажите, что если бы в пример с А:-битовым счетчиком была включена операция Decrement, стоимость п операций была бы равной 0 (пк).
3. Над структурой данных выполняется п операций. Стоимость г-й по порядку операции равна г, если г — это точная степень двойки, и 1 в противном случае. Определите с помощью группового анализа амортизированную стоимость операции.
17.2 Метод бухгалтерского учета
В методе бухгалтерского учета (accounting method), применяемом при групповом анализе, разные операции оцениваются по-разному, в зависимости от их
фактической стоимости. Величина, которая начисляется на операцию, называется амортизированной стоимостью (amortized cost). Если амортизированная стоимость операции превышает ее фактическую стоимость, то соответствующая разность присваивается определенным объектам структуры данных как кредит (credit). Кредит можно использовать впоследствии для компенсирующих выплат на операции, амортизированная стоимость которых меньше их фактической стоимости. Таким образом, можно полагать, что амортизированная стоимость операции состоит из ее фактической стоимости и кредита, который либо накапливается, либо расходуется. Этот метод значительно отличается от группового анализа, в котором все операции характеризуются одинаковой амортизированной стоимостью.
При выборе амортизированной стоимости следует соблюдать осторожность. Если нужно провести анализ с использованием амортизированной стоимости, чтобы показать, что в наихудшем случае средняя стоимость операции невелика, полная амортизированная стоимость последовательности операций должна быть верхней границей полной фактической стоимости последовательности. Более того, как и в групповом анализе, это соотношение должно соблюдаться для всех последовательностей операций. Если обозначить фактическую стоимость г-й операции через Q, а амортизированную стоимость г-й операции через ci, то это требование для всех последовательностей, состоящих из п операций, выразится следующим образом: пп
Z^Z^1(17.1)
г=1г=1
Общий кредит, хранящийся в структуре данных, представляет собой разность между полной амортизированной стоимостью и полной фактической стоимостью:
пп
г=1г=1
Согласно неравенству (17.1), полный кредит, связанный со структурой данных, все время должен быть неотрицательным. Если бы полный кредит в каком-либо случае мог стать отрицательным (в результате недооценки ранних операций с надеждой восполнить счет впоследствии), то полная амортизированная стоимость в тот момент была бы ниже соответствующей фактической стоимости; значит, для последовательности операций полная амортизированная стоимость не была бы в этот момент времени верхней границей полной фактической стоимости. Таким образом, необходимо позаботиться, чтобы полный кредит для структуры данных никогда не был отрицательным.
Стековые операции
Чтобы проиллюстрировать, как производится амортизационный анализ методом бухгалтерского учета, вернемся к примеру со стеком. Напомним, что фактическая стоимость операций была такой:
Push1 ,
Pop1 ,
Multipop min(fc, s) ,
где к — аргумент процедуры Multipop, as — размер стека на момент ее вызова. Присвоим приведенные ниже амортизированные стоимости:
Push2,
Pop0,
Multipop 0.
Заметим, что амортизированная стоимость операции Multipop равна константе (0), в то время как ее фактическая стоимость — переменная величина. В этой схеме все три амортизированные стоимости равны О (1), хотя в общем случае асимптотическое поведение амортизированных стоимостей рассматриваемых операций может быть разным.
Теперь покажем, что любую последовательность стековых операций можно оплатить путем начисления амортизированных стоимостей. Предположим, что для представления каждой единицы затрат используется денежный счет. Пусть изначально стек пуст. Вспомним аналогию между стеком как структурой данных и стопкой тарелок в кафетерии, приведенную в разделе 10.1. При добавлении тарелки в стопку 1 грн. затрачивается на оплату самой операции добавления, а еще 1 грн. (из двух начисленных на операцию PUSH) остается в запасе, как бы на этой тарелке. В любой момент времени каждой тарелке стека соответствует 1 грн. кредита.
Хранящаяся на тарелке 1 грн. предназначена для уплаты стоимости извлечения ее из стека. На операцию Pop ничего не начисляется, а ее фактическая стоимость выплачивается за счет кредита, который хранится в стеке. При извлечении тарелки изымается 1 грн. кредита, которая используется для уплаты фактической стоимости операции. Таким образом, благодаря небольшой переоценке операции Push, отпадает необходимость начислять какую-либо сумму на операцию Pop.
Более того, на операцию Multipop также не нужно начислять никакой суммы. При извлечении первой тарелки мы берем из нее 1 грн. кредита и тратим ее на оплату фактической стоимости операции Pop. При извлечении второй тарелки на ней также есть 1 грн. кредита на оплату фактической стоимости операции Pop и т.д. Таким образом, начисленной заранее суммы всегда достаточно для уплаты операций Multipop. Другими словами, поскольку с каждой тарелкой стека
связана 1 грн. кредита и в стеке всегда содержится неотрицательное количество тарелок, можно быть уверенным, что сумма кредита всегда неотрицательна. Таким образом, для любой последовательности из п операций Push, Pop и Multipop полная амортизированная стоимость является верхней границей полной фактической стоимости. Поскольку полная амортизированная стоимость равна О (п), полная фактическая стоимость тоже определяется этим значением.
Приращение показаний бинарного счетчика
В качестве другого примера, иллюстрирующего метод бухгалтерского учета, проанализируем операцию Increment, которая выполняется над бинарным изначально обнуленным счетчиком. Ранее мы убедились, что время выполнения этой операции пропорционально количеству битов, изменяющих свое значение. В данном примере это количество используется в качестве стоимости. Как и в предыдущем примере, для представления каждой единицы затрат (в данном случае — изменения битов) будет использован денежный счет.
Чтобы провести амортизационный анализ, начислим на операцию, при которой биту присваивается значение 1 (т.е. бит устанавливается), амортизированную стоимость, равную 2 грн. Когда бит устанавливается, 1 грн. (из двух начисленных) расходуется на оплату операции по самой установке. Оставшаяся 1 грн. вкладывается в этот бит в качестве кредита для последующего использования при его обнулении. В любой момент времени с каждой единицей содержащегося в счетчике значения связана 1 грн. кредита, поэтому для обнуления бита нет необходимости начислять какую-либо сумму; за сброс бита достаточно будет уплатить 1 грн.
Теперь можно определить амортизированную стоимость операции Increment. Стоимость обнуления битов в цикле while выплачивается за счет тех денег, которые связаны с этими битами. В процедуре INCREMENT устанавливается не более одного бита (в строке 6), поэтому амортизированная стоимость операции Increment не превышает 2 грн. Количество единиц в бинарном числе, представляющем показания счетчика, не может быть отрицательным, поэтому сумма кредита тоже всегда неотрицательна. Таким образом, полная амортизированная стоимость п операций Increment равна О (п). Это и есть оценка полной фактической стоимости.
Упражнения
1. Над стеком выполняется последовательность операций; размер стека при этом никогда не превышает к. После каждых к операций производится резервное копирование стека. Присвоив различным стековым операциям соответствующие амортизированные стоимости, покажите, что стоимость п стековых операций, включая копирование стека, равна О (п).
2. Выполните упражнение 17.1-3, применив для анализа метод бухгалтерского учета.
3. Предположим, что нам нужно не только иметь возможность увеличивать показания счетчика, но и сбрасывать его (т.е. делать так, чтобы значения всех битов были равны 0). Покажите, как осуществить реализацию счетчика в виде массива битов, чтобы для выполнения произвольной последовательности из п операций Increment и Reset над изначально обнуленном счетчиком потребовалось бы время О (п). ^Указание; отслеживайте в счетчике самый старший разряд, содержащий единицу.)
17.3 Метод потенциалов
Вместо представления предоплаченной работы в виде кредита, хранящегося в структуре данных вместе с отдельными объектами, при амортизированном анализе по методу потенциалов (potential method) такая работа представляется в виде “потенциальной энергии”, или просто “потенциала”, который можно высвободить для оплаты последующих операций. Этот потенциал связан со структурой данных в целом, а не с ее отдельными объектами.
Метод потенциалов работает следующим образом. Мы начинаем с исходной структуры данных Do, над которой выполняется п операций. Для всех г = = 1,2,... ,п обозначим через Ci фактическую стоимость г-й операции, а через Di — структуру данных, которая получается в результате применения г-й операции к структуре данных Di-x. Потенциальная функция (potential function) Ф отображает каждую структуру данных Di на действительное число Ф (£>,), которое является потенциалом (potential), связанным со структурой данных Di. Амортизированная стоимость (amortized cost) ci г-й операции определяется соотношением
§ = с + Ф(А)~Ф(А-1).(17.2)
Поэтому амортизированная стоимость каждой операции — это ее фактическая стоимость плюс приращение потенциала в результате выполнения операции. Согласно уравнению (17.2), полная амортизированная стоимость п операций равна
ппп
^5 = ^(С< + Ф(А)-Ф(А-1)) = ^^ + Ф(/)п)-Ф(/)о).(17.3)
г=1г=1г=1
Второе равенство следует из уравнения (А.9), поскольку слагаемые Ф (D^ — так называемые телескопические.
Если потенциальную функцию Ф можно определить таким образом, чтобы выполнялось неравенство Ф (Dn) Ф (-Do), то полная амортизированная стоимость 52Г=1 5 является верхней границей полной фактической стоимости J^fLi с^. На
практике не всегда известно, сколько операций может быть выполнено, поэтому, если наложить условие Ф (Di) > Ф (Do) для всех г, то, как и в методе бухгалтерского учета, будет обеспечена предоплата. Часто удобно определить величину Ф (Do) равной нулю, а затем показать, что для всех г выполняется неравенство Ф(А) ^ 0. (См. упражнение 17.3-1, в котором идет речь о простом способе справиться со случаями, когда Ф (Do) / 0.)
Интуитивно понятно, что если разность потенциалов Ф (Di) — Ф (А-1) для г-й операции положительна, то амортизированная стоимость $ представляет переоценку г-й операции и потенциал структуры данных возрастает. Если разность потенциалов отрицательна, то амортизированная стоимость представляет недооценку г-й операции и фактическая стоимость операции выплачивается за счет уменьшения потенциала.
Амортизированные стоимости, определенные уравнениями (17.2) и (17.3), зависят от выбора потенциальной функции Ф. Амортизированные стоимости, соответствующие разным потенциальным функциям, могут различаться, при этом все равно оставаясь верхними границами фактических стоимостей. При выборе потенциальных функций часто допустимы компромиссы; то, какую потенциальную функцию лучше всего использовать, зависит от оценки времени, которую нужно получить.
Стековые операции
Чтобы проиллюстрировать метод потенциала, еще раз обратимся к примеру со стековыми операциями PUSH, POP и MULTIPOP. Определим потенциальную функцию Ф для стека как количество объектов в этом стеке. Для пустого стека Do, с которого мы начинаем, выполняется соотношение Ф (Do) = 0. Поскольку количество объектов в стеке не может быть отрицательным, стеку Di, полученному в результате выполнения г-й операции, соответствует неотрицательный потенциал; следовательно,
Ф (Di) 0 = Ф (Do).
Таким образом, полная амортизированная стоимость п операций, связанная с функцией Ф, представляет собой верхнюю границу фактической стоимости.
Теперь вычислим амортизированные стоимости различных стековых операций. Если г-я операция над стеком, содержащим s объектов, — операция PUSH, то разность потенциалов равна
Ф(А)-Ф(А-1) = (8 + 1)-5 = 1.
Согласно уравнению (17.2), амортизированная стоимость операции Push равна
5 = с< + Ф (Di) - Ф (Di-г) = 1 + 1 = 2.
Предположим, что г-я операция над стеком — операция Multipop(S, к), и что из него извлекается к' = min (к, s) объектов. Фактическая стоимость этой операции равна к', а разность потенциалов —
Ф № - Ф (A-i) = -к'.
Таким образом, амортизированная стоимость операции Multipop равна
Ci = а + ф (А) - ф (А-1) = к' - к' = о.
Аналогично можно показать, что амортизированная стоимость операции Pop также равна 0.
Амортизированная стоимость каждой из трех операций равна 0(1), поэтому полная амортизированная стоимость последовательности из п операций равна О (п). Мы уже доказали, что Ф (А) ^ Ф (А), поэтому полная амортизированная стоимость п операций является верхней границей полной фактической стоимости. Поэтому в наихудшем случае стоимость п операций равна О (п).
Увеличение показаний бинарного счетчика
В качестве другого примера метода потенциалов снова обратимся к задаче о приращении показаний бинарного счетчика. На этот раз определим потенциал счетчика после выполнения г-й операции INCREMENT как количество bi содержащихся в счетчике единиц после этой операции.
Вычислим амортизированную стоимость операции INCREMENT. Предположим, что г-я операция INCREMENT обнуляет it битов. В таком случае фактическая стоимость этой операции не превышает значения ti +1, поскольку вдобавок к обнулению ti битов значение 1 присваивается не более чем одному биту. Если bi = 0, то в ходе выполнения г-й операции обнуляются все к битов, так что bt—y = ti = к. Если bt > 0, то выполняется соотношение bi = bt—x — ti + 1. В любом случае, справедливо неравенство bi ^ bi-i — ti + 1 и разность потенциалов равна
Ф (А) - Ф (А-1) (bi-l - ti + 1) - bi-i = 1 - ti.
Таким образом, амортизированная стоимость определяется соотношением
с; = ^ + Ф(А)-Ф(А-1) ^ А + 1) + (1 - t<) = 2.
Если вначале показания счетчика равны нулю, то Ф (А) = 0. Поскольку при всех г справедливо неравенство Ф (А) ^ 0, то полная амортизированная стоимость последовательности из п операций INCREMENT является верхней границей полной фактической стоимости, поэтому в наихудшем случае стоимость п операций Increment равна О (п).
Метод потенциалов предоставляет простой способ анализа счетчика даже в том случае, когда отсчет начинается не с нуля. Пусть изначально показание счетчика содержит Ьо единиц, а после выполнения п операций INCREMENT — 6П единиц, где 0 ^ Ьо, Ьп ^ к. (Напомним, что к — количество битов в счетчике.) Тогда уравнение (17.3) можно переписать следующим образом:
пп
52 ^ = 52 $ - Ф (Dn) + Ф (Do).(17.4)
i=li=l
При всех 1 ^ г < п выполняется неравенство ci ^ 2. В силу соотношений Ф (Do) = Ьо и Ф (Dn) = Ьп полная фактическая стоимость п операций INCREMENT равна
' ci ^2 — Ьп + Ьо = 2п — Ьп + Ьо.
i=i i=i
В частности, заметим, что поскольку Ьо ^ к, то при к = О (п) полная фактическая стоимость равна О (п). Другими словами, если выполняется не менее п = П (к) операций Increment, полная фактическая стоимость независимо от начального показания счетчика равна О (п).
Упражнения
1. Предположим, задана такая потенциальная функция Ф, что при всех г выполняется неравенство Ф (D,) ^ Ф (Do), но Ф (Do) / 0. Покажите, что существует потенциальная функция Ф' такая, что Ф' (Do) = 0 и Ф' (Di) > > 0 для всех г > 1, и соответствующая функции Ф' амортизированная стоимость такая же, как и для функции Ф.
2. Еще раз выполните упражнение 17.1-3 с помощью метода потенциалов.
3. Рассмотрим n-элементную бинарную неубывающую пирамиду. Пусть в этой структуре данных поддерживаются операции Insert и Extract_ Min, для выполнения которых в наихудшем случае требуется время O(lgn). Определите потенциальную функцию Ф такую, что амортизированная стоимость операции Insert равна О (lg п), а амортизированная стоимость операции Extract_Min — О (1), и покажите, что она работает.
4. Чему равна полная стоимость выполнения п стековых операций Push, Pop и Multipop, если предположить, что в начале стек содержит so объектов, а в конце — зп объектов?
5. Предположим, что изначально показание счетчика не равно нулю, а определяется числом, содержащим в двоичном представлении Ь единиц. Покажите, что стоимость выполнения п операций Increment равна О (п) при условии, что п = Q (Ь). (Не следует предполагать, что Ь — константа.)
6. Покажите, как реализовать очередь на основе двух обычных стеков (см. упражнение 10.1-6) таким образом, чтобы амортизированная стоимость каждой из операций Enqueue и Dequeue была равна 0(1).
7. Разработайте структуру данных для поддержки следующих двух операций над динамическим множеством целых чисел 5:
lNSERT(S, ж) — вставка объекта ж в S;
Delete_Larger_Half(S) — удаление П5|/2"| наибольших элементов из множества S.
Поясните, как реализовать эту структуру данных, чтобы любая последовательность из m операций выполнялась за время О (т).
Динамические таблицы
В некоторых приложениях заранее не известно, сколько элементов будет храниться в таблице. Может возникнуть ситуация, когда для таблицы выделяется место, а впоследствии оказывается, что его недостаточно. В этом случае приходится выделять больший объем памяти и копировать все объекты из исходной таблицы в новую, большего размера. Аналогично, если из таблицы удаляется много объектов, может понадобиться преобразовать ее в таблицу меньшего размера. В этом разделе исследуется задача о динамическом расширении и сжатии таблицы. Методом амортизационного анализа будет показано, что амортизированная стоимость вставки и удаления равна всего лишь О (1), даже если фактическая стоимость операции больше из-за того, что она приводит к расширению или сжатию таблицы. Более того, мы выясним, как обеспечить соблюдение условия, при котором неиспользованное пространство динамической таблицы не превышает фиксированную долю ее полного пространства.
Предполагается, что в динамической таблице поддерживаются операции Та- ble_Insert и Table_Delete. В результате выполнения операции Table_Insert в таблицу добавляется элемент, занимающий одну ячейку (slot), — пространство для одного элемента. Аналогично, операцию Table_Delete можно представлять как удаление элемента из таблицы, в результате чего освобождается одна ячейка. Подробности метода, с помощью которого организуется таблица, не важны; можно воспользоваться стеком (раздел 10.1), пирамидой (глава 6) или хеш-таблицей (глава 11). Для реализации хранилища объектов можно также использовать массив или набор массивов, как это было сделано в разделе 10.3.
Оказывается, достаточно удобно применить концепцию, введенную при анализе хеширования (глава 11). Определим коэффициент заполнения (load factor) а (Т) непустой таблицы Т как количество хранящихся в них элементов, деленное на ее размер (измеряемый в количестве ячеек). Размер пустой таблицы (в которой нет ни одного элемента) примем равным нулю, а ее коэффициент заполнения — единице. Если коэффициент заполнения динамической таблицы ограничен снизу
константой, ее неиспользованное пространство никогда не превышает фиксированной части ее полного размера.
Начнем анализ с динамической таблицы, в которую выполняются только вставки. Впоследствии будет рассмотрен более общий случай, когда разрешены и вставки, и удаления.
Расширение таблицы
Предположим, что место для хранения таблицы выделяется в виде массива ячеек. Таблица становится заполненной, когда заполняются все ее ячейки или (что эквивалентно) когда ее коэффициент заполнения становится равным 1. В некоторых программных средах при попытке вставить элемент в заполненную таблицу не остается ничего другого, как прибегнуть к аварийному завершению программы, сопровождаемому выдачей сообщения об ошибке. Однако мы предполагаем, что наша программная среда, подобно многим современным средам, обладает системой управления памятью, позволяющей по запросу выделять и освобождать блоки хранилища. Таким образом, когда в заполненную таблицу вставляется элемент, ее можно расширить (expand), выделив место для новой таблицы, содержащей больше ячеек, чем было в старой. Поскольку таблица всегда должна размещаться в непрерывной области памяти, для большей таблицы необходимо выделить новый массив, а затем — скопировать элементы из старой таблицы в новую.
Общепринятый эвристический подход заключается в том, чтобы в новой таблице было в два раза больше ячеек, чем в старой. Если в таблицу элементы только вставляются, то значение ее коэффициента заполнения будет не меньше 1 /2, поэтому объем неиспользованного места никогда не превысит половины полного размера таблицы.
В приведенном ниже псевдокоде предполагается, что Т — объект, представляющий таблицу. Поле table [Т] содержит указатель на блок памяти, представляющий таблицу. Поле пит [Т] содержит количество элементов в таблице, а поле size [Т] — полное количество ячеек в таблице. Изначально таблица пустая: пит [Т] = size [Г] = 0.
Table_Insert(T, ж)
if size[T] = 0
then Выделить память для fa6Ze[T] с 1 ячейкой
size[T] <— 1
if пит^Т] = size^T]
then Выделить память для новой таблицы с 2 • size^T] ячейками
Вставить все элементы из table [Т] в new_table
Освободить taWe[T]
table\T] «— new_table
size IT] <— 2 • size]T]
Вставить x в table [T]
numlT] «— num[T] + 1
Обратите внимание, что здесь имеется две “вставки”: сама процедура Table Insert и операция элементарной вставки (elementary insertion) в таблицу, выполняемая в строках 6 и 10. Время работы процедуры Table Insert можно проанализировать в терминах количества элементарных вставок, считая стоимость каждой такой операции равной 1. Предполагается, что фактическое время работы процедуры Table_Insert линейно зависит от времени вставки отдельных элементов, так что накладные расходы на выделение исходной таблицы в строке 2 — константа, а накладные расходы на выделение и освобождение памяти в строках 5 и 7 пренебрежимо малы по сравнению со стоимостью переноса элементов в строке 6. Назовем расширением (expansion) событие, при котором выполняется оператор then (строки 5-9).
Проанализируем последовательность п операций Table_Insert, которые выполняются над изначально пустой таблицей. Чему равна стоимость Сг г-й операции? Если в данный момент в таблице имеется свободное место (или если это первая операция), то Ci = 1, поскольку достаточно выполнить лишь одну элементарную операцию вставки в строке 10. Если же таблица заполнена и нужно произвести ее расширение, то Cj = г: стоимость равна 1 для элементарной вставки в строке 10 плюс г — 1 для элементов, которые необходимо скопировать из старой таблицы в новую (строка 6). Если выполняется п операций, то стоимость последней из них в наихудшем случае равна О (п), в результате чего верхняя граница полного времени выполнения п операций равна О (п2).
Эта оценка является неточной, поскольку при выполнении п операций Table_Insert потребность в расширении таблицы возникает не так часто. Точнее говоря, г-я операция приводит к расширению, только если величина г — 1 равна степени двойки. С помощью группового анализа можно показать, что амортизированная стоимость операции в действительности равна 0(1). Стоимость г-й операции равна
с = <с = <г1г1если г — 1 является степенью 2, в противном случае.
с = <
с = <
г
1
г
1
Таким образом, полная стоимость выполнения п операций Table_Insert равна
nLlg nJ
У^ Cj < п + У^ 2J < п + 2тг = Зп,
1=1;-0
поскольку стоимость не более п операций равна 1, а стоимости остальных операций образуют геометрическую прогрессию. Поскольку полная стоимость п операций Table_Insert равна Зп, амортизированная стоимость одной операции равна 3.
С помощью метода бухгалтерского учета можно показать “на пальцах”, что амортизированная стоимость операции Table_Insert должна быть равна 3. Интуитивно понятно, что для каждого элемента приходится трижды платить за элементарную операцию вставки: за саму вставку в текущую таблицу, за перемещение этого элемента при расширении таблицы и за перемещение еще одного элемента, который уже однажды был перемещен в ходе расширения таблицы. Например, предположим, что сразу после расширения таблицы ее размер становится равным т. Тогда количество элементов в ней равно т/2 и таблице соответствует нулевой кредит. На каждую вставку начисляется по 3 грн. Элементарная вставка, которая выполняется тут же, стоит 1 грн. Еще 1 грн. зачисляется в кредит на вставляемый элемент. Третья гривня зачисляется в качестве кредита на один из уже содержащихся в таблице т/2 элементов. Для заполнения таблицы требуется m/2 — 1 дополнительных вставок, поэтому к тому времени, когда в таблице будет т элементов и она станет заполненной, каждому элементу будет соответствовать гривня, предназначенная для уплаты за его перемещение в новую таблицу в процессе расширения.
Анализ последовательности из п операций Table_Insert можно выполнить и с помощью метода потенциалов. Этим мы сейчас и займемся; кроме того, этот метод будет использован в разделе 17.4.2 для разработки операции Table_Delete, амортизированная стоимость которой равна О (1). Начнем с того, что определим потенциальную функцию Ф, которая становится равной 0 сразу после расширения и достигающей значения, равного размеру матрицы, к тому времени, когда матрица станет заполненной. В этом случае предстоящее расширение можно будет оплатить за счет потенциала. Одним из возможных вариантов является функция
Ф (Т) = 2 • пит [Т] - size [Т]. (17.5)
Сразу после расширения выполняется соотношение пит [Т] = size [Т]/2, поэтому, как и требуется, Ф (Т) = 0. Непосредственно перед расширением справедливо равенство пит [Т] = size [Т], следовательно, как и требуется, Ф (Т) = пшп[Т]. Начальное значение потенциала равно 0, и поскольку таблица всегда заполнена не менее чем наполовину, выполняется неравенство пит [Г] ^ size [Т]/2, из которого следует, что функция Ф (Г) всегда неотрицательна. Таким образом, суммарная амортизированная стоимость п операций Table_Insert является верхней границей суммарной фактической стоимости.
Чтобы проанализировать амортизированную стоимость г-й операции TABLE_ INSERT, обозначим через пипц количество элементов, хранящихся в таблице после этой операции, через sizet — общий размер таблицы после этой операции, и через Ф, — потенциал после этой операции. Изначально пито = 0, sizeo = 0 и Фо = 0.
Если г-я операция Table_Insert не приводит к расширению, то sizet = sizet-y и амортизированная стоимость операции равна
Cj = Cj + Ф, - Ф,-1 =
= 1 + (2 ■ numt — sizet) — (2 • питгц_х — sizet-i) =
= 1 + (2 • пит, — sizet) — (2 • (num, — 1) — sizet-V) =
= 3.
Если же г-я операция Table_Insert приводит к расширению, то sizet = 2 • sizet-i и sizet-i = numt-i = num, — 1, откуда следует, что sizet = 2 • (num, — 1). В этом случае амортизированная стоимость операции будет следующей:
5 = <4 + Ф, - Ф<—1 =
= num, + (2 • numi — sizet) ~ (2 • numt-i — sizet-i) =
= numi + (2 • num, — 2 • (num, — 1)) — (2 • (num, — 1) — (num, — 1)) =
= numi + 2 — (numi — 1) =
= 3.
На рис. 17.3 приведена зависимость величин numt, sizet и Ф, от г. Величина numi обозначена тонкой линией, величина sizet — пунктирной линией и Фi — толстой линией. Обратите внимание, что непосредственно перед расширением потенциал возрастает до значения, равного количеству содержащихся в таблице элементов, поэтому становится достаточным для уплаты за перемещение всех элементов в новую таблицу. Впоследствии потенциал снижается до нуля, но тут же возрастает до значения 2, когда в таблицу вставляется элемент, вызвавший ее расширение.
17.4.2 Расширение и сжатие таблицы
Чтобы реализовать операцию Table_Delete, достаточно просто удалить из нее указанный элемент. Однако часто желательно сжать (contract) таблицу, если ее коэффициент заполнения становится слишком мал, чтобы пространство не расходовалось напрасно. Сжатие таблицы выполняется аналогично ее расширению: если количество элементов в ней достигает некоторой критической нижней отметки, выделяется место для новой, меньшей таблицы, после чего элементы из старой таблицы копируются в новую. Затем место, используемое для старой таблицы, можно будет освободить путем возвращения его системе управления памятью. В идеале желательно, чтобы выполнялись два свойства:
коэффициент заполнения динамической таблицы ограничен снизу некоторой константой;
Рис. 17.3. Зависимость величин numt (количество элементов в таблице), sizet (количество ячеек в таблице) и потенциала Ф2 от количества операций TABLEINSERT
амортизированная стоимость операций по обработке таблицы ограничена сверху некоторой константой.
Предполагается, что эту стоимость можно измерить в терминах элементарных вставок и удалений.
Естественная стратегия при расширении и сжатии таблицы состоит в том, чтобы удваивать ее размер при вставке элемента в заполненную таблицу и в два раза уменьшать его, когда удаление элемента из таблицы приводит к тому, что она становится заполненной меньше чем на половину. При этом гарантируется, что величина коэффициента заполнения таблицы не может быть меньше 1/2. Однако, к сожалению, это может привести к тому, что амортизированная стоимость операции станет довольно большой. Рассмотрим такой сценарий. Над таблицей Т выполняется п операций, где п — степень двойки. Первые п/2 операций — операции вставки, и их полная стоимость, согласно нашему предыдущему анализу, равна 0 (п). В конце этой последовательности вставок num [Т] = size [Т] = п/2. В качестве следующих п/2 операций выполним такую последовательность:
I, D, D, I, I, D, D, I, I, ...,
где I обозначает вставку, a D — удаление. Первая вставка приводит к расширению таблицы, объем которой равен п. Два следующих удаления вызовут сжатие таблицы обратно до размера п/2. Следующие две вставки приведут к еще одному расширению и т.д. Стоимость каждого расширения и сжатия равна 0 (п),
и всего их — 0 (п). Таким образом, полная стоимость п операций равна 0 (п2), а амортизированная стоимость одной операции — 0 (п).
Трудность, возникающая при использовании данной стратегии, очевидна: после расширения мы не успеваем выполнить достаточное количество удалений, чтобы оплатить сжатие. Аналогично, после сжатия не выполняется достаточное количество вставок, чтобы оплатить расширение.
Эту стратегию можно улучшить, если позволить, чтобы коэффициент заполнения таблицы опускался ниже 1/2. В частности, как и раньше, размер таблицы будет удваиваться при вставке элемента в заполненную таблицу, но ее размер будет уменьшаться в два раза, если в результате удаления таблица становится заполненной не наполовину, как это было раньше, а на четверть. При этом коэффициент заполнения таблицы будет ограничен снизу константой 1/4. Идея заключается в том, что после расширения таблицы ее коэффициент заполнения равен 1/2, поэтому перед сжатием необходимо будет удалить половину элементов, поскольку сжатие не будет выполнено до тех пор, пока коэффициент заполнения не станет меньше 1/4. Кроме того, после сжатия коэффициент заполнения таблицы также равен 1/2. Таким образом, количество элементов таблицы должно быть удвоено путем выполнения вставок перед тем, как сможет произойти расширение, поскольку оно выполняется только в том случае, когда коэффициент заполнения может превысить 1.
Код процедуры Table_Delete здесь не приводится, поскольку он аналогичен коду процедуры Table_Insert. Однако для анализа удобно предположить, что если количество элементов таблицы падает до нуля, то выделенное для нее пространство освобождается, т.е. если пит [Т] = 0, то size [Т] = 0.
Теперь можно проанализировать стоимость последовательности из п операций lABLE_lNSERT и Table_Delete, воспользовавшись методом потенциалов. Начнем с того, что определим потенциальную функцию Ф, которая равна 0 сразу после расширения или сжатия, и возрастает по мере того, как коэффициент заполнения увеличивается до 1 или уменьшается до 1/4. Обозначим коэффициент заполнения непустой таблицы Т через а (Т) = пит [Г]/size [Т]. Поскольку для пустой таблицы выполняются соотношения пит [Т] = size [Т] = 0 и а (Г) = 1, равенство пит [Т] а (Т) • size [Т] всегда справедливо, независимо от того, является таблица пустой или нет. В качестве потенциальной будет использоваться следующая функция:
Ф(Т) =Ф(Т) =при а (Т)1/2,при а (71) < 1/2.при а (Т)1/2,при а (71) < 1/2.(17.6)(17.6)J 2 • пит [Т] — size [Г]size [Т] /2 — пит [Г]
Ф(Т) =
Ф(Т) =
при а (Т)1/2,
при а (71) < 1/2.
при а (Т)1/2,
при а (71) < 1/2.
(17.6)
(17.6)
Обратите внимание, что потенциал пустой таблицы равен 0 и что потенциальная функция ни при каких аргументах не принимает отрицательного значения. Таким образом, полная амортизированная стоимость последовательности операций для
Рис. 17.4. Зависимость величин numt (количество элементов в таблице), sizet (количество ячеек в таблице) и потенциала Ф, от количества операций Table_Insert и TableDelete
функции Ф является верхней границей фактической стоимости этой последовательности.
Прежде чем продолжить анализ, сделаем паузу для обсуждения некоторых свойств потенциальной функции. Заметим, что когда коэффициент заполнения равен 1/2, потенциал равен 0. Когда коэффициент заполнения равен 1, то size [Т] = = пит [Т], откуда Ф (Т) = пит [Т], следовательно, значение потенциала оказывается достаточным для оплаты расширения в случае добавления элемента. Если же коэффициент заполнения равен 1/4, то выполняется соотношение size [Г] = 4- • пит [Т], откуда Ф (Т) = пит [Т], и в этом случае значение потенциала также является достаточным для оплаты сжатия в результате удаления элемента.
Чтобы проанализировать последовательность п операций TABLE_lNSERT и Та- ble_Delete, обозначим через Сг фактическую стоимость г-й операции, через ci - ее амортизированную стоимость в соответствии с функцией Ф, через питгц — количество хранящихся в таблице элементов после выполнения г-й операции, через sizet — полный объем таблицы после выполнения г-й операции, через at — коэффициент заполнения таблицы после выполнения г-й операции и через Ф» — потенциал после выполнения г-й операции. Изначально пито = 0, sizeo = О, сщ = 1 и Фо = 0.
На рис. 17.4 проиллюстрировано поведение потенциала при выполнении последовательности операций. Величина num, обозначена тонкой линией, величина size, — пунктирной линией и величина Ф, — толстой линией. Обратите внимание, что непосредственно перед расширением потенциал возрастает до значения, равного количеству содержащихся в таблице элементов, поэтому становится доста-
точным для уплаты за перемещение всех элементов в новую таблицу. Аналогично, непосредственно перед сжатием потенциал тоже достигает значения, равного количеству элементов таблицы.
Начнем со случая, когда г-й по счету выполняется операция Table_Insert. Если at-i ^ 1/2, то этот анализ идентичен тому, который был проведен в разделе 17.4.1 для расширения таблицы. Независимо от того, расширяется таблица или нет, амортизированная стоимость ci операции не превышает 3. Если ai-i < < 1/2, таблицу нельзя расширить в результате выполнения операции, поскольку расширение происходит только когда aj-i = 1. Если, кроме того, с^ < 1/2, то амортизированная стоимость г-й операции равна
^ = Ci + Фг - Фг-1 =
= 1 + (sizei/2 — тшт^ — (sizei-i/2 — numi-i) = = 1 + (suei/2 — тшт^) — (s^6i/2 — (numi — 1)) = = 0.
Если Qi-1 < 1/2, HO Qi > 1/2, то
Сг = Ci + Ф, - Фг-1 =
= 1 + (2 • пилтц — sizei) — (sizei-i/2 — mimi-i) =
= 1 + (2 • (mimi-i + 1) — sizei-i) — (stzei-i/2 — numj-i) =
о„
= 3 • пипц-д — - sizei-i +3 =
.3 .
= oat-i sizet-i — - stzet-i +o <
33
< - sizet-i —- sizet-i +2 = 3.
Таким образом, амортизированная стоимость операции TABLE_lNSERT не превышает 3.
Теперь обратимся к случаю, когда г-й по счету выполняется операция Та- BLE_DELETE. В этом случае mimt = mimt-i — 1. Если c^-i < 1/2, то необходимо анализировать, приведет ли эта операция к сжатию матрицы. Если нет, то выполняется условие sizet = sizet-i, а амортизированная стоимость операции равна
^ = Ci + Фг - Фi-l =
= 1 + (sizei/2 — тшт-г) — (sizei-i/2 — numi-i) =
= 1 + (sizei/2 — numi) — (sizei/2 — (numi + 1)) =
= 2.
Если at-x < 1/2 и г-я операция приводит к сжатию, то фактическая стоимость операции равна q = nwn< + 1, поскольку один элемент удаляется и тшт^ элементов перемещается. В этом случае sizet/2 = sizet-x(4 = numt-x = numt + 1, и амортизированная стоимость операции равна
5 = Сг + Фг ~ Фг-1 =
= (тшт^ + 1) + (sizei/2 — ТШШг) — (52^1-1/2 — ТШт^х) =
= (тштг + 1) + ((nizmi + 1) — пит^ — ((2 • numt + 2) — ^тшт^ + 1)) =
= 1.
Если г-я операция — Table_Delete и выполняется неравенство оц_х ^ 1/2, то амортизированная стоимость также ограничена сверху константой. Анализ этого случая предлагается выполнить в упражнении 17.4-2.
Подведем итог. Поскольку амортизированная стоимость каждой операции ограничена сверху константой, фактическая стоимость выполнения произвольной последовательности из п операций над динамической таблицей равна О (п).
Упражнения
1. Предположим, что нужно реализовать динамическую хеш-таблицу с открытой адресацией. Почему может понадобиться считать такую таблицу заполненной, когда ее коэффициент заполнения достигнет некоторого значения а, строго меньшего 1? Кратко опишите, как следует выполнять вставки в динамическую хеш-таблицу с открытой адресацией, чтобы математическое ожидание амортизированной стоимости вставки было равно 0(1). Почему математическое ожидание фактической стоимости может быть равным 0(1) не для всех вставок?
2. Покажите, что если c^-i ^ 1/2 и г-я операция, выполняющаяся над динамической таблицей, — Table_Delete, то амортизированная стоимость операции для потенциальной функции (17.6) ограничена сверху константой.
3. Предположим, что вместо того, чтобы сжимать таблицу, вдвое уменьшая ее размер при уменьшении коэффициента заполнения ниже значения 1/4, мы будем сжимать ее до 2/3 исходного размера, когда значение коэффициента заполнения становится меньше 1 /3. С помощью потенциальной функции
Ф (Т) = |2 • пит [Т] — size [Т]|
покажите, что амортизированная стоимость процедуры Table_Delete, в которой применяется эта стратегия, ограничена сверху константой.
Задачи
17-1. Обратный бинарный битовый счетчик
В главе 30 описывается важный алгоритм, получивший название быстрого преобразования Фурье (Fast Fourier Transform, FFT). На первом этапе алгоритма FFT выполняется обратная перестановка битов (bit-reversal permutation) входного массива А [0..п — 1], длина которого равна n = 2к для некоторого неотрицательного целого к. В результате перестановки каждый элемент массива меняется местом с элементом, индекс которого представляет собой преобразованный описанным далее образом индекс исходного элемента.
Каждый индекс а можно представить в виде последовательности к битов ^ак_1, ак_2,.... а0), где а = ^^ а^г- Определим операцию
reVfc ^(Lk_\^ Ок—2) • • • ) ^о))(^0) ^1? • • • ? ^к—1) )
т.е.
к-1 revk (а) = ^ak-i-^1. i=0
Например, если п = 16 (или, что эквивалентно, к = 4), то rev^ (3) = = 12, поскольку 4-битовое двоичное представление числа 3 выглядит как ООН, и в результате преобразования которого получим 1100, т.е. 4битовое двоичное представление числа 12.
Пусть имеется функция revfc, выполняющаяся в течение времени 0 (п). Разработайте алгоритм обратной перестановки битов в массиве длиной n = 2fc, время работы которого равно О (пк).
Чтобы улучшить время перестановки битов, можно воспользоваться алгоритмом, основанным на амортизационном анализе. Мы поддерживаем счетчик с обратным порядком битов и процедуру Bit_Reversed_Incre- ment, которая для заданного показания счетчика а возвращает значение rev,- (rev*; (а) + 1). Например, если к = 4 и счетчик начинает отсчет от 0, то в результате последовательных вызовов процедуры Bit_Reversed_ Increment получим последовательность
0000,1000,0100,1100,0010,1010, ••■ = 0,8,4,12,2,10,....
Предположим, что слова в компьютере хранятся в виде /с-битовых значений и что в течение единичного промежутка времени компьютер может произвести над этими бинарными значениями такие операции, как сдвиг влево или вправо на произвольное число позиций, побитовое И, побитовое или и т.п. Опишите реализацию процедуры
Bit_Reversed_Increment, позволяющую выполнять обращение порядка битов п-элементного массива в течение времени О (п).
Предположим, что в течение единичного промежутка времени сдвиг слова вправо или влево можно произвести только на один бит. Сохраняется ли при этом возможность реализовать обращение порядка битов в массиве за время О (п)?
17-2. Динамический бинарный поиск
Бинарный поиск в отсортированном массиве осуществляется в течение промежутка времени, описываемого логарифмической функцией, однако время вставки нового элемента линейно зависит от размера массива. Время вставки можно улучшить, используя несколько отсортированных массивов.
Предположим, что операции Search и Insert должны поддерживаться для n-элементного множества. Пусть к = fig (п +1)] и пусть бинарное преставление числа п имеет вид (n^_i, п^-2, • ■ •, no)- У нас имеется к таких отсортированных массивов Ао, А^,..., Ak-i, что для всех г = = 0,1,..., к — 1 длина массива At равна 2г. Каждый массив либо заполнен, либо пуст, в зависимости от того, равно ли щ = 1 или тц = 0 соответственно. Таким образом, полное количество элементов, хранящихся во всех к массивах, равно ^^Zq1 п,21 = п. Хотя каждый массив отсортирован, между элементами различных массивов нет никаких отношений.
Опишите, как в этой структуре данных реализовать операцию Search. Проанализируйте время ее работы в наихудшем случае.
Опишите, как в эту структуру данных вставлять новый элемент. Проанализируйте время выполнения этой операции в наихудшем случае и ее амортизированное время работы.
Обсудите реализацию процедуры Delete.
17-3. Амортизированные сбалансированные по весу деревья
Рассмотрим обычное бинарное дерево поиска, расширенное за счет добавления к каждому узлу х поля size [ж], содержащего количество ключей, которые хранятся в поддереве с корнем в узле х. Пусть а — константа из диапазона 1/2 ^ а < 1. Назовем данный узел х а-сбалансированным (a-balanced), если
size [left [ж]] ^ а • size [ж]
и
size [right [ж]] ^ а • size [ж].
Дерево в целом является а-сбалансированным (а-balanced), если а-сба- лансирован каждый его узел. Описанный ниже амортизированный подход к сбалансированным деревьям был предложен Варгисом (G. Varghese).
В определенном смысле 1 /2-сбалансированное дерево является наиболее сбалансированным. Пусть в произвольном бинарном дереве поиска задан узел х. Покажите, как перестроить поддерево с корнем в узле х таким образом, чтобы оно стало 1/2-сбалансированным. Время работы алгоритма должно быть равным 0 (size [ж]), а объем используемой вспомогательной памяти — О (size [ж]).
Покажите, что поиск в бинарном а-сбалансированном дереве поиска с п узлами в наихудшем случае выполняется в течение времени O(lgn).
При выполнении оставшейся части этой задачи предполагается, что константа а строго больше 1/2. Предположим, что операции Insert и Delete реализованы так же, как и в обычном бинарном дереве поиска с п узлами, за исключением того, что после каждой такой операции, если хоть один узел дерева не является а-сбалансированным, то поддерево с самым высоким несбалансированным узлом “перестраивается” так, чтобы оно стало 1/2-сбалансированным.
Проанализируем эту схему с помощью метода потенциалов. Для узла х, принадлежащего бинарному дереву поиска Т, определим величину
△ (ж) = [size [left [ж]] — size [right [ж]]|,
а потенциал дерева Т определим как
Ф(Т) = с £ Аж’х€Т:Д(х)^2
где с — достаточно большая константа, зависящая от а.
Покажите, что потенциал любого бинарного дерева поиска всегда неотрицателен и что потенциал 1/2-сбалансированного дерева равен 0.
Предположим, что m единиц потенциала достаточно для оплаты перестройки поддерева, содержащего m узлов. Насколько большой должна быть константа с для данного а, чтобы амортизированное время перестройки поддерева, не являющегося а-сбалансирован- ным, было равным 0(1)?
Покажите, что амортизированное время вставки узла в а-сбаланси- рованное дерево с п узлами, как и удаления узла из этого дерева, равно О (lg п).
17-4. Стоимость перестройки красно-черных деревьев
Имеется четыре основных операции над красно-черными деревьями, которые выполняют структурные модификации (structural modifications): вставка узла, удаление узла, поворот и изменение цвета. Мы убедимся, что для поддержки свойств красно-черных деревьев в процедурах RE INSERT и RB_Delete достаточно использовать 0(1) операций поворота, вставки узлов и удаления узлов, но в них потребуется намного больше операций изменения цвета.
Опишите корректное красно-черное дерево с п узлами, в котором вызов процедуры RB_lNSERT для вставки (п + 1)-го узла приводит к Q (lg п) изменениям цвета. Затем опишите корректное красночерное дерево с п узлами, в котором вызов процедуры RB_Delete для удаления определенного узла приводит к П (lg п) изменениям цвета.
Несмотря на то, что в наихудшем случае количество модификаций цветов, приходящихся на одну операцию, может определяться логарифмической функцией, мы докажем, что произвольная последовательность т операций RB Insert и RB_Delete, выполняемых над изначально пустым красно-черном деревом, в наихудшем случае приводит к О(т) структурным модификациям.
Некоторые из случаев, обрабатываемых в основном цикле кода процедур RB Insert Fixup и RBDeleteFixup, являются завершающими (terminating): однажды случившись, они вызовут завершение цикла после выполнения фиксированного количества дополнительных операций. Установите для каждого случая, встречающегося в процедурах RB_lNSERT_FlXUP и RB_Delete_Fixup, какой из них является завершающим, а какой — нет. (Указание: обратитесь к рис. 13.5-13.7.)
Сначала мы проанализируем структурные модификации для случая, когда выполняются только вставки. Пусть Т — красно-черное дерево. Определим для него функцию Ф (Т) как количество красных узлов в дереве Т. Предположим, что одной единицы потенциала достаточно для оплаты структурной модификации, выполняющейся в любом из трех случаев процедуры RB_lNSERT_FlXUP.
Пусть Т' — результат применения случая 1 процедуры RB_lNSERT_ Fixup к дереву Т. Докажите, что Ф (Т') = Ф (Т) — 1.
Операцию вставки узла в красно-черное дерево с помощью процедуры RB_lNSERT можно разбить на три части. Перечислите структурные модификации и изменения потенциала, которые происходят в результате выполнения строк 1-16 процедуры RB_lNSERT для
незавершающих случаев процедуры RB_Insert_Fixup и для завершающих случаев этой процедуры.
Воспользовавшись результатами, полученными в части г), докажите, что амортизированное количество структурных модификаций, которые выполняются при любом вызове процедуры RB_Insert, равно О (1).
Теперь нам нужно доказать, что если выполняются и вставки, и удаления, то производится О (т) структурных модификаций. Для каждого узла ж определим величину
1
0 если х красный,
если х черный и не имеет красных дочерних узлов,
0 если х черный и имеет один красный дочерний узел,
если х черный и имеет два красных дочерних узла.
Теперь переопределим потенциал красно-черного дерева в виде
Ф(Т) = £>(ж),
ХЕТ
и обозначим через Т дерево, получающееся в результате применения любого незавершающего случая процедуры RB_Insert_Fixup или RB_ Delete_Fixup к дереву Т.
Покажите, что для всех незавершающих случаев процедуры RB_ InsertFixup выполняется неравенство Ф (Т) ^ Ф (Г) —1. Докажите, что амортизированное количество структурных модификаций, которые выполняются в произвольном вызове процедуры RB_Insert_ Fixup, равно О (1).
Покажите, что для всех незавершающих случаев процедуры RB_ Delete_Fixup выполняется неравенство Ф (Т") ^ Ф (Г) — 1. Докажите, что амортизированное количество структурных модификаций, которые выполняются в произвольном вызове процедуры RB_Delete_Fixup, равно 0(1).
Завершите доказательство того, что в наихудшем случае в ходе выполнения произвольной последовательности m операций REINSERT и RB DELETE производится О (т) структурных модификаций.
Заключительные замечания
Групповой анализ был использован Ахо (Aho), Хопкрофтом (Hopcroft) и Ульманом (Ullman) [5]. Таржан (Taijan) [293] представил обзор разновидностей метода бухгалтерского учета и метода потенциала, использующихся в амортизационном анализе, а также некоторые их приложения. Метод бухгалтерского учета он приписывает нескольким авторам, включая Брауна (M.R. Brown), Таржана, Хаддельстона (S. Huddelston) и Мельхорна (К. Mehlhorn). Метод потенциала он приписывает Слитору (D.D. Sleator). Термин “амортизационный” вошел в обиход благодаря Слитору и Таржану.
Потенциальные функции оказываются полезными также при доказательстве нижних границ в задачах определенных типов. Для каждой конфигурации, возникающей в такой задаче, определяется потенциальная функция, отображающая эту конфигурацию на действительное число. После этого определяется потенциал Фти начальной конфигурации, потенциал ФjtnQi конечной конфигурации и максимальное изменение потенциала ДФтах в результате выполнения произвольного шага. Таким образом, число шагов должно быть не меньше ^s#;™'^- Примеры использования потенциальных функций для обоснования нижних границ при оценке сложности ввода-вывода представлены в работах Кормена (Cormen) [71], Флойда (Floyd) [91], а также Аггарвала (Aggarwal) и Виттера (Vitter) [4]. Крумм (Krumme), Цыбенко (Cybenko) и Венкатараман (Venkataraman) [194] воспользовались потенциальными функциями для оценки нижних границ скорости распространения слухов (gossiping): передачи единственного элемента из каждой вершины графа во все другие вершины.
ЧАСТЬ V
Сложные структуры данных
Введение
Эта часть возвращает нас к изучению структур данных, поддерживающих операции над динамическими множествами, но уже на более высоком уровне по сравнению с частью III. В двух главах этой части мы, например, будем использовать технологии амортизационного анализа, которые рассматриваются в главе 17.
В главе 18 мы рассмотрим В-деревья, которые представляют собой сбалансированные деревья поиска, разработанные специально для хранения информации на дисках. Поскольку дисковые операции существенно медленнее, чем работа с оперативной памятью, производительность В-деревьев определяется не только временем, необходимым для проведения вычислений, но и количеством необходимых дисковых операций. Для каждой операции с В-деревом количество обращений к диску растет с ростом высоты В-дерева, так что мы должны поддерживать ее невысокой.
В главах 19 и 20 рассматриваются различные реализации объединяемых пирамид, которые поддерживают операции Insert, Minimum, Extract_Min и Union1 (операция UNION объединяет две пирамиды). Структуры данных в этих главах, кроме того, поддерживают операции Delete и Decrease_Key.
Биномиальные пирамиды, о которых речь пойдет в главе 19, поддерживают все перечисленные операции со временем выполнения О (lg п) в худшем случае (п — общее количество элементов в пирамиде (или в двух пирамидах в случае операции Union). При необходимости поддержки операции Union биномиальные пирамиды превосходят бинарные пирамиды из главы 6, поскольку последним в наихудшем случае требуется для объединения двух пирамид время 0 (п).
Фибоначчиевы пирамиды (глава 20) представляют собой усовершенствованные биномиальные пирамиды — по крайней мере, теоретически. Для оценки производительности Фибоначчиевых пирамид используется амортизированное время выполнения операций. Операции Insert, Minimum и Union у Фибоначчиевых пирамид имеют амортизированное (а также фактическое) время работы, равное О (1), а операции Extract_Min и Delete — О (1gп). Главное преимущество Фибоначчиевых пирамид, однако, заключается в том, что операция Decrease_Key имеет амортизированное время 0(1). Именно это свойство делает Фибоначчиевы пирамиды ключевым компонентом ряда наиболее быстрых асимптотических алгоритмов для работы с графами.
И наконец, в главе 21 представлены структуры данных для хранения непересе- кающихся множеств. У нас имеется универсум из п элементов, сгруппированных
’Как и в задаче 10-2, мы определяем объединяемые пирамиды как поддерживающие операции Minimum и ExtractMin, так что мы можем называть их объединяемыми неубывающими пирамидами (mergeable min-heaps). Если в пирамиде поддерживаются операции MAXIMUM и Extract maximum, ее можно называть объединяемой невозрастающей пирамидой (mergeable max-heap).
в динамические множества. Изначально каждый элемент принадлежит своему собственному множеству. Операция UNION позволяет объединить два множества, а запрос Find_Set определяет множество, в котором в данный момент находится искомый элемент. Представляя каждое множество в виде простого корневого дерева, мы получаем возможность удивительно производительной работы: последовательность из т операций выполняется за время O(jna^\ где а(п) — исключительно медленно растущая функция и не превышает 4 для всех мыслимых приложений. Амортизационный анализ, который позволяет доказать эту оценку, столь же сложен, сколь проста сама используемая структура.
Рассмотренные в этой части книги структуры данных — не более чем примеры “сложных” структур данных, и множество интересных структур сюда не вошли. Хотелось бы упомянуть следующие из них.
Динамические деревья (dynamic trees), разработанные Слитором (Sleator) и Таржаном (Taijan) [281, 292], поддерживают лес из непересекающихся деревьев. Каждое ребро каждого дерева имеет некоторую стоимость, выраженную действительным числом. Динамические деревья поддерживают запросы поиска родителя, корня, стоимости ребра и минимальной стоимости ребра на пути от узла к корню. У деревьев могут удаляться ребра, может изменяться стоимость на пути от узла к корню, корень может связываться с другим деревом, а также делать узел корнем дерева, в котором он находится. Имеется реализация динамических деревьев, которая обеспечивает амортизированное время работы каждой операции, равное О (1g п); другая, более сложная реализация обеспечивает время работы О (lg п) в наихудшем случае.
Расширяющиеся деревья (splay trees), также разработанные Слитором (Sleator) и Таржаном (Tarjan) [282, 292], представляют собой версию бинарных деревьев поиска, в которых операции поиска имеют амортизированное время работы О (1g ri). Одно из применений расширяющихся деревьев — упрощение реализации динамических деревьев.
Перманентные структуры (persistent data structures), которые обеспечивают возможность выполнения запроса о предшествующих версиях структуры данных, а иногда и их обновления. Соответствующие методы с малыми затратами времени и памяти были предложены в работе [82] Дрисколлом (Driscoll), Сарнаком (Samak), Слитором (Sleator) и Таржаном (Tarjan). В задаче 13-1 приведен простой пример перманентного динамического множества.
Ряд структур данных обеспечивает более быстрое выполнение словарных операций (Insert, Delete, Search) для ограниченных универсумов ключей. Использование ограничений позволяет получить лучшее асимптотическое время работы, чем для структур данных, основанных на сравнении.
Структура данных, предложенная Ван Эмде Боасом (van Emde Boas) [301], обеспечивает в наихудшем случае время выполнения операций MINIMUM, Maximum, Insert, Delete, Search, Extract_Min, Extract_Max, Predecessor и SUCCESSOR, равное O(lglgn), если ключи ограничены множеством {1,2, ...,п). Фредман (Fredman) и Виллард (Willard) [99] предложили использовать деревья слияний (fusion trees), которые были первыми структурами данных, обеспечивавшие повышение скорости словарных операций за счет ограничения пространства целыми числами. Они показали, как можно реализовать эти операции, чтобы их время работы составляло О (lgn/lglgn). Ряд других структур данных, включая экспоненциальные деревья поиска (exponential search trees) [16], также обеспечивают улучшение всех (или некоторых) словарных операций и упоминаются в заключительных замечаниях в некоторых главах книги.
Динамические графы (dynamic graph) поддерживают различные запросы, позволяя структуре графа изменяться в процессе операций добавления или удаления вершин или ребер. Примеры поддерживаемых запросов включают связи вершин [144], связи ребер, минимальные связующие деревья [143], двусвязность и транзитивное замыкание [142].
В заключительных замечаниях к различным главам данной книги упоминаются, помимо описанных, некоторые другие структуры данных.
ГЛАВА 18
В-деревья
В-деревья представляют собой сбалансированные деревья поиска, созданные специально для эффективной работы с дисковой памятью (и другими типами вторичной памяти с непосредственным доступом). В-деревья похожи на красночерные деревья (см. главу 13), но отличаются более высокой оптимизацией дисковых операций ввода-вывода. Многие СУБД используют для хранения информации именно В-деревья (или их разновидности).
В-деревья отличаются от красно-черных деревьев тем, что узлы В-дерева могут иметь много дочерних узлов — до тысяч, так что степень ветвления В-дерева может быть очень большой (хотя обычно она определяется характеристиками используемых дисков). В-деревья схожи с красно-черными деревьями в том, что все В-деревья с п узлами имеют высоту О (lg п), хотя само значение высоты В- дерева существенно меньше, чем у красно-черного дерева за счет более сильного ветвления. Таким образом, В-деревья также могут использоваться для реализации многих операций над динамическими множествами за время О (1g п).
В-деревья представляют собой естественное обобщение бинарных деревьев поиска. На рис. 18.1 показан пример простого В-дерева. Если внутренний узел В- дерева содержит п [ж] ключей, то у него п [ж] +1 дочерних узлов. Ключи в узле ж используются как разделители диапазона ключей, с которыми имеет дело данный узел, на п [ж] + 1 поддиапазонов, каждый из которых относится к одному из дочерних узлов ж. При поиске ключа в В-дереве мы выбираем один из п [ж] + + 1 дочерних узлов путем сравнения искомого значения с п [ж] ключами узла ж. Структура листьев В-дерева отличается от структуры внутренних узлов; мы рассмотрим эти отличия в разделе 18.1.
Рис. 18.1. В-дерево с согласными английского алфавита в качестве ключей
В разделе 18.1 приведено точное определение В-деревьев и доказан логарифмический рост высоты В-дерева в зависимости от количества его узлов. В разделе 18.2 описаны процессы поиска в В-дереве и вставки элемента в В-дерево, а в разделе 18.3 — процесс удаления. Однако перед тем как приступить к работе с В- деревьями, давайте выясним, почему структуры данных, созданные для работы с дисковой памятью, так отличаются от структур, предназначающихся для работы с оперативной памятью.
Структуры данных во вторичной памяти
Имеется несколько видов используемой компьютером памяти. Основная, или оперативная, память (primary, main memory) представляет собой специализированные микросхемы и обладает более высоким быстродействием и существенно более высокой ценой, чем магнитные носители, такие как магнитные диски или ленты. Большинство компьютеров, помимо первичной памяти, оснащены вторичной памятью (secondary storage) на базе магнитных дисков. Цена такой памяти на пару порядков ниже, чем первичной, а ее суммарный объем в типичной вычислительной системе на те же пару порядков превышает объем первичной памяти.
На рис. 18.2а показан типичный дисковый накопитель, состоящий из нескольких дисков (platters), вращающихся с постоянной скоростью на общем шпинделе (spindle). Поверхность каждого диска покрыта магнитным материалом. Каждый диск читается и записывается при помощи магнитной головки {head), расположенной на специальном рычаге. Все рычаги с головками собраны в единый пакет, который позволяет перемещать головки вдоль радиуса по направлению к шпинделю или от него к краю дисков. Когда головки находятся в зафиксированном состоянии, поверхность, проходящая под ними при вращении дисков, называется дорожкой (track). Поскольку головки оказываются выровнены по вертикали благодаря общей системе рычагов, так что обращение к набору дорожек (называющемуся цилиндром (cylinder) и показанному на рис. 18.26) выполняется одновременно.
ШгшндельШгшндельРис. 18.2. Типичный дисковый накопительРис. 18.2. Типичный дисковый накопительДорожки, образующие цилиндр
Шгшндель
Шгшндель
Рис. 18.2. Типичный дисковый накопитель
Рис. 18.2. Типичный дисковый накопитель
б)б)Хотя диски существенно дешевле оперативной памяти и имеют высокую емкость, они гораздо, гораздо медленнее оперативной памяти. Механическое движение головки относительно диска определяется двумя компонентами — перемещением головки по радиусу и вращением дисков. Когда писались эти строки, типичная скорость вращения дисков составляла 5 400-15 000 оборотов в минуту (грш), с наиболее распространенной скоростью 7 200 rpm. Хотя такая скорость может показаться очень большой, один оборот требует примерно 8.33 мс, что почти на 5 порядков превышает время обращения к оперативной памяти (которое составляет примерно 100 нс). Другими словами, пока мы ждем оборота диска, чтобы считать необходимые нам данные, из оперативной памяти мы могли бы получить эти данные почти 100000 раз! В среднем приходится ждать только половину оборота диска, но это практически ничего не меняет. Радиальное перемещение головок тоже требует времени. Одним словом, когда писались эти строки, наиболее распространенное время доступа к дисковой памяти составляло от 3 до 9 миллисекунд.
б)
б)
Для того чтобы снизить время ожидания, связанное с механическим перемещением, при обращении к диску выполняется обращение одновременно сразу к нескольким элементам, хранящимся на диске. Информация разделяется на несколько страниц (pages) одинакового размера, которые хранятся последовательно друг за другом в пределах одного цилиндра, и каждая операция чтения или записи работает сразу с несколькими страницами. Типичный размер страницы — от 211 до 214 байтов. После того как головка позиционирована на нужную
дорожку, а диск поворачивается так, что головка становится на начало интересующей нас страницы, операции чтения и записи выполняются очень быстро.
Зачастую обработка прочитанной информации занимает меньше времени, чем ее поиск и чтение с диска. По этой причине в данной главе мы отдельно рассматриваем два компонента времени работы алгоритма:
количество обращений к диску;
время вычислений (процессорное время).
Количество обращений к диску измеряется в терминах количества страниц информации, которое должно быть считано с диска или записано на него. Заметим, что время обращения к диску не является постоянной величиной, поскольку зависит от расстояния между текущей дорожкой и дорожкой с интересующей нас информацией, а также текущего угла поворота диска. Мы будем игнорировать это обстоятельство и в качестве первого приближения времени, необходимого для обращения к диску, будем использовать просто количество считываемых или записываемых страниц.
В типичном приложении, использующем В-деревья, количество обрабатываемых данных достаточно велико, и все они не могут одновременно разместиться в оперативной памяти. Алгоритмы работы с В-деревьями копируют в оперативную память с диска только некоторые выбранные страницы, необходимые для работы, и вновь записывают на диск те из них, которые были изменены в процессе работы. Алгоритмы работы с В-деревьями сконструированы таким образом, чтобы в любой момент времени обходиться только некоторым постоянным количеством страниц в основной памяти, так что ее объем не ограничивает размер В- деревьев, с которыми могут работать алгоритмы.
В нашем псевдокоде мы моделируем дисковые операции следующим образом. Пусть х — указатель на объект. Если объект находится в оперативной памяти компьютера, то мы обращаемся к его полям обычным способом — например, кед [х]. Если же объект, к которому мы обращаемся посредством х, находится на диске, то мы должны выполнить операцию Disk_Read(z) для чтения объекта х в оперативную память перед тем, как будем обращаться к его полям. (Считаем, что если объект х уже находится в оперативной памяти, то операция Disk_Read(x) не требует обращения к диску.) Аналогично, для сохранения любых изменений в полях объекта х выполняется операция DlSK_WRITE(x). Таким образом, типичный шаблон работы с объектом х имеет следующий вид:
х *— указатель на некоторый объект
Disk_Read(s)
Операции, обращающиеся и/или изменяющие поля х
Disk_Write(x) > Не требуется, если поля х не изменялись
Прочие операции, не изменяющие поля х
1 узел, 1000 ключей1001 узел, 1001000 ключей1002001 узел, 1002001 000 ключей1 узел, 1000 ключей1001 узел, 1001000 ключей1002001 узел, 1002001 000 ключейРис. 18.3. В-дерево, хранящее более миллиарда ключейРис. 18.3. В-дерево, хранящее более миллиарда ключей
1 узел, 1000 ключей
1001 узел, 1001000 ключей
1002001 узел, 1002001 000 ключей
1 узел, 1000 ключей
1001 узел, 1001000 ключей
1002001 узел, 1002001 000 ключей
Рис. 18.3. В-дерево, хранящее более миллиарда ключей
Рис. 18.3. В-дерево, хранящее более миллиарда ключей
Система в состоянии поддерживать в процессе работы в оперативной памяти только ограниченное количество страниц. Мы будем считать, что страницы, которые более не используются, удаляются из оперативной памяти системой; наши алгоритмы работы с В-деревьями не будут заниматься этим самостоятельно.
Поскольку в большинстве систем время выполнения алгоритма, работающего с В-деревьями, зависит в первую очередь от количества выполняемых операций с диском Disk_Read и Disk_Write, желательно минимизировать их количество и за один раз считывать и записывать как можно больше информации. Таким образом, размер узла В-дерева обычно соответствует дисковой странице. Количество потомков узла В-дерева, таким образом, ограничивается размером дисковой страницы.
Для больших В-деревьев, хранящихся на диске, степень ветвления обычно находится между 50 и 2000, в зависимости от размера ключа относительно размера страницы. Большая степень ветвления резко снижает как высоту дерева, так и количество обращений к диску для поиска ключа. На рис. 18.3 показано В-дерево высота которого равна 2, а степень ветвления —1001; такое дерево может хранить более миллиарда ключей. При этом, поскольку корневой узел может храниться в оперативной памяти постоянно, для поиска ключа в этом дереве требуется максимум два обращения к диску!
Определение В-деревьев
Для простоты предположим, как и в случае бинарных деревьев поиска и красно-черных деревьев, что сопутствующая информация, связанная с ключом, хранится в узле вместе с ключом. На практике вместе с ключом может храниться только указатель на другую дисковую страницу, содержащую сопутствующую информацию для данного ключа. Псевдокод в данной главе неявно подразумевает, что при перемещении ключа от узла к узлу вместе с ним перемещается и сопутствующая информация или указатель на нее. В распространенном варианте
В-дерева, который называется В^-деревом, вся сопутствующая информация хранится в листьях, а во внутренних узлах хранятся только ключи и указатели на дочерние узлы. Таким образом удается получить максимально возможную степень ветвления во внутренних узлах.
В-дерево Т представляет собой корневое дерево (корень которого root [Т]), обладающее следующими свойствами.
Каждый узел х содержит следующие поля:
п [ж], количество ключей, хранящихся в настоящий момент в узле х.
Собственно ключи, количество которых равно п [ж] и которые хранятся в невозрастающем порядке, так что кеух [ж] ^ кеу2 [ж] ^ • • • ^ кеуп^ [ж].
Логическое значение leaf [ж], равное TRUE, если х является листом, и FALSE, если х — внутренний узел.
Кроме того, каждый внутренний узел х содержит п [ж] + 1 указателей ci [ж], С2 [ж],..., cn[x]+i [ж] на дочерние узлы. Листья не имеют дочерних узлов, так что их поля Сг не определены.
Ключи keyi [ж] разделяют поддиапазоны ключей, хранящихся в поддеревьях: если ki — произвольный ключ, хранящийся в поддереве с корнем Сг [ж], то кх < кеух [ж] ^ к2 ^ кеу2 [ж] ^ • • ■ ^ кеупМ [ж] ^ A:n[l]+1.
Все листья расположены на одной и той же глубине, которая равна высоте дерева h.
Имеются нижняя и верхняя границы количества ключей, которые могут содержаться в узле. Эти границы могут быть выражены с помощью одного фиксированного целого числа t ^ 2, называемого минимальной степенью (minimum degree) В-дерева:
Каждый узел, кроме корневого, должен содержать как минимум 1 - 1 ключей. Каждый внутренний узел, не являющийся корневым, имеет, таким образом, как минимум 1 дочерних узлов. Если дерево не является пустым, корень должен содержать как минимум один ключ.
Каждый узел содержит не более 2Z — 1 ключей. Таким образом, внутренний узел имеет не более 21 дочерних узлов. Мы говорим, что узел заполнен (full), если он содержит ровно 21 — 1 ключей1.
Простейшее В-дерево получается при 1 = 2. При этом каждый внутренний узел может иметь 2, 3 или 4 дочерних узла, и мы получаем так называемое 2-34-дерево (2-3-4 (гее).Однако обычно на практике используются гораздо большие значения 1.
’Другой распространенный вариант В-дерева под названием В*-дерева, требует, чтобы каждый внутренний узел был заполнен как минимум на две трети, а не наполовину, как в случае В-дерева.
Рис. 18.4. В-дерево, высота которого равна 3, с минимально возможным количеством ключей
Высота В-дерева
Количество обращений к диску, необходимое для выполнения большинства операций с В-деревом, пропорционально его высоте. Проанализируем высоту В- дерева в наихудшем случае.
Теорема 18.1. Высота В-дерева Т с n ^ 1 узлами и минимальной степенью t ^ 2 не превышает logt (п + 1)/2.
Доказательство. Пусть В-дерево имеет высоту h. Корень дерева содержит как минимум один ключ, а все остальные узлы — как минимум по t — 1 ключей. Таким образом, имеется как минимум 2 узла на глубине 1, как минимум 2t узлов на глубине 2, как минимум 2t2 узлов на глубине 3 и т.д., до глубины h, на которой имеется как минимум 2^-1 узлов (пример такого дерева, высота которого равна 3, показан на рис. 18.4). Следовательно, число ключей п удовлетворяет следующему неравенству:
/ 4.Н 1 \
n 1 + (t - 1) £ 2^-1 = 1 + 2 (t - 1) I ——-) = 2^ - 1.
i=i\ t 1 /
Простейшее преобразование дает нам неравенство th < (п + 1)/2. Теорема доказывается путем логарифмирования по основанию t обеих частей этого неравенства.Н
Здесь мы видим преимущества В-деревьев над красно-черными деревьями. Хотя высота деревьев растет как О (lg п) в обоих случаях (вспомним, что t — константа), в случае В-деревьев основание логарифмов имеет гораздо большее значение. Таким образом, В-деревья требуют исследования примерно в lg t раз
меньшего количества узлов по сравнению с красно-черными деревьями. Поскольку исследование узла дерева обычно требует обращения к диску, количество дисковых операций при работе с В-деревьями оказывается существенно сниженным.
Упражнения
1. Почему минимальная степень В-дерева не может быть равна 1?
-2. Для каких значений t дерево на рис. 18.1 является корректным В-деревом?
3. Изобразите все корректные В-деревья с минимальной степенью 2, представляющие множество {1,2,3,4,5}.
4. Чему равно максимальное количество ключей, которое может храниться в В-дереве высотой h, выраженное в виде функции от минимальной степени дерева £?
5. Опишите структуру данных, которая получится, если в красно-черном дереве каждый черный узел поглотит красные дочерние узлы, а их потомки станут дочерними узлами этого черного узла.
Основные операции с В-деревьями
В этом разделе мы более подробно рассмотрим операции B_Tree_Search, B_TREE_CREATE и B_TREE_lNSERT. При рассмотрении этих операций мы примем следующие соглашения.
Корень В-дерева всегда находится в оперативной памяти, так что операция Disk_Read для чтения корневого узла не нужна; однако при изменении корневого узла требуется выполнение операции Disk_Write, сохраняющей внесенные изменения на диске.
Все узлы, передаваемые в качестве параметров, уже считаны с диска.
Все представленные здесь процедуры выполняются за один нисходящий проход по дереву.
Поиск в В-дереве
Поиск в В-дереве очень похож на поиск в бинарном дереве поиска, но с тем отличием, что если в бинарном дереве поиска мы выбирали один из двух путей, то здесь предстоит сделать выбор из большего количества альтернатив, зависящего от того, сколько дочерних узлов имеется у текущего узла. Точнее, в каждом внутреннем узле х нам предстоит выбрать один из п [ж] + 1 дочерних узлов.
Операция B_Tree_Search представляет собой естественное обобщение процедуры Tree_Search, определенной для бинарных деревьев поиска. В качестве параметров процедура B_Tree_Search получает указатель на корневой узел
х поддерева и ключ к, который следует найти в этом поддереве. Таким образом, вызов верхнего уровня для поиска во всем дереве имеет вид B_Tree_ Search(root [Г], к). Если ключ к имеется в В-дереве, процедура B_Tree_Search вернет упорядоченную пару (у, г), состоящую из узла у и индекса г, такого что keyi [у] = к. В противном случае процедура вернет значение NIL.
B_TREE_SEARCн(ж, к)
г 1
while г < тг[ж] и к > ^еу^ж]
do г«— г + 1
if г < п[ж] и к = кеу^х)
thenreturn (ж, г)
if leaf [ж]
thenreturn nil
elseDlSK_READ(ci [ж])
return B_TREE_SEARCH(cj [ж], к)
В строках 1-3 выполняется линейный поиск наименьшего индекса г, такого что к ^ keyi [ж] (иначе г присваивается значение п [ж] +1). В строках 4-5 проверяется, не найден ли ключ в текущем узле, и если он найден, то выполняется его возврат. В строках 6-9 процедура либо завершает свою работу неудачей (если ж является листом), либо рекурсивно вызывает себя для поиска в соответствующем поддереве ж (после выполнения чтения с диска необходимого дочернего узла, являющегося корнем исследуемого поддерева).
На рис. 18.1 показана работа процедуры B_Tree_Search: светлым цветом выделены узлы, просмотренные в процессе поиска ключа R.
Процедура B_Tree_Search, как и процедура Tree_Search при поиске в бинарном дереве, проходит в процессе рекурсии узлы от корня в нисходящем порядке. Количество дисковых страниц, к которым выполняется обращение процедурой B_Tree_Search, равно 0(h) = О (logt п), где h — высота В-дерева, ап — количество содержащихся в нем узлов. Поскольку п [ж] < 2t, количество итераций цикла while в строках 2-3 в каждом узле равно О (t), а общее время вычислений — О (th) = О (t logt п).
Создание пустого В-дерева
Для построения В-дерева Т мы сначала должны воспользоваться процедурой B_Tree_Create для создания пустого корневого узла, а затем вносить в него новые ключи при помощи процедуры B_Tree_Insert. В обеих этих процедурах используется вспомогательная процедура Allocate_Node, которая выделяет дисковую страницу для нового узла за время О (1). Мы можем считать, что эта
процедура не требует вызова Disk_Read, поскольку никакой полезной информации о новом узле на диске нет.
B_Tree_Create(T)
х«- Allocate_Node()
leaf [ж] TRUE
п[ж] <— О
Disk_Write(x)
root^T] «— х
Процедура B_TREE_CREATE требует 0(1) дисковых операций и выполняется за время О (1).
Вставка ключа в В-дерево
Вставка ключа в В-дерево существенно сложнее вставки в бинарное дерево поиска. Как и в случае бинарных деревьев поиска, мы ищем позицию листа, в который будет вставлен новый ключ. Однако при работе с В-деревом мы не можем просто создать новый лист и вставить в него ключ, поскольку такое дерево не будет являться корректным В-деревом. Вместо этого мы вставляем новый ключ в существующий лист. Поскольку вставить новый ключ в заполненный лист невозможно, мы вводим новую операцию — разбиение (splitting) заполненного (т.е. содержащего 2t — 1 ключей) узла на два, каждый из которых содержит по t — 1 ключей. Медиана, или средний ключ, — keyt [у] (median key) — при этом перемещается в родительский узел, где становится разделительной точкой для двух вновь образовавшихся поддеревьев. Однако если родительский узел тоже заполнен, перед вставкой нового ключа его также следует разбить, и такой процесс разбиения может идти по восходящей до самого корня.
Как и в случае бинарного дерева поиска, в В-дереве мы вполне можем осуществить вставку за один нисходящий проход от корня к листу. Для этого нам не надо выяснять, требуется ли разбить узел, в который должен вставляться новый ключ. Вместо этого при проходе от корня к листьям в поисках позиции для нового ключа мы разбиваем все заполненные узлы, через которые проходим (включая лист). Тем самым гарантируется, что если нам надо разбить какой-то узел, то его родительский узел не будет заполнен.
Разбиение узла В-дерева
Процедура B_Tree_Split_Child получает в качестве входного параметра незаполненный внутренний узел х (находящийся в оперативной памяти), индекс г и узел у (также находящийся в оперативной памяти), такой что у = Cj [ж] является заполненным дочерним узлом х. Процедура разбивает дочерний узел на два и соответствующим образом обновляет поля х, внося в него информацию о новом
Рис. 18.5. Разбиение узла с t = 4
дочернем узле. Для разбиения заполненного корневого узла мы сначала делаем корень дочерним узлом нового пустого корневого узла, после чего можем использовать вызов B_Tree_Split_Child. При этом высота дерева увеличивается на 1. Разбиение — единственное средство увеличения высоты В-дерева.
На рис. 18.5 показан этот процесс. Заполненный узел у разбивается медианой S, которая перемещается в родительский узел. Те ключи из у, которые больше медианы, помещаются в новый узел z, который становится новым дочерним узлом х.
B_Tree_Split_Child(2;, г, у)
z *- Allocate_Node()
leaf [г]leaf [у]
ti\z\ t — 1
for j 1 to t — 1
do кеуДД ке-у^тД
if not ka/[y]
then for 3 <— 1 to t
do Cj^ «- Cj+t[y]
n[y] «- t - 1
for j «— п[ж] + 1 downto г + 1
do с,+1[ж] <— с^ж]
с,+1[ж]<-г
for j <— п[ж] downto г
do &eyj+1[x] «— кеуДх]
йеу^ж] <- fcyt[y]
п[ж] *— п[ж] + 1
DlSK_WRITE(y)
DlSK_WRITE(\)
19 DlSK_WRITE(x)
Процедура B_Tree_Split_Child использует простой способ “вырезать и вставить”. Здесь у является г-м дочерним узлом х и представляет собой именно тот узел, который будет разбит на два. Изначально узел у имеет 2t дочерних узла (содержит 2t — 1 ключей); после разбиения количество его дочерних узлов снизится до t (t — 1 ключей). Узел z получает t больших дочерних узлов (t — 1 ключей) у и становится новым дочерним узлом х, располагаясь непосредственно после у в таблице дочерних узлов х. Медиана у перемещается в узел х и разделяет в нем у и z.
В строках 1-8 создается узел z и в него переносятся большие t — 1 ключей и соответствующие t дочерних узлов у. В строке 9 обновляется поле количества ключей в у. И наконец, строки 10-16 делают z дочерним узлом х, перенося медиану из у в х для разделения у и z, и обновляют поле количества ключей в х. В строках 17-19 выполняется запись на диск всех модифицированных данных. Время работы процедуры равно О (t) из-за циклов в строках 4-5 и 7-9 (прочие циклы выполняют О (t) итераций). Процедура выполняет О (1) дисковых операций.
Вставка ключа в В-дерево за один проход
Вставка ключа к в В-дерево Т высоты h выполняется за один нисходящий проход по дереву, требующий О (h) обращений к диску. Необходимое процессорное время составляет О (th) = О (tlogtn). Процедура B_Tree_Insert использует процедуру B_Tree_Split_Child для гарантии того, что рекурсия никогда не столкнется с заполненным узлом.
B_TREE_lNSERT(T, к)
г «— rooifT]
if n[r] = 2t — 1
then s *- Allocate_Node()
root[T] «— s
Zea/[s] «- FALSE
n[s] <— 0
ci [s] «— r
B_Tree_Split_Child(s, 1, r)
B_Tree_Insert_Nonfull(s, k)
else B_TREE_lNSERT_NONFULL(r, k)
Строки 3-9 предназначены для случая, когда заполнен корень дерева: при этом корень разбивается и новый узел s (у которого два дочерних узла) становится новым корнем В-дерева. Разбиение корня — единственный путь увеличения высоты В-дерева. На рис. 18.6 проиллюстрирован такой процесс разбиения корневого узла. В отличие от бинарных деревьев поиска, у В-деревьев высота увеличивается “сверху”, а не “снизу”. Завершается процедура вызовом другой про-
root [ 7]
ь к к к к к к
Рис. 18.6. Разбиение корня с t = 4
цедуры — B_Tree_Insert_Nonfull, которая выполняет вставку ключа к в дерево с незаполненным корнем. Данная процедура при необходимости рекурсивно спускается вниз по дереву, причем каждый узел, в который она входит, является незаполненным, что обеспечивается (при необходимости) вызовом процедуры B_Tree_Split_Child.
Вспомогательная процедура B_Tree_Insert_Nonfull вставляет ключ к в узел ж, который должен быть незаполненным при вызове процедуры. Операции B_Tree_Insert и B_Tree_Insert_Nonfull гарантируют, что это условие неза- полненности будет выполнено.
B_Tree_Insert_Nonfull^, к)
г «— п[ж]
if leaf [ж]
then while г > 1 и к < кеу^ [ж]
do &е^+1[ж] +- &е^[ж]
г«— г — 1
keyi+1 [ж] «— к
п[ж] *— п[ж] + 1
DISK_WRITE(ж)
else while г > 1 и к < /геу^ж]
do г <— г — 1
i*—i + l
Disk_Read(Ci [ж])
if п[С1[ж]] = 2t — 1
then В_Трее_8рыт_Сн1Ьп(ж, г, с, [ж])
if к > йеу^ж]
then г <— г + 1
B_TREE_lNSERT_NONFULL(cj [ж] , к)
Процедура B_Tree_Insert_Nonfull работает следующим образом. Строки 3-8 обрабатывают случай, когда х является листом; при этом ключ к просто вставляется в данный лист. Если же х не является листом, то мы должны вставить к в подходящий лист в поддереве, корнем которого является внутренний узел х. В этом случае строки 9-11 определяют дочерний узел х, в который спустится рекурсия. В строке 13 проверяется, не заполнен ли этот дочерний узел, и если он заполнен, то вызывается процедура B_Tree_Split_Child, которая разбивает его на два незаполненных узла, а строки 15-16 определяют, в какой из двух получившихся в результате разбиения узлов должна спуститься рекурсия. (Обратите внимание, что в строке 16 после увеличения г операция чтения с диска не нужна, поскольку процедура рекурсивно спускается в узел, только что созданный процедурой B_Tree_Split_Child.) Строки 13-16 гарантируют, что процедура никогда не столкнется с заполненным узлом. Строка 17 рекурсивно вызывает процедуру B_Tree_Insert_Nonfull для вставки к в соответствующее поддерево. На рис. 18.7 проиллюстрированы различные ситуации, возникающие при вставке в В-дерево.
Количество обращений к диску, выполняемых процедурой B_Tree_Insert для В-дерева высотой h, составляет O(h), поскольку между вызовами B_Tree_In- sert_Nonfull выполняется только 0(1) операций Disk_Read и Disk_Write. Необходимое процессорное время равно О (th) = O(tlogtn). Поскольку в B_Tree_Insert_Nonfull использована оконечная рекурсия, ее можно реализовать итеративно с помощью цикла while, наглядно показывающего, что количество страниц, которые должны находиться в оперативной памяти, в любой момент времени равно 0(1).
Упражнения
1. Покажите результат вставки ключей F, S, Q, К, С, L, Н, Т, V9 W, М, R, N, Р, А, В, X, Y, D, Z, Е в указанном порядке в изначально пустое В-дерево с минимальной степенью 2. Нарисуйте только конфигурации дерева непосредственно перед выполнением разбиения и окончательный вид дерева.
2. Поясните, при каких условиях могут выполняться излишние операции DiskRead и Disk_Write в процессе работы процедуры B_Tree_Insert (если таковые могут иметь место). Под излишней операцией чтения подразумевается чтение страницы, уже находящейся в оперативной памяти, а под излишней записью — запись на диск информации, идентичной уже имеющейся там.
3. Как найти минимальный ключ в В-дереве? Как найти элемент В-дерева, предшествующий данному?
а) Исходное деревоа) Исходное дерево[д S С D К[д S С D Кв) Вставка Ов) Вставка ОV‘vMJ’ О -В J-с я .у Н и гV‘vMJ’ О -В J-с я .у Н и гРис. 18.7. Вставка ключей в В-дерево с минимальной степенью 3. Узлы, изменяемые в процессе вставки, выделены светлым цветомРис. 18.7. Вставка ключей в В-дерево с минимальной степенью 3. Узлы, изменяемые в процессе вставки, выделены светлым цветом
а) Исходное дерево
а) Исходное дерево
[д S С D К
[д S С D К
в) Вставка О
в) Вставка О
V‘vMJ’ О -В J-
с я .у Н и г
V‘vMJ’ О -В J-
с я .у Н и г
Рис. 18.7. Вставка ключей в В-дерево с минимальной степенью 3. Узлы, изменяемые в процессе вставки, выделены светлым цветом
Рис. 18.7. Вставка ключей в В-дерево с минимальной степенью 3. Узлы, изменяемые в процессе вставки, выделены светлым цветом
* 18.2-4. Предположим, что ключи {1,2,..., п} вставлены в пустое В-дерево с минимальной степенью 2. Сколько узлов будет иметь получившееся в результате В-дерево?
5. Поскольку листья не содержат указателей на дочерние узлы, в них можно разместить большее количество ключей, чем во внутренних узлах при том же размере дисковой страницы. Покажите, как надо изменить процедуры создания В-дерева и вставки в него для работы с таким видоизмененным В-деревом.
6. Предположим, что линейный поиск в узле в процедуре B_Tree_Search заменен бинарным поиском. Покажите, что при этом процессорное время, необходимое для выполнения процедуры B_Tree_Search, равно О (lg п) (и не зависит от t).
7. Предположим, что дисковое аппаратное обеспечение позволяет произвольно выбирать размер дисковой страницы, но время, необходимое для чтения дисковой страницы, равно а + Ы, где а и b — определенные константы, a t — минимальная степень В-дерева, использующего страницу данного размера. Каким образом выбрать t, чтобы (приближенно) минимизировать время поиска в В-дереве? Оцените оптимальное значение t для а = 5 мс и b = 10 мкс.
Удаление ключа из В-дерева
Удаление ключа из В-дерева, хотя и аналогично вставке, представляет собой более сложную задачу. Это связано с тем, что ключ может быть удален из любого узла, а не только из листа, а удаление из внутреннего узла требует определенной перестройки дочерних узлов. Как и в случае вставки, мы должны обеспечить, чтобы при выполнении операции удаления не были нарушены свойства В-дерева. Аналогично тому, как мы имели возможность убедиться, что узлы не слишком сильно заполнены для вставки нового ключа, нам предстоит убедиться, что узел не становится слишком мало заполнен в процессе удаления ключа (за исключением корневого узла, который может иметь менее t — 1 ключей, хотя и не может иметь более 2£ — 1 ключей).
Итак, пусть процедура B_Tree_Delete должна удалить ключ к из поддерева, корнем которого является узел х. Эта процедура разработана таким образом, что при ее рекурсивном вызове для узла х гарантировано наличие в этом узле по крайней мере t ключей. Это условие требует наличия в узле большего количества ключей, чем минимальное в обычном В-дереве, так что иногда ключ может быть перемещен в дочерний узел перед тем, как рекурсия обратится к этому дочернему узлу. Такое ужесточение свойства В-дерева (наличие “запасного” ключа) дает нам возможность выполнить удаление ключа за один нисходящий проход по дереву (с единственным исключением, которое будет пояснено позже). Следует также учесть, что если корень дерева х становится внутренним узлом, не содержащим ни одного ключа (такая ситуация может возникнуть в рассматриваемых ниже случаях 2е и 36), то узел х удаляется, а его единственный дочерний узел ci [ж] становится новым корнем дерева (при этом уменьшается высота В-дерева и сохраняется его свойство, требующее, чтобы корневой узел непустого дерева содержал как минимум один ключ).
Вместо того чтобы представить вам полный псевдокод процедуры удаления узла из В-дерева, мы просто набросаем последовательность выполняемых действий. На рис. 18.8 показаны различные возникающие при этом ситуации.
Если узел к находится в узле х и х является листом — удаляем к из х.
Если узел к находится в узле х и х является внутренним узлом, выполняем следующие действия.
Если дочерний по отношению к х узел у, предшествующий ключу к в узле х, содержит не менее t ключей, то находим к' — предшественника к в поддереве, корнем которого является у. Рекурсивно удаляем к' и заменяем к в х ключом к'. (Поиск ключа к' и удаление его можно выполнить в процессе одного нисходящего прохода.)
Ситуация, симметричная ситуации а*, если дочерний по отношению к х узел г, следующий за ключом к в узле х, содержит не менее t ключей, то находим к' — следующий за к ключ в поддереве, корнем которого является z. Рекурсивно удаляем к' и заменяем к в х ключом к'. (Поиск ключа к' и удаление его можно выполнить в процессе одного нисходящего прохода.)
В противном случае, если и у, и z содержат по t — 1 ключей, вносим к и все ключи z в у (при этом из х удаляется к и указатель на z. а узел у после этого содержит 2t — 1 ключей), а затем освобождаем z и рекурсивно удаляем к из у.
Если ключ к отсутствует во внутреннем узле х, находим корень сг [ж] поддерева, которое должно содержать к (если таковой ключ имеется в данном В-дереве). Если сг [ж] содержит только t — 1 ключей, выполняем шаг За или 36 для того, чтобы гарантировать, что далее мы переходим в узел, содержащий как минимум t ключей. Затем мы рекурсивно удаляем к из поддерева с корнем а [ж].
Если ct [ж] содержит только t — 1 ключей, но при этом один из ее непосредственных соседей (под которым мы понимаем дочерний по отношению к х узел, отделенный от рассматриваемого ровно одним ключом-разделителем) содержит как минимум t ключей, передадим в Ci [ж] ключ-разделитель между данным узлом и его непосредственным соседом из х, на его место поместим крайний ключ из соседнего узла и перенесем соответствующий указатель из соседнего узла в Ci [ж].
Если и Ci [ж] и оба его непосредственных соседа содержат по t — 1 ключей, объединим Ci [ж] с одним из его соседей (при этом бывший ключ-разделитель из х станет медианой нового узла).
6) Удаление F; случай 16) Удаление F; случай 1в) Удаление М случай 1ав) Удаление М случай 1а
6) Удаление F; случай 1
6) Удаление F; случай 1
в) Удаление М случай 1а
в) Удаление М случай 1а
г) "Удаление (3: случай 1в
1 1
Е J К
Рис. 18.8. Удаление узла из В-дерева с минимальной степенью 3. Модифицируемые узлы показаны светлым цветом
Поскольку большинство ключей в В-дереве находится в листьях, можно ожидать, что на практике чаще всего удаления будут выполняться из листьев. Процедура B_Tree_Delete в этом случае выполняется за один нисходящий проход по дереву, без возвратов. Однако при удалении ключа из внутреннего узла процедуре может потребоваться возврат к узлу, ключ из которого был удален и замещен его предшественником или последующим за ним ключом (случаи 2а и 26).
Хотя описание процедуры выглядит достаточно запутанным, она требует всего лишь О (h) дисковых операций для дерева высотой h, поскольку между рекурсивными вызовами процедуры выполняется только 0(1) вызовов процедур
Disk._R.ead или Disk_Write. Необходимое процессорное время составляет О (t/г) = O(tlogtn).
Упражнения
1. Изобразите результат удаления ключей С, Р и V (в указанном порядке) из В-дерева, приведенного на рис. 18.8е.
2. Напишите псевдокод процедуры B_Tree_Delete.
Задачи
18-1. Стеки во вторичной памяти
Рассмотрим реализацию стека в компьютере с небольшой оперативной памятью, но относительно большим дисковым пространством. Поддерживаемые стеком операции Push и Pop должны работать со значениями, представляющими отдельные машинные слова. Стек должен иметь возможность роста до размеров, существенно превышающих размер оперативной памяти, так что его большая часть должна храниться на диске. Простая, но неэффективная реализация стека хранит его весь на диске. В памяти поддерживается только указатель стека, который представляет собой дисковый адрес элемента на вершине стека. Если указатель имеет значение р, элемент на вершине стека является (р mod т)-м словом на странице [p/mj, где т — количество слов в одной странице.
Для реализации операции Push мы увеличиваем указатель стека, считываем в оперативную память с диска соответствующую страницу, копируем вносимый в стек элемент в соответствующее место на странице и записываем страницу обратно на диск. Реализация операции Pop аналогична реализации операции PUSH. Мы уменьшаем указатель стека, считываем в оперативную память с диска соответствующую страницу и возвращаем элемент на вершине стека. Нет необходимости записывать страницу назад на диск, поскольку она не была модифицирована.
Поскольку дисковые операции достаточно дорогие в смысле времени их выполнения, мы учитываем при любой реализации стека две стоимости: общее количество обращений к диску и необходимое процессорное время. Будем считать, что дисковые операции со страницей размером т слов требуют одного обращения к диску и процессорное время 0 (ш).
Чему в наихудшем случае равно асимптотическое количество обращений к диску при такой простейшей реализации стека? Чему равно требуемое процессорное время для п стековых операций? (Ваш ответ на этот и последующие вопросы данной задачи должен выражаться через т и п.)
Теперь рассмотрим реализацию стека, при которой одна страница стека находится в оперативной памяти (кроме того, небольшое количество оперативной памяти используется для отслеживания того, какая именно страница находится в оперативной памяти в настоящее время). Само собой разумеется, что мы можем выполнять стековые операции только в том случае, если соответствующая дисковая страница находится в оперативной памяти. При необходимости страница, находящаяся в данный момент в оперативной памяти, может быть записана на диск, а в память считана новая дисковая страница. Если нужная нам страница уже находится в оперативной памяти, то выполнение дисковых операций не требуется.
Чему в наихудшем случае равно количество необходимых обращений к диску для п операций PUSH? Чему равно соответствующее процессорное время?
Чему в наихудшем случае равно количество необходимых обращений к диску для п стековых операций? Чему равно соответствующее процессорное время?
Предположим, что стек реализован таким образом, что в оперативной памяти постоянно находятся две страницы (в дополнение к небольшому количеству оперативной памяти, которое используется для отслеживания
того, какие именно страницы находятся в оперативной памяти в настоящее время).
Как следует управлять страницами стека, чтобы амортизированное количество обращений к диску для любой стековой операции составляло <Э(1/т), а амортизированное процессорное время — 0(1)?
18-2. Объединение и разделение 2-3-4-деревьев
Операция объединения (join) получает два динамических массива S' и S" и элемент ж, такой что key [s'] < key [ж] < key [ж"] для любых х' е S' и х" € S”, и возвращает множество S = S' U {ж} U S". Операция разделения (split) представляет собой обращение операции объединения: для данного динамического множества S и элемента х е S она создает множество S', содержащее все элементы из 5 — {ж}, ключи которых меньше key [s], и множество S", содержащее все элементы из S — {ж}, ключи которых больше key [s]. В данной задаче мы рассматриваем реализацию этих операций над 2-3-4-деревьями. Для удобства полагаем, что элементы представляют собой ключи и что все ключи различны.
Покажите, каким образом поддерживать хранение в каждом узле дерева информации о высоте поддерева, корнем которого является данный узел, чтобы это не повлияло на асимптотическое время выполнения операций поиска, вставки и удаления.
Покажите, как реализовать операцию объединения. Для данных 23-4-деревьев Т' и Т" и ключа к объединение должно выполняться за время О (1 + |/i' — /1"|), где к! и h" — значения высоты деревьев Т' и Т" соответственно.
Рассмотрим путь р от корня 2-3-4-дерева Т к данному ключу к, множество S' ключей Т, которые меньше к, и множество S” ключей Т, которые больше к. Покажите, что р разбивает S' на множество деревьев {Tq, Т],..., Т^} и множество ключей {Aq, к{,..., к'^, причем для всех у € Т-_г и z еТ- выполняется у < к^ < z (i = 1,2,..., m). Как связаны высоты Т!_г и 7?? На какие множества деревьев и ключей р разбивает S"?
Покажите, как реализовать операцию разделения 2-3-4-дерева Т. Воспользуйтесь операцией объединения для того, чтобы собрать ключи из S' в единое 2-3-4-дерево Т', а ключи из S" в единое 2-3-4- дерево Т". Время работы операции разделения должно составлять О (lg п), где п — количество ключей в Т. ^Указание-, при сложении стоимости операций объединения происходит сокращение членов (телескопической) суммы.)
Заключительные замечания
Сбалансированные деревья и В-деревья достаточно подробно рассмотрены в книгах Кнута (Knuth) [185], Ахо (Aho), Хопкрофта (Hopcroft), Ульмана (Ullman) [5] и Седжвика (Sedgewick) [269]. Подробный обзор В-деревьев дан Комером (Comer) [66]. Рибас (Guibas) и Седжвик [135] рассмотрели взаимосвязи между различными видами сбалансированных деревьев, включая красно-черные деревья и 2-3-4-деревья.
В 1970 году Хопкрофт предложил ввести понятие 2-3-деревьев, которые были предшественниками В-деревьев и 2-3-4-деревьев и в которых каждый внутренний узел имел 2 или 3 дочерних узла. В-деревья предложены Баером (Bayer) и Мак- Крейтом (McCreight) в 1972 году [32] (выбор названия для своей разработки они не пояснили).
Бендер (Bender), Демейн (Demaine) и Фарах-Колтон (Farach-Colton) [37] изучили производительность В-деревьев при наличии иерархической памяти. Алгоритмы с игнорированием кэширования эффективно работают без явного знания о размерах обмена данными между различными видами памяти.
ГЛАВА 19
Биномиальные пирамиды
В данной главе и главе 20 представлены структуры данных, известные под названием сливаемых пирамид (mergeable heaps), которые поддерживают следующие пять операций.
Маке_Неар() создает и возвращает новую пустую пирамиду.
INSERT^, ж) вставляет узел х (с заполненным полем key) в пирамиду Н.
Minimum(H) возвращает указатель на узел в пирамиде Я, обладающий минимальным ключом.
Extract_Min(H) удаляет из пирамиды Н узел, ключ которого минимален, возвращая при этом указатель на этот узел.
икюк(ЯьЯ2) создает (и возвращает) новую пирамиду, которая содержит все узлы пирамид Н\ и Щ. Исходные пирамиды при выполнении этой операции уничтожаются.
Кроме того, структуры данных, описанные в этих главах, поддерживают следующие две операции.
Decrease_Key(H, ж, к) присваивает узлу х в пирамиде Я новое значение ключа к (предполагается, что новое значение ключа не превосходит текущего)1.
Веьете(Я, х) удаляет узел х из пирамиды Я.
’Как упоминалось во введении к пятой части книги, по умолчанию сливаемые пирамиды являются неубывающими сливаемыми пирамидами, так что к ним применимы операции MINIMUM, Extract Min и DECREASE KEY. Мы можем также определить невозрастающие сливаемые пирамиды с операциями Maximum, Extract_Max и Increase_Key.
Как видно из табл. 19.1, если нам не нужна операция UNION, вполне хорошо работают обычные бинарные пирамиды, использовавшиеся в пирамидальной сортировке (глава 6). Все остальные операции выполняются в бинарной пирамиде в худшем случае за время О (1g п). Однако при необходимости поддержки операции UNION привлекательность бинарных пирамид резко уменьшается, поскольку реализация операции Union путем объединения двух массивов, в которых хранятся бинарные пирамиды, с последующим выполнением процедуры Min_Heapify, как показано в упражнении 6.2-2, требует в худшем случае времени 0 (п).
Таблица 19.1. Время выполнения операций у разных реализаций сливаемых пирамид
Процедура
Бинарная пирамида (наихудший случай)
Биномиальная пирамида (наихудший случай)
Пирамида Фибоначчи (амортизированное время)
Маке_Неар
0(1)
0(1)
0(1)
Insert
0(lgn)
O(lgn)
0(1)
Minimum
0(1)
O(lgn)
0(1)
Extract_Min
O(lgn)
0(lgn)
O(lg n)
Union
O(n)
fi(lgn)
0(1)
Decrease_Key
0(lgn)
O(lgn)
0(1)
Delete
O(lgn)
O(lgn)
O(lgn)
В данной главе мы познакомимся с биномиальными пирамидами, время выполнения операций в наихудшем случае для которых также показаны в табл. 19.1. В частности, операция Union требует только О (lg п) времени для объединения двух биномиальных пирамид с общим количеством п элементов.
В главе 20 мы познакомимся с пирамидами Фибоначчи, у которых для выполнения ряда операций нужно еще меньше времени (однако в табл. 19.1 показано амортизированное время выполнения операций, а не время выполнения операции в наихудшем случае).
В этой главе мы не рассматриваем вопросы выделения памяти для узлов перед вставкой и освобождения памяти после их удаления, полагая, что за это отвечает код, вызывающий процедуры для работы с пирамидами.
Все три указанных вида пирамид не могут обеспечить эффективную реализацию поиска элемента с заданным ключом (операция Search), поэтому такие операции, как Decrease_Key и Delete в качестве параметра получают указатель на узел, а не значение его ключа. Как говорилось при рассмотрении очередей с приоритетами в разделе 6.5, когда мы используем сливаемые пирамиды в приложении, мы часто храним в каждом элементе пирамиды дескриптор соответствующего объекта приложения, так же как и каждый объект приложения
хранит дескриптор соответствующего элемента пирамиды. Точная природа этих дескрипторов зависит от приложения и его реализации.
В разделе 19.1 определяются биномиальные деревья и пирамиды, а также частично рассмотрен вопрос их реализации. В разделе 19.2 показано, каким образом можно реализовать операции над биномиальными пирамидами, время работы которых будет соответствовать приведенному в табл. 19.1.
Биномиальные деревья и биномиальные пирамиды
Биномиальная пирамида представляет собой коллекцию биномиальных деревьев, так что данный раздел начинается с определения биномиальных деревьев и доказательства некоторых ключевых свойств. Затем мы определим биномиальные пирамиды и познакомимся с их возможным представлением.
Биномиальные деревья
Биномиальное дерево (binomial tree) Вк представляет собой рекурсивно определенное упорядоченное дерево (см. раздел Б.5.2). Как показано на рис. 19.1а, биномиальное дерево Во состоит из одного узла. Биномиальное дерево Вк состоит из двух биномиальных деревьев Вк-\, связанных вместе: корень одного из них является крайним левым дочерним узлом корня второго дерева. На рис. 19.16 показаны биномиальные деревья от Bq до В4.
Некоторые свойства биномиальных деревьев приводятся в следующей лемме.
Лемма 19.1 (Свойства биномиальных деревьев). Биномиальное дерево Вк
имеет 2к узлов;
имеет высоту к;
имеет ровно (*) узлов на глубине i = 0,1,..., к;
имеет корень степени к; степень всех остальных вершин меньше степени корня биномиального дерева. Кроме того, если дочерние узлы корня пронумеровать слева направо числами к — 1, к — 2,..., 0, то г-й дочерний узел корня является корнем биномиального дерева В^.
Доказательство. Доказательство выполняется по индукции по к. Базой индукции является биномиальное дерево Bq, для которого тривиальна проверка выполнения свойств, перечисленных в лемме.
Пусть перечисленные свойства выполняются для биномиального дерева В^-х.
Биномиальное дерево В к состоит из двух копий Bk-i, поэтому В к содержит 2&-12fc-1 = 2к узлов.
Рис. 19.1. Рекурсивное определение биномиального дерева, примеры биномиальных деревьев и альтернативное представление биномиальных деревьевРис. 19.1. Рекурсивное определение биномиального дерева, примеры биномиальных деревьев и альтернативное представление биномиальных деревьев
Рис. 19.1. Рекурсивное определение биномиального дерева, примеры биномиальных деревьев и альтернативное представление биномиальных деревьев
Рис. 19.1. Рекурсивное определение биномиального дерева, примеры биномиальных деревьев и альтернативное представление биномиальных деревьев
Из способа, которым выполняется связывание двух копий Вк-i в одно биномиальное дерево Вк, следует, что глубина биномиального дерева В к на единицу больше максимальной глубины биномиального дерева Bk-i- Таким образом, в соответствии с гипотезой индукции максимальная глубина дерева Вк равна (к — 1) + 1 = к.
Пусть D (к, г) — количество узлов на глубине г у биномиального дерева В^ Поскольку Вк состоит из двух связанных копий Вк-у, узел биномиального дерева Вк~л на глубине г появляется один раз на глубине г в биномиальном дереве Вк, и второй — на глубине г +1. Другими словами, количество узлов на глубине г в биномиальном дереве Вк равно количеству узлов на глубине г в биномиальном дереве Вк-г плюс количество узлов на глубине г - 1 в Вк-\. Таким образом,
Di^i) = D(k-l,i) + D(k-l,i-l) =
(При выводе использован результат упражнения В. 1-7.)
Единственным узлом в биномиальном дереве Вк со степенью, превышающей степень в Вк-\, является корень, который имеет на один дочерний узел больше, чем в биномиальном дереве Bk-i. Поскольку корень биномиального дерева Bk-i имеет степень к — 1, корень Вк имеет степень к. Теперь, в соответствии с гипотезой индукции, как показано на рис. 19.1 в, дочерними узлами корня Вк-д являются корни биномиальных деревьев В к-2, Вк-з, • • •, Bq. Таким образом, когда выполняется привязка еще одного биномиального дерева Bk-i, дочерними узлами корня создаваемого дерева становятся кони биномиальных деревьев Bk-i, Вк-2, ■ • •, Bq. ■
Следствие 19.2. Максимальная степень произвольного узла в биномиальном дереве с п узлами равна lg п.
Доказательство. Доказательство следует из свойств 1 и 4 леммы 19.1.■
Термин “биномиальное дерево” происходит из свойства 3 леммы 19.1, поскольку члены (*) представляют собой биномиальные коэффициенты. В упражнении 19.1-3 приводится еще одно обоснование этого термина.
19.1.2 Биномиальные пирамиды
Биномиальная пирамида (binomial heap) Н представляет собой множество биномиальных деревьев, которые удовлетворяют следующим свойствам биномиальных пирамид.
Каждое биномиальное дерево в Н подчиняется свойству неубывающей пирамиды (min-heap property): ключ узла не меньше ключа его родительского узла. Мы говорим, что такие деревья являются упорядоченными в соответствии со свойством неубывающей пирамиды (min-heap-ordered).
Для любого неотрицательного целого к имеется не более одного биномиального дерева Н, чей корень имеет степень к.
Первое свойство говорит нам о том, что корень дерева, упорядоченного в соответствии со свойством неубывающей пирамиды, содержит наименьший ключ в дереве.
Из второго свойства следует, что биномиальная пирамида Н, содержащая п узлов, состоит не более чем из [lg nJ +1 биномиальных деревьев. Чтобы понять, почему это так, заметим, что бинарное представление числа п имеет [lg nJ + 1 битов, скажем, (b[ignJ>^[ignj-i> • • • >&о), так что n = ^=0^ biY. В соответствии со свойством 1 леммы 19.1, биномиальное дерево Bi входит в состав Н тогда
Рис. 19.2. Биномиальная пирамида с 13 узлами
и только тогда, когда бит bi = 1. Следовательно, биномиальная пирамида Н содержит не более [1g nJ + 1 биномиальных деревьев.
На рис. 19.2а показана биномиальная пирамида с 13 узлами. Бинарное представление числа 13 имеет вид (1101), и биномиальная пирамида Н состоит из биномиальных деревьев Во, В^ и Вз, которые содержат, соответственно, 1, 4 и 8 узлов, причем ключ каждого из узлов не превышает ключ родительского узла.
Представление биномиальных пирамид
Как показано на рис. 19.26, каждое биномиальное дерево в биномиальной пирамиде хранится в представлении с левым дочерним и правым сестринским узлами (которое рассматривалось в разделе 10.4). Каждый узел имеет поле key и содержит сопутствующую информацию, необходимую для работы приложения. Кроме того, каждый узел содержит указатель р [ж] на родительский узел, указатель child [ж] на крайний левый дочерний узел и указатель sibling [ж] на правый сестринский по отношению к х узел. Если х — корневой узел, то р [ж] = NIL. Если узел х не имеет дочерних узлов, то child [ж] = NIL, а если х — самый правый
дочерний узел своего родителя, то sibling [ж] = NIL. Каждый узел ж, кроме того, содержит поле degree [ж], в котором хранится количество дочерних узлов ж.
Как видно из рис. 19.2, корни биномиальных деревьев внутри биномиальной пирамиды организованы в виде связанного списка, который мы будем называть списком корней (root list). При проходе по списку степени корней находятся в строго возрастающем порядке. В соответствии со вторым свойством биномиальных пирамид, в биномиальной пирамиде с п узлами степени корней представляют собой подмножество множества {0,1,..., [1gnJ}. Поле sibling имеет различный смысл для корней и для прочих узлов. Если ж — корень, то sibling [ж] указывает на следующий корень в списке (как обычно, если ж — последний корень в списке, то sibling [ж] = NIL).
Обратиться к данной биномиальной пирамиде Н можно при помощи поля head [Я], которое представляет собой указатель на первый корень в списке корней Н. Если биномиальная пирамида не содержит элементов, то head [Я] = NIL.
Упражнения
-1. Предположим, что ж — узел биномиального дерева в биномиальной пирамиде и что sibling [ж] / NIL. Если ж не является корнем, как соотносятся degree [вг6Йпр[ж]] и degree [ж]? А если ж — корень биномиального дерева?
-2. Если ж — некорневой узел биномиального дерева в биномиальной пирамиде, как соотносятся degree [ж] и degree [р[ж]]?
19.1-3. Предположим, что мы помечаем узлы биномиального дерева В^ последовательными двоичными числами при обходе в обратном порядке, как показано на рис. 19.3. Рассмотрим узел ж на глубине i, помеченный числом I, и пусть з — k — i. Покажите, что в двоичном представлении ж содержится j единиц. Сколько всего имеется /с-строк, содержащих в точности j единиц? Покажите, что степень ж равна количеству единиц справа от крайнего правого нуля в двоичном представлении I.
онГ)
уюи<o‘i п)j (ниГ) (юю) (iioii;>
(ГтГ) (ooio) (oioii) (woo)
Рис. 19.3. Биномиальное дерево В4 с узлами, помеченными двоичными числами при обходе в обратном порядке
Операции над биномиальными пирамидами
В этом разделе мы покажем, как выполнить операции над биномиальными пирамидами за время, приведенное в табл. 19.1. Мы покажем только верхние границы; поиск нижних границ остается в качестве упражнения 19.2-10.
Создание новой биномиальной пирамиды
Для создания пустой биномиальной пирамиды процедура MAKE_BlNOMlAL_ Heap просто выделяет память и возвращает объект Н, где head [Я-] = nil. Время работы этой процедуры составляет 0(1).
Поиск минимального ключа
Процедура Binomial_Heap_Minimum возвращает указатель на узел с минимальным ключом в биномиальной пирамиде Н с п узлами. В данной реализации предполагается, что в биномиальной пирамиде отсутствуют ключи, равные оо (см. упражнение 19.2-5).
Binomial_Heap_Minimum(^)
у «- NIL
жhead [Я]
min *— оо
while х / NIL
do if &еу[ж] < min
then min <— £еу[ж]
у «- x
x <— sibling^
return у
Поскольку биномиальная пирамида является невозрастающей, минимальный ключ должен находиться в корне. Процедура Binomial_Heap_Minimum проверяет все корни, количество которых не превышает [lg nJ + 1, сохраняя текущий минимум в переменной min, а указатель на текущий минимум — в переменной у. При вызове для биномиальной пирамиды, представленной на рис. 19.2, процедура Binomial_Heap_Minimum вернет указатель на узел с ключом 1.
Поскольку проверить надо не более [lg nJ + 1 корней, время работы процедуры Binomial_Heap_Minimum составляет О (1g п).
Слияние двух биномиальных пирамид
Операция по слиянию двух биномиальных пирамид используется в качестве подпрограммы в большинстве остальных операций. Процедура Binomial_Heap_ Union многократно связывает биномиальные деревья с корнями одинаковой степени. Приведенная далее процедура связывает дерево Вк-у с корнем у с деревом Вк-у с корнем z, делая z родительским узлом для у, после чего узел z становится корнем дерева В к".
BlNOMIAL_LlNK(y, z)
р[у] х
sibling [у] <— child [z]
child [z] «— у
degree [z] «— degree[z] + 1
Процедура Binomial_Link делает узел у новым заголовком связанного списка дочерних узлов узла z за время 0(1). Работа процедуры основана на том, что представление с левым дочерним и правым сестринским узлами каждого биномиального дерева отвечают свойству упорядоченности дерева: в биномиальном дереве Вк крайний левый дочерний узел корня является корнем биномиального дерева Вк-у.
Приведенная далее процедура сливает биномиальные пирамиды Ну и Я2, возвращая получаемую в результате биномиальную пирамиду, причем в процессе слияния представления биномиальных пирамид Ну и Н2 уничтожаются. Помимо процедуры Binomial_Link, данная процедура использует вспомогательную процедуру Binomial_Heap_Merge, которая объединяет списки корней Ну и Я2 в единый связанный список, отсортированный по степеням в монотонно возрастающем порядке. Процедура Binomial_Heap_Merge, написание которой мы оставляем в качестве упражнения 19.2-1, подобна процедуре Merge из раздела 2.3.1.
BINOMIAL_HEAP_UNION(Я1, Я2)
Я *- Make_Binomial_Heap()
head [Я] «- BINOMIAL_HEAP_MERGE(Я1, Я2)
Освобождение объектов Ну и Я2, но не списков, на которые они указывают
if head [Я] = NIL
then return Я
prev-x <— NIL
x <— head [Я]
next-x <— бг№пу[ж]
while next-x / nil
do if (degree [x] / degree\next-x\) или
{sibling[next-x] / NIL и degree[sibling[next-x]] = degree[x])
п
then ргег)-х х
> Случаи l и 2
12
х <— next-x
О Случаи l и 2
13
else if кеу[х] ^ key [next-x]
14
then si6Zmy[2;]sib ling [next-x]
О Случай 3
15
BlNOMlAL_LlNK(next-x, x)
> Случай 3
16
else if prev-x = nil
О Случай 4
17
then head[H] next-x
О Случай 4
18
else sibling[pre,u-x] <— next-x
О Случай 4
19
Binomial_Link(2;, next-x)
О Случай 4
20
x next-x
О Случай 4
21
next-x <— sibling[x]
22 return Н
На рис. 19.4 показан пример работы процедуры Binomial_Heap_Union для всех четырех случаев, приведенных в псевдокоде. На рис. 19.4а показаны исходные биномиальные пирамиды Hi и Hi. Рис. 19.46 иллюстрирует биномиальную пирамиду Н, которая является результатом работы процедуры Bino- mial_Heap_Merge(2/i, Hi). Изначально ж является первым корнем в списке корней Н. Поскольку и ж, и next-x имеют степень 0, и key [ж] < key [пеж£-ж], реализуется случай 3. После связывания, как видно из рис. 19.4в, ж является первым из трех корней с одной и той же степенью, так что реализуется случай 2. После того как все указатели сдвигаются на одну позицию в списке корней (рис. 19.4г), реализуется случай 4 (ж является первым из двух корней равной степени). После связывания реализуется случай 3 (рис. 19.46). После очередного связывания степень ж становится равной 3, а степень next-x — 4, так что реализуется случай 1 (рис. 19.4е). Эта итерация цикла — последняя, поскольку после очередного перемещения указателей next-x становится равным NIL.
Процедура Binomial_Heap_Union имеет две фазы. Первая фаза осуществляется вызовом процедуры Binomial_Heap_Merge, объединяет списки корней биномиальных пирамид Ну и Hi в единый связанный список Н, который отсортирован по степеням корней в монотонно возрастающем порядке. Однако в списке может оказаться по два (но не более) корня каждой степени, так что вторая фаза связывает корни одинаковой степени до тех пор, пока все корни не будут иметь разную степень. Поскольку связанный список Н отсортирован по степеням, все операции по связыванию выполняются достаточно быстро.
Более подробно процедура работает следующим образом. Процедура начинается с объединения в строках 1-3 списков корней биномиальных пирамид Ну и Hib единый список корней Н. Списки корней Ну и Hi отсортированы в строго возрастающем порядке; процедура Binomial_Heap_Merge возвращает список корней Н, который также отсортирован в строго возрастающем порядке степеней корней. Если списки корней Ну и Hi содержат всего т корней, то время работы
процедуры Binomial_Heap_Merge составляет О (т). Процедура на каждом шаге сравнивает корни в начале двух списков корней и добавляет в результирующий список корень с меньшей степенью, удаляя его из исходного списка.
Затем процедура Binomial_Heap_Union инициализирует ряд указателей в списке корней Н. В случае, если происходит слияние двух пустых биномиальных пирамид, в строках 4-5 выполняется возврат пустой биномиальной пирамиды. Начиная со строки 6, нам известно, что в биномиальной пирамиде Н имеется по крайней мере один корень. В процедуре поддерживаются три указателя внутрь списка корней.
х указывает на текущий корень.
рге*и-х указывает на корень, предшествующий х в списке корней: sibling [prev-x] = х. Поскольку изначально х не имеет предшественника, мы начинаем работу со значения ргегз-х, равного NIL.
next-x указывает на корень, следующий в списке корней за х: sibling [ж] = = next-x.
Изначально в списке корней Н имеется не более двух узлов с данной степенью: поскольку Н\ и Я2 были биномиальными пирамидами, каждая из них имела не более одного корня данной степени. Кроме того, процедура Binomial_Heap_Merge гарантирует, что если два корня в Н имеют одну и ту же степень, то эти корни соседствуют в списке корней.
В действительности, в процессе работы Binomial_Heap_Union в некоторый момент в списке корней Н могут оказаться три корня данной степени — вскоре вы увидите, как может реализоваться такая ситуация. При каждой итерации цикла while в строках 9-21, мы должны решить, следует ли связывать х и next-x, учитывая их степени и, возможно, степень sibling [next-x]. Инвариантом цикла является то, что в начале каждого выполнения тела цикла и х, и next-x не равны NIL (в упражнении 19.2-4 рассматривается точный инвариант цикла).
Случай 1, показанный на рис. 19.5а, реализуется, когда degree [х] / / degree [next-x], т.е. когда х является корнем В к-дерева, a next-x — корнем В/-дерева, причем I > к. Эта ситуация обрабатывается в строках 11-12. Мы не связываем х и next-x, так что мы просто смещаем указатели на одну позицию по списку. Обновление указателя next-x, который указывает на корень, следующий за х, выполняется в строке 21, поскольку это действие — общее для всех случаев.
Случай 2 (рис. 19.56) реализуется, когда х является первым из трех корней с одинаковой степенью, т.е. когда
degree [ж] = degree [next-x] = degree [sibling [пе^-ж]].
Эта ситуация обрабатывается так же, как и случай 1 — мы просто перемещаем указатели по списку. В следующей итерации цикла будет обработан случай 3
a) head[H^^.>{15)
(25)(28) (33)
BINOMIALJIEAP^MERGE.
х next-xhead [11 Нр)~ ->(18)- >(?)- (25)(АучзйЗлnext-xhead YH^ ■ЦП)►(?")•»(3 )(Гк)(25)(37)Случай 2х next-xhead [11 Нр)~ ->(18)- >(?)- (25)(АучзйЗлnext-xhead YH^ ■ЦП)►(?")•»(3 )(Гк)(25)(37)Случай 2V
х next-x
head [11 Нр)~ ->(18)- >(?)- (25)
(АучзйЗ
лnext-x
head YH^ ■ЦП)►(?")•»(3 )
(Гк)(25)(37)
Случай 2
х next-x
head [11 Нр)~ ->(18)- >(?)- (25)
(АучзйЗ
лnext-x
head YH^ ■ЦП)►(?")•»(3 )
(Гк)(25)(37)
Случай 2
(28) (33)^8) '" ^9)3w5 dX
(30) '(23) (22) (48) (3l) (I?)
(45) @ (24)(50)
(55)
- >(15)-:.Ц
dd) 0Й. А У" ' У-9) (10) (44)
00@3'® dd ^ (3 0 0 7)
@ (24)(50)
(55)
Рис. 19.4. Выполнение процедуры BinomialHeapUnion
или 4, когда объединяются второй и третий из трех корней с одинаковой степенью. В строке 10 выполняется проверка реализации случаев 1 и 2, а в строках 11—12 — их обработка.
Случаи 3 и 4 реализуются, когда х представляет собой первый из двух корней одинаковой степени, т.е. когда
degree [ж] = degree [next-x] / degree [sibling [next-x]].
Эти случаи могут возникнуть на любой итерации, в частности, всегда — непосредственно после обнаружения случая 2. В случаях 3 и 4 мы связываем х и next-x. Различие между случаями 3 и 4 определяется тем, какой из этих узлов имеет меньший ключ и, соответственно, будет выступать в роли нового корня после связывания.
В случае 3 (рис. 19.5е) key [х] ^ кед [next-x], поэтому next-x привязывается к х. В строке 14 происходит удаление next-x из списка корней, а в строке 15 next-x становится крайним левым дочерним узлом х.
В случае 4, показанном на рис. 19.5г, next-x имеет меньший ключ, так что х привязывается к next-x. В строках 16-18 происходит удаление х из списка корней;
в зависимости от того, является х первым элементом списка (строка 17) или нет (строка 18). В строке 19 х делается крайним слева дочерним узлом next-x, а в строке 20 происходит обновление х для следующей итерации.
Настройки для следующей итерации цикла while после случаев 3 и 4 одинаковы. Мы должны просто связать два В^-дерева в В^+1-дерево, на которое указывает х. После него в списке может находиться от нуля до двух B/-+i-деревьев, так что х теперь указывает на первое в последовательности из одного, двух или трех Bk+i -деревьев в списке корней. Если дерево только одно, на следующей итерации мы получаем случай 1: degree [ж] / degree [next-x]. Если х — первое из двух деревьев, то на следующей итерации получаются случаи 3 или 4. И наконец, если х — первое из трех деревьев, то в следующей итерации получаем случай 2.
Время работы процедуры Binomial_Heap_Union равно О (1g тг), где п — общее количество узлов в биномиальных пирамидах Hi и Щ. Убедиться в этом можно следующим образом. Пусть Hi содержит тгх узлов, а Н^ — П2 узлов, так что п = ni + П2. Тогда Hi содержит не более [lg nJ + 1 корней, а Н^ — не более [lg Ti2J + 1 корней. Таким образом, Н содержит непосредственно после вызова
б)б)sibling fnext ~х]sibling fnext ~х]next хnext хpres ■ <pres ■ <В*В*В,В,В/В/teyjxj > keylnext- х]teyjxj > keylnext- х]Случай 4Случай 4
б)
б)
sibling fnext ~х]
sibling fnext ~х]
next х
next х
pres ■ <
pres ■ <
В*
В*
В,
В,
В/
В/
teyjxj > keylnext- х]
teyjxj > keylnext- х]
Случай 4
Случай 4
Рис. 19.5. Четыре случая, возможных при выполнении процедуры Binomial_Heap_Union
BiN0MIAL_Heap_Merge не более [1g niJ + [1g пг] + 2 ^ 2 [lg nJ + 2 = О (1g п) корней. Следовательно, время работы процедуры Binomial_Heap_Merge составляет О (1g п). Каждая итерация цикла while требует О (1) времени, и всего выполняется не более [lg nJ + [lgn2j + 2 итераций, поскольку каждая из них в конечном счете приводит к перемещению указателя на одну позицию в списке корней Н или к удалению корня из списка. Отсюда следует, что общее время работы процедуры Binomial_Heap_Union равно О (1g п).
Вставка узла
Приведенная далее процедура вставляет узел ж в биномиальную пирамиду Н (предполагается, что для ж уже выделена память и поле key [ж] уже заполнено):
Binomial_Heap_Insert(#, ж)
Н* +- Make_Binomial_Heap()
р[ж] ♦- NIL
child [ж] NIL
sibling [ж] ♦— NIL
degree [ж] <— О
head [Я'] «— ж
Я *- Binomial_Heap_Union(H, Я')
Процедура просто создает биномиальную пирамиду Н* с одним узлом за время 0(1) и объединяет ее с биномиальной пирамидой Я, содержащей п узлов, за время О (lg п). Вызов Binomial_Heap_Union должен освободить память, выделенную для временной биномиальной пирамиды Я'. (Реализация вставки узла без привлечения процедуры BlNOMIAL_HEAP_UNION оставлена читателю в качестве упражнения 19.2-8.)
Извлечение вершины с минимальным ключом
Приведенная ниже процедура извлекает узел с минимальным ключом из биномиальной пирамиды Я и возвращает указатель на извлеченный узел:
BINOMIAL_HEAP_EXTRACT_MIN(Я)
Поиск корня ж с минимальным значением ключа в списке корней Я, и удаление ж из списка корней Я
Я' Make_Binomial_Heap()
Обращение порядка связанного списка дочерних узлов ж, установка поля р каждого дочернего узла равным nil и присвоение указателю head^H'] адреса заголовка получающегося списка
Я +- BINOMIAL_HEAP_UNION(Я, Я') 5 return ж
Процедура работает так, как показано на рис. 19.6. Исходная биномиальная пирамида Я показана на рис. 19.6а. На рис. 19.66 показана ситуация после выполнения строки 1: корень ж с минимальным значением ключа удален из списка корней Я. Если ж является корнем В к -дерева, то, в соответствии со свойством 4 из леммы 19.1, потомками ж слева направо являются корни биномиальных деревьев Bk-i, Bk-2, • • •, Bq. На рис. 19.6е показано, что, обращая порядок потомков узла ж в строке 3, мы получаем биномиальную пирамиду Н', которая содержит все узлы дерева ж, за исключением самого ж. Поскольку корень ж удален из Я в строке 1, биномиальная пирамида, полученная в результате слияния Я и Н' в строке 4 (показанная на рис. 19.6г), содержит все узлы, которые изначально содержались в Я, кроме узла ж. И наконец, в строке 5 процедура возвращает значение ж.
Поскольку строки 1-4 требуют для выполнения в случае биномиальной пирамиды Я с п узлами время О (lg п), время работы процедуры Binomial_Heap_ Extract_Min равно О (1g п).
в) ЬйиЦЩ - • 4'37) 410)® Я (н)в) ЬйиЦЩ - • 4'37) 410)® Я (н)Рис. 19.6. Работа процедуры Binomial_Heap_Extract_MinРис. 19.6. Работа процедуры Binomial_Heap_Extract_Min
в) ЬйиЦЩ - • 4'37) 410)
® Я (н)
в) ЬйиЦЩ - • 4'37) 410)
® Я (н)
Рис. 19.6. Работа процедуры Binomial_Heap_Extract_Min
Рис. 19.6. Работа процедуры Binomial_Heap_Extract_Min
Уменьшение ключа
Приведенная далее процедура уменьшает значение ключа узла х в биномиальной пирамиде Н, присваивая ему новое значение к. В случае, если значение к превышает текущий ключ х, процедура сообщает об ошибке.
Binomial_Heap_Decrease_Key(#, ж, к)
if к > £еу [ж]
then error “Новый ключ больше текущего”
&еу[ж] «— к
у <— ж
^ >- р[у]
while z / nil и А;еу [у] < key^z]
do Обменять кеу^у] <-> key[z]
head [1|—-=
A WЙВ^ W W W
z
head |//| ■ -у- У^У
Рис. 19.7. Работа процедуры Binomial_Heap_Decrease_Key
>Если у иzсодержат сопутствующую
>информацию,обменять также иее
у*— z
zр\у\
Как показано на рис. 19.7, данная процедура уменьшает значение ключа так же, как и в бинарной неубывающей пирамиде — путем “всплывания” ключа в пирамиде. После того, как мы убедимся, что новый ключ не превышает текущий, и присвоим его х, процедура идет вверх по дереву. Изначально значение у равно I. В каждой итерации цикла while в строках 6-10 значение key [у] сравнивается со значением ключа родительского по отношению к у узла z. Если у является корнем или key [у] > key [z], биномиальное дерево является упорядоченным в соответствии со свойством неубывающей пирамиды. В противном случае узел у нарушает свойство неубывающей пирамиды и происходит обмен ключами и сопутствующими данными между узлами у и z, после чего процедура присваивает переменной у значение z и в очередной итерации переходит на один уровень вверх.
Процедура Binomial_Heap_Decrease_Key выполняется за время O(lgn). В соответствии со свойством 2 леммы 19.1, максимальная глубина х равна [lg nJ, так что цикл while в строках 6-10 выполняется не более [lg nJ раз.
Удаление ключа
Удаление ключа х и сопутствующей информации из биномиальной пирамиды Н легко выполняется за время O(lgn). В приведенной ниже реализации этой операции предполагается, что ни один узел в биномиальной пирамиде не имеет ключ со значением —оо.
В1МОМ1АЬ_НЕАР_ВЕЬЕТЕ(Я, х)
Binomial_Heap_Decrease_Key(H, х, -оо)
В1КОМ1АЬ_НЕАР_ЕХТРАСТ_Мш(Я)
Процедура Binomial_Heap_Decrease_Key делает узел х единственным узлом с минимальным ключом в биномиальной пирамиде, равным —оо (в упражнении 19.2-6 рассматривается ситуация, когда —оо не может использоваться в качестве ключа даже временно). Затем этот ключ и связанные с ним сопутствующие данные “всплывают” в биномиальной пирамиде до корня в процедуре BlNO- mial_Heap_Decrease_Key, после чего этот корень удаляется из дерева вызовом процедуры Binomial_Heap_Extract_Min.
Время работы процедуры Binomial_Heap_Delete равно О (1g п).
Упражнения
1. Напишите псевдокод процедуры Binomial_Heap_Merge.
2. Покажите, какая биномиальная пирамида получится в результате вставки узла с ключом 24 в биномиальную пирамиду, показанную на рис. 19.6г.
3. Покажите, какая биномиальная пирамида получится в результате удаления узла с ключом 28 из биномиальной пирамиды, показанной на рис. 19.7в.
4. Докажите корректность процедуры Binomial_Heap_Union при помощи следующего инварианта цикла.
В начале каждой итерации цикла while в строках 9-21 х указывает на корень, который представляет собой:
либо единственный корень с данной степенью;
либо первый из всего двух корней данной степени;
либо первый или второй из всего трех корней данной степени.
Кроме того, все корни, являющиеся предшественниками предшественника х в списке корней, единственные со своими степенями в списке корней, и если предшественник х имеет степень, отличную от степени х, то эта степень также единственна в списке корней. И, наконец, степени узлов монотонно увеличиваются в процессе прохода по списку корней.
5. Поясните, почему процедура Binomial_Heap_Minimum может работать некорректно, если ключ может иметь значение оо. Перепишите псевдокод так, чтобы он корректно работал и в указанной ситуации.
6. Предположим, что нет никакой возможности представления ключа со значением — оо. Перепишите процедуру Binomial_Heap_Delete так, чтобы она корректно работала в указанной ситуации. Время работы процедуры должно составлять О (lg п).
7. Рассмотрите взаимосвязь между вставкой в биномиальную пирамиду и увеличением представляющего ее двоичного числа, а также между слиянием двух биномиальных пирамид и суммированием двух двоичных чисел.
8. С учетом результатов упражнения 19.2-7, перепишите процедуру Bino- mial_Heap_Insert таким образом, чтобы для вставки узла в биномиальную пирамиду не требовался вызов Binomial_Heap_Union.
9. Покажите, что если список корней поддерживается в строго убывающем порядке по степеням (вместо строго возрастающего порядка), то все операции с биномиальными пирамидами можно реализовать без изменения их асимптотического времени работы.
10. Приведите пример входных данных, для которых процедуры Binomial_ Heap_Extract_Min, Binomial_Heap_Decrease_Key, Binomial_Heap_ Union и Binomial_Heap_Delete выполняются за время П (lg п). Поясните, почему время работы процедур Binomial_Heap_Insert и B1NO- ОО
mial_Heap_Minimum в худшем случае составляет П (lg п), а не П (1g п) (см. задачу 3-5).
Задачи
19-1. 2-3-4-пирамиды
В главе 18 рассматривались 2-3-4-деревья, в которых каждый внутренний узел (кроме, возможно, корня) имеет два, три или четыре дочерних узла, и все листья таких деревьев располагаются на одной и той же глубине. В данной задаче мы реализуем 2-3-4-пирамиды, поддерживающие операции сливаемых пирамид.
2-3-4-пирамиды отличаются от 2-3-4-деревьев следующим. В 2-3-4-пирамидах ключи хранятся только в листьях, и в каждом листе х хранится ровно один ключ в поле key [ж]. Никакой порядок ключей в листьях не соблюдается, т.е. при перечислении слева направо ключи могут располагаться в произвольном порядке. Каждый внутренний узел х содержит значение small [ж], которое равно минимальному значению среди ключей листьев поддерева, корнем которого является ж. Корень г содержит поле height [г], в котором хранится высота дерева. И наконец, 2-3-4-пирамиды предназначены для хранения в оперативной памяти, так что при работе с ними не требуются никакие операции чтения или записи на диск.
Реализуйте перечисленные далее операции над 2-3-4-пирамидами. Каждая из операций а-д должна выполняться за время О (lg п) при работе с 2-3-4-пирамидой, в которой содержится п элементов. Операция UNION в части е должна выполняться за время O(lgn), где п — количество элементов в двух входных пирамидах.
Операция Minimum возвращает указатель на лист с наименьшим значением ключа.
Операция Decrease_Key уменьшает значение ключа в данном листе ж до указанного значения к < key [ж].
Операция Insert вставляет в пирамиду лист ж с ключом к.
Операция DELETE удаляет из пирамиды лист ж.
Операция Extract_Min извлекает из пирамиды лист с наименьшим значением ключа.
Операция Union объединяет две 2-3-4-пирамиды, возвращая образующуюся в результате слияния 2-3-4-пирамиду, уничтожая при этом входные пирамиды.
19-2. Алгоритм минимального остовного дерева с использованием биномиальных пирамид
В главе 23 представлены два алгоритма для решения задачи поиска минимального остовного дерева неориентированного графа. Сейчас мы рассмотрим, каким образом для решения этой задачи можно использовать биномиальные пирамиды.
Пусть задан связный неориентированный граф G = (V,E) с весовой функцией w : Е —* R, которая ставит в соответствие каждому ребру (u, v) его вес w(u, и). Мы хотим найти минимальное остовное дерево графа G, т.е. ациклическое подмножество Т С Е, которое соединяет все вершины V и чей общий вес
w(T) = w(iz,v)
(и^ет
является минимальным.
Далее приведен псевдокод (корректность которого можно доказать с использованием методов из раздела 23.1), строящий минимальное остовное дерево Т. Программа хранит разбиение {Ц} множества вершин V, а для каждого множества Vi — множество ребер, инцидентных вершинам в 1^:
Ei С {(и, и) : и G Vi или v G 1^} .
MST(G)
Т <—0for (Для) каждой вершины v, G V[G]Т <—0for (Для) каждой вершины v, G V[G]12345678910 И1212345678910 И12do V «- {и,}
Т <—0
for (Для) каждой вершины v, G V[G]
Т <—0
for (Для) каждой вершины v, G V[G]
1
2
3
4
5
6
7
8
9
10 И
12
1
2
3
4
5
6
7
8
9
10 И
12
^^{(1Ц,г-)еад
while (Пока) имеется более одного множества Vwhile (Пока) имеется более одного множества Vdo Выбор произвольного множества V
while (Пока) имеется более одного множества V
while (Пока) имеется более одного множества V
Извлечение ребра (tz, г) с минимальным весом из Ei
Без потери общности полагаем и G Vi и v € Vj if г + 3
then Г <— Г U {(и, и)}V ♦— Vi U Vj, уничтожение VjEi «— Ei U Ejthen Г <— Г U {(и, и)}V ♦— Vi U Vj, уничтожение VjEi «— Ei U EjОпишите, как реализовать этот алгоритм с использованием биномиальных пирамид для управления множествами вершин и ребер. Требуется ли внесение изменений в представление биномиальных пирамид? Требуется ли добавление к операциям, перечисленным в табл. 19.1, других операций над биномиальными пирамидами? Оцените время работы вашей реализации алгоритма.
then Г <— Г U {(и, и)}
V ♦— Vi U Vj, уничтожение Vj
Ei «— Ei U Ej
then Г <— Г U {(и, и)}
V ♦— Vi U Vj, уничтожение Vj
Ei «— Ei U Ej
Заключительные замечания
Биномиальные пирамиды были разработаны в 1978 году Виллемином (Vuille- min) [307]. Детальное описание их свойств представлено в работах Брауна (Brown) [49, 50].
ГЛАВА 20
Фибоначчиевы пирамиды
В главе 19 мы познакомились с биномиальными пирамидами, для которых время выполнения операций Insert, Minimum, Extract_Min, Union, а также Decrease_Key и Delete в худшем случае равно О (1g п). В этой главе мы познакомимся с фибоначчиевыми пирамидами, которые поддерживают тот же набор операций, но имеют то преимущество, что операции, в которых не требуется удаление, имеют амортизированное время работы, равное О (1).
С теоретической точки зрения фибоначчиевы пирамиды особенно полезны в случае, когда количество операций Extract_Min и Delete относительно мало по сравнению с количеством других операций. Такая ситуация возникает во многих приложениях. Например, некоторые алгоритмы в задачах о графах вызывают процедуру Decrease_Key для каждого ребра. В плотных графах с большим количеством ребер амортизированное время выполнения DECREASE_KEY, равное 0(1), представляет собой существенный выигрыш по сравнению со временем @(lgn) в наихудшем случае в биномиальных пирамидах. Быстрые алгоритмы для таких задач, как поиск минимального остовного дерева (глава 23) или поиск кратчайшего пути из одной вершины (глава 24), преимущественно опираются на фибоначчиевы пирамиды.
Однако с практической точки зрения программная сложность реализации и высокие значения постоянных множителей в формулах времени работы существенно снижают эффективность применения фибоначчиевых пирамид, делая их для большинства приложений менее привлекательными, чем обычные бинарные (или к- арные) пирамиды. Таким образом, интерес к фибоначчиевым пирамидам в первую очередь сугубо теоретический. Широкое практическое использование могла бы
получить более простая структура данных, но обладающая тем же амортизированным временем работы, что и фибоначчиевы пирамиды.
Подобно биномиальным пирамидам, фибоначчиевы пирамиды представляют собой набор деревьев. В действительности фибоначчиевы пирамиды в определенной степени связаны с биномиальными пирамидами. Если над фибоначчиевой пирамидой не выполняются процедуры Decrease_Key и Delete, то каждое дерево в пирамиде выглядит как биномиальное. Фибоначчиевы пирамиды имеют более слабую структуру, чем биномиальные пирамиды, что обеспечивает улучшенные асимптотические границы времени работы. Поддержка строгой структуры фибоначчиевы пирамиды в результате может быть отложена до того момента, когда выполнение соответствующих действий окажется более удобным. Подобно динамическим таблицам из раздела 17.4, фибоначчиевы пирамиды представляют собой хороший пример структуры данных, разработанной с учетом применения амортизационного анализа.
Материал данной главы предполагает, что вы ознакомились с главой 19, в которой рассматриваются биномиальные пирамиды. Дело в том, что наше представление структуры фибоначчиевых пирамид основано на структуре биномиальных пирамид, а некоторые операции, выполняемые над фибоначчиевыми пирамидами, аналогичны операциям над биномиальными пирамидами.
Так же, как и биномиальные пирамиды, фибоначчиевы пирамиды не способны обеспечить эффективную поддержку процедуры поиска Search, поэтому в процедуры в качестве параметра передается не ключ, а указатель на узел. При использовании фибоначчиевых пирамид в приложении, мы часто храним в каждом элементе пирамиды дескриптор соответствующего объекта приложения, так же как и каждый объект приложения хранит дескриптор соответствующего элемента пирамиды.
В разделе 20.1 дается определение фибоначчиевых пирамид, рассматривается их представление и потенциальная функция, используемая в амортизационном анализе. В разделе 20.2 показано, как реализовать операции сливаемых пирамид, получив при этом амортизированное время работы, показанное в табл. 19.1. Остальные операции, а именно Decrease_Key и Delete, рассматриваются в разделе 20.3. И наконец, раздел 20.4 завершает анализ фибоначчиевых пирамид, а также поясняет, почему они так называются.
Структура фибоначчиевых пирамид
Так же, как и биномиальная пирамида, фибоначчиева пирамида (Fibonacci heap) представляет собой набор деревьев, упорядоченных в соответствии со свойством неубывающей пирамиды. Однако в случае фибоначчиевых пирамид деревья
№Й|//]№Й|//]Рис. 20.1. Пример фибоначчиевой пирамиды с пятью деревьями и 14 узламиРис. 20.1. Пример фибоначчиевой пирамиды с пятью деревьями и 14 узлами
№Й|//]
№Й|//]
Рис. 20.1. Пример фибоначчиевой пирамиды с пятью деревьями и 14 узлами
Рис. 20.1. Пример фибоначчиевой пирамиды с пятью деревьями и 14 узлами
не обязательно должны быть биномиальными. На рис. 20.1а приведен пример фибоначчиевой пирамиды.
В отличие от деревьев в биномиальных пирамидах, где они упорядочены, деревья в фибоначчиевых пирамидах являются неупорядоченными деревьями с корнем. Как показано на рис. 20.16, каждый узел х содержит указатель р [ж] на родительский узел и указатель child, [ж] на один из дочерних узлов. Дочерние узлы х объединены в один циклический дважды связанный список, который мы назовем списком дочерних узлов (child list) х. Каждый дочерний узел у в списке дочерних узлов имеет указатели k/t [у] и right [у], которые указывают на его левый и правый сестринские узлы соответственно. Если узел у является единственным дочерним узлом, то left [у] = right [у] = у. Порядок размещения узлов в списке дочерних узлов произволен.
Циклический дважды связанный список (см. раздел 10.2) обладает двумя преимуществами для использования в фибоначчиевых пирамидах. Во-первых, удаление элемента из такого списка выполняется за время О (1). Во-вторых, если имеется два таких списка, их легко объединить в один за то же время О (1). В описании операций над фибоначчиевыми пирамидами мы будем неформально ссылаться на эти операции, оставляя читателю самостоятельно добавить все детали их реализации.
Кроме того, будут использоваться два других поля каждого узла. Количество дочерних узлов х хранится в поле degree [ж], а логическое значение mark [ж] указывает, были ли потери узлом ж дочерних узлов начиная с момента, когда ж стал дочерним узлом какого-то другого узла. Вновь создаваемые узлы не помечены, а имеющаяся пометка снимается, если узел становится дочерним узлом какого- то другого узла. До тех пор, пока мы не встретимся с операцией Decrease_Key в разделе 20.3, мы считаем поле mark всегда равным false.
Обращение к данной фибоначчиевой пирамиде Н выполняется посредством указателя min [И] на корень дерева с минимальным ключом. Этот узел называется минимальным узлам (minimum node) фибоначчиевой пирамиды. Если фибонач- чиева пирамида Н пуста, то min [Я] = nil.
Корни всех деревьев в фибоначчиевой пирамиде связаны при помощи указателей left и right в циклический дважды связанный список корней (root list) фибоначчиевой пирамиды. Указатель min [Я], таким образом, указывает на узел списка корней, ключ которого минимален. Порядок деревьев в списке корней произволен.
Фибоначчиева пирамида, кроме того, имеет еще один атрибут — текущее количество узлов в фибоначчиевой пирамиде Н хранится в п [Я].
Потенциальная функция
Как упоминалось, мы будем использовать метод потенциалов из раздела 17.3 для анализа производительности операций над фибоначчиевыми пирамидами. Для данной фибоначчиевой пирамиды Н обозначим через t (Я) количество деревьев в списке корней Н, а через т (Я) — количество помеченных узлов в Я. Тогда потенциал фибоначчиевой пирамиды Я определяется как
Ф (Я) = t (Я) + 2m (Я). (20.1)
(Подробнее о потенциале мы поговорим в разделе 20.3.) Например, потенциал фибоначчиевой пирамиды, показанной на рис. 20.1, равен 5 + 2-3 = 11. Потенциал множества фибоначчиевых пирамид представляет собой сумму потенциалов составляющих его пирамид. Будем считать, что единицы потенциала достаточно для оплаты константного количества работы, где константа достаточно велика для покрытия стоимости любой операции со временем работы О (1).
Кроме того, предполагается, что приложение начинает свою работу, не имея ни одной фибоначчиевой пирамиды, так что начальный потенциал равен 0 и, в соответствии с формулой (20.1), во все последующие моменты времени потенциал неотрицателен. Из (17.3) верхняя граница общей амортизированной стоимости является, таким образом, верхней границей общей фактической стоимости последовательности операций.
Максимальная степень
Амортизационный анализ, который будет выполнен в оставшихся разделах главы, предполагает, что известна верхняя граница D (п) максимальной степени узла в фибоначчиевой пирамиде из п узлов. В упражнении 20.2-3 надо показать, что при поддержке только лишь операций сливаемых пирамид D(n) < LlgnJ. В разделе 20.3 мы покажем, что при дополнительной поддержке операций DE- crease_Key и Delete D (п) = О (1g п).
Операции над сливаемыми пирамидами
В этом разделе мы опишем и проанализируем операции над сливаемыми пирамидами в применении к фибоначчиевым пирамидам. Если поддерживаются только операции Маке_Неар, Insert, Minimum, Extract_Min и Union, то каждая фибоначчиева пирамида представляет собой набор неупорядоченных биномиальных деревьев. Неупорядоченное биномиальное дерево (unordered binomial tree) похоже на обычное биномиальное дерево и определяется рекурсивно подобно ему. Неупорядоченное биномиальное дерево Uq состоит из единственного узла, а неупорядоченное биномиальное дерево Uk состоит из двух неупорядоченных биномиальных деревьев Uk-ъ причем корень одного из них является произвольным дочерним узлом корня другого. Лемма 19.1, в которой описаны свойства биномиальных деревьев, применима и к неупорядоченным биномиальным деревьям, но со следующей вариацией свойства 4 (см. упражнение 20.2-2):
В неупорядоченном биномиальном дереве Uk корень имеет степень к, которая превышает степень любого другого узла. Дочерними узлами корня являются корни поддеревьев Uq, Ui, ..., Uk-i в некотором порядке.
Таким образом, если фибоначчиева пирамида с п узлами представляет собой набор неупорядоченных биномиальных деревьев, то D {ri) = [1g nJ.
Ключевая идея применения операций над сливаемыми пирамидами к фибоначчиевым пирамидам состоит в том, чтобы по возможности отложить работу на как можно более позднее время. По сути это компромисс среди реализаций различных операций. Если количество деревьев в фибоначчиевой пирамиде невелико, то в процессе выполнения операции ExTRACT_MlN мы можем быстро определить, какой из оставшихся узлов становится минимальным. Однако, как мы видели в упражнении 19.2-10, в случае биномиальных пирамид мы должны заплатить определенную цену за то, что деревья остаются небольшими: требуется время Q (lg п) для того, чтобы вставить узел в биномиальную пирамиду или объединить две биномиальные пирамиды в одну. Как мы увидим, мы не будем пытаться объединять деревья в фибоначчиевых пирамидах при вставке нового узла или слиянии двух пирамид. Такое объединение сохраняется только в операции
Extract_Min, когда нам действительно нужно будет искать новый минимальный узел.
Создание новой фибоначчиевой пирамиды
Для создания пустой фибоначчиевой пирамиды процедура Make_Fib_Heap выделяет память и возвращает объект фибоначчиевой пирамиды Н, причем п [Я] = 0 и min [Я] = NIL. Деревьев в Н нет. Поскольку t (Н) = 0 и m (Я) = = 0, потенциал пустой фибоначчиевой пирамиды Ф(Я) = 0. Таким образом, амортизированная стоимость процедуры Make_Fib_Heap равна ее фактической стоимости О (1).
Вставка узла
Приведенная далее процедура вставляет узел х в фибоначчиеву пирамиду Я в предположении, что узлу уже выделена память и поле узла key [х] уже заполнено.
Р1В_Неар_1№ЕВт(Я, х)
degree [х] <— 0
р[х] «- NIL
child [х] <— NIL
Ze/t[x] «— x
right [x] <— x
marfc[x] <— FALSE
Присоединение списка корней, содержащего х, к списку корней Я
if mm [Я] = NIL или &еу[х] < &еу[тт[Я]]
then тт[Я] «— х
п[Я] •<—п[Я] + 1
После того как в строках 1-6 выполняется инициализация полей узла х, создающая собственный циклический дважды связанный список, в строке 7 выполняется добавление х к списку корней Я за фактическое время О (1). Таким образом, узел х становится деревом из одного узла в составе фибоначчиевой пирамиды. Он не имеет дочерних узлов и не помечен. В строках 8-9 происходит (если оно необходимо) обновление указателя на минимальный узел, а в строке 10 увеличивается значение общего количества узлов в фибоначчиевой пирамиде п [Я] (что отражает добавление нового узла). На рис. 20.2 показана вставка узла с ключом 21 в фибоначчиеву пирамиду, представленную на рис. 20.1.
В отличие от процедуры Binomial_Heap_Insert, процедура Fib_Heap_Insert не пытается объединять деревья в фибоначчиевой пирамиде. Если последовательно будут выполнены к операций Fib_Heap_Insert, то к списку корней будут добавлены к деревьев, состоящих из одного узла.
mint ЯI
v3'(j) ■;з’)(И.;«)123} (?) Lih - (Т\((т) ■ (м)
^ cs})зи) ^ х,;сэ С52)^) о°) © ^
; У)(41)(35)
а)б)
Рис. 20.2. Вставка узла в фибоначчиеву пирамиду
Для определения амортизированной стоимости процедуры Fib_Heap_Insert рассмотрим исходную фибоначчиеву пирамиду Н и фибоначчиеву пирамиду Н', которая получается в результате вставки узла, t Д') = t Д) + 1 и m Д') = = т Д), и увеличение потенциала составляет
(Д Д) +1) + 2m Д)) - (t Д) + 2m Д)) = 1.
Поскольку фактическая стоимость равна О (1), амортизированная стоимость равна 0(1) + 1 = 0(1).
Поиск минимального узла
На минимальный узел фибоначчиевой пирамиды Н указывает указатель min [Я], так что поиск минимального узла занимает время 0(1). Поскольку потенциал Н при этом не изменяется, амортизированная стоимость этой операции равна ее фактической стоимости О (1).
Объединение двух фибоначчиевых пирамид
Приведенная далее процедура объединяет фибоначчиевы пирамиды Д и Я2, попросту соединяя списки корней Д и Д и находя затем новый минимальный узел:
Fib_Heap_Union(Hi, Я2)
Я *- Make_Fib_Heap()
mm [Я] «— тт[Я1]
Добавление списка корней Я2 к списку корней Я
if (тт[Я1] = NIL) или (тт[Я2] / nil и &еу[тт[Я2]] < А:еу[тгп[Я1]])
then тт[Я]«— тгп[Я2]
п[Я] *-п[Я1]+п[Я2]
Освобождение объектов Д и Я2
return Я
В строках 1-3 алгоритм объединяет списки корней Hi и Н2 в новый список корней Н. Строки 2, 4 и 5 определяют минимальный узел Н, а в строке 6 выполняется присвоение п [Я] общего количества узлов фибоначчиевой пирамиды. В строке 7 выполняется освобождение исходных фибоначчиевых пирамид Ну и Н^, а в строке 8 — возврат получившейся в результате слияния фибоначчиевой пирамиды Н. Как и в случае процедуры Fib_Heap_Insert, никакое объединение деревьев не выполняется.
Изменение потенциала равно
Ф (Я) — (Ф (Я1) + Ф (Я2)) =
= (t (Я) + 2m (Я)) - ((t (Я!) + 2m (Я1)) + (t (Я2) + 2m(Я2))) = = 0,
поскольку t (Я) = t (Ях) + t (Я2) и m (Я) = т (Я1) + т (Н2). Амортизированная стоимость процедуры Fib_Heap_Union, таким образом, равна фактической стоимости О (1).
Извлечение минимального узла
Процесс извлечения минимального узла наиболее сложный из всех операций, рассматриваемых в данном разделе. Это также то место, где выполняются отложенные действия по объединению деревьев. Псевдокод процедуры извлечения минимального узла приведен ниже. Для удобства предполагается, что когда узел удаляется из связанного списка, указатели, остающиеся в списке, обновляются, но указатели в извлекаемом узле остаются неизменными. В этой процедуре используется вспомогательная процедура Consolidate, которая будет представлена чуть позже.
FlB_HEAP_EXTRACT_MlN(tf)
z «— min [Я]
if z + NIL
then for (для) каждого дочернего по отношению к z узла ж
do Добавить ж в список корней Я
р[ж] ♦— NIL
Удалить z из списка корней Я
if z = right [z]
then min [Я] *— nil
else тт[Я] <— right [z]
Consolidate^)
п[Я] <—п[Я] — 1
return z
Рис. 20.3. Работа процедуры Fib_Heap_Extract_Min
Как показано на рис. 20.3, процедура FlB_HEAP_EXTRACT_MlN сначала перемещает в список корней все дочерние узлы минимального узла, а затем удаляет последний из списка корней. Затем выполняется уплотнение списка корней путем связывания корней одинаковой степени, пока в списке останется не больше одного корня каждой степени.
Работа начинается в строке 1, где в переменной х сохраняется указатель на минимальный узел фибоначчиевой пирамиды — именно этот указатель процедура вернет в конце работы. Если х = NIL, это означает, что фибоначчиева пирамида пуста, и работа на этом заканчивается. В противном случае , как и в процедуре Binomial_Heap_Extract_Min, мы удаляем узел х из Н, делая все дочерние узлы узла х корнями в Н в строках 3-5, помещая их в список корней, и вынося из него х в строке 6. Если после выполнения строки 6 х = right [z], значит, х был единственным узлом в списке корней, и у него нет дочерних узлов. В этом случае нам остается только сделать фибоначчиеву пирамиду пустой, перед тем как вернуть х в строке 8. В противном случае мы устанавливаем указатель mm [Я] на узел, отличный от х (в нашем случае это right [z]), причем это не обязательно минимальный узел. На рис. 20.36 показано состояние исходной фибоначчиевой пирамиды, приведенной на рис. 20.3а, после выполнения строки 9.
Следующий этап, на котором будет уменьшено количество деревьев в фибоначчиевой пирамиде, — уплотнение (consolidating) списка корней Н, которое
выполняется вспомогательной процедурой CONSOLIDATE^). Уплотнение списка корней состоит в многократном выполнении следующих шагов, до тех пор, пока все корни в списке корней не будут иметь различные значения поля degree.
Найти в списке корней два корня х и у с одинаковой степенью, где key [ж] ^ < key [у].
Привязать (link) у к х: удалить у из списка корней и сделать его дочерним узлом х. Эта операция выполняется процедурой Fib_Heap_Link. Поле degree [ж] при этом увеличивается, а пометка у, если таковая была, снимается.
Процедура Consolidate использует вспомогательный массив A [0..D (п [Я])]. Если А [г] = у, то -у в настоящий момент является корнем со степенью degree [у] = = г.
CONSOLIDATE^)
for г *— 0 to Z)(n[Ff])
do Л [г] «- NIL
for (для) каждого узла w в списке корней Н
do ж *— го
d <— degree^}
while A[d] / nil
do у *— Л[с?] о Узел с той же степенью, что и у ж.
if &еу[ж] > /геу[у]
then обменять ж <-> у
1011121314151617181910111213141516171819Fib_Heap_Link(^, у, ж) Л [<Z] <— NIL d^-d+1
10
11
12
13
14
15
16
17
18
19
10
11
12
13
14
15
16
17
18
19
Л [cZ] <— ж тгЦН] <— NIL for г 0 to Р(п[Я]) do if Л [г] / nil then Добавить Л [г] в список корней Н . if mm[Ff] = NIL или fcey [Л [г]] < feeytmin^]] then тгп[Я] <— Л [г]
Fib_Heap_Link(H, у, ж)
Удалить у из списка корней Н
Сделать у дочерним узлом ж, увеличить degree^]
mark [у] *— FALSE
Рассмотрим процедуру CONSOLIDATE более подробно. В строках 1-2 выполняется инициализация А путем присвоения каждому элементу массива значения NIL. Цикл for в строках 3-13 обрабатывает каждый корень w в списке корней. Обработка каждого корня приводит к созданию дерева, корнем которого является некоторый узел ж, который может как совпадать, так и не совпадать с го. После этого ни один корень с списке корней не имеет ту же степень, что и ж, так что мы можем присвоить элементу массива А [</еутее[ж]] значение ж. По завершении работы цикла for в списке корней останется не более чем по одному корню каждой степени, и элементы массива А будут указывать на каждый из оставшихся в списке корней.
Цикл while в строках 6-12 связывает корень ж дерева, в котором содержится узел го, с другим деревом, корень которого имеет ту же степень, что и ж. Это
действие повторяется до тех пор, пока ни один другой корень не будет иметь ту же степень, что и х. Инвариант цикла while следующий:
В начале каждой итерации цикла while d = degree [ж].
Воспользуемся этим инвариантом цикла для доказательства корректности алгоритма.
Инициализация: строка 5 гарантирует, что инвариант цикла выполняется при входе в цикл.
Сохранение: в каждой итерации цикла while A [d] указывает на некоторый корень у. Поскольку d = degree [ж] = degree [у], мы хотим связать ж и у. В результате связывания тот из корней, значение ключа которого меньше, становится родительским узлом для другого, так что в строках 8-9 при необходимости выполняется обмен ж и у. Затем мы привязываем у к ж вызовом процедуры Fib_Heap_Link(H, у, ж) в строке 10. Этот вызов увеличивает значение degree [ж], но оставляет равным d значение degree [у]. Поскольку узел у больше не является корнем, указатель на него удаляется из массива Л в строке 11. Поскольку вызов процедуры Fib_Heap_Link увеличивает значение degree [ж], в строке 12 происходит восстановление инварианта d = degree [ж].
Завершение: мы повторяем цикл while до тех пор, пока не получим A [d] = nil, так что ни один другой корень не имеет ту же степень, что и ж.
После завершения цикла while мы присваиваем Д^] значение ж в строке 13 и выполняем очередную итерацию цикла for.
На рис. 20.3в-Э показан массив А и деревья, которые получаются в результате первых трех итераций цикла for в строках 3-13. В следующей итерации цикла for выполняется три связывания; их результаты можно увидеть на рис. 20.3е-з. На рис. 203и-м представлены результаты следующих четырех итераций цикла for.
Теперь все, что остается, — выполнить завершающие действия. После того как закончена работа цикла в строках 3-13, строка 14 создает пустой список, который заполняется в строках 15-19 на основе данных из массива А. Получившаяся в результате фибоначчиева пирамида показана на рис. 20.3н. После уплотнения списка корней процедура Fib_Heap_Extract_Min завершается уменьшением п[Н] в строке 11 и возвратом указателя на удаленный узел % в строке 12.
Заметим, что если перед выполнением процедуры Fib_Heap_Extract_Min все деревья в фибоначчиевой пирамиде были неупорядоченными биномиальными деревьями, то и после выполнения процедуры они останутся неупорядоченными биномиальными деревьями. Имеется два пути изменения деревьев. Во-первых, в строках 3-5 процедуры Fib_Heap_Extract_Min каждый дочерний узел ж корня
z становится корнем. В соответствии с упражнением 20.2-2, каждое новое дерево является неупорядоченным биномиальным деревом. Во-вторых, деревья объединяются процедурой Fib Heap Link, только если у них одинаковые степени. Поскольку все деревья перед связыванием представляют собой неупорядоченные биномиальные деревья, два дерева с корнями, которые имеют по к дочерних узла, должны иметь структуру Uk- Следовательно, получающееся в результате дерево должно иметь структуру Uk+v
Теперь мы готовы показать, что амортизированная стоимость извлечения минимального узла из фибоначчиевой пирамиды с п узлами равна О ф (п)). Обозначим через Н фибоначчиеву пирамиду непосредственно перед выполнением операции Fib_Heap_Extract_Min.
Фактическую стоимость извлечения минимального узла можно подсчитать следующим образом. Вклад О ф (п)) вносит обработка не более D (п) дочерних узлов минимального узла в процедуре Fib_Heap_Extract_Min, а также операции в строках 1-2 и 14-19 процедуры Consolidate. Остается проанализировать вклад цикла for в строках 3-13. Размер списка корней при вызове процедуры Consolidate не превышает D (n) +t (Н) — 1, поскольку он состоит из исходного списка корней с t(H) узлами, минус извлеченный узел и плюс дочерние узлы извлеченного узла, количество которых не превышает D (п). Всякий раз при выполнении цикла while в строках 6-12 один из корней связывается с другим, так что общее количество работы, выполняемой в цикле for, не более чем пропорционально D (n) +t (Н). Следовательно, общая фактическая работа по извлечению минимального узла равна О ф (п) 4-1 (Я)).
Потенциал перед извлечением минимального узла равен t (Я) 4- 2m (Н), а после — не превышает ф (п) 4-1) 4- 2m (Н), поскольку остается не более D (п) 4-1 корней, и не имеется узлов, которые были бы помечены во время выполнения этой операции. Таким образом, амортизированная стоимость не превосходит величину
О ф (п) 4-t (Я)) 4- (ф (п) 4-1) 4- 2m (Я)) - (t (Я) + 2m (Я)) == О ф (п)) 4- О (t (Я)) -t (Я) = О ф ^,
поскольку можно масштабировать единицы потенциала таким образом, чтобы можно было пренебречь константой, скрытой в O(t (Я)). Интуитивно понятно, что стоимость выполнения каждого связывания является платой за снижение потенциала из-за уменьшения количества корней на 1 при связывании. В разделе 20.4 мы увидим, что D (п) = О (lg п), так что амортизированная стоимость извлечения минимального узла равна О (1g п).
Упражнения
0.2-1. Изобразите фибоначчиеву пирамиду, которая получается в результате применения процедуры Fib_Heap_Extract_Min к фибоначчиевой пирамиде, показанной на рис. 20.3н.
0.2-2. Докажите, что лемма 19.1 выполняется для неупорядоченных биномиальных деревьев, если свойство 4 заменить свойством 4/.
0.2-3. Покажите, что при поддержке только операций над сливаемыми пирамидами максимальная степень D (п) в фибоначчиевой пирамиде с п узлами не превышает [1g nJ.
0.2-4. Профессор разработал новую структуру данных, основанную на фибоначчиевых пирамидах. Пирамида имеет ту же структуру, что и фибонач- чиева пирамида, и поддерживает операции над сливаемыми пирамидами. Реализация операций такая же, как и в фибоначчиевых пирамидах, но с тем отличием, что в качестве последнего шага при вставке узла и объединении пирамид выполняется уплотнение списка корней. Чему равно наихудшее время выполнения операций над пирамидами профессора? Насколько нова предложенная им структура данных?
0.2-5. Считая, что единственная доступная нам операция над ключами состоит в их сравнении (как в случае всех реализаций в данной главе), докажите, что невозможно обеспечить выполнение всех операций над сливаемыми пирамидами за амортизированное время 0(1).
0.3 Уменьшение ключа и удаление узла
В этом разделе будет показано, как уменьшить ключ узла фибоначчиевой пирамиды за амортизированное время 0(1) и как удалить произвольный узел из фибоначчиевой пирамиды с п узлами за амортизированное время О (D (п)). Эти операции нарушают свойство фибоначчиевых пирамид, которое заключается в том, что все деревья в фибоначчиевых пирамидах являются неупорядоченными биномиальными деревьями. Однако они остаются достаточно близки к таковым, так что мы можем ограничить максимальную степень D (п) величиной О (1g п). Этот факт, который будет доказан в разделе 20.4, приводит к тому, что операции Fib_Heap_EXTRACT_Min и FlB_HEAP_DELETE имеют амортизированное время работы, равное О (lg п).
Уменьшение ключа
В приведенном далее псевдокоде для операции Fib_Heap_Decrease_Key, как и ранее, предполагается, что при удалении узла из связанного списка никакие его поля не изменяются.
Fib_Heap_Decrease_Key(#, ж, /с)
if к > кеу^
then error “Новый ключ больше текущего”
кеу[х] «— к
у*- р[ж]
if у / NIL и &еу[ж] < key [у]
then Сит(Я, ж, у)
Cascading-Cut^, у)
if А:еу[ж] < А:еу[тпгп[Я]]
then тгп^Н] «— ж
Сит(Я,ж,у)
Удаление ж из списка дочерних узлов у, уменьшение degree^
Добавление ж в список корней Н
р[ж] +- NIL
тагк[х] ♦— FALSE
Cascading_Cut(^ у)
2 р[у]
if г 7^ NIL
then if тагЦу] = FALSE
then mark[y] «— TRUE
else Сит(Я, у, z)
Cascading_Cut(^ z)
Процедура Fib_Heap_Decrease_Key работает следующим образом. В строках 1-3 проверяется, не является ли новый ключ больше старого, и если нет, то полю key [ж] присваивается значение нового ключа. Если ж — корень или если key [ж] ^ key [у], где у — родитель ж, то никакие структурные изменения не нужны, поскольку свойство неубывающих пирамид не нарушено. Это условие проверяется в строках 4-5.
Если же свойство неубывающих пирамид оказывается нарушенным, требуется внести множество изменений. Мы начинаем с вырезания (cutting) ж в строке 6. Процедура Сит “вырезает” связь между ж и его родительским узлом у, делая ж корнем.
Поле mark используется для получения желаемого времени работы. В нем хранится маленькая часть истории каждого узла. Предположим, что с узлом х произошли следующие события.
В некоторый момент времени ж был корнем,
затем ж был привязан к другому узлу,
после чего два дочерних узла ж были вырезаны.
Как только х теряет второй дочерний узел, мы вырезаем х у его родителя, делая х новым корнем. Поле mark [ж] равно true, если произошли события 1 и 2 и у х вырезан только один дочерний узел. Процедура Сит, следовательно, в строке 4 должна очистить поле mark [ж], поскольку произошло событие 1. (Теперь становится понятно, почему в строке 3 процедуры Fib_Heap_Link выполняется сброс поля mark [у]: узел у оказывается связан с другим узлом, те. выполняется событие 2. Затем, когда будет вырезаться дочерний узел у узла у, полю mark [у] будет присвоено значение TRUE.)
Мы сделали еще не всю работу, поскольку ж может быть вторым дочерним узлом, вырезанным у его родительского узла у с того момента, когда у был привязан к другому узлу. Поэтому в строке 7 процедуры Fib_Heap_Decrease_Key делается попытка выполнить операцию каскадного вырезания (cascading-cut) над у. Если у — корень, то проверка в строке 2 процедуры CascadingCut заставляет ее прекратить работу. Если у не помечен, процедура помечает его в строке 4, поскольку его первый дочерний узел был только что вырезан, после чего также прекращает работу. Однако если узел уже был помечен, значит, только что он потерял второй дочерний узел. Тогда у вырезается в строке 5, и процедура Cas- CADING_CUT в строке б рекурсивно вызывает себя для узла г, родительского по отношению к узлу у. Процедура Cascading_Cut рекурсивно поднимается вверх по дереву до тех пор, пока не достигает корня или непомеченного узла.
После того как выполнены все каскадные вырезания, в строках 8-9 процедуры Fib_Heap_Decrease_Key при необходимости обновляется величина тт [Я]. Единственным узлом, чей ключ изменяется в процессе работы процедуры, является узел ж, так что минимальным узлом может быть только исходный минимальный узел или узел ж.
На рис. 20.4 показано выполнение двух процедур Fib_Heap_Decrease_Key над фибоначчиевой пирамидой, показанной на рис. 20.4а. Первый вызов, показанный на рис. 20.46 и уменьшающий ключ 46 до 15, выполняется без каскадного вырезания. При втором вызове (рис. 20.4в-д), уменьшающем ключ 35 до 5, выполняются два каскадных вырезания.
Покажем теперь, что амортизированная стоимость процедуры Fib_Heap_ Decrease_Key составляет только О (1). Начнем с определения фактической стоимости. Процедура Fib_Heap_Decrease_Key занимает О (1) времени, плюс время, необходимое для каскадного вырезания. Предположим, что процедура Cas- CADING_Cut в данном вызове Fib_Heap_Decrease_Key рекурсивно вызывается с раз. Каждый вызов Cascading_Cut без учета рекурсии требует 0(1) времени. Следовательно, фактическая стоимость процедуры Fib_Heap_Decrease_Key составляет О (с) с учетом всех рекурсивных вызовов.
Вычислим теперь изменение потенциала. Обозначим через Я фибоначчиеву пирамиду непосредственно перед вызовом процедуры Fib_Heap_Decrease_Key. Каждый рекурсивный вызов Cascading_Cut, за исключением последнего,
пипуЦi
а)(7(•©(38)
Q?))») (Я) ^ (^l)
тЦЩ1д) <15) (?) (2b) (24)(?)^(?)(1?)(23) (21)© (41)(30)(52)тЦЩ1д) <15) (?) (2b) (24)(?)^(?)(1?)(23) (21)© (41)(30)(52)f(46) (ЗО) (52)
тЦЩ
1
д) <15) (?) (2b) (24)(?)^(?)
(1?)(23) (21)© (41)
(30)(52)
тЦЩ
1
д) <15) (?) (2b) (24)(?)^(?)
(1?)(23) (21)© (41)
(30)(52)
Рис. 20.4. Два вызова процедуры Fib_Heap_Decrease_Key
вырезает помеченный узел и сбрасывает бит метки. После этого имеется t (Н} + с деревьев (исходные t (Н) деревьев, с — 1 деревьев, полученных при каскадном вырезании, и дерево, корнем которого является х) и не более т (Н) — с 4- 2 помеченных узла (у с — 1 узлов пометка была снята при каскадном вырезании, и последний вызов процедуры Cascading_Cut может привести к пометке узла). Таким образом, изменение потенциала не превышает величины
((* (Я) + с) + 2 (т (Я) - с + 2)) - (t (Я) + 2т (Я)) = 4 - с.
Следовательно, амортизированная стоимость Fib_Heap_Decrease_Key не превышает О (с) + 4 — с = 0(1), поскольку мы можем соответствующим образом масштабировать единицы.
Теперь вы видите, почему потенциальная функция определена таким образом, что включает член, равный удвоенному количеству помеченных узлов. Когда помеченный узел у вырезается в процессе каскадного вырезания, его пометка снимается, что приводит к снижению потенциала на 2. Одна единица потенциала служит платой за вырезание и снятие пометки, а вторая компенсирует увеличение потенциала из-за того, что у становится корнем.
Удаление узла
Удаление узла из фибоначчиевой пирамиды с п узлами за амортизированное время О (D (п)) легко выполняется при помощи приведенного ниже псевдокода. Предполагается, что в фибоначчиевой пирамиде нет ни одного ключа со значением —оо.
Fib_Heap_Delete(#, ж)
Fib_Heap_Decrease_Key(#, х, -оо)
FIB_HEAP_EXTRACT_MIN(Я)
Процедура FlB_HEAP_DELETE аналогична процедуре BlNOMlAL_HEAP_DELETE. Она делает х минимальным узлом фибоначчиевой пирамиды, присваивая его ключу значение —оо, после чего узел х удаляется из фибоначчиевой пирамиды при помощи процедуры Fib_Heap_Extract_Min. Амортизированное время работы Fib_Heap_Delete представляет собой сумму амортизированного времени работы О (1) процедуры Fib_Heap_Decrease_Key и амортизированного времени работы О (D (п)) процедуры Fib_Heap_Extract_Min. Поскольку в разделе 20.4 мы увидим, что D(n) = O(lgn), амортизированное время работы процедуры Fib_Heap_Delete равно О (1g п).
Упражнения
1. Предположим, что корень х в фибоначчиевой пирамиде помечен. Поясните, как узел х мог стать помеченным корнем. Покажите, что тот факт, что х помечен, не имеет никакого значения для анализа, даже если это не корень, который сначала был привязан к другому узлу, а потом потерял один дочерний узел.
2. Докажите оценку 0(1) амортизированного времени работы процедуры Fib_Heap_Decrease_Key как средней стоимости операции с использованием группового анализа.
Оценка максимальной степени
Для доказательства того факта, что амортизированное время работы процедур Fib_Heap_Extract_Min и Fib_Heap_Delete равно О (lg п), мы должны показать, что верхняя граница D (п) степени произвольного узла в фибоначчиевой пирамиде с п узлами равна О (1g п). Согласно упражнению 20.2-3, если все деревья в фибоначчиевой пирамиде являются неупорядоченными биномиальными деревьями, то D (n) = [lg nJ. Однако вырезания в процедуре Fib_Heap_Decrease_Key могут привести к нарушению свойств неупорядоченных биномиальных деревьев. В этом разделе мы покажем, что в связи с тем, что мы вырезаем узел у родителя,
как только он теряет два дочерних узла, D (п) равно О (lg п). В частности, мы покажем, что D (n) ^ [log^ nJ, где ф = (1 + V5) /2.
Для каждого узла х в фибоначчиевой пирамиде определим size (ж) как количество узлов в поддереве, корнем которого является х, включая сам узел х (заметим, что узел х не обязательно должен находиться в списке корней; это может быть любой узел фибоначчиевой пирамиды). Покажем, что величина size (ж) экспоненциально зависит от degree [ж] (напомним, что поле degree [ж] всегда содержит точную величину степени ж).
Лемма 20.1. Пусть ж — произвольный узел фибоначчиевой пирамиды, и пусть ух, уг, • • • > У к — дочерние узлы ж в порядке их связывания с ж начиная с более ранних и заканчивая более поздними. Тогда degree [ух] > 0 и degree [у^] > г - 2 при i = 2,3,..., к.
Доказательство. Очевидно, что degree [ух] ^ 0. Для г > 2 заметим, что когда у, связывается с ж, все узлы ух, уг,..., Ух-х являются дочерними узлами ж, так что в этот момент degree [ж] ^ г — 1. Узел ух связывается с ж только в том случае, когда degree [ж] = degree [ух], так что в момент связывания degree [ух] ^ г — 1. С этого момента узел ух мог потерять не более одного дочернего узла, поскольку при потере двух дочерних узлов он должен быть вырезан у узла ж. Отсюда следует; что degree [ух] i — 2. I
Сейчас мы подошли к той части анализа, которая поясняет название “фибо- наччиевы пирамиды”. Вспомним, что в разделе 3.2 к-ое число Фибоначчи определяется при помощи следующего рекуррентного соотношения:
ГоГоFk = 1Fk = 1.Fk-i + Fk-2.Fk-i + Fk-2при к = 0, при к = 1, при к > 2.при к = 0, при к = 1, при к > 2.
Го
Го
Fk = 1
Fk = 1
.Fk-i + Fk-2
.Fk-i + Fk-2
при к = 0, при к = 1, при к > 2.
при к = 0, при к = 1, при к > 2.
Приведенная далее лемма дает еще один способ для выражения Fk.
Лемма 20.2. Для всех целых к > 0
к
Fk*s = 1 + У^ Ft.
i=0
Доказательство. Докажем лемму при помощи математической индукции по к. При к = 0
о
1 + У2Г< = 1 + го = 1 + о = 1 = Г2.
г=0
По индукции предполагаем, что Fk+i = 1 + 52^0 Ft- Тогда
(
fc—1 \к
1+52^)=
2=0 /2=0■
Приведенная далее лемма и следствие из нее завершают анализ. Они используют доказанное в упражнении 3.2-7 неравенство
Fk+2 > фк,
где ф — золотое сечение, определенное в уравнении (3.22) как ф = (1 + \/5)/2 = = 1.61803....
Лемма 20.3. Пусть х — произвольный узел фибоначчиевой пирамиды, а к = = degree [ж] — ее степень. Тогда size (х) ^ Ffc+2 ^ фк, где ф = (1 + \/5)/2.
Доказательство. Обозначим через Sk минимально возможный размер узла степени к в произвольной фибоначчиевой пирамиде. Случаи so = 1 и si = 2 тривиальны. Число Sk не превышает величины size (ж) и, поскольку добавление дочерних узлов к узлу не может уменьшить его размер, значение Sk монотонно возрастает с возрастанием к. Рассмотрим некоторый узел z в произвольной фибоначчиевой пирамиде, такой что degree [z] = к и size (z) = s^ Так как Sk < size (х), мы вычисляем нижнюю границу size (х) путем вычисления нижней границы Sk- Как и в лемме 20.1, обозначим через yi, у2^..., у к дочерние узлы z в порядке их связывания с z. При вычислении нижней границы Sk учтем по единице для самого z и для его первого дочернего узла у\ (для которого size (yi) > 1). Тогда
кк
size (х) ^ Sk ^ 2 +^ sdegree^^ ^ 2 +^ Si—2,
г=2г=2
где последний переход следует из леммы 20.1 (откуда degree [у^] ^ г — 2) и монотонности sk (откуда sdegree^ ^ 8г-2).
Покажем теперь по индукции по к, что Sk ^ F^ Для всех неотрицательных целых к. База индукции при к = 0 и к = 1 доказывается тривиально. Далее мы предполагаем, что к 2 и что Si F^ при г = 0,— 1. Тогда
Sk ^ 2 + У^ si-2 ^ 2 + У^ Fi = 1 + У^ Fi = FH2i=2i=2i=0
(последний переход сделан на основании леммы 20.2). Таким образом, мы показали, что size (т) > Sk"^ Fk+2 ^ Фк-■
Следствие 20.4. Максимальная степень D (п) произвольного узле в фибоначчиевой пирамиде с п узлами равна О (lg п).
Доказательство. Пусть х — произвольный узел в фибоначчиевой пирамиде с п узлами, и пусть k = degree [ж]. Согласно лемме 20.3, n > size (ж) > фк. Логарифмируя по основанию ф, получаем к ^ log^ п (в действительности, так как к — целое число, к ^ [log^n]). Таким образом, максимальная степень О(п) произвольного узла равна О (lg n). ■
Упражнения
1. Профессор утверждает, что высота фибоначчиевой пирамиды из п узлов равна О (1g п). Покажите, что профессор ошибается и что для любого положительного п имеется последовательность операций, которая создает фибоначчиеву пирамиду, состоящую из одного дерева, которое представляет собой линейную цепочку узлов.
2. Предположим, что мы обобщили правило каскадного вырезания и что узел ж вырезается у родительского узла, как только теряет к-й дочерний узел, где к — некоторая константа (в правиле из раздела 20.3 использовано значение к = 2). Для каких значений к справедливо соотношение D(n) = O(lgn)?
Задачи
20-1. Альтернативная реализация удаления
Профессор предложил следующий вариант процедуры FlB_HEAP_DELETE, утверждая, что он работает быстрее для случая удаления узла, не являющегося минимальным.
Prof_Delete(H, ж)
if ж = тгп^Н]
then Fib_Heap_Extract_Min(#)
else у <— р[ж]
if у + NIL
then Сит(Я, ж, у)
Cascading_Cut(H, у)
Добавить список дочерних узлов ж в список корней Н
Удалить ж из списка корней Н
Утверждение профессора о быстрой работе процедуры основано, в частности, на предположении, что строка 7 может быть выполнена за время 0(1). Какое обстоятельство упущено из виду?
Оцените верхнюю границу фактического времени работы процедуры Prof_Delete, когда х не является mm [Я]. Ваша оценка должна быть выражена через degree [ж] и количество с вызовов процедуры Cascading_Cut.
Предположим, что мы вызываем Prof_Delete(H, х\ и пусть Н' — полученная в результате фибоначчиева пирамида. Считая, что х не является корнем, оцените потенциал Я', выразив его через degree [ж], с, t (Я) и т (1Г).
Выведите из полученных результатов оценку амортизированного времени работы процедуры Prof_Delete и покажите, что оно асимптотически не лучше амортизированного времени работы процедуры Fib_Heap_Delete, даже если х ^ min [Я].
20-2. Дополнительные операции над фибоначчиевыми пирамидами
Мы хотим реализовать поддержку двух операций над фибоначчиевыми пирамидами, при этом не изменяя амортизированное время работы прочих операций над фибоначчиевыми пирамидами.
Операция Р1В_Неар_Снаксе_Кеу(Я, я, к) изменяет ключ узла х, присваивая ему значение к. Приведите эффективную реализацию процедуры Fib_Heap_ChANGE-KEY и проанализируйте амортизированное время работы вашей реализации для случаев, когда к больше, меньше или равно key [ж].
Разработайте эффективную реализацию процедуры Fib_Heap_ Рни№(Я,г), которая удаляет min (г, п [Я]) узлов из Я. То, какие именно узлы удаляются, не должно приниматься во внимание. Проанализируйте амортизированное время работы вашей реализации. (Указание; вам может потребоваться изменение структуры данных и потенциальной функции.)
Заключительные замечания
Фибоначчиевы пирамиды были введены Фредманом (Fredman) и Таржаном (Tarjan) [98]. В их статье описано также приложение фибоначчиевых пирамид к задачам о кратчайших путях из одной вершины, паросочетаниях с весами и о минимальном остовном дереве.
Впоследствии Дрисколл (Driscoll), Габов (Gabow), Шрейрман (Sghrairman) и Таржан [81] разработали так называемые “ослабленные пирамиды” (relaxed heaps) в качестве альтернативы фибоначчиевым пирамидам. Имеется два варианта ослабленных пирамид. Один дает то же амортизированное время работы,
что и фибоначчиевы пирамиды, второй же позволяет выполнять операцию DeCREASEKEY в наихудшем случае за (не амортизированное) время О (1), а процедуры Extract_M1N и Delete в наихудшем случае за время О (lg п). Ослабленные пирамиды имеют также преимущество над фибоначчиевыми пирамидами в параллельных алгоритмах.
Обратитесь к материалу главы 6, где рассмотрены другие структуры данных, которые поддерживают быстрое выполнение операции Decrease_Key, когда последовательность значений, возвращаемых вызовами процедуры EXTRACT_M1N, монотонно растет со временем, а данные представляют собой целые числа в определенном диапазоне.
ГЛАВА 21
Структуры данных длянепересекающихся множеств
В некоторых приложениях выполняется группировка п различных элементов в набор непересекающихся множеств. Две важные операции, которые должны выполняться с таким набором, — поиск множества, содержащего заданный элемент, и объединение двух множеств. В данной главе мы познакомимся со структурой данных, которая поддерживает эти операции.
В разделе 21.1 описаны операции, поддерживаемые указанной структурой данных, и представлено простое приложение. В разделе 21.2 мы рассмотрим использование простого связанного списка для представления связанных множеств. Более эффективное представление при помощи деревьев приведено в разделе 21.3. Время работы с использованием деревьев линейно для всех практических применений, хотя теоретически оно сверхлинейно. В разделе 21.4 определяется и обсуждается очень быстро растущая функция и ее очень медленно растущая инверсия, которая и проявляется во времени работы операций над представлением непересекающихся множеств с использованием деревьев. Там же при помощи амортизационного анализа доказывается верхняя сверхлинейная граница времени работы.
1.1 Операции над непересекающимися множествами
Структура данных для непересекающихся множеств (disjoint-set data structure) поддерживает набор S = {Si, S2,..., S^} непересекающихся динамических множеств. Каждое множество идентифицируется представителем (representative), который представляет собой некоторый член множества. В ряде приложений не имеет значения, какой именно элемент множества используется в качестве представителя; главное, чтобы при запросе представителя множества дважды, без внесения изменений в множество между запросами, возвращался один и тот же элемент. В других приложениях может действовать предопределенное правило выбора представителя, например, наименьшего члена множества (само собой разумеется, в предположении о возможности упорядочения элементов множества).
Как и в других изученных нами реализациях динамических множеств, каждый элемент множества представляет некоторый объект. Обозначим объект через х. Мы хотим обеспечить поддержку следующих операций.
Make_Set(:e) создает новое множество, состоящее из одного члена (который, соответственно, является его представителем) х. Поскольку множества непе- ресекающиеся, требуется, чтобы х не входил ни в какое иное множество.
UNIONS, у) объединяет динамические множества, которые содержат х и у (обозначим их через 8Х и S^), в новое множество. Предполагается, что до выполнения операции указанные множества не пересекались. Представителем образованного в результате множества является произвольный элемент Sx U U Sy, хотя многие реализации операции UNION выбирают новым представителем представителя множества Sx или Sy. Поскольку нам необходимо, чтобы все множества были непересекающимися, операция UNION должна уничтожать множества Sx и Sy, удаляя их из коллекции S.
Find_Set(z) возвращает указатель на представителя (единственного) множества, в котором содержится элемент х.
В этой главе мы проанализируем зависимость времени работы структуры данных для непересекающихся множеств от двух параметров: количества операций Make__SET п и общего количества операций Make_Set, Union и FindJSet т. Поскольку множества непересекающиеся, каждая операция UNION уменьшает количество множеств на 1. Следовательно, после п — 1 операций UNION останется только одно множество, так что количество операций UNION не может превышать п — 1. Заметим также, что поскольку в общее количество операций т включены операции Make_Set, то т ^ п. Предполагается также, что п операций MAKERS ET являются первыми п выполненными операциями.
Приложение структур данных для непересекающихся множеств
Одно из многих применений структур данных для непересекающихся множеств — в задаче об определении связных компонентов неориентированного графа (см. раздел Б.4). Так, на рис. 21.1 показан граф, состоящий из четырех связных компонентов — {a, b, с, d}, {е, /, g}, {/i, г} и {j}.
Рис. 21.1. Граф с четырьмя связными компонентами
Процедура Connected_Components, приведенная ниже, использует операции над непересекающимися множествами для вычисления связных компонентов графа. После того как процедура Connected_Components разобьет множество вершин графа на непересекающиеся множества, процедура SAME COMPONENT может определить, принадлежат ли две данные вершины одному и тому же связному компоненту. (Множество вершин графа G обозначим как V [G], а множество ребер — как Е [G].)
Connected_Components(G)
for Каждая вершина v € V[G]
do Make_Set(v)
for Каждое ребро (u, v) G S[G]
do if Find_Set(u) / Find_Set(v)
then Union(u, v)
Same_Component(u, v)
1 if Find_Set(u) = Find_Set(v)
then return true
else return false
Процедура Connected_Components сначала помещает каждую вершину v в ее собственное множество. Затем для каждого ребра (u, v) выполняется объединение множеств, содержащих и и и. В соответствии с упражнением 21.1-2, после
Таблица 21.1. Набор непересекающихся множеств в процессе вычислений
Обрабатываемое ребро
Набор непересекающихся множеств
Начальные
множества{а}
(М{а}
(е,Л{а}
(а, с){а, с}
(А, г){а, с}
(а, 6){а, 6, с, d}
(ej)^a.b.c.d)
(b.c){a,b,c,d}
{6} {с} {d} {е} {/} {g} VM {0 {Л {М} {с} {е} {/} {д} {/г} {0 {Л {М {с} {е,д} {/} {Л {0 {Л {М} ^ {/} {Л} {г} {Л {6, Л {е,д} {/} {Л 0 {Л
{е,д} {/} {ЛО {Л {е,/,Л {ЛО {Л К/, Л {ЛО {Л
обработки всех ребер две вершины будут находиться в одном связном компоненте тогда и только тогда, когда соответствующие объекты находятся в одном множестве. Итак, процедура CONNECTED-COMPONENTS вычисляет множества так, что процедура SAME_COMPONENT может определить, находятся ли две вершины в одном и том же связном компоненте. В табл. 21.1 показан процесс вычисления непересекающихся множеств процедурой Connected_Components.
В реальной реализации описанного алгоритма представления графа и структуры непересекающихся множеств требуют наличия взаимных ссылок, т.е. объект, представляющий вершину, должен содержать указатель на соответствующий объект в непересекающемся множестве и наоборот. Эти детали программной реализации зависят от используемого для реализации языка программирования и здесь не рассматриваются.
Упражнения
1. Предположим, что процедура Connected_Components вызывается для неориентированного графа G = (V, S), где V = {a, b, с, d, e,f,g, h,i, j,k}, а ребра из E обрабатываются в следующем порядке: (d, О, (f,k\ WY (b^g), (а,/0, (г, Л» (Дк\ (М), (d,f), (g,j), (а,е), (i,dy Перечислите вершины в каждом связном компоненте после выполнения каждой итерации в строках 3-5.
2. Покажите, что после того, как все ребра будут обработаны процедурой Connected Components, две вершины находятся в одном связном компоненте тогда и только тогда, когда они находятся в одном и том же множестве.
3. Сколько раз вызывается процедура FlND_SET в процессе выполнения процедуры Connected_Components над неориентированным графом G =
= (V, Е) с к связными компонентами? Сколько раз вызывается процедура UNION? Выразите ваш ответ через |V|, |S| и к.
21.2 Представление непересекающихся множеств с помощью связанных списков
Простейший способ реализации структуры данных для непересекающихся множеств — с помощью связанных списков. Первый объект в каждом связанном списке является его представителем. Каждый объект в связанном списке содержит член множества, указатель на объект, содержащий следующий член множества, и указатель на представителя. Каждый список поддерживает указатель head на представителя и указатель tail — на последний объект в списке. На рис. 21.2а показаны два множества. Внутри каждого связанного списка объекты могут располагаться в произвольном порядке (однако мы считаем, что первый объект в каждом списке является его представителем).
Рис. 21.2. Представление двух множеств с помощью связанного списка и их объединение
При использовании такого представления процедуры Make_Set и Find Set легко реализуются и время их работы равно 0(1). Процедура Make_Set(:e) создает новый связанный список с единственным объектом ж, а процедура Find_Set просто возвращает указатель на представителя множества.
Простая реализация объединения
Простейшая реализация операции UNION при использовании связанных списков требует гораздо больше времени, чем процедуры Make_Set или Find_Set. Как показано на рис. 21.26, мы выполняем процедуру UNlON(a;,y), добавляя список с элементом х в конец списка, содержащего у. Указатель tail списка с элементом у используется для того, чтобы быстро определить, куда следует добавить список, содержащий х. Представителем нового множества является элемент, который был представителем множества, содержащего у. К сожалению, при этом мы должны обновить указатели на представителя у каждого объекта, который первоначально находился в списке, содержащем х, что требует времени, линейно зависящего от длины списка, содержащего х.
В действительности, не трудно привести последовательность из т операций над п объектами, которая требует 0 (п2) времени. Предположим, что у нас есть объекты хх^х^... ^х^. Мы выполняем последовательность из п операций Make_Set, за которой следует последовательность из п — 1 операций UNION, показанных в табл. 21.2, так что т = 2п — 1. На выполнение п операций Make_Set мы тратим время 0 (п). Поскольку г-я операция UNION обновляет г объектов, общее количество объектов, обновленных всеми п — 1 операциями UNION, равно
n—1
^г = 0(п2).
7 = 1
Таблица 21.2. Последовательность операций при использовании связанных списков
ОперацияКоличество обновленных объектов
Make_Set(xi)
1
Make_Set(i2)
1
Make_Set(x„)
1
UNION(a:i,a:2)
1
Union^, ж3)
2
UNION(X3,X4)
3
UNION(xn-l,Xn)
n - 1
Общее количество операций равно 2п — 1, так что каждая операция в среднем требует для выполнения времени © (п). Таким образом, амортизированное время выполнения операции составляет © (п).
Весовая эвристика
В худшем случае представленная реализация процедуры UNION требует в среднем 0 (п) времени на один вызов, поскольку может оказаться, что мы присоединяем длинный список к короткому и должны при этом обновить поля указателей на представителя всех членов длинного списка. Предположим теперь, что каждый список включает также поле длины списка (которое легко поддерживается) и что мы всегда добавляем меньший список к большему (при одинаковых длинах порядок добавления безразличен). При такой простейшей весовой эвристике (weighted-union heuristic) одна операция UNION может потребовать Q (п) времени, если оба множества имеют по Q (п) членов. Однако, как показывает следующая теорема, последовательность из т операций Make_Set, Union и Find_Set, п из которых составляют операции Make_Set, требует для выполнения О (т + nlgn) времени.
Теорема 21.1. При использовании связанных списков для представления непересекающихся множеств и применении весовой эвристики, последовательность из т операций Make_Set, Union и Find_Set, п из которых составляют операции Make_Set, требует для выполнения О (т + nlgn) времени.
Доказательство. Начнем с вычисления верхней границы количества обновлений указателя на представителя для каждого объекта множества из п элементов. Рассмотрим фиксированный объект п. Мы знаем, что всякий раз, когда происходит обновление указателя на представителя в объекте ж, он должен находиться в меньшем из объединяемых множеств. Следовательно, когда происходит первое обновление указателя на представителя в объекте ж, образованное в результате множество содержит не менее 2 элементов. При следующем обновлении указателя на представителя в объекте х полученное после объединения множество содержит не менее 4 членов. Продолжая рассуждения, приходим к выводу о том, что для произвольного к ^ п, после того как указатель на представителя в объекте х обновлен fig к"\ раз, полученное в результате множество должно иметь не менее к элементов. Поскольку максимальное множество может иметь только п элементов, во всех операциях Union указатель на представителя у каждого объекта может быть обновлен не более figп\ раз. Мы должны также учесть обновления указателей head и tail и длины списка, для выполнения которых при каждой операции Union требуется 0(1) времени. Таким образом, общее время, необходимое для обновления п объектов, составляет О (nlgn).
Отсюда легко выводится время, необходимое для всей последовательности из т операций. Каждая операция MakeSet и FindJSet занимает 0(1) времени, а всего их — О (т). Таким образом, полное время выполнения всей последовательности операций составляет О (m + п lg п). ■
Упражнения
1. Напишите псевдокод процедур MakeJSet, FindJSet и Union с использованием связанных списков и весовой эвристики. Считаем, что каждый объект х имеет атрибут тер [ж], указывающий на представителя множества, содержащего х, и что каждое множество S имеет атрибуты head [S], tail [S] и size [S] (который равен длине списка).
2. Покажите, какая образуется структура данных и какие ответы дают процедуры Find Set в следующей программе. Используется представление при помощи связанных списков и весовая эвристика.
1 for г <— 1 to 16
do Make_Set(t,)
for г 1 to 15 by 2
do UNION^.Xi+i)
for г 1 to 13 by 4
do UNION($i, Xi^
UNION(xi, S5)
Union^h,^)
Union(xi , Хю)
10 F1ND_SET(x2)
11 Find_Set(x9)
Считаем, что если множества, содержащие Хг и Xj, имеют одинаковый размер, то операция UNION(xj, Xj) присоединяет список Xj к списку Х{.
21.2-3. Адаптируйте доказательство теоремы 21.1 для получения границ амортизированного времени выполнения процедур Make Set и FindJSet, равного О (1), и амортизированного времени выполнения процедуры Union, равного О (lg п), при использовании связанных списков и весовой эвристики.
21.2-4. Найдите точную асимптотическую границу времени работы последовательности операций из табл. 21.2 в предположении использования связанных списков и весовой эвристики.
21.2-5. Предложите изменение процедуры Union для связанных списков, которое избавляет от необходимости поддерживать указатель tail на последний объект каждого списка. Ваше предложение не должно изменить
асимптотическое время работы процедуры Union независимо от того, используется ли в ней весовая эвристика. (Указание: вместо присоединения одного списка к другому, воспользуйтесь вставкой в начало списка.)
21.3 Лес непересекающихся множеств
В более быстрой реализации непересекающихся множеств мы представляем множества в виде корневых деревьев, где каждый узел содержит один член множества, а каждое дерево представляет одно множество. В лесу непересекающихся множеств (disjoint-set forest) (см. рис. 21.3а, где вы видите два дерева, представляющие множества, ранее представленные на рис. 21.2) каждый член указывает только на родительский узел. Корень каждого дерева содержит представителя и является родительским узлом для самого себя. Как мы увидим далее, хотя наивное программирование и не приводит к более эффективной работе по сравнению со связанными списками, введение двух эвристик — “объединение по рангу” и “сжатие пути” — позволяет достичь асимптотически более быстрого выполнения операций над непересекающимися множествами.
Три операции над непересекающимися множествами выполняются следующим образом. Операция Make_Set просто создает дерево с одним узлом. Поиск в операции FindJSet выполняется простым передвижением до корня дерева по указателям на родительские узлы. Посещенные узлы на этом пути составляют путь поиска (find path). Операция UNION, показанная на рис. 21.36, состоит в том, что корень одного дерева указывает на корень другого.
Эвристики для повышения эффективности
Пока что у нас нет никаких особых преимуществ перед реализацией с использованием связанных списков: последовательность из п — 1 операций UNION может создать дерево, которое представляет собой линейную цепочку из п узлов. Однако
Рис. 21.3. Лес непересекающихся множеств
Рис. 21.4. Сжатие пути в процессе выполнения операции Find_Set
мы можем воспользоваться двумя эвристиками и достичь практически линейного времени работы от общего количества операций т.
Первая эвристика, объединение по рангу (union by rank), аналогична весовой эвристике при использовании связанных списков. Ее идея заключается в том, чтобы корень дерева с меньшим количеством узлов указывал на корень дерева с большим количеством узлов. Вместо явной поддержки размера поддерева для каждого узла, можно воспользоваться подходом, который упростит анализ — использовать ранг (rank) каждого корня, который представляет собой верхнюю границу высоты узла. При объединении по рангу корень с меньшим рангом должен указывать на корень с большим рангом.
Вторая эвристика, сжатие пути (path compression), также достаточно проста и эффективна. Как показано на рис. 21.4, она используется в процессе выполнения операции FINDJSET и делает каждый узел указывающим непосредственно на корень. Сжатие пути не изменяет ранги узлов.
Псевдокоды
Для реализации леса непересекающихся множеств с применением эвристики объединения по рангу, мы должны отслеживать ранг узлов. Для каждого узла х нами поддерживается целое значение rank [ж], которое представляет собой верхнюю границу высоты х (количество ребер на самом длинном пути от х к листу, являющемуся его потомком). При создании множества из одного элемента
процедурой Маке_8ет начальный ранг узла в соответствующем дереве устанавливается равным 0. Операции F1NDSET оставляют ранги неизменными. При применении процедуры Union для объединения двух деревьев имеются две ситуации, зависящие от того, имеют объединяемые деревья одинаковый ранг, или нет. Если ранги деревьев разные, мы делаем корень с большим рангом родительским узлом по отношению к корню с меньшим рангом, но сами ранги при этом остаются неизменными. Если же корни имеют одинаковые ранги, то мы произвольным образом выбираем один из корней в качестве родительского и увеличиваем его ранг.
В приведенных псевдокодах родительский по отношению к х узел обозначается как р [ж]. Вспомогательная процедура Link, использующаяся в процедуре Union, получает в качестве входных параметров указатели на два корня.
Маке_8ет(ж)
1 у[ж] «— х
2 гапА:[ж] «— 0
UNION(x, у)
1 LlNK(FlND_SET(x),FlND_SET(y))
L1NK(x, у)
if гапА:[ж] > rank [у]
then у [у] <— ж
else у [ж] <— у
if гап&[ж] = ranA:[y]
then ranA:[y] <— rank [у] + 1
Рпф_8ет(ж)
1 if ж / у[ж]
then у[ж] «- Ршо_бЕТ(у[ж])
return у[ж]
Процедура FlND_SET является двухпроходной: при первом проходе она ищет путь к корню дерева, а при втором проходе в обратном направлении по найденному пути происходит обновление узлов, которые теперь указывают непосредственно на корень дерева. Каждый вызов FlND_SET возвращает в строке 3 у [ж]. Если ж — корень, то строка 2 не выполняется и возвращается значение у [ж] = ж, и на этом рекурсия завершается. В противном случае выполнение строки 2 приводит к рекурсивному вызову с параметром у [ж], который возвращает указатель на корень. В той же строке 2 происходит обновление узла ж, после которого он указывает непосредственно на найденный корень, и этот указатель возвращается вызывающей процедуре в строке 3.
Влияние эвристик на время работы
Будучи примененными раздельно, объединение по рангу и сжатие пути приводят к повышению эффективности операций над лесом непересекающихся множеств. Еще больший выигрыш дает совместное применение этих эвристик. Объединение по рангу само по себе дает время работы О (т lg п) (см. упражнение 21.4-4), причем эта оценка не может быть улучшена (см. упражнение 21.3-3). Хотя мы не будем доказывать это здесь, если имеется п операций MakeJSet (а следовательно, не более п — 1 операций Union) и / операций Find_Set, то сжатие пути само по себе приводит ко времени работы в наихудшем случае O(n + f- (log2+//nn)).
При совместном использовании обеих эвристик время работы в наихудшем случае составляет О^та^, где а(п) — очень медленно растущая функция, которую мы определим в разделе 21.4. Для любого мыслимого приложения с использованием непересекающихся множеств а (п) < 4, так что можно рассматривать время работы во всех практических ситуациях как линейно зависящее от т. В разделе 21.4 мы докажем эту верхнюю границу.
Упражнения
1. Выполните упражнение 21.2-2 для леса непересекающихся множеств с использованием объединения по рангу и сжатия пути.
2. Разработайте нерекурсивную версию процедуры FindJSet со сжатием пути.
3. Приведите последовательность из т операций MakeJSet, Union и Find_ Set, п из которых — операции MakeJSet, время выполнения которой составляет Q (m 1g п) при использовании только объединения по рангу.
* 21.3-4. Покажите, что время выполнения произвольной последовательности т операций MakeJSet, FindJSet и Link, в которой все операции Link выполняются до первой операции FindJSet, равно О(т), если используются как объединение по рангу, так и сжатие пути. Что будет, если воспользоваться только сжатием пути?
*21.4 Анализ объединения по рангу со сжатием пути
Как отмечалось в разделе 21.3, время работы т операций над непересекаю- щимися множествами из п элементов при использовании объединения по рангу и сжатия пути равно O(ma(n)). В данном разделе мы рассмотрим функцию
а (п) и выясним, насколько медленно она растет. Затем мы докажем приведенное выше время работы с использованием метода потенциала из амортизационного анализа.
Очень быстро и очень медленно растущая функция
Определим функцию Ак 0) для целых А: > 0 и j > 1 как
Л СХ (j + 1 при к = О,
(^Ч-i W при к 1,
где выражение А^^ 0) использует функционально-итеративные обозначения из раздела 3.2. В частности, ^°2X 0) = j и Л^1Х 0) = Ак-г (а^~^ 0)) для г > 1. Параметр к будем называть уровнем (level) функции А.
Функция Ак 0) — строго возрастающая по j и к. Для того чтобы увидеть, насколько быстро растет данная функция, начнем с записи функций Л1 0) и Л 2 (j) в явном виде.
Лемма 21.2. Для произвольного целого j ^ 1 Лх 0) = 2j + 1.
Доказательство. Воспользуемся индукцией по г, чтобы показать, что А^ (j) = = j + i. Начнем с базы индукции: А^ (j) = j = j + 0. Далее предположим, что 4"1’ U) = Э + (г~ 1). Тогда A(ol) (j) = Ло (л^-1) 0)) = (j + (г - 1)) + 1 = j+i. И наконец, Л1 0) = Л^+1) 0) = j A (j + 1) = 2j + 1.■
Лемма 21.3. Для произвольного целого j ^ 1 А^ 0) = 2j+1 (j + 1) — 1.
Доказательство. Воспользуемся индукцией по г, чтобы показать, что Лх^ (j) = = 21 О + 1) — 1. Начнем с базы индукции: А^ (j) = j = 2° (j + 1) — 1. Далее предположим, что Лх1-1^ (j) = 2г-1 (j + 1) — 1. Тогда
A? 0) = Аг (а^ (j)) =
= Л (2^ 0+ !)-!) = = 2 • (У"1 0 + 1) - 1) + 1 = = 2^ 0 + 1) - 2 + 1 = ^ 0 + 1) - 1.
И наконец, Лг 0) = -А]^^ 0) = 2j+1 U + 1) — 1.■
Теперь посмотрим, насколько быстро растет функция Ак (j), просто вычисляя Ак (1) для уровней к от 0 до 4. Из определения Ло (j) и рассмотренных выше лемм мы имеем Ло (1) = 1 + 1 = 2, Л1 (1) = 2-1 + 1 = 3 и Д2 (1) = 21+1 • •(1 + 1) — 1 = 7. Продолжая вычисления, получаем:
Л3 (1) = А^ (1) = Л2 (Л2 (1)) = Л2 (7) = 28 • 8 - 1 = 2й - 1 = 2047
И
Л4 (1) = А^ (1) = Л3 (Лз (1)) = Л3 (2047) = Л^2048) (2047)» » Л2 (2047) = 22048 • 2048 - 1 > 22048 = (24)512 = 16512 > 1080, что представляет собой оценочное количество атомов в наблюдаемой вселенной. Определим обратную к Ак (j) функцию для п ^ 0 следующим образом:
a (тг) = min {к : Ак (1) > тг} .
Другими словами, а (тг) — наименьший уровень к, для которого Ак (1) не меньше тг. Исходя из найденных выше значений функции,
00при 0 ^ п < 2,при 0 ^ п < 2,
0
0
при 0 ^ п < 2,
при 0 ^ п < 2,
при 71 = 3,
при 4 ^ тг ^ 7,
при 8 ^ тг ^ 2047,
при 2048 ^ тг ^ Л4 (1).
Только для невероятно больших значений тг (больших Л4 (1)) значение функции а (тг) становится больше 4, так что для практического применения а (тг) ^ 4.
Свойства рангов
В оставшейся части раздела мы докажем, что при использовании объединения по рангам и сжатия пути граница времени работы операций над непересекаю- щимися множествами равна 0(та(п^. Для этого нам потребуются некоторые простые свойства рангов.
Лемма 21.4. Для всех узлов х выполняется соотношение rank [ж] < rank [р[х]], причем равенство достигается только при х = р [ж]. Значение rank [ж] изначально равно 0 и, пока х ^ рИ, увеличивается со временем. По достижении равенства х = р [ж] значение rank [ж] больше не изменяется. Значение rank [р[ж]] монотонно возрастает со временем.
Доказательство. Доказательство выполняется простой индукцией по количеству операций, с использованием реализаций процедур Make_Set, Union и Find_Set в разделе 21.3. Подробности доказательства оставлены в качестве упражнения 21.4-1. ■
Следствие 21.5. При перемещении вдоль пути от произвольного узла к корню ранг строго возрастает. а
Лемма 21.6. Ранг любого узла не превышает п — 1.
Доказательство. Начальный ранг каждого узла — 0, и он возрастает только при выполнении операции Link. Поскольку выполняется не более п — 1 операции Union, операций Link также выполняется не более чем п — 1. Поскольку каждая операция Link либо оставляет все ранги неизменными, либо увеличивает один ранг на 1, ни один ранг не может превышать п — 1. В
Лемма 21.6 дает слабую оценку границы рангов. В действительности ранг любого узла не превосходит [lg nJ (см. упражнение 21.4-2). Однако для наших целей достаточно границы, определяемой леммой 21.6.
Доказательство границы времени работы
Для доказательства границы О (та(п)) мы воспользуемся методом потенциала из амортизационного анализа (см. раздел 17.3). При выполнении амортизационного анализа удобно считать, что мы выполняем операцию Link, а не Union. Те., поскольку параметрами процедуры Link являются указатели на два корня, мы считаем, что соответствующие операции Find_Set выполняются отдельно. Приведенная ниже лемма показывает, что даже если учесть дополнительные операции Find_Set, инициированные вызовами Union, асимптотическое время работы останется неизменным.
Лемма 21.7. Предположим, что мы преобразуем последовательность S' из т* операций Make_Set, Union и Find_Set в последовательность из т операций Make_Set, Link и Find_Set путем преобразования каждой операции Union в две операции Find_Set, за которыми следует операция Link. Тогда, если последовательность S выполняется за время О (та (п)), то последовательность S' выполняется за время О (т'а (п)).
Доказательство. Поскольку каждая операция UNION в последовательности S' преобразуется в три операции в S, выполняется соотношение т' < т ^ 3m'. Так как т = О (т'), из границы времени работы О (та (п)) преобразованной последовательности S следует граница О (т'а (п)) времени работы исходной последовательности S'. ■
В оставшейся части этого раздела мы полагаем, что исходная последовательность из т' операций Make_Set, Union и Find_Set преобразована в последовательность из т операций Make_Set, Link и Find Set. Теперь мы докажем, что время выполнения полученной последовательности равно О (та (п)) и обратимся к лемме 21.7 для доказательства времени работы O(m'a(n)) исходной последовательности из т' операций.
Потенциальная функция
Используемая нами потенциальная функция присваивает потенциал 09(ж) каждому узлу х в лесу непересекающихся множеств после выполнения q операций. Для получения потенциала всего леса мы суммируем потенциалы его узлов: Ф9 = Sj^g (ж), где Ф9 — потенциал всего леса после выполнения q операций. До выполнения первой операции лес пуст, и мы полагаем, что Фо = 0. Потенциал Ф9 никогда не может стать отрицательным.
Значение фд (ж) зависит от того, является ли х корнем дерева после q-й операции. Если это так или если rank [ж] = 0, фч (ж) = а (п) • rank [ж].
Теперь предположим, что после q-й операции ж не является корнем и что rank [ж] > 1. Нам надо определить две вспомогательные функции от ж перед тем, как мы определим фд (ж). Сначала мы определим
level (ж) = max (к : rank [р [ж]] ^ Ак (rank [ж])} ,
те. level (ж) — наибольший уровень к, для которого Ак, примененное к рангу ж, не превышает ранг родителя ж.
Мы утверждаем, что
0 ^ level (ж) < а (п).(21.1)
Это можно подтвердить следующим образом. Мы имеем
rank [р [ж]] ^ rank [ж] + 1 = До (rank [ж]),
где неравенство следует из леммы 21.4, а равенство — по определению До О)- Отсюда вытекает, что level (ж) > 0. Тогда
Аа^ (гапк И) > Аа^ (1)>п> rank [р [ж]],
где первое неравенство следует из строго возрастающего характера функции Ак (j), второе — из определения a (п), а третье — из леммы 21.6. Из полученного соотношения вытекает, что level (ж) < а (п). Заметим, что поскольку rank [р[ж]] монотонно увеличивается со временем, то же происходит и с level (ж).
Вторую вспомогательную функцию определим следующим образом:
iter (ж) = max {г : rank [р [ж]] ^ Л^ц®) (ranfe И)} >
т.е. iter (ж) — наибольшее число раз итеративного применения функции Л^ц^.) к исходному рангу х, до того как мы получим значение, превышающее ранг родителя х.
Мы утверждаем, что
1 ^ iter (х) ^ rank [х].(21.2)
В этом можно убедиться следующим образом. Мы имеем rank [р [ж]] ^ Aleve](x) (rank И) = Л^^ (rank И),
где неравенство следует из определения level (х), а равенство — из определения функциональной итерации. Из приведенного соотношения вытекает, что iter (х) ^ 1, и мы получаем в соответствии с определениями А^ (j) и level (х)
А^й^^ ^аик И) = Aevei(x)+1 (rank [ж]) > rank [р И], откуда iter(x) < rank [х]. Заметим, что поскольку rank [р[х]] монотонно увеличивается со временем, для того чтобы значение iter (х) уменьшалось, величина level (х) должна увеличиваться. Если же level (х) остается неизменной, то значение iter (х) должно либо увеличиваться, либо вообще не изменяться.
Имея описанные вспомогательные функции, мы можем записать потенциал узла х после q операций:
а (п) • rank [х]а (п) • rank [х]^д (х)< (Q (п) _ icvei (g)) х^д (х)< (Q (п) _ icvei (g)) хх rank [х] — iter (х)х rank [х] — iter (х)если х корень или rank [х] = О,если х не корень и rank [х] ^ 1.если х корень или rank [х] = О,если х не корень и rank [х] ^ 1.
а (п) • rank [х]
а (п) • rank [х]
^д (х)< (Q (п) _ icvei (g)) х
^д (х)< (Q (п) _ icvei (g)) х
х rank [х] — iter (х)
х rank [х] — iter (х)
если х корень или rank [х] = О,
если х не корень и rank [х] ^ 1.
если х корень или rank [х] = О,
если х не корень и rank [х] ^ 1.
В следующих двух леммах представлены полезные свойства потенциала узла.
Лемма 21.8. Для всех q операций и произвольного узла х
О ^ фд (х) ^ а (п) • rank [х].
Доказательство. Если х — корень или rank [ж] = 0, то по определению фч (х) = = а(п) • rank [х]. Предположим теперь, что х — не корень и что rank [х] ^ ^ 1. Нижнюю границу фд (х) можно получить, максимизируя level (х) и iter (х). Согласно (21.1), level (х) ^ а (п) — 1, а в соответствии с (21.2) — iter (х) ^ rank [х]. Таким образом,
фд (х) ^ (а (п) — (а (п) — 1)) • rank [х] — rank [х] = rank [х] — rank [х] = 0.
Аналогично получаем верхнюю границу фд (х), минимизируя level (х) и iter (х). Согласно (21.1), level (х) ^ 0, а в соответствии с (21.2) — iter(x) ^ 1. Таким образом,
фд (х) ^ (а (п) — 0) • rank [х] — 1 = а (п) • rank [х] — 1 < а (п) • rank [х].
Изменения потенциала и амортизированная стоимость операций
Теперь мы готовы к рассмотрению вопроса о влиянии операций над непересе- кающимися множествами на потенциалы узлов. Зная, как изменяется потенциал при той или иной операции, мы можем определить амортизированную стоимость каждой операции.
Лемма 21.9. Пусть х — узел, не являющийся корнем, и предположим, что д-я операция — либо LINK, либо FlND_SET. Тогда после выполнения q-й операции фд (ж) ^ фq-l (ж). Более того, если rank [ж] ^ 1 и из-за выполнения q-й операции происходит изменение либо level (ж), либо iter (ж), то фч (ж) ^ фд-i (ж) — 1. То есть потенциал ж не может возрастать, и если он имеет положительное значение, а либо level (ж), либо iter (ж) изменяются, то потенциал ж уменьшается как минимум на 1.
Доказательство. Поскольку ж не является корнем, q-я операция не изменяет rank [ж], и так как п не изменяется после первых п операций Make_Set, а (п) остается неизменной величиной. Следовательно, эти компоненты формулы потенциальной функции при выполнении q-й операции не изменяются. Если rank [ж] = = 0, то фд (ж) = фд-i (ж) = 0. Теперь предположим, что rank [ж] > 1.
Вспомним, что значение функции level (ж) монотонно растет со временем. Если q-я операция оставляет level (ж) неизменной, то функция iter (ж) либо возрастает, либо остается неизменной. Если и level (ж), и iter (ж) не изменяются, то фд (ж) = фд_\ (ж). Если же level (ж) не изменяется, a iter (ж) возрастает, то iter (ж) увеличивается как минимум на 1, так что фд (ж) ^ фд-i (ж) — 1.
И наконец, если q-я операция увеличивает level (ж), то это увеличение составляет как минимум 1, так что значение члена (a (n) — level (ж)) • rank [ж] уменьшается как минимум на величину rank [ж]. Так как значение level (ж) возрастает, значение iter (ж) может уменьшаться, но в соответствии с (21.2), это уменьшение не может превышать rank [ж] — 1. Таким образом, увеличение потенциала, вызванное изменением функции iter (ж), меньше, чем уменьшение потенциала из-за изменения функции level (ж), так что мы можем заключить, что фд (ж) ^ фд-i (ж) — 1. я
Наши последние три леммы показывают, что амортизированная стоимость каждой из операций Make_Set, Link и Find_Set составляет О (а (п)). Вспомним, что, согласно (17.2), амортизированная стоимость каждой операции равна ее фактической стоимости плюс увеличение потенциала, вызванное ее выполнением.
Лемма 21.10. Амортизированная стоимость каждой операции Make_Set равна 0(1).
Доказательство. Предположим, что q-я операция — Make_Set. Эта операция создает узел ж с рангом 0, так что фд (ж) = 0. Никакие иные ранги и потенциалы
не изменяются, так что Ф9 = Ф9-ь То, что фактическая стоимость операции Make_Set равна О (1), завершает доказательство.■
Лемма 21.11. Амортизированная стоимость каждой операции Link равна О (а (п)).
Доказательство. Предположим, что g-я операция — Link(:t, у). Фактическая стоимость операции Link равна 0(1). Без потери общности предположим, что Link делает у родительским узлом х.
Для определения изменения потенциала из-за выполнения операции Link заметим, что множество узлов, чьи потенциалы могут измениться, ограничено узлами ж, у и дочерними узлами у непосредственно перед операцией. Мы покажем, что единственным узлом, потенциал которого может увеличиться в результате выполнения операции Link, — это у, и это увеличение не превышает а (п).
Согласно лемме 21.9, потенциал любого узла, являющегося дочерним узлом у перед выполнением операции Link, не может увеличиться в результате выполнения этой операции.
По определению фд (ж) мы видим, что поскольку х перед g-й операцией был корнем, фд-i (ж) = а (п) • rank [ж]. Если rank [ж] = 0, то фд (ж) = фд-i (ж) = = 0. В противном случае, в соответствии с неравенствами (21.1) и (21.2),
фд (ж) = (а (п) — level (ж)) • rank [ж] — iter (ж) < а (п) • rank [ж].
Поскольку фд-1 (х) = а (тг) • rank [ж], мы видим, что потенциал х уменьшается.
Так как у непосредственно перед выполнением операции Link был корнем, фд-i (у) = а (п) • rank [у]. Операция Link оставляет у корнем и либо оставляет ранг у неизменным, либо увеличивает его на 1. Таким образом, либо Фд (у) = Фд-1 (у). либ° Фд (у) = Фд-1 (у) + “ (nY
Итак, увеличение потенциала вследствие операции Link не превышает а (п), и амортизированная стоимость операции Link равна О (1) + а (п) = О (а (п)). ।
Лемма 21.12. Амортизированная стоимость каждой операции Find_Set равна 0(а(п)).
Доказательство. Предположим, что у-й операцией является FlND_SET и что путь поиска содержит s узлов. Фактическая стоимость операции Find_Set составляет О (s). Покажем, что отсутствуют узлы, потенциал которых возрастает вследствие операции Find_Set, и что как минимум у max (0, s — (а(п) + 2)) узлов на пути поиска потенциал уменьшается по меньшей мере на 1.
Чтобы увидеть отсутствие узлов с возрастающим потенциалом, обратимся к лемме 21.9 для узлов, не являющихся корнем. Если же узел ж — корень, то его потенциал равен а (п) • rank [ж] и остается неизменным.
Теперь мы покажем, что как минимум у max(0, s — (a(n) + 2)) узлов потенциал уменьшается по меньшей мере на 1. Пусть ж — узел на пути поиска, такой что rank [ж] > 0, и за ж на пути поиска следует другой узел у, не являющийся корнем, где непосредственно перед выполнением операции Find_Set level (у) = level (ж) (узел у не обязательно следует непосредственно за ж). Этим ограничениям на ж удовлетворяют все узлы на пути поиска, кроме а (п) + 2 узлов. Приведенным условиям не удовлетворяет первый узел на пути поиска (если он имеет нулевой ранг), последний узел пути (т.е. корень), а также а (п) узлов w, которые для данного к, где к = 0,1,..., а (п) — 1, являются последними узлами на пути, удовлетворяющими условию level (w) = к.
Зафиксировав такой узел ж, покажем, что потенциал ж уменьшается как минимум на 1. Пусть к = level (ж) = level (у). Непосредственно перед сжатием пути в процедуре Find_Set мы имеем:
rank [р [ж]]
? А^®1^ (rank [ж])
по определению iter (ж),
rank [р [у]] 5
5 Ак (rank [у])
по определению level (ж),
rank [у] )
г rank [р [ж]]
согласно следствию 21.5, поскольку у следует за х.
Объединяя приведенные неравенства и обозначая через г значение iter (ж) перед сжатием пути, получаем:
rank [р [у]] > Ак (rank [у]) > Ак (rank [р [ж]]) > Ак (aJ^®1^1^ (rank [ж])) = А^+1^ (rank [ж]),
где второе неравенство следует из того, что Ак (j) — строго возрастающая функция.
Поскольку после сжатия пути и ж, и у имеют один и тот же родительский узел, мы знаем, что после сжатия пути rank [р[ж]] = rank [р[у]] и что сжатие пути не уменьшает rank [р[у]]. Поскольку rank [ж] не изменяется, после сжатия пути rank [р[ж]] ^ А^+1^ (rank [ж]). Таким образом, сжатие пути приводит к тому, что либо увеличивается iter (ж) (как минимум до г + 1), либо увеличивается level (ж) (как минимум до rank [ж] + 1). В любом случае, в соответствии с леммой 21.9, фд (ж) ^ фд-у (ж) — 1. Следовательно, потенциал ж уменьшается как минимум на 1.
Амортизированная стоимость операции Find_Set равна фактической стоимости плюс изменение потенциала. Фактическая стоимость равна О (s), и мы показали, что общий потенциал уменьшается как минимум на шах (0, s — (а (п) + 2)). Амортизированная стоимость, таким образом, не превышает О (s) — (s — (а(п) + + 2)) = О (s) — s + О (а (п)) = О (а (п)), так как мы можем масштабировать потенциал таким образом, чтобы можно было пренебречь константой, скрытой в О (s).■
Теперь, после того как мы доказали все приведенные выше леммы, мы можем перейти к следующей теореме.
Теорема 21.13. Последовательность из т операций MAKE_SET, UNION и FlND_ Set, п из которых — операции Make_Set, может быть выполнена над лесом непересекающихся множеств с использованием объединения по рангу и сжатия пути за время О (та (п)) в наихудшем случае.
Доказательство. Непосредственно следует из лемм 21.7, 21.10, 21.11 и 21.12. ■
Упражнения
1. Докажите лемму 21.4.
2. Докажите, что ранг произвольного узла не превышает [1gnJ.
3. С учетом решения упражнения 21.4-2, сколько битов требуется для хранения поля rank [ж] узла ж?
4. Используя решение упражнения 21.4-2, приведите простое доказательство того факта, что операции над лесом непересекающихся множеств с использованием объединения по рангу, но без сжатия пути, выполняются за время О (т lg п).
5. Профессор полагает, что поскольку ранг узла строго возрастает вдоль пути к корню, уровни узлов должны монотонно возрастать вдоль этого пути. Другими словами, если rank [ж] > 0 и р [ж] — не корень, то level (ж) ^ level (р [ж]). Прав ли профессор?
21.4-6. Рассмотрим функцию a' (n) = min ^k : Ak (1) ^ lg (n + 1)}. Покажите, что для всех практических применений а' (п) < 3. Покажите также, воспользовавшись решением упражнения 21.4-2, каким образом следует модифицировать аргумент потенциальной функции для доказательства того, что последовательность из т операций Make_Set, Union и Find_Set, п из которых — операции Make_Set, может быть выполнена над лесом непересекающихся множеств с использованием объединения по рангу и сжатия пути за время О (та' (п^ в наихудшем случае.
Задачи
21-1. Минимум в автономном режиме
Задача поиска минимума в автономном режиме (off-line minimum problem) состоит в следующем. Пусть имеется динамическое множество Т с элементами из области определения {1,2, . ..,п}, поддерживающее операции INSERT и Extract_Min. Задана последовательность S из п
вызовов Insert и т вызовов Extract_Min, в которой каждый ключ из {1,2,... ,п} вставляется ровно один раз. Мы хотим определить, какой ключ возвращается каждым вызовом EXTRACT_MlN, т.е. мы хотим заполнить массив extracted. [l..m], где extracted [г] (г = 1,2,..., т) представляет собой ключ, возвращаемый г-м вызовом Extract_Min. Задача “автономна” в том смысле, что перед тем как приступить к вычислениям, ей известна вся последовательность S полностью.
а) В следующей последовательности каждый вызов Insert представлен вставляемым числом, а каждый вызов EXTRACT_MlN представлен буквой Е: 4, 8, Е, 3, Е, 9, 2, 6, Е, Е, Е, 1, 7, Е, 5. Заполните массив extracted.
Для разработки алгоритма для решения этой задачи разобьем последовательность S на гомогенные подпоследовательности, т.е. представим S в таком виде:
71, 75, 7*2,15,13,.. . , 7^, 15, 1,^+1
где каждая буква Е представляет один вызов Extract_Min, a Ij — последовательность (возможно, пустую) вызовов INSERT. Для каждой подпоследовательности Ij мы сначала помещаем ключи, вставленные данными операциями, в множество Kj (которое является пустым, если подпоследовательность Ij пуста). Затем сделаем следующее:
OFF_LlNE_MlNlMUM(m, п)
for г <— 1 to п
do Определяем j, такое что г € Kj
if j / т + 1
then extracted^ <— г
Пусть I — наименьшее значение, большее j
для которого существует множество Ki
Ki <— Kj U Кь уничтожаем Kj
return extracted
Покажите корректность массива extracted, возвращаемого процедурой Off_Line_Minimum.
Опишите, как эффективно реализовать процедуру Off_Line_ Minimum с использованием структур данных для непересекающих- ся множеств. Дайте точную оценку времени работы вашей реализации в наихудшем случае.
21-2. Определение глубины
В задаче по определению глубины (depth-determination problem) мы работаем с лесом Т = {7}} корневых деревьев, в котором поддерживаются следующие три операции.
Make_Tree(v) создает дерево, состоящее из единственного узла v.
Find_Depth(v) возвращает глубину узла v в его дереве.
GRAFT(r, и) (“прививка”) делает узел г, являющийся корнем, дочерним по отношению к узлу и, который находится в дереве, корень которого отличен от г, но при этом не обязательно должен сам быть корнем.
Предположим, что мы используем представление дерева такое же, как и в случае непересекающихся множеств: р [v] является родительским узлом v, и если -и — корень, то р [v] = и. Реализуем процедуру GRAFT(r, v) путем присвоения р [г] <— v, a Find_Depth(v) — как поиск пути к корню с подсчетом всех узлов (кроме и), встречающихся на этом пути. Покажите, что время работы последовательности из m процедур Make_Tree, Find_Depth и Graft в худшем случае равно в (т2).
Используя объединение по рангу и сжатие пути, мы можем снизить время работы в наихудшем случае. Воспользуемся лесом непересекающихся множеств S = {St}, где каждое множество Si (представляющее собой дерево) соответствует дереву 7} в лесу Т. Структура дерева в S, не обязательно соответствует структуре дерева Т. Однако хотя реализация St не хранит точные отношения родитель-потомок, но тем не менее она позволяет нам определить глубину любого узла в Tv
Ключевая идея состоит в хранении в каждом узле v “псевдодистанции” d [v], которая определена таким образом, что сумма псевдодистанций вдоль пути от и к корню его множества S, равна глубине v в Г,; т.е. если путь от и к корню Si представляет собой последовательность vq, «1,..., Vk, где «о = Vk и vk — корень S,, то глубина v в Ti равна
Приведите реализацию процедуры Make_Tree.
Покажите, как следует изменить процедуру Find_Set для реализации процедуры Find_Depth. Ваша реализация должна осуществлять сжатие пути, а время ее работы линейно зависеть от длины пути. Убедитесь в корректности обновления псевдодистанций вашей процедурой.
Покажите, как можно реализовать процедуру GRAFT(r, v), которая объединяет множества, содержащие г и и, модифицируя процедуры Union и Link. Убедитесь в корректности обновления псевдодистанций вашей процедурой. Не забывайте, что корень множества St не обязательно должен быть корнем соответствующего дерева 7^.
Дайте точную оценку времени работы в наихудшем случае последовательности из т операций Make_Tree, Find_Depth и Graft, ?i из которых — операции Make_Tree.
21-3. Алгоритм Таржана для автономного поиска наименьшего общего предка
Наименьший общий предок (least common ancestor) двух узлов и и и в корневом дереве Т представляет собой узел w, который среди узлов, являющихся предками как и, так и v, имеет наибольшую глубину. В задаче автономного поиска наименьшего общего предка (off-line leastcommon-ancestor problem) дано корневое дерево Т и произвольное множество Р = {{^, ^}} неупорядоченных пар узлов в Т. Для каждой пары узлов из Р требуется найти их наименьшего общего предка.
Для решения задачи автономного поиска наименьшего общего предка осуществляется обход дерева Т путем вызова приведенной ниже процедуры LCA( root [Т]). Предполагается, что перед вызовом процедуры все узлы помечены как white (белые):
LCA(rz)
Make_Set(u)
ancestor[FlND_SET(?z)] *— и
for (для) каждого v, дочернего по отношению к г/
do LCA(v)
UNION(tt, v)
ancestor[FlND_SET(?z)] и
CoZorfu] <— BLACK
for (для) каждого v, такого что {tz, v} 6 P
do if color [v] = BLACK
then print “Наименьшим общим предком”
tz “ и ” v “ является ” ancestor[FlND_SET(v)]
Покажите, что строка 10 выполняется в точности по одному разу для каждой пары {tz, v} Е Р.
Покажите, что при вызове LCA(rz) количество множеств в структуре данных для непересекающихся множеств равно глубине и в Т.
Докажите, что процедура LCA правильно выводит наименьших общих предков для каждой пары ^гц у} Е Р.
Проанализируйте время работы процедуры LCA в предположении, что используется реализация непересекающихся множеств из раздела 21.3.
Заключительные замечания
Многие важные результаты о структурах данных для непересекающихся множеств в той или иной степени принадлежат Таржану (Tarjan). В частности, именно им [290, 292] установлена точная верхняя граница с применением очень медленно растущей инверсии а(т3п) функции Аккермана (Ackermann). (Функция Ak(j\ используемая в разделе 21.4, подобна функции Аккермана, а функция а (п) — ее инверсии. Для всех мыслимых значений тип как а (п), так и S (т, п) не превышают 4.) Верхняя граница О (m 1g* п) была доказана несколько ранее Хопкрофтом (Hopcroft) и Ульманом (Ullman) [5, 155]. Материал раздела 21.4 основан на более позднем анализе Таржана [294], который, в свою очередь, опирается на анализ Козена (Kozen) [193]. Харфст (Harfst) и Рейнгольд (Reingold) [139] разработали версию доказательства полученных Таржаном оценок при помощи потенциалов.
Таржан и ван Леувен (van Leeuwen) [295] рассмотрели разные варианты эвристики со сжатием пути, включая однопроходные варианты, которые эффективнее двухпроходных в силу меньшего постоянного множителя. Позже Харфст и Рейнгольд [139] показали, какие (небольшие) изменения следует внести в потенциальную функцию для адаптации их анализа сжатия пути к однопроходному варианту Таржана. Габов (Gabow) и Таржан [103] показали, что в некоторых приложениях операции над непересекающимися множествами могут выполняться за время О (т).
Таржан [291] показал, что для операций над произвольными структурами данных для непересекающихся множеств, удовлетворяющими определенным техническим условиям, нижняя граница времени работы равна Q(m2(m, п)). Позже эта нижняя граница была обобщена Фредманом (Fredman) и Саксом (Saks) [97], которые показали, что в наихудшем случае эти операции требуют обращения к Q (т а (т, п)) словам памяти длиной 1g п битов.
ЧАСТЬ VI
Алгоритмы для работы с графами
Введение
Графы представляют собой распространенные структуры в информатике, и алгоритмы для работы с графами очень важны. Имеются сотни интересных вычислительных задач, сформулированных с использованием графов. В этой части мы коснемся только некоторых наиболее важных из них.
В главе 22 рассматриваются вопросы представления графов в компьютере и обсуждаются алгоритмы, основанные на обходе графа в ширину и в глубину. Приведены два применения обхода в глубину — топологическая сортировка ориентированного ациклического графа и разложение ориентированного графа на сильно связные компоненты.
В главе 23 описывается вычисление остовного дерева минимального веса. Такое дерево представляет собой набор ребер, связывающий все вершины графа с наименьшим возможным весом (каждое ребро обладает некоторым весом). Эта задача решается при помощи жадного алгоритма (см. главу 16).
В главах 24 и 25 рассматривается задача вычисления кратчайшего пути между вершинами, когда каждому ребру присвоена некоторая длина или вес. Глава 24 посвящена вычислению кратчайшего пути из одной вершины во все остальные, а в главе 25 рассматривается поиск кратчайших путей для всех пар вершин.
И наконец, в главе 26 рассматривается задача о максимальном потоке материала в сети (ориентированном графе) с определенным источником вещества, стоком и пропускной способностью каждого ребра. К этой общей задаче сводятся многие другие, так что хороший алгоритм ее решения может использоваться во многих приложениях.
При описании времени работы алгоритма над данным графом G = (V, Е) мы обычно определяем размер входного графа в терминах количества его вершин | V| и количества ребер \Е\ графа, т.е. размер входных данных описывается двумя, а не одним параметром. Для удобства и краткости в асимптотических обозначениях (таких, как О и ©-обозначения), и только в них, символ V будет означать |V|, а символ Е — |Е|, т.е. когда мы будем говорить “время работы алгоритма равно О (V Е)”, то это означает “время работы алгоритма равно О (| V | |Е|)”. Такое соглашение позволяет сделать формулы для времени работы более удобочитаемыми без риска неоднозначности.
Еще одно соглашение принято для псевдокода. Мы обозначаем множество вершин графа G как V [G], а множество ребер — как Е [G], т.е. в псевдокоде множества вершин и ребер рассматриваются как атрибуты графа.
ГЛАВА 22
Элементарные алгоритмы дляработы с графами
В этой главе рассматриваются методы представления графов, а также обход графа. Под обходом графа понимается систематическое перемещение по ребрам графа, при котором посещаются все его вершины. Алгоритм обхода графа может многое сказать о его структуре, поэтому многие другие алгоритмы начинают свою работу с получения информации о структуре путем обхода графа. Многие алгоритмы для работы с графами организованы как простое усовершенствование базовых алгоритмов обхода графа.
В разделе 22.1 рассматриваются два наиболее распространенных способа представления графов — списки смежных вершин и матрица смежности. В разделе 22.2 представлен простой алгоритм обхода графа, который называется поиском в ширину, и соответствующее этому алгоритму дерево. В разделе 22.3 представлен алгоритм поиска в глубину и доказываются некоторые свойства этого вида обхода графа. В разделе 22.4 вы познакомитесь с первым реальным применением поиска в глубину — топологической сортировкой ориентированного ациклического графа. Еще одно применение поиска в глубину — поиск сильно связных компонентов графа — приводится в разделе 22.5.
Представление графов
Имеется два стандартных способа представления графа G = (V^E): как набора списков смежных вершин или как матрицы смежности. Оба способа представления применимы как для ориентированных, так и для неориентированных
1234
I4Iн01
10111
0101О
011О1
J 2 J 1 О в)
Ряс» 22 Л. Двл в ревя явления неориенти'рованного графа.
а)а)1L3456
а)
а)
0 1 0 *1 "о "о
ОООО1О
000011
01ОООО
0 0 0 10 0
00и001
в)
Рис. 22.2. Два представления ориентированного графа
графов. Обычно более предпочтительно представление с помощью списков смежности, поскольку оно обеспечивает компактное представление разреженных (sparse) графов, т.е. таких, для которых |S| гораздо меньше |У|2. Большинство алгоритмов, представленных в данной книге, предполагают, что входной граф представлен именно в виде списка смежности. Представление при помощи матрицы смежности предпочтительнее в случае плотных (dense) графов, т.е. когда значение |Е| близко к |У|2, или когда нам надо иметь возможность быстро определить, имеется ли ребро, соединяющие две данные вершины. Например, два алгоритма поиска кратчайшего пути для всех пар вершин, представленные в главе 25, используют представление графов именно в виде матриц смежности.
Представление графа G = (V, 5) в виде списка смежности (adjacency-list representation) использует массив Adj из |Vj списков, по одному для каждой вершины из V. Для каждой вершины и € V список Adj [и] содержит все вершины v, такие что (u, и) € Е, т.е. Adj [и] состоит из всех вершин, смежных сив графе G (список может содержать и не сами вершины, а указатели на них). Вершины в каждом списке обычно хранятся в произвольном порядке. На рис. 22.16 показано такое представление графа, изображенного на рис. 22.1а (на рис. 22.1в представлена его матрица смежности). Аналогично, на рис. 22.26 и рис. 22.2в показаны список и матрица смежности ориентированного графа, изображенного на рис. 22.2а.
Если G — ориентированный граф, то сумма длин всех списков смежности равна |S|, поскольку ребру (и, и) однозначно соответствует элемент и в списке Adj [и]. Если G — неориентированный граф, то сумма длин всех списков смежности равна 2 |S|, поскольку ребро (u, и), будучи неориентированным, появляется в списке Adj [v] как и, и в списке Adj [и] — как и. Как для ориентированных, так и для неориентированных графов представление в виде списков требует объем памяти, равный 0 (У + EY
Списки смежности легко адаптируются для представления взвешенных графов (weighted graph), т.е. графов, с каждым ребром которых связан определенный вес (weight), обычно определяемый весовой функцией (weight function) w : Е —» R. Например, пусть G = (V^E) — взвешенный граф с весовой функцией -ш. Вес w (u, и) ребра (и, и) 6 Е просто хранится вместе с вершиной v в списке смежности и. Представление с помощью списков смежности достаточно гибко в том смысле, что легко адаптируется для поддержки многих других вариантов графов.
Потенциальный недостаток представления при помощи списков смежности заключается в том, что при этом нет более быстрого способа определить, имеется ли данное ребро (u, и) в графе, чем поиск v в списке Adj [и]. Этот недостаток можно устранить ценой использования асимптотически большего количества памяти и представления графа с помощью матрицы смежности (в упражнении 22.1-8 предлагается вариант списков смежности, позволяющий ускорить поиск ребер).
Представление графа G = (У, Е) с помощью матрицы смежности (adjacency-matrix representation) предполагает, что вершины перенумерованы в некотором порядке числами 1,2,...,|У|. В таком случае представление графа G с использованием матрицы смежности представляет собой матрицу А = (ау) размером |У| х |У|, такую что
если (г, j) 6 Е, aij= л
О в противном случае.
На рис. 22.1в и 22.2б показаны представления с использованием матрицы смежности неориентированного и ориентированного графов, показанных на рис. 22.1а и 22.2а соответственно. Матрица смежности графа требует объем памяти, равный 0 (У2), независимо от количества ребер графа.
Обратите внимание на симметричность матрицы смежности на рис. 22.1 в относительно главной диагонали. Определим транспонированную (transpose) матрицу А = (ау) как матрицу Ат = (ау)’ У которой «^ = aji- Поскольку граф неориентирован, (u, и) и (v, и) представляют одно и то же ребро, так что матрица смежности неориентированного графа совпадает с транспонированной матрицей смежности, т.е. А = Лт. В ряде приложений это свойство позволяет хранить только элементы матрицы, находящиеся на главной диагонали и выше нее, что позволяет почти в два раза сократить необходимое количество памяти.
Так же, как и представление со списками смежности, представление с матрицами смежности можно использовать для взвешенных графов. Например, если G = (V, Е) — взвешенный граф с весовой функцией w, то вес w (и, v) ребра (iz, v) е Е хранится в записи в строке и и столбце v матрицы смежности. Если ребро не существует, то в соответствующем элементе матрицы хранится значение NIL, хотя для многих приложений удобнее использовать некоторое значение, такое как 0 или оо.
Хотя список смежности асимптотически, как минимум, столь же эффективен в плане требуемой памяти, как и матрица смежности, простота последней делает ее предпочтительной при работе с небольшими графами. Кроме того, в случае невзвешенных графов для представления одного ребра достаточно одного бита, что позволяет существенно сэкономить необходимую для представления память.
Упражнения
1. Имеется представление ориентированного графа с использованием списков смежности. Как долго будут вычисляться исходящие степени всех вершин графа? А входящие степени?
2. Имеется представление с использованием списков смежности полного бинарного дерева с 7 вершинами. Приведите его представление с использованием матрицы смежности (считаем, что вершины пронумерованы от 1 до 7, как в бинарной пирамиде).
3. При транспонировании (transpose) графа G = (У, Е) мы получаем граф GT = (V,ETy где Ет = {(о, и) € V х V : (и, v) Е Е^, т.е. граф GT представляет собой граф G с обратным направлением ребер. Опишите эффективный алгоритм транспонирования графа, как для представления с использованием списков смежности, так и для матриц смежности. Проанализируйте время работы ваших алгоритмов.
4. Имеется представление мультиграфа G = (У, Е) с использованием списков смежности. Опишите алгоритм со временем работы О (V + Е) для вычисления представления со списками смежности “эквивалентного” неориентированного графа G' = (У, Е'), где Е* состоит из ребер из Е, где кратные ребра заменены обычными и удалены ребра-циклы.
5. Квадратом (square) ориентированного графа G = (У, Е) является граф G2 = (У, Е2), такой что (u, го) Е Е2 тогда и только тогда, когда для некоторой вершины v Е У и (и, и) Е Е, и (и, го) Е Е (т.е. G2 содержит ребро между и и го, если в G между и и го имеется путь, состоящий из двух ребер). Опишите эффективный алгоритм вычисления квадрата графа как для представления с использованием списков смежности, так и для матриц смежности. Проанализируйте время работы ваших алгоритмов.
6. При использовании матриц смежности большинство алгоритмов для работы с графами требуют времени Q (V2), но имеются и некоторые исключения. Покажите, что определение того, содержит ли граф G всеобщий сток (universal sink), т.е. вершину со входящей степенью, равной | V| — 1, и с исходящей степенью 0, возможно выполнить за время О (V), если использовать представление графа при помощи матрицы смежности.
7. Матрицей инциденций (incidence matrix) ориентированного графа G = = (V, Е) является матрица В = (bij) размером |У| х |Е|, такая что
{
—1 если ребро j выходит из вершины г,
1 если ребро j входит в вершину г,
О в противном случае.
Поясните, что представляют собой элементы матрицы В ВТ, где ВТ — транспонированная матрица В.
-8. Предположим, что вместо связанного списка каждый элемент массива Adj [и] представляет собой хеш-таблицу, содержащую вершины и, для которых (и, и) е Е. Чему равно математическое ожидание времени определения наличия ребра в графе, если проверка всех ребер выполняется с одинаковой вероятностью. Какие недостатки имеет данная схема? Предложите другие структуры данных для списков ребер, которые позволяют решать поставленную задачу. Имеет ли ваша схема преимущества или недостатки по сравнению с хеш-таблицами?
Поиск в ширину
Поиск в ширину (breadth-first search) представляет собой один из простейших алгоритмов для обхода графа и является основой для многих важных алгоритмов для работы с графами. Например, алгоритм Прима (Prim) поиска минимального остовного дерева (раздел 23.2) или алгоритм Дейкстры (Dijkstra) поиска кратчайшего пути из одной вершины (раздел 24.3) используют идеи, сходные с идеями, используемыми при поиске в ширину.
Пусть задан граф G = (V, Е) и выделена исходная (source) вершина s. Алгоритм поиска в ширину систематически обходит все ребра G для “открытия” всех вершин, достижимых из s, вычисляя при этом расстояние (минимальное количество ребер) от з до каждой достижимой из з вершины. Кроме того, в процессе обхода строится “дерево поиска в ширину” с корнем s, содержащее все достижимые вершины. Для каждой достижимой из з вершины и путь в дереве поиска в ширину соответствует кратчайшему (т.е. содержащему наименьшее количество
ребер) пути от s до и в G. Алгоритм работает как для ориентированных, так и для неориентированных графов.
Поиск в ширину имеет такое название потому, что в процессе обхода мы идем вширь, т.е. перед тем как приступить к поиску вершин на расстоянии к +1, выполняется обход всех вершин на расстоянии к.
Для отслеживания работы алгоритма поиск в ширину раскрашивает вершины графа в белый, серый и черный цвета. Изначально все вершины белые, и позже они могут стать серыми, а затем черными. Когда вершина открывается (discovered) в процессе поиска, она окрашивается. Таким образом, серые и черные вершины - это вершины, которые уже были открыты, но алгоритм поиска в ширину по- разному работает с ними, чтобы обеспечить объявленный порядок обхода. Если (u, v) G Е и вершина и черного цвета, то вершина и либо серая, либо черная, т.е. все вершины, смежные с черной, уже открыты. Серые вершины могут иметь белых соседей, представляя собой границу между открытыми и неоткрытыми вершинами.
Поиск в ширину строит дерево поиска в ширину, которое изначально состоит из одного корня, которым является исходная вершина s. Если в процессе сканирования списка смежности уже открытой вершины и открывается белая вершина v, то вершина и и ребро (гц v) добавляются в дерево. Мы говорим, что и является предшественником (predecessor), или родителем (parent), и в дереве поиска вширь. Поскольку вершина может быть открыта не более одного раза, она имеет не более одного родителя. Взаимоотношения предков и потомков определяются в дереве поиска в ширину как обычно — если и находится на пути от корня s к вершине v, то и является предком v, a v — потомком и.
Приведенная ниже процедура поиска в ширину BFS предполагает, что входной граф G = У Е) представлен при помощи списков смежности. Кроме того, поддерживаются дополнительные структуры данных в каждой вершине графа. Цвет каждой вершины и 6 У хранится в переменной color [и], а предшественник — в переменной тг [и]. Если предшественника у и нет (например, если и = s или и не открыта), то тг [и] = nil. Расстояние от s до вершины и, вычисляемое алгоритмом, хранится в поле d[u]. Алгоритм использует очередь Q (см. раздел 10.1) для работы с множеством серых вершин:
BFS(G, s)
for (для) каждой вершины u G V[G] — s
do coZor[u] «- WHITE
d[u] <— oo
тг[и] *— NIL
co/or[s] <— GRAY
d[s] ♦— 0
7r[s]NIL
Рис. 22.3. Выполнение процедуры BFS над неориентированным графомРис. 22.3. Выполнение процедуры BFS над неориентированным графом8910111213141516171889101112131415161718Q^-0
Рис. 22.3. Выполнение процедуры BFS над неориентированным графом
Рис. 22.3. Выполнение процедуры BFS над неориентированным графом
8
9
10
11
12
13
14
15
16
17
18
8
9
10
11
12
13
14
15
16
17
18
Enqueue(Q, s)
while Q / 0
do и *- Dequeue(Q)
for (для) каждой v e Лф[и] do if co/or[v] = white
then coZor[v] «— GRAY d[v] *— d[u] + 1 ?r[v] и Enqueue(Q.v)
coZor[u] <— BLACK
На рис. 22.3 проиллюстрирована работа процедуры BFS. Внутри каждой вершины графа и приведено значение d[u], а состояние очереди Q показано на
момент начала каждой итерации цикла while в строках 10-18. Рядом с элементами очереди показаны расстояния до корня.
Процедура BFS работает следующим образом. В строках 1-4 все вершины, за исключением исходной вершины s, окрашиваются в белый цвет, для каждой вершины и полю d [и] присваивается значение оо, а в качестве родителя для каждой вершины устанавливается NIL. В строке 5 исходная вершина з окрашивается в серый цвет, поскольку она рассматривается как открытая в начале процедуры. В строке 6 ее полю d[s] присваивается значение 0, а в строке 7 ее родителем становится nil. В строках 8-9 создается пустая очередь Q, в которую помещается один элемент з.
Цикл while в строках 10-18 выполняется до тех пор, пока остаются серые вершины (т.е. открытые, но списки смежности которых еще не просмотрены). Инвариант данного цикла выглядит следующим образом:
При выполнении проверки в строке 10 очередь Q состоит из множества серых вершин.
Хотя мы не намерены использовать этот инвариант для* доказательства корректности алгоритма, легко увидеть, что он выполняется перед первой итерацией и что каждая итерация цикла сохраняет инвариант. Перед первой итерацией единственной серой вершиной и единственной вершиной в очереди Q, является исходная вершина з. В строке 11 определяется серая вершина и в голове очереди Q, которая затем удаляется из очереди. Цикл for в строках 12-17 просматривает все вершины v в списке смежности и. Если вершина v белая, значит, она еще не открыта, и алгоритм открывает ее, выполняя строки 14-17. Вершине назначается серый цвет, дистанция d [v] устанавливается равной d [u] + 1, а в качестве ее родителя указывается вершина и. После этого вершина помещается в хвост очереди Q. После того как все вершины из списка смежности и просмотрены, вершине и присваивается черный цвет. Инвариант цикла сохраняется, так как все вершины, которые окрашиваются в серый цвет (строка 14), вносятся в очередь (строка 17), а вершина, которая удаляется из очереди (строка 11), окрашивается в черный цвет (строка 18).
Результат поиска в ширину может зависеть от порядка просмотра вершин, смежных с данной вершиной, в строке 12. Дерево поиска в ширину может варьироваться, но расстояния d, вычисленные алгоритмом, не зависят от порядка просмотра (см. упражнение 22.2-4).
Анализ
Перед тем как рассматривать различные свойства поиска в ширину, начнем с самого простого — оценки времени работы алгоритма для входного графа G = = (V, S). Мы воспользуемся групповым анализом, описанным в разделе 17.1.
После инициализации ни одна вершина не окрашивается в белый цвет, поэтому проверка в строке 13 гарантирует, что каждая вершина вносится в очередь не более одного раза, а следовательно, и удаляется из очереди она не более одного раза. Операции внесения в очередь и удаления из нее требуют 0(1) времени, так что общее время операций с очередью составляет О (V). Поскольку каждый список смежности сканируется только при удалении соответствующей вершины из очереди, каждый список сканируется не более одного раза. Так как сумма длин всех списков смежности равна 0 (Е), общее время, необходимое для сканирования списков, равно О(Е\ Накладные расходы на инициализацию равны 0(V\ так что общее время работы процедуры BFS составляет О (V + Е). Таким образом, время поиска в ширину линейно зависит от размера представления графа G с использованием списков смежности.
Кратчайшие пути
В начале этого раздела мы говорили о том, что поиск в ширину находит расстояния до каждой достижимой вершины в графе G = (УЕ) от исходной вершины з 6 V. Определим длину кратчайшего пути (shortest-path distance) 5 (s, v) от s до v как минимальное количество ребер на каком-либо пути от s к и. Если пути от s к v не существует, то 5 (s, v) = оо. Путь длиной 5 (s, v) от з к v называется кратчайшим путемх (shortest path) от s к v. Перед тем как показать, что поиск в ширину вычисляет длины кратчайших путей, рассмотрим важное свойство длин кратчайших путей.
Лемма 22.1. Пусть G = У^Е) — ориентированный или неориентированный граф, а з е V — произвольная вершина. Тогда для любого ребра (u, и) 6 £ справедливо соотношение 5 (s, и) ^ 5 (s, и) + 1.
Доказательство. Если вершина и достижима из s, то достижима и вершина и. В этом случае кратчайший путь из s в v не может быть длиннее, чем кратчайший путь из s в и, за которым следует ребро УУ, так что указанное неравенство выполняется. Если же вершина iz недостижима из вершины s, то 5 (з, и) = оо и неравенство выполняется и в этом случае. □
Мы хотим показать, что процедура BFS корректно вычисляет d [v] = 5 (s, v) для каждой вершины и 6 V. Сначала покажем, что d [v] ограничивает 5 (s, v) сверху.
!В главах 24 и 25 мы обобщим понятие кратчайшего пути для взвешенных графов, в которых каждое ребро имеет вес, выраженный действительным числом, а вес пути равен весу составляющих его ребер. Графы, рассматриваемые в данной главе, являются невзвешенными (или, что то же самое, все ребра имеют единичный вес).
Лемма 22.2. Пусть G = (V, Е) — ориентированный или неориентированный граф, и пусть процедура BFS выполняется над ним с исходной вершиной s Е € V. Тогда по завершении процедуры для каждой вершины v Е V значение d [v], вычисленное процедурой BFS, удовлетворяет неравенству d [и] ^ 8 (s, и).
Доказательство. Используем индукцию по количеству операций Enqueue. Наша гипотеза индукции заключается в том, что для всех vEV выполняется условие d [и] 8 (s, и).
Базисом индукции является ситуация непосредственно после внесения з в очередь в строке 9 процедуры BFS. В этой ситуации гипотеза индукции справедлива, поскольку d [s] = 0 = 8 (s, s), а для всех v Е V — {s} d [v] = оо ^ 8 (s, и).
На каждом шаге индукции рассмотрим белую вершину и, которая открывается в процессе поиска из вершины и. Согласно гипотезе индукции, d [и] ^ 8 (s, и). На основании присвоения в строке 15 и леммы 22.1, получаем:
d [и] = d [u] + 1 8 (s, и) + 1 б (s, v).
После этого вершина у вносится в очередь. Поскольку она при этом окрашивается в серый цвет, а строки 14-17 выполняются только для белых вершин, рассмотренная вершина и больше в очередь поставлена не будет. Таким образом, ее значение d [и] также больше не изменяется, так что гипотеза индукции выполняется. ■
Для доказательства того что d [v] = 8 (s, и), мы должны сначала более точно разобраться, как работает очередь Q в процедуре BFS. Следующая лемма показывает, что в любой момент времени в очереди находится не более двух различных значений d.
Лемма 22.3. Предположим, что в процессе выполнения процедуры BFS над графом G = (^Е) очередь Q содержит вершины (vi, V2> • • • > ^г)> где «1 — голова очереди Q, а иг — ее хвост. Тогда для всех г = 1,2,..., г — 1 справедливы соотношения d [vr] d [vi] + 1 и d [и,] d [vt+i].
Доказательство. Доказательство использует индукцию по числу операций с очередью. Изначально, когда в очереди содержится только одна вершина з, лемма определенно выполняется.
На каждом шаге индукции мы должны доказать, что лемма выполняется как после помещения вершины в очередь, так и после извлечения ее оттуда. Если из очереди извлекается ее голова vi, новой головой очереди становится вершина «2 (если очередь после извлечения очередной вершины становится пустой, то лемма выполняется исходя из того, что очередь пуста). В соответствии с гипотезой индукции, d [vi] ^ d [иг]- Но тогда мы имеем d [иг] d [vj +1 ^ d [иг] +1, а все остальные неравенства не изменяются. Следовательно, лемма справедлива, когда новой головой очереди становится иг-
Внесем в очередь вершину в строке 17 процедуры BFS. При этом она становится вершиной Vr+b В этот момент времени вершина и, список смежности которой сканируется, уже удалена из очереди, так что, согласно гипотезе индукции, для новой головы очереди yi выполняется неравенство d[vi] ^ d[y], Следовательно, d [yr+i] = d [у] = d [и] + 1 ^ d [vi] + 1. Кроме того, согласно гипотезе индукции, d [уг] < d [u] + 1, так что d [yr] ^ d [y] + 1 = d [y] = d [yr+i], а остальные неравенства остаются неизменными. Следовательно, лемма выполняется при внесении в очередь новой вершины. ■
Приведенное ниже следствие показывает, что значения d вносимых в очередь вершин монотонно возрастают.
Следствие 22.4. Предположим, что вершины у» и Vj вносятся в очередь в процессе работы процедуры BFS и что у, вносится в очередь до Vj. Тогда в момент внесения в очередь вершины vj выполняется неравенство d[yi] ^ d[vj].
Доказательство. Доказательство вытекает непосредственно из леммы 22.3 и того факта, что каждая вершина получает конечное значение d в процессе выполнения процедуры BFS не более одного раза. ■
Теперь мы можем доказать, что методом поиска в ширину корректно определяются длины кратчайших путей.
Теорема 22.5 (Корректность поиска в ширину). Пусть G = (V, Е) — ориентированный или неориентированный граф, и пусть процедура BFS выполняется над графом G с определенной исходной вершиной з. Тогда в процессе работы BFS открывает все вершины о eV, достижимые из s, и по окончании работы для всех v е V d [у] = 8 (s, у). Кроме того, для всех достижимых из s вершин и ^ s, один из кратчайших путей от s к -и — это путь от з к тг [у], за которым следует ребро (тг[у] , у).
Доказательство. Предположим, с целью использовать доказательство от обратного, что у некоторой вершины значение d не равно длине кратчайшего пути. Пусть и — вершина с минимальной длиной 8 (з, и) среди вершин, у которых оказывается неверным вычисленное значение d. Очевидно, что v / з. Согласно лемме 22.2, d [и] ^ 8 (s, у), так что, в силу нашего исходного предположения, d[y] > 8 (з, у). Вершина у должна быть достижима из з, потому что если это не так, то 8(s,v) = оо > d[y). Пусть и — вершина, непосредственно предшествующая у на кратчайшем пути от з к у, так что 8 (з, у) = 5 (s, у) + 1. Так как 8 (з, у) < 8 (з, и) и в силу нашего выбора вершины, v d [у] = 8 (з, и). Объединяя полученные результаты, имеем:
d [и] > 5(s, у) = 8 (s, у) + 1 = d[y] + 1. (22.1)
Теперь рассмотрим момент, когда процедура BFS удаляет узел и из очереди Q в строке 11. В этот момент вершина и может быть белой, серой или черной. Мы покажем, что для каждого из этих случаев мы получим противоречие с неравенством (22.1). Если и белая, то в строке 15 выполняется присвоение d [v] = d [u] +1, противоречащее (22.1). Если -и — черная, то она уже удалена из очереди и, согласно следствию 22.4, d [и] ^ d [и], что опять-таки противоречит (22.1). Если v — серая, то она была окрашена в этот цвет при удалении из очереди некоторой вершины w, которая была удалена ранее вершины и и для которой выполняется равенство d[v] = d[w] + 1. Однако из следствия 22.4 вытекает, что d[w] ^ d[u], поэтому d [v] ^ d [u] + 1, что тоже противоречит (22.1).
Итак, мы заключили, что d [v] = 5 (s, v) для всех и eV. Процедурой должны быть открыты все достижимые из s вершины, потому что если это не так, то они будут иметь бесконечное значение d. Для завершения доказательства теоремы заметим, что если тг [и] = и, то d [v] = d [и]+1. Следовательно, мы можем получить кратчайший путь из s в и, взяв кратчайший путь из s в тг [и] и затем проходя по ребру (тг [v] ,и). и
Деревья поиска в ширину
Процедура BFS строит в процессе обхода графа дерево поиска в ширину, как показано на рис. 22.3. Дерево представлено при помощи поля тг в каждой вершине. Говоря более формально, для графа G = (У, Е) с исходной вершиной s мы определяем подграф предшествования (predecessor subgraph) графа G как Сц = (У, Е^, где
Уг = {v е V : тг [v] / NIL} U {s}
и
Е, = {(тг [v], и) : и е 14 - {s}}.
Подграф предшествования G^ является деревом поиска в ширину (breadth-first tree), если У состоит из вершин, достижимых из s, и для всех и 6 У в GT имеется единственный простой путь из s в v, такой что он одновременно является кратчайшим путем из s в и в G. Дерево поиска в ширину является деревом, поскольку оно является связным и [S^l = |У | — 1 (см. теорему Б.2). Ребра в Е, называются ребрами дерева (tree edges).
Следующая лемма показывает, что после выполнения процедуры BFS над графом G с исходной вершиной s подграф предшествования представляет собой дерево поиска в ширину.
Лемма 22.6. Будучи примененной к ориентированному или неориентированному графу G = (У, Е), процедура BFS строит тг так, что подграф предшествования GT = (У, Ел) является деревом поиска в ширину.
Доказательство. В строке 16 процедуры BFS присвоение тг [v] = и выполняется тогда и только тогда, когда (и, v) Е Е и 6 (s, v) < оо, т.е. если v достижимо из з. Следовательно, Кг состоит из вершин V, достижимых из з. Поскольку G^ образует дерево, согласно теореме Б.2 оно содержит единственный путь из з в каждую вершину множества V^. Индуктивно применяя теорему 22.5, мы заключаем, что каждый такой путь является кратчайшим.□
Приведенная далее процедура выводит все вершины на пути из $ в и исходя из предположения, что дерево поиска в ширину уже построено процедурой BFS.
Print_Path(G, s, v) 1 if v = s 2then print s
else if tt[v] = NIL
then print “Путь из” s “в” v “отсутствует”
else Print_Path(G, s, tt[v])
print v
Время работы процедуры линейно зависит от количества выводимых вершин, так как каждый рекурсивный вызов процедуры осуществляется для пути, который на одну вершину короче текущего.
Упражнения
-1. Покажите, какие значения d и тг получатся в результате поиска в ширину в ориентированном графе, показанном на рис. 22.2а, если в качестве исходной взять вершину 3.
-2. Покажите, какие значения d и тг получатся в результате поиска в ширину в неориентированном графе, показанном на рис. 22.3, если в качестве исходной взять вершину и.
-3. Чему будет равно время работы процедуры BFS, адаптированной для работы с матричным представлением графа?
-4. Докажите, что при выполнении поиска в ширину значение d [iz], назначаемое вершине и, не зависит от порядка перечисления вершин в списках смежности. Используя рис. 22.3 в качестве примера, покажите, что вид дерева поиска в ширину, вычисленного с помощью процедуры BFS, может зависеть от порядка перечисления вершин в списках смежности.
-5. Приведите пример ориентированного графа G = (V, Е), исходной вершины з Е V и множества ребер дерева Е^ С Е, таких что для каждой вершины vE V единственный путь в графе (V, Е^) от з к v является кратчайшим путем в графе G, но множество ребер Е^ невозможно получить
при помощи процедуры BFS ни при каком порядке вершин в списках смежности.
-6. Предположим, что у нас есть и борцов, между любой парой которых может состояться, (а может и не состояться) поединок, и список т поединков. Разработайте алгоритм, который за время О (п + г) определяет, можно ли разделить всех борцов на две команды так, чтобы в поединках встречались только борцы из разных команд, и если это возможно, то алгоритм должен выполнять такое разделение.
* 22.2-7. Диаметр дерева Т = (V, Е) определяется как
шах 5 (и, v),u^GV
т.е. диаметр — это наибольшая длина кратчайшего пути в дереве. Разработайте эффективный алгоритм вычисления диаметра дерева и проанализируйте время его работы.
-8. Пусть G = (V, Е) — связный неориентированный граф. Разработайте алгоритм для вычисления за время О (V + Е) пути в G, который проходит по каждому ребру из Е по одному разу в каждом направлении. Придумайте способ выйти из лабиринта, если у вас в карманах имеется много монет.
Поиск в глубину
Стратегия поиска в глубину, как следует из ее названия, состоит в том, чтобы идти “вглубь” графа, насколько это возможно. При выполнении поиска в глубину исследуются все ребра, выходящие из вершины, открытой последней, и покидает вершину, только когда не остается неисследованных ребер — при этом происходит возврат в вершину, из которой была открыта вершина v. Этот процесс продолжается до тех пор, пока не будут открыты все вершины, достижимые из исходной. Если при этом остаются неоткрытые вершины, то одна из них выбирается в качестве новой исходной вершины и поиск повторяется уже из нее. Этот процесс повторяется до тех пор, пока не будут открыты все вершины.
Как и в случае поиска в ширину, когда вершина v открывается в процессе сканирования списка смежности уже открытой вершины и, процедура поиска записывает это событие, устанавливая поле предшественника и тг [и] равным и. В отличие от поиска в ширину, где подграф предшествования образует дерево, при поиске в глубину подграф предшествования может состоять из нескольких деревьев, так как поиск может выполняться из нескольких исходных вершин.
Подграф предшествования (predecessor subgraph) поиска в глубину, таким образом, несколько отличается от такового для поиска в ширину. Мы определяем его как граф С, = (У, Е^), где
Е^ = {(тг [и], и) : и € V и тг [и] / NIL} .
Подграф предшествования поиска в глубин образует лес поиска в глубину (depth- first forest), который состоит из нескольких деревьев поиска в глубину (depth-first trees). Ребра в Ец называются ребрами дерева (tree edges).
Как и в процессе выполнения поиска в ширину, вершины графа раскрашиваются в разные цвета, свидетельствующие о их состоянии. Каждая вершина изначально белая, затем при открытии (discover) в процессе поиска она окрашивается в серый цвет, и по завершении (finish), когда ее список смежности полностью сканирован, она становится черной. Такая методика гарантирует, что каждая вершина в конечном счете находится только в одном дереве поиска в глубину, так что деревья не пересекаются.
Помимо построения леса поиска в глубину, поиск в глубину также проставляет в вершинах метки времени (timestamp). Каждая вершина имеет две такие метки — первую d [v], в которой указывается, когда вершина v открывается (и окрашивается в серый цвет), и вторая — / [и], которая фиксирует момент, когда поиск завершает сканирование списка смежности вершины v и она становится черной. Эти метки используются многими алгоритмами и полезны при рассмотрении поведения поиска в глубину.
Приведенная ниже процедура DFS записывает в поле d [и] момент, когда вершина и открывается, а в поле / [и] — момент завершения работы с вершиной и. Эти метки времени представляют собой целые числа в диапазоне от 1 до 2 |У|, поскольку для каждой из |У| вершин имеется только одно событие открытия и одно — завершения. Для каждой вершины и
d [«]</[«]. (22.2)
До момента времени d [и] вершина имеет цвет white, между d [и] и / [и] — цвет GRAY, а после / [и] — цвет BLACK.
Далее представлен псевдокод алгоритма поиска в глубину. Входной граф G может быть как ориентированным, так и неориентированным. Переменная time — глобальная и используется нами для меток времени.
вершин. Хотя концептуально поиск в ширину может выполняться из нескольких исходных вершин, а поиск в глубину — быть ограниченным одной исходной вершиной, такой подход отражает типичное использование результатов поиска. Поиск в ширину обычно используется для определения длин кратчайших путей (и связанного с ними графа предшествования) из данной вершины. Поиск в глубину, как мы увидим позже в этой главе, чаще используется в качестве подпрограммы в других алгоритмах.
DFS(G)
for (Для) каждой вершины uE V[G]
do color [it] «- WHITE
тг[п] «- NIL
time «— О
for (Для) каждой вершины и € V[G]
do if colors = white
then DFS_Visit(u)
DFS_Visit(u)color [it] <— GRAYtime *— time +1d[u] <— timefor (Для) каждой вершины v G Adj [it]do if color[v] = whitethen tt[v] uDFS_VlSIT(v)color[u] «— BLACK/[u] ♦— time <— time +1DFS_Visit(u)color [it] <— GRAYtime *— time +1d[u] <— timefor (Для) каждой вершины v G Adj [it]do if color[v] = whitethen tt[v] uDFS_VlSIT(v)color[u] «— BLACK/[u] ♦— time <— time +1t> Открыта белая вершина иt> Открыта белая вершина и> Исследование ребра (it, и).> Исследование ребра (it, и).> Завершение> Завершение
DFS_Visit(u)
color [it] <— GRAY
time *— time +1
d[u] <— time
for (Для) каждой вершины v G Adj [it]
do if color[v] = white
then tt[v] u
DFS_VlSIT(v)
color[u] «— BLACK
/[u] ♦— time <— time +1
DFS_Visit(u)
color [it] <— GRAY
time *— time +1
d[u] <— time
for (Для) каждой вершины v G Adj [it]
do if color[v] = white
then tt[v] u
DFS_VlSIT(v)
color[u] «— BLACK
/[u] ♦— time <— time +1
t> Открыта белая вершина и
t> Открыта белая вершина и
> Исследование ребра (it, и).
> Исследование ребра (it, и).
> Завершение
> Завершение
На рис. 22.4 проиллюстрировано выполнение процедуры DFS над графом, приведенном на рис. 22.2. Ребра, исследованные алгоритмом, либо закрашены (если этот ребра деревьев), либо помечены пунктиром (в противном случае). Ребра, не являющиеся ребрами деревьев, помечены на рисунке буквами В (обратные — back), F (прямые — forward) и С (перекрестные — cross). В вершинах указаны метки времени в формате открытие/завершение.
Процедура DFS работает следующим образом. В строках 1-3 все вершины окрашиваются в белый цвет, а их поля тг инициализируются значением NIL. В строке 4 выполняется сброс глобального счетчика времени. В строках 5-7 поочередно проверяются все вершины из V, и когда обнаруживается белая вершина, она обрабатывается при помощи процедуры DFS_Visit. Каждый раз при вызове процедуры DFS_Visit(u) в строке 7, вершина и становится корнем нового дерева леса поиска в глубину. При возврате из процедуры DFS каждой вершине и сопоставляются два момента времени — время открытия (discovery time) d [it] и время завершения (finishing time) f [и].
При каждом вызове DFS_Visit(u) вершина и изначально имеет белый цвет. В строке 1 она окрашивается в серый цвет, в строке 2 увеличивается глобальная переменная time, а в строке 3 выполняется запись нового значения переменной time в поле времени открытия d [и]. В строках 4-7 исследуются все вершины, смежные с и, и выполняется рекурсивное посещение белых вершин. При рассмотрении в строке 4 вершины v G Adj [it], мы говорим, что ребро (и, и) исследуется (explored) поиском в глубину. И наконец, после того как будут исследованы все
Рис. 22.4. Выполнение алгоритма поиска в глубину DFS над ориентированным графомРис. 22.4. Выполнение алгоритма поиска в глубину DFS над ориентированным графом
Рис. 22.4. Выполнение алгоритма поиска в глубину DFS над ориентированным графом
Рис. 22.4. Выполнение алгоритма поиска в глубину DFS над ориентированным графом
ребра, покидающие iz, в строках 8-9 вершина iz окрашивается в черный цвет, а в поле / [iz] записывается время завершения работы с ней.
Заметим, что результат поиска в глубину может зависеть от порядка, в котором выполняется рассмотрение вершин в строке 5 процедуры DFS, а также от порядка посещения смежных вершин в строке 4 процедуры DFS_Visit. На практике это обычно не вызывает каких-либо проблем, так как обычно эффективно использован может быть любой результат поиска в глубину, приводя по сути к одинаковым результатам работы алгоритма, опирающегося на поиск в глубину.
Чему равно время работы процедуры DFS? Циклы в строках 1-3 и 5-7 процедуры DFS выполняются за время 0 (V), исключая время, необходимое для вызова процедуры DFS_Visit. Как и в случае поиска в ширину, воспользуемся групповым анализом. Процедура DFS_VISIT вызывается ровно по одному разу для каждой вершины и € V, так как она вызывается только для белых вершин, и первое, что она делает, — это окрашивает переданную в качестве параметра вершину в серый цвет. В процессе выполнения DFS_Visit(v) цикл в строках 4-7
выполняется \Adj [v]| раз. Поскольку
^|Л^М| = ©(5),
общая стоимость выполнения строк 4-7 процедуры DFS_Visit равна 0 (Е). Время работы процедуры DFS, таким образом, равно 0 (V + Е).
Свойства поиска в глубину
Поиск в глубину дает нам важную информацию о структуре графа. Вероятно, наиболее фундаментальное свойство поиска в глубину заключается в том, что подграф предшествования G^ образует лес деревьев, поскольку структура деревьев поиска в глубину в точности отражает структуру рекурсивных вызовов процедуры DFS_VlSlT. То есть и = тг [и] тогда и только тогда, когда DFS_Vlsil(v) была вызвана при сканировании списка смежности вершины и. Кроме того, вершина и является потомком вершины и в лесу поиска в глубину тогда и только тогда, когда вершина и была серой в момент открытия вершины и.
Еще одно важное свойство поиска в глубину заключается в том, что времена открытия и завершения образуют скобочную структуру (parenthesis structure). Если мы представим открытие вершины и при помощи отрывающейся скобки “(и”, а завершение — при помощи закрывающейся скобки “и)”, то перечень открытий и завершений образует корректное выражение в смысле вложенности скобок. Например, поиск в глубину на рис. 22.5а соответствует скобочному выражению на рис. 22.56. Еще одно утверждение о скобочной структуре приведено в следующей теореме.
Теорема 22.7 (Теорема о скобках). В любом поиске в глубину в (ориентированном или неориентированном) графе G = (V,E) для любых двух вершин и и и выполняется ровно одно из трех следующих утверждений.
Отрезки [d[u], /[«]] и [d[v], /[и]] не пересекаются, и ни и не является потомком и в лесу поиска в глубину, ни v не является потомком и.
Отрезок [d[u], /[и]] полностью содержится в отрезке [d[v], /[«]], и и является потомком v в дереве поиска в глубину.
Отрезок [d[v], / [и]] полностью содержится в отрезке [d[u], /[«]], и v является потомком и в дереве поиска в глубину.
Доказательство. Начнем со случая, когда d[u] < d[v]. При этом нам надо рассмотреть два подслучая, в зависимости от того, справедливо неравенство d [v] < < / [и] или нет. Первый подслучай соответствует справедливости неравенства d [и] < / [и], так что вершина v была открыта, когда вершина и была окрашена
шйГ)
<з~1
I j11
m/isj
Рис. 22.5. Свойства поиска в глубинуРис. 22.5. Свойства поиска в глубинуи
Рис. 22.5. Свойства поиска в глубину
Рис. 22.5. Свойства поиска в глубину
в серый цвет. Отсюда следует, что v является потомком и. Кроме того, поскольку вершина и открыта позже, чем и, перед тем как вернуться для завершения поиска к вершине и, алгоритмом будут исследованы все выходящие из и ребра. В таком случае, следовательно, отрезок [d[v],/[v]] полностью содержится в отрезке [d[u], /[и]]. В другом подслучае / [и] < d [и], и из неравенства следует, что отрезки [d[u], /[и]] и [d[v],/[v]] не пересекаются. Поскольку отрезки не пересекаются, не происходит открытие одной вершины, пока другая имеет серый цвет, так что ни одна вершина не является потомком другой.
Случай, когда d [v] < d [и], рассматривается аналогично, происходит только смена ролей и и v. ।
Следствие 22.8 (Вложенность интервалов потомков). Вершина и является потомком и (отличным от самого и) в лесу поиска в глубину в (ориентированном или неориентированном) графе G тогда и только тогда, когда d [u] < d [и] < / [и] < < / М-
Доказательство. Непосредственно вытекает из теоремы 22.7. В
Следующая теорема дает еще одну важное указание о том, когда одна вершина в лесу поиска в глубину является потомком другой.
Теорема 22.9 (Теорема о белом пути). В лесу поиска в глубину (ориентированного или неориентированного) графа G = (V, Е) вершина d является потомком вершины и тогда и только тогда, когда в момент времени d [и] (открытие вершины и) вершина v достижима из и по пути, состоящему только из белых вершин.
Доказательство. =>: Предположим, что v является потомком iz. Пусть w — произвольная вершина на пути между и и v в дереве поиска в глубину, так что w является потомком iz. Согласно следствию 22.8, d\ti\ < d[w], так что в момент времени d [tz] вершина w — белая.
<=: Предположим, что в момент времени d\u\ вершина v достижима из и вдоль пути, состоящего из белых вершин, но v не становится потомком и в дереве поиска в глубину. Без потери общности предположим, что все остальные вершины вдоль пути становятся потомками и (в противном случае в качестве v выберем на пути ближайшую к и вершину, которая не становится потомком и). Пусть w — предшественник v на пути, так что w является потомком и (w и и могут быть в действительности одной вершиной) и, согласно следствию 22.8, / [w] / [и], заметим, что вершина и должна быть открыта после того, как открыта и, но перед тем, как завершена обработка w. Таким образом, d [iz] < d [v] < / [w] < J [u]. Из теоремы 22.7 следует, что отрезок [^[v],/[v]] полностью содержится внутри отрезка [d[iz], /[tz]]. Согласно следствию 22.8, вершина v должна в конечном итоге быть потомком вершины и. ■
Классификация ребер
Еще одно интересное свойство поиска в глубину заключается в том, что поиск может использоваться для классификации ребер входного графа G = (V^E\ Эта классификация ребер может использоваться для получения важной информации о графе. Например, в следующем разделе мы увидим, что ориентированный граф ацикличен тогда и только тогда, когда при поиске в глубину в нем не обнаруживается “обратных” ребер (лемма 22.11).
Мы можем определить четыре типа ребер с использованием леса G^, полученного при поиске в глубину в графе G.
Ребра деревьев (tree edges) — это ребра графа G^. Ребро (u, v) является ребром дерева, если при исследовании этого ребра открыта вершина v.
Обратные ребра (back edges) — это ребра (u, v), соединяющие вершину и с ее предком и в дереве поиска в глубину. Ребра-циклы, которые могут встречаться в ориентированных графах, рассматриваются как обратные ребра.
Прямые ребра (forward edges) — это ребра (u, v), не являющиеся ребрами дерева и соединяющие вершину и с ее потомком v в дереве поиска в глубину.
Перекрестные ребра (cross edges) — все остальные ребра графа. Они могут соединять вершины одного и того же дерева поиска в глубину, когда ни одна из вершин не является предком другой, или соединять вершины в разных деревьях.
На рис. 22.4 и рис. 22.5 ребра помечены в соответствии с их типом. На рис. 22.5в показан граф на рис. 22.5а, нарисованный так, что все прямые ребра и ребра деревьев направлены вниз, а обратные ребра — вверх. Любой граф можно перерисовать таким способом.
Алгоритм DFS можно модифицировать так, что он будет классифицировать встречающиеся при работе ребра. Ключевая идея заключается в том, что каждое ребро (и, и) можно классифицировать при помощи цвета вершины и при первом его исследовании (правда, при этом не различаются прямые и перекрестные ребра).
Белый цвет говорит о том, что это ребро дерева.
Серый цвет определяет обратное ребро.
Черный цвет указывает на прямое или перекрестное ребро.
Первый случай следует непосредственно из определения алгоритма. Рассматривая второй случай, заметим, что серые вершины всегда образуют линейную цепочку потомков, соответствующую стеку активных вызовов процедуры DFS_Visit; количество серых вершин на единицу больше глубины последней открытой вершины в дереве поиска в глубину. Исследование всегда начинается от самой глубокой серой вершины, так что ребро, которое достигает другой серой вершины, достигает предка исходной вершины. В третьем случае мы имеем дело с остальными ребрами, не подпадающими под первый или второй случай. Можно показать, что ребро (u, v) является прямым, если d [u] < d [и], и перекрестным, если d [u] > d [и] (см. упражнение 22.3-4).
В неориентированном графе при классификации ребер может возникнуть определенная неоднозначность, поскольку (u, v) и (v, и) в действительности являются одним ребром. В таком случае, когда ребро соответствует нескольким
категориям, оно классифицируется в соответствии с первой категорией в списке, применимой для данного ребра. Тот же результат получается, если выполнять классификацию в соответствии с тем, в каком именно виде — (tz, v) или (v, и) — ребро встречается в первый раз в процессе выполнения алгоритма (см. упражнение 22.3-5).
Теперь мы покажем, что прямые и перекрестные ребра никогда не встречаются при поиске в глубину в неориентированном графе.
Теорема 22.10. При поиске в глубину в неориентированном графе G любое ребро G является либо ребром дерева, либо обратным ребром.
Доказательство. Пусть (tz, v) — произвольное ребро графа G, и предположим без потери общности, что d\u\ < d[v]. Тогда вершина v должна быть открыта и завершена до того, как будет завершена работа с вершиной и (пока и — серая), так как и находится в списке смежности и. Если ребро (и^ v) исследуется сначала в направлении от и к v, то v до этого момента была неоткрытой (белой) — так как в противном случае мы бы уже исследовали это ребро в направлении от v к и. Таким образом, (tz, v) становится ребром дерева. Если же ребро (tz, v) исследуется сначала в направлении от у к и, то оно является обратным, поскольку вершина и при первом исследовании ребра — серая.В
Мы ознакомимся с некоторыми применениями этой теоремы в последующих разделах.
Упражнения
1. Нарисуйте таблицу размером 3 х 3, со строками и столбцами, помеченными как white (белый), gray (серый) и black (черный). В каждой ячейке (i, j) пометьте, может ли быть обнаружено в процессе поиска в глубину в ориентированном графе ребро из вершины цвета г в вершину цвета j. Для каждого возможного ребра укажите его возможный тип. Постройте такую же таблицу для неориентированного графа.
2. Покажите, как работает поиск в глубину для графа, изображенного на рис. 22.6. Считаем, что цикл for в строках 5-7 процедуры DFS сканирует вершины в алфавитном порядке, а также что все списки смежности упорядочены по алфавиту. Для каждой вершины укажите время открытия и завершения, а для каждого ребра — его тип.
3. Напишите скобочное выражение, соответствующее поиску в глубину, показанному на рис. 22.4.
4. Покажите, что ребро (и, и) является
Рис. 22.6. Ориентированный граф для упражнений 22.3-2 и 22.5-2
ребром дерева или прямым ребром тогда и только тогда, когда d [u] < d [и] < / [у] < / [и];
обратным ребром тогда и только тогда, когда d [v] ^ d [и] < / [и] ^
перекрестным ребром тогда и только тогда, когда d [v] < / [v] < < ^М < /М
5. Покажите, что в неориентированном графе классификация ребра (u, v) как ребра дерева или обратного ребра в зависимости от того, встречается ли первым ребро (u, v) или (и, и) при поиске в глубину, эквивалентна классификации в соответствии с приоритетами типов в схеме классификации.
6. Перепишите процедуру DFS с использованием стека для устранения рекурсии.
7. Приведите контрпример к гипотезе, заключающейся в том, что если в ориентированном графе G имеется путь от и к -и и что если d [u] < d [v] при поиске в глубину в G, то и — потомок и в лесу поиска в глубину.
8. Приведите контрпример к гипотезе, заключающейся в том, что если в ориентированном графе G имеется путь от и к v, то любой поиск в глубину должен дать в результате d [v] ^ / [и].
9. Модифицируйте псевдокод поиска в глубину так, чтобы он выводил все ребра ориентированного графа G вместе с их типами. Какие изменения следует внести в псевдокод (если таковые требуются) для работы с неориентированным графом?
10. Объясните, как вершина ориентированного графа может оказаться единственной в дереве поиска в глубину, несмотря на наличие у нее как входящих, так и исходящих ребер.
11. Покажите, что поиск в глубину в неориентированном графе G может использоваться для определения связных компонентов графа G и что
лес поиска в глубину содержит столько деревьев, сколько в графе связных компонентов. Говоря более точно, покажите, как изменить поиск в глубину так, чтобы каждой вершине v присваивалась целая метка сс [и] в диапазоне от 1 до к (где к — количество связных компонентов), такая что сс [п] = сс [v] тогда и только тогда, когда и и и принадлежат одному связному компоненту.
* 22.3-12. Ориентированный граф G = (V, Е) обладает свойством односвязности (singly connected), если из и ^ v следует, что имеется не более одного пути от и к v для всех вершин u^EV. Разработайте эффективный алгоритм для определения, является ли ориентированный граф односвязным.
Топологическая сортировка
В этом разделе показано, каким образом можно использовать поиск в глубину для топологической сортировки ориентированного ациклического графа (directed acyclic graph, для которого иногда используется аббревиатура “dag”). Топологическая сортировка (topological sort) ориентированного ациклического графа G = = (V, Е) представляет собой такое линейное упорядочение всех его вершин, что если граф G содержит ребро (и, и), то и при таком упорядочении располагается до v (если граф не является ацикличным, такая сортировка невозможна). Топологическую сортировку графа можно рассматривать как такое упорядочение его вершин вдоль горизонтальной линии, что все ребра направлены слева направо. Таким образом, топологическая сортировка существенно отличается от обычных видов сортировки, рассмотренных в части III.
Ориентированные ациклические графы используются во многих приложениях для указания последовательности событий. На рис. 22.7 приведен пример графа, построенного профессором Рассеянным для утреннего одевания. Некоторые вещи надо обязательно одевать раньше других, например, сначала носки, а затем туфли. Другие вещи могут быть одеты в произвольном порядке (например, носки и рубашка). Ребро (и, и) в ориентированном ациклическом графе на рис. 22.7а показывает, что вещь и должна быть одета раньше вещи v. Топологическая сортировка этого графа дает нам порядок одевания. На рис. 22.76 показан отсортированный ориентированный ациклический граф, вершины которого расположены вдоль горизонтальной линии так, что все ребра направлены слева направо.
Вот простой алгоритм топологической сортировки ориентированного ациклического графа:
11/16 |;//T|/cii11/16 |;//T|/cii12/15 (В|ШМ12/15 (В|ШМ* -.у( Часы / *н 1)>( I уфлФ 1 /'14* -.у( Часы / *н 1)>( I уфлФ 1 /'14
11/16 |;//T|/cii
11/16 |;//T|/cii
12/15 (В|ШМ
12/15 (В|ШМ
* -.у( Часы / *н 1)
>( I уфлФ 1 /'14
* -.у( Часы / *н 1)
>( I уфлФ 1 /'14
6//(Ремень)
Носки177! ЯНоски177! Я1/161/16Рис. 22.7. Топологическая сортировка одеждыРис. 22.7. Топологическая сортировка одеждыышка)>{Ремень) (Рыпук) >/Ннлыь ‘1/8ь.'"6 ЗДышка)>{Ремень) (Рыпук) >/Ннлыь ‘1/8ь.'"6 ЗД
Носки
177! Я
Носки
177! Я
1/16
1/16
Рис. 22.7. Топологическая сортировка одежды
Рис. 22.7. Топологическая сортировка одежды
ышка)>{Ремень) (Рыпук) >/Ннлыь ‘
1/8ь.'"6 ЗД
ышка)>{Ремень) (Рыпук) >/Ннлыь ‘
1/8ь.'"6 ЗД
Topological_Sort(G)
Вызов DFS(G) для вычисления времени завершения /[v] для каждой вершины v
По завершении работы над вершиной внести ее в начало связанного списка
return Связанный список вершин
На рис. 22.76 видно, что топологически отсортированные вершины располагаются в порядке убывания времени завершения.
Мы можем выполнить топологическую сортировку за время 0 (V + Е), поскольку поиск в глубину выполняется именно за это время, а вставка каждой из |У| вершин в начало связанного списка занимает время 0(1).
Докажем корректность этого алгоритма с использованием следующей ключевой леммы, характеризующей ориентированный ациклический граф.
Лемма 22.11. Ориентированный граф G является ациклическим тогда и только тогда, когда поиск в глубину в О не находит в нем обратных ребер.
Доказательство. =>: Предположим, что имеется обратное ребро ^'иУ Тогда вершина v является предком и в лесу поиска в глубину. Таким образом, в графе G имеется путь из и в м, и ребро (гц v) завершает цикл.
<=: Предположим, что граф G содержит цикл с. Покажем, что поиск в глубину обнаружит обратное ребро. Пусть v — первая вершина, открытая в с, и пусть (?z, v) — предыдущее ребро в с. В момент времени d [v] вершины с образуют путь из белых вершин от v к и. В соответствии с теоремой о белом пути, вершина и
Рис. 22.8. Ориентированный ациклический граф для топологической сортировки
становится потомком и в лесу поиска в глубину. Следовательно, (u, v) — обратное ребро.■
Теорема 22.12. Процедура Topological_Sort((7) выполняет топологическую сортировку ориентированного ациклического графа G.
Доказательство. Предположим, что над данным ориентированным ациклическим графом G = (V, 5) выполняется процедура DFS, которая вычисляет время завершения его вершин. Достаточно показать, что если для произвольной пары разных вершин и, и € V в графе G имеется ребро от и к v, то / [и] < / [и]. Рассмотрим произвольное ребро (и, и), исследуемое процедурой DFS(G). При исследовании вершина и не может быть серой, поскольку тогда и была бы предком и и (и, и) представляло бы собой обратное ребро, что противоречит лемме 22.11. Следовательно, вершина и должна быть белой либо черной. Если вершина и — белая, то она становится потомком и, так что / [и] < / [и]. Если и — черная, значит, работа с ней уже завершена и значение f [v] уже установлено. Поскольку мы все еще работаем с вершиной и, значение / [и] еще не определено, так что, когда это будет сделано, будет выполняться неравенство / [и] < / [и]. Следовательно, для любого ребра (и, v) ориентированного ациклического графа выполняется условие /[«]</ [и], что и доказывает данную теорему.■
Упражнения
1. Покажите, в каком порядке расположит вершины представленного на рис. 22.8 ориентированного ациклического графа процедура Topolo- GICAL_Sort, если считать, что цикл for в строках 5-7 процедуры DFS сканирует вершины в алфавитном порядке, а также что все списки смежности упорядочены по алфавиту.
2. Разработайте алгоритм с линейным временем работы, который для данного ориентированного ациклического графа G = (УЕ) и двух вершин
s и t определяет количество путей из s к t в графе G. Например, в графе на рис. 22.8 имеется ровно 4 пути от вершины р к вершине и: pov, poryv, posryv и psryv. Ваш алгоритм должен только указать количество путей, не перечисляя их.
3. Разработайте алгоритм для определения, содержит ориентированный граф G = (V, 5) цикл или нет. Ваш алгоритм должен выполняться за время О (V), независимо от |S|.
4. Докажите или опровергните следующее утверждение: если ориентированный граф G содержит циклы, то процедура TOPOLOGICAL_SORT((?) упорядочивает вершины таким образом, что при этом количество “плохих” ребер (идущих в противоположном направлении) минимально.
5. Еще один алгоритм топологической сортировки ориентированного ациклического графа G = (У,Е) состоит в поиске вершины со входящей степенью 0, выводе ее, удалении из графа этой вершины и всех исходящих из нее ребер, и повторении этих действий до тех пор, пока в графе остается хоть одна вершина. Покажите, как реализовать описанный алгоритм, чтобы время его работы составляло О (V + Е\ Что произойдет, если в графе G будут иметься циклы?
22.5 Сильно связные компоненты
Теперь мы рассмотрим классическое применение поиска в глубину: разложение ориентированного графа на сильно связные компоненты. В этом разделе будет показано, как выполнить такое разложение при помощи двух поисков в глубину. Ряд алгоритмов для работы с графами начинаются с выполнение такого разложения графа, и после разложения алгоритм отдельно работает с каждым сильно связным компонентом. Полученные решения затем комбинируются в соответствии со структурой связей между сильно связными компонентами.
В приложении Б сказано, что сильно связный компонент ориентированного графа G = (V, Е) представляет собой максимальное множество вершин С С V, такое что для каждой пары вершин и и и из С справедливо как и ^ v, так и v и, т.е. вершины и и v достижимы друг из друга. На рис. 22.9 приведены примеры сильно связных компонентов.
Наш алгоритм поиска сильно связных компонентов графа G = (V, Е) использует транспонирование G, которое определяется в упражнении 22.1-3 как граф GT = (V,Е4-), где Ет = {(tz, v) : (v,и) е Е}, т.е. Ет состоит из ребер G путем изменения их направления на обратное. Для представления с помощью списков смежности данного графа G получить граф GT можно за время О (V + Е\ Интересно заметить, что графы G и GT имеют одни и те же сильно связные компоненты: и и v достижимы друг из друга в G тогда и только тогда, когда они
Рис. 22.9. Сильно связные компоненты ориентированного графа
достижимы друг из друга в GT. На рис. 22.96 показан граф, представляющий собой результат транспонирования графа на рис. 22.9а (сильно связные компоненты выделены штриховкой).
Далее приведен алгоритм, который за линейное время © (У + 5) находит сильно связные компоненты ориентированного графа G = (У, Е) благодаря двойному поиску в глубину, одному — в графе G, и второму — в графе GT.
Strongly_Connected_Components(G)
1 Вызов DFS(G) для вычисления времен завершения /[и] для каждой вершины и
2 Построение GT
3 Вызов DFS(GT), но в главном цикле процедуры DFS, вершины рассматриваются в порядке убывания значений /[и] вычисленных в строке 1
4 Деревья леса поиска в глубину, полученного в строке 3 представляют собой сильно связные компоненты
Идея, лежащая в основе этого алгоритма, опирается на ключевое свойство графа компонентов (component graph) Gscc = (yscc, S300), который определяется
следующим образом. Предположим, что G имеет сильно связные компоненты Ci, С23 • • •, Ск. Множество вершин Vscc = {vi, V2, • • •, г^} состоит из вершин Vf для каждого сильно связного компонента Ct графа G. Если в G имеется ребро (х, у) Для некоторых двух вершин х € Ct и у 6 Cj, то в графе компонент имеется ребро (г^г^) е Escc. Другими словами, если сжать все ребра между смежными вершинами в каждом сильно связном компоненте графа G, мы получим граф Gscc (вершинами которого являются сильно связные компоненты графа G\ На рис. 22.9в показан граф компонентов для графа, приведенного на рис. 22.9а.
Ключевое свойство графа компонентов заключается в том, что он представляет собой ориентированный ациклический граф, как следует из приведенной ниже леммы.
Лемма 22.13. Пусть С и С' — различные сильно связные компоненты в ориентированном графе G = (V^E\ и пусть и^еС и u^v1 е О', а кроме того, предположим, что в G имеется путь и ^ и*. В таком случае в G не может быть пути v' V.
Доказательство. Если в G имеется путь ^ ^ f, то в G имеются и пути и uf V nV и и. Следовательно, вершины и nV достижимы одна из другой, что противоречит предположению о том, что С и О’ — различные сильно связные компоненты.■
Мы увидим, что при рассмотрении вершин в процессе второго поиска в глубину в порядке убывания времен завершения работы с вершинами, которые были вычислены при первом поиске в глубину, мы по сути посещаем вершины графа компонентов (каждая из которых соответствует сильно связному компоненту G) в порядке топологической сортировки.
Поскольку процедура Strongly_Connected_Components выполняет два поиска в глубину, имеется потенциальная неоднозначность при рассмотрении значений d [п] и / [п]. В этом разделе данные значения будут относиться исключительно к времени открытия и времени завершения, вычисленным при первом вызове процедуры DFS в строке 1.
Мы распространим обозначения для времени открытия и времени завершения на множества вершин. Если U С V, то мы определим d(U) = minu€{7 {d[^]} и f (U) = maxn€t/{/M}, т.е. d(U) и / (U) представляют собой самое раннее время открытия и самое позднее время завершения для всех вершин в U.
Следующая лемма и следствие из нее описывают ключевое свойство, связывающее сильно связные компоненты и времена завершения, полученные при первом поиске в глубину.
Лемма 22.14. Пусть С и С* — различные сильно связные компоненты в ориентированном графе G = (У, Е). Предположим, что имеется ребро (u, v) Е Е, где и Е С и v Е С'. Тогда / (С) > / (С').
Доказательство. Имеется два возможных случая в зависимости от того, какой из сильно связных компонентов, С или С, содержит первую открытую в процессе поиска в глубину вершину.
Если с? (С) < d(C'), то обозначим первую открытую в С вершину как х. В момент времени d [ж] все вершины в С и С* — белые. В G имеется путь от х к каждой вершине в С, состоящий только из белых вершин. Поскольку (tz, и) Е Е, для любой вершины w Е С* в момент времени d [ж] в графе G имеется также путь от х к w, состоящий только из белых вершин: х ~* и —* -и ~* w. Согласно теореме о белом пути, все вершины в С и С* становятся потомками х в дереве поиска в глубину. Согласно следствию 22.8, / [ж] = / (С) > / (С').
Если же d (С) > d (С'), то обозначим первую открытую вершину в С' как у. В момент d [у] все вершины в С белые, и в G имеется путь от у к каждой вершине С', состоящий только из белых вершин. В соответствии с теоремой о белом пути, все вершины в О' становятся потомками у в дереве поиска в глубину, так что согласно следствию 22.8, / [у] = / (С"). В момент времени d [у] все вершины в С белые. Поскольку имеется ребро (и, и) из С в С*, из леммы 22.13 вытекает, что не существует пути из О' в С. Следовательно, в С не имеется вершин, достижимых из у. Таким образом, в момент времени / [у] все вершины в С остаются белыми. Значит, для любой вершины wE С имеем / [w] > / [у], откуда следует, что / (С) > >№). ж
Приведенное ниже следствие говорит нам, что каждое ребро в GT, соединяющее два сильно связных компонента, идет от компонента с более ранним временем завершения (при поиске в глубину) к компоненту с более поздним временем завершения.
Следствие 22.15. Пусть С и С* — различные сильно связные компоненты в ориентированном графе G = (V, Е). Предположим, что имеется ребро (u, v) Е Е'т, где и Е С и v Е С*. Тогда / (С) < / \с'\
Доказательство. Поскольку (u, v) Е ЕТ, (v, и) Е Е. Так как сильно связные компоненты G и GT одни и те же, из леммы 22.14 следует, что / (О') < / (О'). ■
Следствие 22.15 дает нам ключ к пониманию того, как работает процедура Strongly_Connected_Components. Рассмотрим, что происходит, когда мы выполняем второй поиск в глубину над графом GT. Мы начинаем с сильно связного компонента С, время завершения которого / (С) максимально. Поиск начинается с некоторой вершины ж Е С, при этом посещаются все вершины в С. Согласно
следствию 22.15, в GT нет ребер от С к другому сильно связному компоненту, так что при поиске из х не посещается ни одна вершина в других компонентах. Следовательно, дерево, корнем которого является х, содержит только вершины из С. После того как будут посещены все вершины в С, поиск в строке 3 выбирает в качестве корня вершину из некоторого другого сильно связного компонента С', время завершения / (С") которого максимально среди всех компонентов, исключая С. Теперь поиск посещает все вершины в С'. Согласно следствию 22.15, в GT единственным ребром из С' в другие компоненты может быть ребро в С, но обработка компонента С уже завершена. В общем случае, когда поиск в глубину в GT в строке 3 посещает некоторый сильно связный компонент, все ребра, исходящие из этого компонента, идут в уже обработанные компоненты. Следовательно, каждый поиск в глубину обрабатывает ровно один сильно связный компонент. Приведенная далее теорема формализует это доказательство.
Теорема 22.16. Процедура Strongly_Connected_Components(G) корректно вычисляет сильно связные компоненты ориентированного графа G.
Доказательство. Воспользуемся индукцией по количеству найденных деревьев при поиске в глубину в GT в строке 3, и докажем, что вершины каждого дерева образуют сильно связный компонент. Гипотеза индукции состоит в том, что первые к деревьев, полученные в строке 3, являются сильно связными компонентами. Для случая к = 0 это утверждение тривиально.
Для выполнения шага индукции предположим, что каждое из первых к деревьев поиска в глубину в строке 3, представляет собой сильно связный компонент, и рассмотрим (к 4- 1)-е дерево. Пусть корнем этого дерева является вершина и, и пусть и принадлежит сильно связному компоненту С. В соответствии с тем как мы выбираем корни при поиске в глубину в строке 3, для любого сильно связного компонента С', который еще не был посещен и отличен от С, справедливо соотношение / [и] = / (С) > / (С"). В соответствии с гипотезой индукции в момент времени, когда поиск посещает вершину и, все остальные вершины С — белые. Согласно теореме о белом пути, все вершины С, кроме и, являются потомками и в дереве поиска в глубину. Кроме того, в соответствии с гипотезой индукции и со следствием 22.15, все ребра в GT, которые покидают С, должны идти в уже посещенные сильно связные компоненты. Таким образом, ни в одном сильно связном компоненте, отличном от С, нет вершины, которая бы стала потомком и в процессе поиска в глубину в GT. Следовательно, вершины дерева поиска в глубину в GT, корнем которого является и, образуют ровно один сильно связный компонент, что и завершает шаг индукции и доказательство данной теоремы. ■
Вот еще одна точка зрения на работу второго поиска в глубину. Рассмотрим граф компонентов (GT)SCC графа GT. Если мы отобразим каждый сильно связный компонент, посещенный при втором поиске в глубину, на вершину (GT)SCC,
то вершины этого графа компонентов посещаются в порядке, обратном топологической сортировке. Если мы обратим все ребра графа (GT)SCC, то получим граф ((GT)SCC)T. Так как ((GT)SCC)T = Gscc (см. упражнение 22.5-4), при втором поиске в глубину вершины Gscc посещаются в порядке топологической сортировки.
Упражнения
1. Как может измениться количество сильно связных компонентов графа при добавлении в граф нового ребра?
2. Рассмотрите работу процедуры Strongly_Connected_Components над графом, показанным на рис. 22.6. В частности, определите время завершения, вычисляемое в строке 1, и лес, полученный в строке 3. Считаем, что цикл в строках 5-7 процедуры DFS рассматривает вершины в алфавитном порядке и что так же упорядочены и списки смежности.
3. Профессор считает, что алгоритм определения сильно связных компонентов можно упростить, если во втором поиске в глубину использовать исходный, а не транспонированный граф, и сканировать вершины в порядке возрастания времени завершения. Прав ли профессор?
4. Докажите, что для любого ориентированного графа G справедливо соотношение ((GT)SCC)T = Gscc, т.е. что транспонирование графа компонентов GT дает граф компонентов графа G.
5. Разработайте алгоритм, который за время О (V + 5) находит граф компонентов ориентированного графа G = ^V,EY Убедитесь, что в полученном графе компонентов между двумя вершинами имеется не более одного ребра.
6. Поясните, как для данного ориентированного графа G = (V, Е) создать другой граф G* = (V, Е'), такой что a) G' имеет те же сильно связные компоненты, что и G, б) G' имеет тот же граф компонентов, что и G, и в) Е' имеет минимально возможный размер. Разработайте быстрый алгоритм для вычисления G'.
7. Ориентированный граф G = (V, Е) называется полусвязным (semiconnected), если для всех пар вершин и, и 6 V и ~^ и или v -^ и (или и то, и другое одновременно). Разработайте эффективный алгоритм для определения, является ли данный граф G полусвязным. Докажите корректность разработанного алгоритма и проанализируйте время его работы.
Задачи
22-1. Классификация ребер при поиске в ширину
Лес поиска в глубину позволяет классифицировать ребра графа как ребра деревьев, обратные, прямые и перекрестные. Дерево поиска в ширину также можно использовать для аналогичной классификации ребер, достижимых из исходной вершины.
Докажите, что при поиске в ширину в неориентированном графе выполняются следующие свойства.
Не существует прямых и обратных ребер.
Для каждого ребра дерева (u, и) имеем d [v] = d [u] + 1.
Для каждого перекрестного ребра (u, и) имеем d [v] = d [и] или d [v] = d [u] + 1.
Докажите, что при поиске в ширину в ориентированном графе выполняются следующие свойства.
Не существует прямых ребер.
Для каждого ребра дерева (гц v) имеем d [v] = d [u] + 1.
Для каждого перекрестного ребра (гц v) имеем d [v] ^ d [u] + 1.
Для каждого обратного ребра (и, v) имеем 0 < d [v] ^ d [и].
22-2. Точки сочленения, мосты и двусвязные компоненты
Пусть G = (V, Е) — связный неориентированный граф. Точкой сочленения (articulation point) G называется вершина, удаление которой делает граф несвязным. Мостом (bridge) графа G называется ребро, удаление которого делает граф несвязным. Двусвязный компонент (biconnected component) графа G представляет собой максимальное множество ребер, такое что любые два ребра этого множества принадлежат общему простому циклу. На рис. 22.10 проиллюстрированы приведенные определения. Темным цветом на рисунке выделены точки сочленения и мосты, двусвязные компоненты — наборы ребер в пределах одной серой области (внутри которой указан номер двусвязного компонента, о котором идет речь в задании з) данной задачи). Точки сочленения, мосты и двусвязные компоненты можно найти при помощи поиска в глубину. Пусть Gtt = (V, EV) — дерево поиска в глубину графа G.
Докажите, что корень G^ — точка сочленения графа G тогда и только тогда, когда он имеет как минимум два дочерних узла в G^.
Пусть v — некорневая вершина G^. Докажите, что и является точкой сочленения G тогда и только тогда, когда и имеет потомка s, такого что не существует обратного ребра от s или любого его потомка к истинному предку и.
Рис. 22.10. Точки сочленения, мосты и двусвязные компоненты связного неориентированного графа
Пусть low [и] — минимальное значение среди d[v] и всех d[w], где w — вершины, для которых имеется обратное ребро (и, w), где и - некоторый потомок и. Покажите, как можно вычислить low [и] для всех вершин и € V за время О (5).
Покажите, как найти все точки сочленения за время О (Е).
Докажите, что ребро в G является мостом тогда и только тогда, когда оно не принадлежит ни одному простому циклу G.
Покажите, как найти все мосты за время 0(E).
Докажите, что двусвязные компоненты графа G составляют разбиение множества всех ребер графа, не являющихся мостами.
Разработайте алгоритм, который за время 0(E) помечает каждое ребро е графа G натуральным числом 6сс[е], таким что Ьсс[е] = = Ьсс [е'] тогда и только тогда, когда е и е' находятся в одном и том же двусвязном компоненте.
22-3. Эйлеров цикл
Эйлеров цикл (Euler tour) сильно связного ориентированного графа G = = (V, Е) представляет собой цикл, который проходит по всем ребрам G ровно по одному разу, хотя через вершины он может проходить по несколько раз.
Покажите, что в G имеется Эйлеров цикл тогда и только тогда, когда входящая степень каждой вершины равна ее исходящей степени.
Разработайте алгоритм, который за время О (Е) находит Эйлеров цикл графа G (если таковой цикл существует). (Указание: объединяйте циклы, у которых нет общих ребер.)
22-4. Достижимость
. Пусть G = (V, Е) — ориентированный граф, в котором каждая вершина и € V помечена уникальным целым числом L (и) из множества
{1,2,..., | V |}. Для каждой вершины «€У рассмотрим множество R (и) = = {и G У : u ~+ v} вершин, достижимых из и. Определим min (и) как вершину в R (и), метка которой минимальна, т.е. min (и) — это такая вершина и, что L {у) = min {L (w) : w G R (u)}. Разработайте алгоритм, который за время О (V + Е) вычисляет min (и) для всех вершин u G У.
Заключительные замечания
Превосходные руководства по алгоритмам для работы с графами написаны Ивеном (Even) [87] и Таржаном (Taijan) [292].
Поиск в ширину был открыт Муром (Moore) [226] в контексте задачи поиска пути через лабиринт. Ли (Lee) [198] независимо открыл тот же алгоритм при работе над разводкой печатных плат.
Хопкрофт (Hopcroft) и Таржан [154] указали на преимущества использования представления графов в виде списков смежности над матричным представлением для разреженных графов, и были первыми, кто оценил алгоритмическую важность поиска в глубину. Поиск в глубину широко используется с конца 1950-х годов, в особенности в программах искусственного интеллекта.
Таржан [289] разработал алгоритм поиска сильно связных компонентов за линейное время. Алгоритм из раздела 22.5 взят у Ахо (Aho), Хопкрофта и Ульмана (Ullman) [6], которые ссылаются на неопубликованную работу Косараю (S.R. Kosaraju) и работу Шарира (Sharir) [276]. Габов (Gabow) [101] разработал алгоритм для поиска сильно связных компонентов, который основан на сжатых циклах и использует два стека для обеспечения линейного времени работы. Кнут (Knuth) [182] первым разработал алгоритм топологической сортировки за линейное время.
ГЛАВА 23
Минимальные остовные деревья
При разработке электронных схем зачастую необходимо электрически соединить контакты нескольких компонентов. Для соединения множества из п контактов мы можем использовать некоторую компоновку из п — 1 проводов, каждый из которых соединяет два контакта. Обычно желательно получить компоновку, которая использует минимальное количество провода.
Мы можем смоделировать эту задачу при помощи связного неориентированного графа G = УЕ), где V — множество контактов, Е — множество возможных соединений между парами контактов, и для каждого ребра (u, v) 6 Е задан вес w(tz,v), определяющий стоимость (количество необходимого провода) соединения и и v. Мы хотим найти ациклическое подмножество ТСЕ, которое соединяет все вершины и чей общий вес
w(T) = ^2 W (u^d)
(u,v)eT
минимален. Поскольку множество Т ациклическое и связывает все вершины, оно должно образовывать дерево, которое мы назовем остовным деревом (spanning tree) графа G (иногда используется термин “покрывающее дерево”). Задачу поиска дерева Т мы назовем задачей поиска минимального остовного дерева (minimumspanning-tree problem)1. На рис. 23.1 показан пример связного графа и его минимального остовного дерева. На ребрах указан их вес, а ребра минимального остовного дерева отдельно выделены цветом. Общий вес показанного дерева равен 37.
’По сути, термин “минимальное остовное дерево” означает “остовное дерево с минимальным весом”. Мы не минимизируем, например, количество ребер в Т, поскольку все остовные деревья имеют ровно | V'l — 1 ребер согласно теореме Б.2.
Рис. 23.1. Минимальное остовное дерево связного графа
Приведенное дерево не единственное: удалив ребро (6, с) и заменив его ребром (a, h), мы получим другое остовное дерево с тем же весом 37.
В этой главе мы рассмотрим два алгоритма решения задачи поиска минимального остовного дерева — алгоритм Крускала (Kruskal) и Прима (Prim). Каждый из них легко реализовать с помощью обычных бинарных пирамид, получив время работы О (Sig V\ При использовании фибоначчиевых пирамид алгоритм Прима можно ускорить до О (Е + V 1g V), что является весьма существенным ускорением при |V| «: |S|.
Оба эти алгоритма — жадные (см. главу 16). На каждом шаге алгоритма мы выбираем один из возможных вариантов. Жадная стратегия предполагает выбор варианта, наилучшего в данный момент. В общем случае такая стратегия не гарантирует глобально оптимального решения задачи, однако для задачи поиска минимального остовного дерева можно доказать, что определенные жадные стратегии дают нам остовное дерево минимального веса. Хотя настоящую главу можно читать независимо от главы 16, жадные алгоритмы, представленные здесь, наглядно демонстрируют классическое применение изложенных в этой главе теоретических основ.
В разделе 23.1 описана общая схема построения минимального остовного дерева, которая наращивает остовное дерево по одному ребру. В разделе 23.2 приведены два пути реализации обобщенного алгоритма. Первый алгоритм (Крускала) похож на алгоритм поиска связных компонентов из раздела 21.1. Второй алгоритм (Прима) подобен алгоритму поиска кратчайшего пути Дейкстры (Dijkstra) из раздела 24.3.
3.1 Построение минимального остовного
дерева
Предположим, что у нас есть связный неориентированный граф G = (V, Е) с весовой функцией w : Е —* R, и мы хотим найти минимальное остовное дерево
для G. В этой главе мы рассмотрим два жадных алгоритма решения поставленной задачи.
Оба рассматриваемых алгоритма имеют общую схему, согласно которой минимальное остовное дерево растет путем добавления к нему ребер по одному. Алгоритм работает с множеством ребер Л, и инвариант цикла алгоритма выглядит следующим образом:
Перед каждой очередной итерацией Л представляет собой подмножество некоторого минимального остовного дерева.
На каждом шаге алгоритма мы определяем ребро (и, и), которое можно добавить к А без нарушения этого инварианта, в том смысле, что A U {(и, и)} также является подмножеством минимального остовного дерева. Мы назовем такое ребро безопасным (safe edge) для Л, поскольку его можно добавить к А, не опасаясь нарушить инвариант.
Generic_MST((7, w)
1 А«-0
while А не является минимальным остовным деревом
do Найти безопасное для А ребро (u, v)
Л <—Л U {(«,«)}
return Л
Мы используем инвариант цикла следующим образом.
Инициализация. После выполнения строки 1 множество А тривиально удовлетворяет инварианту цикла.
Сохранение. Цикл в строках 2-4 сохраняет инвариант путем добавления только безопасных ребер.
Завершение. Все ребра, добавленные в Л, находятся в минимальном остовном дереве, так что множество А, возвращаемое в строке 5, должно быть минимальным остовным деревом.
Самое важное, само собой разумеется, заключается в том, как именно найти безопасное ребро в строке 3. Оно должно существовать, поскольку когда выполняется строка 3, инвариант требует, чтобы существовало такое остовное дерево Т, что ACT. Внутри тела цикла while А должно быть истинным подмножеством Т, поэтому должно существовать ребро (u, v) G Т, такое что (и, и) ^ А и (и, и) — безопасное для А ребро.
В оставшейся части этого раздела мы приведем правило (теорема 23.1) для распознавания безопасных ребер. В следующем разделе описаны два алгоритма, которые используют это правило для эффективного поиска безопасных ребер.
Рис. 23.2. Два варианта представления разреза (S, V — S) графа, приведенного наРис. 23.2. Два варианта представления разреза (S, V — S) графа, приведенного нарис. 23.1рис. 23.1
Рис. 23.2. Два варианта представления разреза (S, V — S) графа, приведенного на
Рис. 23.2. Два варианта представления разреза (S, V — S) графа, приведенного на
рис. 23.1
рис. 23.1
Начнем с определений. Разрезом (cut) (S, V — S) неориентированного графа G = (V, 5) называется разбиение V, что проиллюстрировано на рис. 23.2 (вершины в множестве S окрашены в черный цвет, а в множестве V — S — в белый). Мы говорим, что ребро (u, v) € Е пересекает (crosses) разрез (5, V — 5), если один из его концов оказывается в множестве S, а второй — в V — S. Разрез согласован (respect) с множеством А по ребрам, если ни одно ребро из А не пересекает разрез. Ребро, пересекающее разрез, является легким (light), если оно имеет минимальный вес среди всех ребер, пересекающих разрез. Заметим, что может быть несколько легких ребер одновременно. В общем случае мы говорим, что ребро является легким ребром, удовлетворяющим некоторому свойству, если оно имеет минимальный вес среди всех ребер, удовлетворяющих данному свойству.
Наше правило для распознавания безопасных ребер дает следующая теорема.
Теорема 23.1. Пусть G = (V, Е) — связный неориентированный граф с действительной весовой функцией го, определенной на Е. Пусть А — подмножество Е, которое входит в некоторое минимальное остовное дерево G, (S, V — S) — разрез G, согласованный с Л по ребрам, а (и, и) — легкое ребро, пересекающее разрез (5, V — S\ Тогда ребро (и, v) является безопасным для А.
Доказательство. Пусть Т — минимальное остовное дерево, которое включает А, и предположим, что Т не содержит ребро (и, и), поскольку в противном случае теорема доказана. Мы построим другое минимальное остовное дерево Т',
Рис. 23.3. Иллюстрация к доказательству теоремы 23.1
которое включает Ли{(п, и)}, путем использования метода вырезания и вставки, показывая таким образом, что ребро (tz, v) являемся безопасным для Л.
Ребро (u, v) образует цикл с ребрами на пути р от и к v в Т, как показано на рис. 23.3. Поскольку и и v находятся на разных сторонах разреза (S, V — S), на пути р имеется как минимум одно ребро из Т, которое пересекает разрез. Пусть таким ребром является ребро (ж, у). Ребро (ж, у) не входит в Л, поскольку разрез согласован с Л по ребрам. Так как (ж, у) является единственным путем от и к v в Т, его удаление разбивает Т на два компонента. Добавление ^ v) восстанавливает разбиение, образуя новое остовное дерево Т = Т — {(ж, у)} U {(iz, v)}.
Теперь мы покажем, что Т — минимальное остовное дерево. Поскольку (iz,w) — легкое ребро, пересекающее разбиение (S, V —S), и (ж, у) также пересекает это разбиение, w (iz, v) ^ w (ж, у). Следовательно,
w (Т') = w (Т) — w (ж, у) + w (iz, v) w (Т).
Однако Т — минимальное остовное дерево, так что w (Т) < w (Т'). Следовательно, Т также должно быть минимальным остовным деревом.
Остается показать, что (tz, v) действительно безопасное ребро для А. Мы имеем Л С Г', поскольку А С Т и (ж, у) А. Таким образом, A U {(tz, v)} С Т' и, поскольку Т — минимальное остовное дерево, ребро (tz, v) безопасно для А и
Теорема 23.1 помогает нам лучше понять, как работает процедура GENERIC_ MST. В процессе работы алгоритма множество А всегда ациклическое; в противном случае минимальное остовное дерево, включающее А, содержало бы цикл, что приводит к противоречию. В любой момент выполнения алгоритма граф Ga = = (V, Е) представляет собой лес и каждый из связных компонентов Ga является
деревом. (Некоторые из деревьев могут содержать всего одну вершину, например, в случае, когда алгоритм начинает работу: множество Л в этот момент пустое, а лес содержит |У| деревьев, по одному для каждой вершины.) Кроме того, любое безопасное для Л ребро (tz, v) соединяет различные компоненты Ga, поскольку множество Л U {(и, и)} должно быть ациклическим.
Цикл в строках 2-4 процедуры GENERIC_MST выполняется |V| — 1 раз, так как должны быть найдены все |У| — 1 ребер минимального остовного дерева. Изначально, когда Л = 0, в Ga имеется |У | деревьев и каждая итерация уменьшает их количество на единицу. Когда лес содержит только одно дерево, алгоритм завершается.
Два алгоритма, рассмотренные в разделе 23.2, используют следствие из теоремы 23.1.
Следствие 23.2. Пусть G = (У, 5) — связный неориентированный граф с действительной весовой функцией w, определенной на Е. Пусть Л — подмножество Е, которое входит в некоторое минимальное остовное дерево G, и пусть С = = (Vc, Ес) — связный компонент (дерево) в лесу Ga = (У, Л). Если (и, и) — легкое ребро, соединяющее С с некоторым другим компонентом в Ga, то ребро (u, v) безопасно для Л.
Доказательство. Разрез (Ус, У — Vc) согласован с Л, и (и, и) — легкое ребро для данного разреза. Следовательно, ребро (и, v) безопасно для Л.в
Упражнения
1. Пусть (и, v) — ребро минимального веса в графе G. Покажите, что (и, и) принадлежит некоторому минимальному остовному дереву G.
2. Профессор утверждает, что верно следующее обращение теоремы 23.1. Пусть G = (У, Е) — связный неориентированный граф с действительной весовой функцией w, определенной на Е. Пусть А — подмножество Е, входящее в некоторое минимальное остовное дерево G, (S, У — S) — произвольный разрез G, согласованный с Л, и пусть (и, и) — безопасное для А ребро, пересекающее разрез (S, У — S). Тогда (и, и) — легкое ребро для данного разреза. Приведите контрпример, демонстрирующий некорректность профессорского обращения теоремы.
3. Покажите, что если ребро (и, у) содержится в некотором минимальном остовном дереве, то оно является легким ребром, пересекающим некоторый разрез графа.
4. Рассмотрим множество всех ребер, каждый элемент которого является легким ребром для какого-то из возможных разрезов графа. Приведите
простой пример, когда такое множество не образует минимального остовного дерева.
5. Пусть е — ребро с максимальным весом в некотором цикле связного графа G = (у,Е\ Докажите, что имеется минимальное остовное дерево графа G* = (V,E — {е}), которое одновременно является минимальным остовным деревом G, т.е. что существует минимальное остовное дерево G, не включающее е.
6. Покажите, что граф имеет единственное минимальное остовное дерево, если для каждого разреза графа имеется единственное легкое ребро, пересекающее этот разрез. Покажите при помощи контрпримера, что обратное утверждение не верно.
7. Покажите, что если вес любого из ребер графа положителен, то любое подмножество ребер, объединяющее все вершины и имеющее минимальный общий вес, должно быть деревом. Приведите пример, показывающий, что это не так, если ребра могут иметь отрицательный вес.
8. Пусть Т — минимальное остовное дерево графа G, и пусть L — отсортированный список весов ребер Т. Покажите, что для любого другого минимального остовного дерева Т' графа G отсортированный список весов ребер будет тем же.
9. Пусть Т — минимальное остовное дерево графа G = (V, Е), а V* — подмножество V. Пусть Т' — подграф Т, порожденный V, a G' — подграф G, порожденный V. Покажите, что если Т — связный граф, то он является минимальным остовным деревом G'.
-10. Пусть дан граф G и минимальное остовное дерево Т. Предположим, что мы уменьшаем вес одного из ребер в Т. Покажите, что Т при этом останется минимальным остовным деревом G. Более строго, пусть Т — минимальное остовное дерево G с весами ребер, заданными весовой функцией -ш. Выберем одно ребро (ж, у) € Т и положительное число к, и определим весовую функцию и/ следующим образом:
и/ (и, и) =и/ (и, и) =w (и, v)w (ж, у) — кw (и, v)w (ж, у) — кесли (и, v) / (ж, у), если (и, и) = (ж, у).если (и, v) / (ж, у), если (и, и) = (ж, у).
и/ (и, и) =
и/ (и, и) =
w (и, v)
w (ж, у) — к
w (и, v)
w (ж, у) — к
если (и, v) / (ж, у), если (и, и) = (ж, у).
если (и, v) / (ж, у), если (и, и) = (ж, у).
Покажите, что если веса ребер определяются функцией ш', Т остается минимальным остовным деревом G.
* 23.1-11. Пусть дан граф G и минимальное остовное дерево Т. Предположим, что мы уменьшаем вес одного из ребер, не входящих в Т. Разработайте алгоритм для поиска минимального остовного дерева модифицированного графа.
Алгоритмы Крускала и Прима
Описанные в этом разделе алгоритмы следуют общей схеме поиска минимального остовного дерева. Каждый из них использует свое правило для определения безопасных ребер в строке 3 процедуры Generic_MST. В алгоритме Крускала множество А является лесом. В А добавляются безопасные ребра, которые являются ребрами минимального веса, объединяющими два различных компонента. В алгоритме Прима множество А образует единое дерево. В А добавляются безопасные ребра, которые являются ребрами минимального веса, соединяющими дерево с вершиной вне дерева.
Алгоритм Крускала
Алгоритм Крускала непосредственно основан на обобщенном алгоритме поиска минимального остовного дерева, приведенном в разделе 23.1. Он находит безопасное ребро для добавления в растущий лес путем поиска ребра (и, и) с минимальным весом среди всех ребер, соединяющих два дерева в лесу. Обозначим два дерева, соединяемые ребром (и, и), как Ci и С^. Поскольку (и, и) должно быть легким ребром, соединяющим Ci с некоторым другим деревом, из следствия 23.2 вытекает, что (u, v) — безопасное для Ci ребро. Алгоритм Крускала является жадным, поскольку на каждом шаге он добавляет к лесу ребро с минимально возможным весом.
Наша реализация алгоритма Крускала напоминает алгоритм для вычисления связных компонентов в разделе 21.1. Она использует структуру для представления непересекающихся множеств. Каждое множество содержит вершины дерева в текущем лесу. Операция Find_Set(u) возвращает представительный элемент множества, содержащего и. Таким образом, мы можем определить, принадлежат ли две вершины и и и одному и тому же дереву, проверяя равенство Find_Set(u) и Find_Set(v). Объединение деревьев выполняется при помощи процедуры Union.
MST_Kruskal(G, w)
А <—0
for (Для) каждой вершины v 6 V[G]
do Make_Set(v)
Сортируем ребра из Е в неубывающем порядке их весов w
for (Для) каждого (и, и) 6 £ (в порядке возрастания веса)
do if Find_Set(u) / Find_Set(v)
then A «— A U {(u, v)}
Union(u, v)
return A
Рис. 23.4. Выполнение алгоритма Крускала для графа, приведенного на рис. 23.1. Заштрихованные ребра принадлежат растущему лесу АРис. 23.4. Выполнение алгоритма Крускала для графа, приведенного на рис. 23.1. Заштрихованные ребра принадлежат растущему лесу А
Рис. 23.4. Выполнение алгоритма Крускала для графа, приведенного на рис. 23.1. Заштрихованные ребра принадлежат растущему лесу А
Рис. 23.4. Выполнение алгоритма Крускала для графа, приведенного на рис. 23.1. Заштрихованные ребра принадлежат растущему лесу А
Алгоритм Крускала работает так, как показано на рис. 23.4. В строках 1-3 выполняется инициализация множества А пустым множеством и создается |V| деревьев, каждое из которых содержит по одной вершине. Ребра в Е в строке 4 сортируются согласно их весу в неубывающем порядке. Цикл for в строках 5-8 проверяет для каждого ребра (и, и), принадлежат ли его концы одному и тому же дереву. Если это так, то данное ребро не может быть добавлено к лесу без того, чтобы создать при этом цикл, поэтому в таком случае ребро отбрасывается. В противном случае, когда концы ребра принадлежат разным деревьям, в строке 7 ребро (гц у) добавляется в множество А, и вершины двух деревьев объединяются в строке 8.
Время работы алгоритма Крускала для графа G = (V, Е) зависит от реализации структуры данных для непересекающихся множеств. Мы будем считать, что лес непересекающихся множеств реализован так, как описано в разделе 21.3, с эв-
ристиками объединения по рангу и сжатия пути, поскольку асимптотически это наиболее быстрая известная реализация. Инициализация множества А в строке 1 занимает время 0(1), а время, необходимое для сортировки множества в строке 4, равно О (SlgS) (стоимость ]У| операций MAKESET в цикле for в строках 2-3 мы учтем чуть позже). Цикл for в строках 5-8 выполняет О (Е) операций Find_Set и Union над лесом непересекающихся множеств. Вместе с |У| операциями MakeJSet эта работа требует времени О ((У + Е) а (У)), где а — очень медленно растущая функция, определенная в разделе 21.4. Поскольку мы предполагаем, что G — связный граф, справедливо соотношение |Е| ^ |У| — 1, так что операции над непересекающимися множествами требуют О (Еа (У)) времени. Кроме того, поскольку а(|У|) = О (1g У) = О (lg Е), общее время работы алгоритма Крускала равно О (E\gE). Заметим, что |Е| < |У|2, поэтому lg|E| = = О (1g У) и время работы алгоритма Крускала можно записать как О (SigУ).
Алгоритм Прима
Аналогично алгоритму Крускала, алгоритм Прима представляет собой частный случай обобщенного алгоритма поиска минимального остовного дерева из раздела 23.1. Алгоритм Прима очень похож на алгоритм Дейкстры для поиска кратчайшего пути в графе, который будет рассмотрен нами в разделе 24.3. Алгоритм Прима обладает тем свойством, что ребра в множестве А всегда образуют единое дерево. Как показано на рис. 23.5, дерево начинается с произвольной
корневой вершины г и растет до тех пор, пока не охватит все вершины в V. На каждом шаге к дереву А добавляется легкое ребро, соединяющее дерево и отдельную вершину из оставшейся части графа. В соответствии со следствием 23.2, данное правило добавляет только безопасные для А ребра; следовательно, по завершении алгоритма ребра в А образуют минимальное остовное дерево. Данная стратегия является жадной, поскольку на каждом шаге к дереву добавляется ребро, которое вносит минимально возможный вклад в общий вес.
Ключевым моментом в эффективной реализации алгоритма Прима является выбор нового ребра для добавления в дерево. В приведенном ниже псевдокоде в качестве входных данных алгоритму передаются связный граф G и корень г минимального остовного дерева. В процессе работы алгоритма все вершины, которые не входят в дерево, располагаются в очереди с приоритетами Q, основанной на значении поля key, причем меньшее значение этого поля означает более высокий приоритет в очереди. Для каждой вершины v значение поля key [и] представляет собой минимальный вес среди всех ребер, соединяющих и с вершиной в дереве. Если ни одного такого ребра нет, считаем, что key [и] = оо. Поле тг [v] указывает родителя v в дереве. В процессе работы алгоритма множество А из процедуры Generic_MST неявно поддерживается как
А = {(v, тг [v]) : v е V - {г} - Q}.
Когда алгоритм завершает работу, очередь с приоритетами Q пуста и минимальным остовным деревом для G является дерево
А = {(и, тг [v]) : v G V — {г}} .
MST_PRIM((7, w, г)
for (Для) каждой вершины uE V[G]
do key [и] ♦— оо
тг[и] «— nil
кеу^т] О
Q-V[G]
while Q + 0
do u«- Extract_Min(Q)
for (Для) каждой вершины v € Adj [u]
do if v € Q и wQu^ v) < key [v]
then tt[v] <— и
key\t^ w^t?)
Работа алгоритма Прима проиллюстрирована на рис. 23.5. В строках 1-5 ключи всех вершин устанавливаются равными оо (за исключением корня г, ключ которого равен 0, так что он оказывается первой обрабатываемой вершиной),
Рис. 23.5. Выполнение алгоритма Прима для графа, приведенного на рис. 23.1. Корневая вершина — а. Заштрихованные ребра принадлежат растущему дереву
указателям на родителей для всех узлов присваиваются значения NIL и все вершины вносятся в очередь с приоритетами Q. Алгоритм поддерживает следующий инвариант цикла, состоящий из трех частей.
Перед каждой итерацией цикла while в строках 6-11
А = {(v, тг [v]) : v € У — {г} — Q};
вершины, уже помещенные в минимальное остовное дерево, принадлежат множеству V — Q;
для всех вершин veQ справедливо следующее: если тг [v] / NIL, то key [v] < < оо и key [v] — вес легкого ребра («,тг [и]), соединяющего и с некоторой вершиной, уже находящейся в минимальном остовном дереве.
В строке 7 определяется вершина и, принадлежащая легкому ребру, пересекающему разрез (У — Q,Q) (за исключением первой итерации, когда и = г в соответствии с присвоением в строке 4). Удаление и из множества Q добавляет его в множество V — Q вершин дерева. Цикл for в строках 8-11 обновляет поля key и тг для каждой вершины v, смежной с и и не находящейся в дереве. Это обновление сохраняет третью часть инварианта.
Производительность алгоритма Прима зависит от выбранной реализации очереди с приоритетами Q. Если реализовать ее как бинарную пирамиду (см. главу 6), то для выполнения инициализации в строках 1-5 можно использовать процедуру Build_Min_Heap, что потребует времени О (V). Тело цикла while выполняется |У| раз, а поскольку каждая операция EXTRACT_MlN занимает время О (1g V), общее время всех вызовов процедур EXTRACT_M1N составляет О (У lg У). Цикл for в строках 8-11 выполняется всего О (S) раз, поскольку сумма длин всех списков смежности равна 2 |S|. Внутри цикла for проверка на принадлежность Q в строке 9 может быть реализована за постоянное время, если воспользоваться для каждой вершины битом, указывающим, находится ли она в Q, и обновлять этот бит при удалении вершины из Q. Присвоение в строке 11 неявно включает операцию DECREASE_KEY над пирамидой. Время выполнения этой операции — О (1g У). Таким образом, общее время работы алгоритма Прима составляет О (У 1g У + S 1g У) = О (Е 1g У), что асимптотически совпадает со временем работы рассмотренного ранее алгоритма Крускала.
Однако асимптотическое время работы алгоритма Прима можно улучшить за счет применения фибоначчиевых пирамид. В главе 20 показано, что если |У| элементов организованы в фибоначчиеву пирамиду, то операцию Exctarct Min можно выполнить за амортизированное время О (1g У), а операцию DECREASE_ Key — за амортизированное время 0(1). Следовательно, при использовании фибоначчиевой пирамиды для реализации очереди с приоритетами Q общее время работы алгоритма Прима улучшается до О (Е + У 1g У).
Упражнения
1. Алгоритм Крускала может возвращать разные остовные деревья для одного и того же входного графа G в зависимости от расположения ребер с одинаковым весом при сортировке. Покажите, что для любого минимального остовного дерева Т графа G можно указать способ сортировки
ребер G, для которого алгоритм Крускала даст минимальное остовное дерево Т.
2. Предположим, что граф G = УЕ) представлен при помощи матрицы смежности. Разработайте простую реализацию алгоритма Прима для этого случая, время работы которой равно О (у2У
3. Будет ли реализация алгоритма Прима с использованием фибоначчиевых пирамид асимптотически быстрее реализации с использованием бинарных пирамид для разреженного графа G = У\ЕУ где |£7| = ©У)? А для плотного графа, в котором ^| = 0 (У2)? Каким образом должны быть связаны |j5| и |У|, чтобы реализация с использованием фибоначчиевых пирамид была быстрее реализации с использованием бинарных пирамид?
4. Предположим, что все веса ребер графа представляют собой целые числа в диапазоне от 1 до | V |. Насколько быстрым можно сделать алгоритм Крускала в этом случае? А в случае, когда вес каждого ребра представляет собой целое число в диапазоне от 1 до W для некоторой константы W"!
5. Предположим, что вес каждого из ребер графа представляет собой целое число в диапазоне от 1 до | V |. Насколько быстрым можно сделать алгоритм Прима в этом случае? А в случае, когда вес любого ребра представляет собой целое число в диапазоне от 1 до W для некоторой константы W1
* 23.2-6. Предположим, что веса ребер графа равномерно распределены на полуоткрытом интервале [0,1). Какой алгоритм — Крускала или Прима — будет работать быстрее в этом случае?
* 23.2-7. Предположим, что граф G имеет уже вычисленное минимальное остовное дерево. Насколько быстро можно обновить минимальное остовное дерево при добавлении в G новой вершины и инцидентных ребер?
8. Профессор предложил новый алгоритм декомпозиции для вычисления минимальных остовных деревьев, заключающийся в следующем. Для данного графа G = (У, Е) разбиваем множество вершин V на два подмножества У1 и У2, таких что |У1| и |V2I отличаются не более, чем на 1. Пусть Еу — множество ребер, инцидентных только над вершинами в Уь а Е2 - множество ребер, инцидентных только над вершинами в У2. Рекурсивно решаем задачу поиска минимальных остовных деревьев в каждом их подграфов G\ = (Vi,^) и G2 = У^Е^У а затем выбираем среди ребер Е ребро с минимальным весом, пересекающее разрез (Уь У2), и используем его для объединения двух полученных минимальных остовных деревьев в одно.
Докажите или опровергните корректность описанного алгоритма поиска минимального остовного дерева.
Задачи
23-1. Второе минимальное остовное дерево
G = (У, 5) — неориентированный связный граф с весовой функцией w : 5 —» R; предположим, что |S| ^ |У| и что веса всех ребер различны. Определим второе минимальное остовное дерево следующим образом. Пусть Т — множество всех остовных деревьев G, и пусть Т* — минимальное остовное дерево G. Тогда вторым минимальным остовным деревом (second-best minimum spanning tree) будет такое дерево Т, что w (Г) = min7vzgj'_{7,z} (w (Т")}.
Покажите, что минимальное остовное дерево единственное, но вторых минимальных остовных деревьев может быть несколько.
Пусть Т — минимальное остовное дерево G. Докажите, что существуют ребра (и, и)бТи (ж, у) 0 Т, такие что Т—{(u, и)}и{(ж, у)} — второе минимальное остовное дерево G.
Пусть Т — остовное дерево G, и пусть для любых двух вершин u, v € V max [и, и] — ребро максимального веса на единственном пути между и и v в Т. Разработайте алгоритм, который за время О (У2) для данного Т вычисляет max [u, и] для всех и, v € У.
Разработайте эффективный алгоритм вычисления второго минимального остовного дерева G.
23-2. Минимальное остовное дерево разреженного графа
Для очень разреженного связного графа G = (У, S) можно добиться дальнейшего улучшения времени работы О (Е + У 1g У) алгоритма Прима с использованием фибоначчиевых пирамид путем предварительной обработки G в целях уменьшения количества его вершин перед применением алгоритма Прима. В частности, для каждой вершины и мы выбираем инцидентное и ребро (и, и) с минимальным весом и помещаем это ребро в строящееся минимальное остовное дерево. Затем мы выполняем сжатие по всем выбранным ребрам (см. раздел Б.4). Вместо того чтобы проводить сжатие по одному ребру, мы сначала определяем множества вершин, которые объединяются в одну новую вершину. Затем мы создаем граф, который должен был бы получиться в результате объединения этих ребер по одному, но делаем это путем “переименования” ребер соответственно множествам, в которых оказываются концы этих ребер. При этом одинаково переименованными могут оказаться одновременно несколько ребер, и в таком случае в качестве результирующего рассматривается только одно ребро с весом, равным минимальному весу среди соответствующих исходных ребер.
Изначально мы полагаем строящееся минимальное остовное дерево Т пустым, и для каждого ребра (и, и) 6 5 выполняем присвоения отгд [it, и] = = (и, и) и с [и, и] = w(u, w). Атрибут отгд используется для ссылки на исходное ребро графа, которое связано с данным ребром в сжатом графе. Атрибут с хранит вес ребра, и при сжатии его значение обновляется в соответствии с приведенной выше схемой выбора весов ребер. Процедура MST_Reduce получает в качестве входных параметров G, отгд, с и Т, и возвращает сжатый граф G' и обновленные атрибуты отгд* и с' для графа G*. Процедура также переносит ребра из G в минимальное остовное дерево Т.
MST_Reduce(G, отгд, с, Т)
12345678910111213141516171819202122231234567891011121314151617181920212223for (Для) каждого и € V[G] do mark [и] ♦— FALSE Make_Set(v)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
for (Для) каждого и € V[G] do if mark^ = FALSE
then Выбираем v 6 Adj^ с минимальным c[u,v] Union(u, v)
T «— T U {ony[n, v]} markka] <— marfc[v] «— TRUE V[G'] {FlND_SET(v) : v € V[G]} E[G'] «- 0 for (Для) каждого (ж, у) 6 £[0] do и «- Find_Set(x)
V «- FlND_SET(y) if (u,v) №']
then E[G'] 4-E[G']U {(«,«)} orig'[u,v] <- orig[x,y] d[u,v] «- с[ж,у]
else if с[ж, у] < (/[u, v]
then origin, v] <— опу[ж, у]
</[«,«] 4- с[ж,у] Строим списки смежности Adj for G' return G', orig', d иТ
Пусть T — множество ребер, возвращаемое процедурой MST_ Reduce, и пусть А — минимальное остовное дерево графа G', образованное вызовом MST_Prim(G', с', г), где г — произвольная вершина из V [G']. Докажите, что Т U \отгд' [ж, у] : (ж, у) G А} представляет собой минимальное остовное дерево графа G.
Докажите, что |V[G']| < |V|/2.
Покажите, как реализовать процедуру MST_Reduce так, чтобы время ее работы составляло О (Е). (Указание: воспользуйтесь простыми структурами данных.)
Предположим, мы к раз применяем процедуру MST_Reduce, используя полученные при очередном вызове G', orig1 и с' в качестве входных данных для следующего вызова и накапливаем ребра в Т. Покажите, что общее время выполнения всех к вызовов составляет О(кЕ\
Предположим, что после к вызовов процедуры MST_Reduce мы применяем алгоритм Прима MST_Prim(G', d д\ где G' и d получены в результате последнего вызова процедуры MST_Reduce, ar — произвольная вершина из V [G']. Покажите, как выбрать к, чтобы общее время работы составило О(Е lg lg V). Докажите, что ваш выбор к минимизирует общее асимптотическое время работы.
Для каких значений l#! (выраженных через |У|) алгоритм Прима с предварительным сжатием эффективнее алгоритма Прима без сжатия?
23-3. Узкое остовное дерево
Назовем узким остовным деревом (bottleneck spanning tree) Т неориентированного графа G остовное дерево G, в котором наибольший вес ребра минимален среди всех возможных остовных деревьев, и этот вес называется значением узкого остовного дерева.
Докажите, что минимальное остовное дерево является узким остовным деревом.
Из части а) следует, что поиск узкого остовного дерева не сложнее поиска минимального остовного дерева. В оставшейся части задачи мы покажем, что его можно найти за линейное время.
Разработайте алгоритм, который для данного графа G и целого числа b за линейное время определяет, превышает ли значение узкого остовного дерева число b или нет.
Воспользуйтесь вашим алгоритмом из части б) как подпрограммой в алгоритме решения задачи поиска узкого остовного дерева за линейное время. (Указание: можно воспользоваться подпрограммой сжатия множеств ребер, как в процедуре MST_Reduce, описанной в задаче 23-2.)
23-4. Альтернативные алгоритмы поиска минимальных остовных деревьев
В этой задаче мы приведем псевдокоды трех различных алгоритмов. Каждый из них принимает в качестве входных данных граф и возвращает
множество ребер Т. Для каждого из алгоритмов требуется доказать, что Т является минимальным остовным деревом графа, или доказать, что это не так. Кроме того, опишите эффективную реализацию каждого из алгоритмов, независимо от того, вычисляет он минимальное остовное дерево или нет.
Maybe_MST_A(G, w)
Сортируем ребра в невозрастающем порядке весов
Т Е
for (Для) каждого ребра е в отсортированном порядке
do if Т — {е} — связный граф
then Т <— Г - {е}
return Т
Maybe_MST_B(G',w)
1 Т<- 0
for (Для) каждого ребра е в произвольном порядке
do if Т U (е) не имеет циклов
then Т ♦— Т U {е}
return Т
Maybe_MST_C(G,w)
Г«—0
for (Для) каждого ребра е в произвольном порядке
do Т Т U {е}
if Т имеет цикл с
then Пусть е' — ребро максимального веса в с
Т 4- г - {е'}
return Т
Заключительные замечания
Книга Таржана (Tarjan) [292] содержит превосходный обзор задач, связанных с поиском минимальных остовных деревьев, и дополнительную информацию о них. История данной задачи изложена Грехемом (Graham) и Хеллом (Hell) [131].
Таржан указывает, что впервые алгоритм для поиска минимальных остовных деревьев был описан в 1926 году в статье Борувки (О. Bonivka). Его алгоритм состоит в выполнении О (lg V) итераций процедуры MST_Reduce, описанной в задаче 23-2. Алгоритм Крускала описан в [195] в 1956 году, а алгоритм, известный как алгоритм Прима, — в работе Прима (Prim) [250], хотя до этого он был открыт Ярником (Jarnik) в 1930 году.
Причина, по которой жадные алгоритмы эффективно решают задачу поиска минимальных остовных деревьев, заключается в том, что множество лесов графа образует матроид (см. раздел 16.4).
Когда |S| = Q(yigy), алгоритм Прима, реализованный с использованием фибоначчиевых пирамид, имеет время работы О (Е). Для более разреженных графов использование комбинации идей из алгоритма Прима, алгоритмов Крускала и Борувки, вместе с применением сложных структур данных дало возможность Фредману (Fredman) и Таржану [98] разработать алгоритм, время работы которого равно О (Sig* V\ Габов (Gabow), Галил (Galil), Спенсер (Spencer) и Таржан [102] усовершенствовали этот алгоритм, доведя время его работы до О (Siglg* V\ Ча- зел (Chazelle) [53] разработал алгоритм, время работы которого — О (Еа (Е, V)), где 2 (S, V) — функция, обратная функции Аккермана (см. главу 21). В отличие от перечисленных ранее, алгоритм Чазела не является жадным.
С задачей поиска минимального остовного дерева связана задача проверки остовного дерева (spanning tree verification), в которой для данного графа G = = (V, S) и дерева Т С Е требуется определить, является ли Т минимальным остовным деревом G. Кинг (King) [177] разработал алгоритм решения данной задачи за линейное время, основанный на работах Комлёса (Komlos) [188] и Диксона (Dixon), Рауха (Rauch) и Таржана [77].
Все описанные выше алгоритмы детерминированные и относятся к модели на основе сравнений, описанной в главе 8. Каргер (Karger), Клейн (Klein) и Таржан [169] разработали рандомизированный алгоритм поиска минимальных остовных деревьев, математическое ожидание времени работы которого — О (V + S). Этот алгоритм использует рекурсию наподобие алгоритма с линейным временем работы из раздела 9.3: рекурсивный вызов для вспомогательной задачи определяет подмножество ребер S', которое не может находиться ни в одном минимальном остовном дереве. Другой рекурсивный вызов, работающий с подмножеством Е — Е', строит минимальное остовное дерево. Алгоритм также использует идеи из алгоритмов Борувки и Кинга.
Фредман и Виллард (Willard) [100] показали, как найти минимальное остовное дерево за время О У + S) с использованием детерминированного алгоритма, не основанного на сравнениях. Их алгоритм предполагает, что данные представляют собой Ь-битовые целые числа и что память компьютера состоит из адресуемых Ь- битовых слов.
ГЛАВА 24
Кратчайшие пути из однойвершины
Водителю автомобиля нужно найти как можно более короткий путь из Киева в Запорожье. Допустим, у него есть карта Украины, на которой указаны расстояния между каждой парой пересечений дорог. Как найти кратчайший маршрут?
Один из возможных способов — пронумеровать все маршруты из Киева в Запорожье, просуммировать длины участков на каждом маршруте и выбрать кратчайший из них. Однако легко понять, что даже если исключить маршруты, содержащие циклы, получится очень много вариантов, большинство которых просто не имеет смысла рассматривать. Например, очевидно, что маршрут из Киева в Запорожье через Львов — далеко не лучший выбор. Точнее говоря, такой маршрут никуда не годится, потому что Львов находится относительно Киева совсем в другой стороне.
В этой главе и в главе 25 будет показано, как эффективно решаются такие задачи. В задаче о кратчайшем пути (shortest-paths problem) задается взвешенный ориентированный граф G = (У, Е) с весовой функцией w : Е —* R, отображающей ребра на их веса, значения которых выражаются действительными числами. Вес (weight) пути р = (vo vi, • • •, Vk) равен суммарному весу входящих в него ребер:
к
г=1
Вес кратчайшего пути (shortest-path weight) из вершины и в вершину v определяется соотношением
5 (и, v) =5 (и, v) =. Г / X Рmm < w (р) : и v. Г / X Рmm < w (р) : и vесли имеется путь от и к v,если имеется путь от и к v,ООООв противном случае.в противном случае.
5 (и, v) =
5 (и, v) =
. Г / X Рmm < w (р) : и v
. Г / X Рmm < w (р) : и v
если имеется путь от и к v,
если имеется путь от и к v,
ОО
ОО
в противном случае.
в противном случае.
Тогда по определению кратчайший путь (shortest path) из вершины и в вершину v — это любой путь, вес которого удовлетворяет соотношению w (р) = 5 (tz, v).
В примере, в котором рассматривается маршрут из Киева в Запорожье, карту дорог можно смоделировать в виде графа, вершины которого представляют перекрестки дорог, а ребра — отрезки дорог между перекрестками, причем вес каждого ребра равен расстоянию между соответствующими перекрестками. Цель — найти кратчайший путь от заданного перекрестка в Киеве (например, между улицами Клавдиевской и Корсуньской) к заданному перекрестку в Запорожье (скажем, между улицами Панфиловцев и Патриотической).
Вес каждого из ребер можно интерпретировать не как расстояние, а как другую метрику. Часто они используются для представления временных интервалов, стоимости, штрафов, убытков или любой другой величины, которая линейно накапливается по мере продвижения вдоль ребер графа и которую нужно свести к минимуму.
Алгоритм поиска в ширину, описанный в разделе 22.2, представляет собой алгоритм поиска кратчайшего пути по невзвешенному графу, т.е. по графу, каждому ребру которого приписывается единичный вес. Поскольку многие концепции, применяющиеся в алгоритме поиска в ширину, возникают при исследовании задачи о кратчайшем пути по взвешенным графам, рекомендуется освежить в памяти материал раздела 22.2.
Варианты
Настоящая глава посвящена задаче о кратчайшем пути из одной вершины (single-source shortest-paths problem), в которой для заданного графа G = (V, Е) требуется найти кратчайший путь, который начинается в определенной исходной вершине (source vertex) seV (для краткости будем именовать ее истоком) и заканчивается в каждой из вершин v е V. Предназначенный для решения этой задачи алгоритм позволяет решить многие другие задачи, в том числе те, что перечислены ниже.
Задача о кратчайшем пути в заданный пункт назначения (single-destination shortest-paths problem). Требуется найти кратчайший путь в заданную вершину назначения (destination vertex) t, который начинается в каждой из вершин и. Поменяв направление каждого принадлежащего графу ребра, эту задачу можно свести к задаче о единой исходной вершине.
Задача о кратчайшем пути между заданной парой вершин (single-pair shortest-paths problem). Требуется найти кратчайший путь из заданной вершины и в заданную вершину и. Если решена задача о заданной исходной вершине и, то эта задача тоже решается. Более того, для этой задачи не найдено ни одного алгоритма, который бы в асимптотическом пределе был производительнее, чем лучшие из известных алгоритмов решения задачи об одной исходной вершине в наихудшем случае.
Задача о кратчайшем пути между всеми парами вершин (all-pairs shortest- paths problem). Требуется найти кратчайший путь из каждой вершины и в каждую вершину и. Эту задачу тоже можно решить с помощью алгоритма, предназначенного для решения задачи об одной исходной вершине, однако обычно она решается быстрее. Кроме того, структура этой задачи представляет интерес сама по себе. В главе 25 задача обо всех парах вершин исследуется более подробно.
Оптимальная структура задачи о кратчайшем пути
Алгоритмы поиска кратчайших путей обычно основаны на том свойстве, что кратчайший путь между двумя вершинами содержит в себе другие кратчайшие пути. (В основе описанного в главе 26 алгоритма Эдмондса-Карпа (Edmonds-Karp), предназначенного для поиска максимального потока, также лежит это свойство). Это свойство оптимальной структуры — критерий применимости и динамического программирования (глава 15), и жадного метода (глава 16). Алгоритм Дейкстры (Dijkstra), с которым мы ознакомимся в разделе 24.3, представляет собой жадный алгоритм, а алгоритм Флойда-Воршалла (Floyd-Warshall), предназначенный для поиска кратчайшего пути между всеми парами вершин (см. главу 25), — это алгоритм динамического программирования. В сформулированной ниже лемме данное свойство оптимальной структуры определяется точнее.
Лемма 24.1 (Частичные пути кратчайшего пути являются кратчайшими путями.) Пусть р = (vi, V2,.. •,Vk) — кратчайший путь из вершины vi к вершине ^к в заданном взвешенном ориентированном графе G = (V, Е) с весовой функцией w : Е —> R, a pij = (vj, Vi+i,..., ^) — частичный путь пути р, который проходит из вершины тн к вершине Uj для произвольных г и j, удовлетворяющих неравенству 1 < г < j < к. Тогда р^ — кратчайший путь из вершины ^ к вершине Uj.
туPit Pij Pjk
Доказательство. Если разложить путь р на составные части г?]^^к,
то будет выполняться соотношение w (р) = w^pa) + w^ptj) + w(pjk\ Теперь предположим, что существует путь р^ из вершины гн к вершине Vj, вес которого
удовлетворяет неравенству w Ip^ I < 'wVPij) Тогда vi v, Vj v^ — путь
из вершины «1 к вершине г>ь вес которого w (рц) + w \Pij) + w (pj^ меньше веса w (р). Это противоречит предположению о том, что р — кратчайший путь из вершины vi к вершине и^. ■
Ребра с отрицательным весом
В некоторых экземплярах задачи о кратчайшем пути из фиксированного истока, веса ребер могут принимать отрицательные значения. Если граф G = (V, Е) не содержит циклов с отрицательным весом, достижимых из истока s, то вес кратчайшего пути <5 (s, v) остается вполне определенной величиной для каждой вершины v е V, даже если он принимает отрицательное значение. Если же такой цикл достижим из истока s, веса кратчайших путей перестают быть вполне определенными величинами. В этой ситуации ни один путь из истока s в любую из вершин цикла не может быть кратчайшим, потому что всегда можно найти путь с меньшим весом, который проходит по предложенному “кратчайшему” пути, а потом обходит цикл с отрицательным весом. Если на некотором пути из вершины s к вершине и встречается цикл с отрицательным весом, мы определяем 8 (s, v) = —оо.
На рис. 24.1 проиллюстрировано влияние наличия отрицательных весов и циклов с отрицательным весом на веса кратчайших путей. Поскольку из вершины s в вершину а ведет всего один путь (путь (s,a)), то выполняется равенство 8 (s, a) = w (s, a) = 3. Аналогично, имеется всего один путь из вершины s в вершину Ь, поэтому 8 (s, 6) = w (s, a)+w (a, 6) = 3+(—4) = — 1. Из вершины s в вершину с можно провести бесконечно большое количество путей: (s, с), (s,c, d, с), (s, с, d, с, d, с) и т.д. Поскольку вес цикла (с, d, с) равен 6 + (—3) = 3 > 0, те. он положительный, кратчайший путь из вершины s в вершину с — это (s, с) вес которого равен 8 (s, с) = 5. Аналогично, кратчайший путь из вершины s в вершину d — (s, с, d), с весом 8(s,d) = w(s,c) + w(c, d) = 11. Существует бесконечно большое количество путей из s в вершину е: (s, е), (s, е, f, е), (s, е, /, е, /, е) и т.д. Однако поскольку вес цикла (е, /, е) равен 3 + (—6) = —3 < 0, те. он отрицательный, не существует кратчайшего пути из вершины s в вершину е. Обходя цикл с отрицательным весом (е, /, е) сколько угодно раз, можно построить путь из s в вершину е, вес которого будет выражаться как угодно большим по модулю отрицательным числом, поэтому 8 (s, е) = —оо; аналогично, 8 (s, /) = —оо. Поскольку вершина д достижима из вершины /, можно также найти пути из вершины s в вершину д с произвольно большими отрицательными весами, поэтому 8 (s, д) = —оо. Вершины h, г и j также образуют цикл с отрицательным весом. Однако они недостижимы из вершины s, поэтому 8 (s, /i) = 8 (s, г) = 8 (sj) = оо.
В некоторых алгоритмах поиска кратчайшего пути, таких как алгоритм Дейкстры, предполагается, что вес любого из ребер входного графа неотрицательный, как это было в примере о дорожной карте. В других алгоритмах, таких как алго-
Рис. 24.1. Ребра с отрицательным весом в ориентированном графе. В каждой вершине обозначен вес кратчайшего пути в эту вершину из вершины зРис. 24.1. Ребра с отрицательным весом в ориентированном графе. В каждой вершине обозначен вес кратчайшего пути в эту вершину из вершины з
Рис. 24.1. Ребра с отрицательным весом в ориентированном графе. В каждой вершине обозначен вес кратчайшего пути в эту вершину из вершины з
Рис. 24.1. Ребра с отрицательным весом в ориентированном графе. В каждой вершине обозначен вес кратчайшего пути в эту вершину из вершины з
ритм Беллмана-Форда (Bellman-Ford), ребра входных графов могут иметь отрицательный вес. Эти алгоритмы дают корректный ответ, если циклы с отрицательным весом недостижимы из истока. Обычно, если такой цикл с отрицательным весом существует, подобный алгоритм способен выявить его наличие и сообщить об этом.
Циклы
Может ли кратчайший путь содержать цикл? Только что мы убедились, что он не может содержать цикл с отрицательным весом. В него также не может входить цикл с положительным весом, поскольку в результате удаления этого цикла из пути получится путь, который исходит из того же истока и оканчивается в той же вершине, но обладает меньшим весом. Таким образом, если р = (vo, ^^ • • • ^к') — путь, а с = {vi, Vi+i,..., Vj) — цикл с положительным весом на этом пути (т.е. ^ = = Vj и w (с) > 0), то вес пути р* = (vo, vi,..., v;, vj+i, ^+2, • • .^k) равен w (p') = = w (p) — w (c) < w (p), так что p не может быть кратчайшим путем из вершины ио в вершину и^.
Остаются только циклы с нулевым весом. Однако из пути можно удалить цикл с нулевым весом, в результате чего получится другой путь с тем же весом. Таким образом, если существует кратчайший путь из истока з в целевую вершину D, содержащий цикл с нулевым весом, то существует также другой кратчайший путь из истока з в целевую вершину и, в котором этот цикл не содержится. Если кратчайший путь содержит циклы с нулевым весом, эти циклы можно поочередно удалять до тех пор, пока не получим кратчайший путь, в котором циклы отсутствуют. Поэтому без потери общности можно предположить, что если ведется поиск кратчайших путей, они не содержат циклов. Поскольку в любой ациклический путь в графе G = (V\E) входит не более |У| различных вершин, в нем
также содержится не более |У| — 1 ребер. Таким образом, можно ограничиться рассмотрением кратчайших путей, состоящих не более чем из |V| — 1 ребер.
Представление кратчайших путей
Часто требуется вычислить не только вес каждого из кратчайших путей, но и входящие в их состав вершины. Представление, которое используется для кратчайших путей, аналогично тому, что используется для описанных в разделе 22.2 деревьев поиска в ширину. В заданном графе G = (V, Е) для каждой вершины v € V поддерживается атрибут предшественник (predecessor) тг [v], в роли которого выступает либо другая вершина, либо значение NIL. В рассмотренных в этой главе алгоритмах поиска кратчайших путей атрибуты тг присваиваются таким образом, что цепочка предшественников, которая начинается в вершине v, позволяет проследить путь, обратный кратчайшему пути из вершины з в вершину v. Таким образом, для заданной вершины v, для которой тг [v] / NIL, с помощью описанной в разделе 22.2 процедуры Print_Path(G, s, v) можно вывести кратчайший путь из вершины s в вершину d.
Однако до тех пор, пока алгоритм поиска кратчайших путей не закончил свою работу, значения тг не обязательно указывают кратчайшие пути. Как и при поиске в ширину, нас будет интересовать подграф предшествования (predecessor subgraph) G^ = (V^^E^Y построенный на основании значений тг. Как и раньше, определим множество вершин 14 как множество, состоящее из тех вершин графа G, предшественниками которых не являются значения NIL, а также включает исток з:
14 = {v Е V : тг [v] / NIL} U {s} .
Множество ориентированных ребер Е^ — это множество ребер, индуцированных значениями тг вершин из множества 14:
Е„ = {(тг [v], v) е Е : v € V, - {s}} .
Далее будет доказано, что значения тг, полученные с помощью описанных в этой главе алгоритмов, обладают тем свойством, что после завершения этих алгоритмов Gtt является “деревом кратчайших путей”. Неформально это дерево можно описать как корневое дерево, содержащее кратчайший путь из истока з к каждой вершине, достижимой из вершины з. Оно похоже на дерево поиска в ширину, знакомое нам по разделу 22.2, но содержит кратчайшие пути из истока, определенные не с помощью количества ребер, а с помощью значений их весов. Дадим более точное определение. Пусть G = (V, Е) — взвешенный ориентированный граф с весовой функцией w : Е —> R. Предположим, что в нем не содержится циклов с отрицательным весом, достижимых из истока s Е V, а следовательно,
Рис. 24.2. Два разных дерева кратчайших путей, соответствующих одному и тому же взвешенному ориентированному графу
кратчайшие пути вполне определены. Тогда дерево кратчайших путей (shortest- paths tree) с корнем в вершине s — это ориентированный подграф G' = (У', Е'\ в котором множества V* С V и Е' С Е определяются такими условиями:
V' — множество вершин, достижимых из истока s графа G:
граф G* образует корневое дерево с корнем в вершине s:
для всех v е V' однозначно определенный простой путь из вершины s в вершину v в графе G' совпадает с кратчайшим путем из вершины s в вершину у в графе G.
Кратчайшие пути, как и деревья кратчайших путей, не обязательно единственны. Например, на рис. 24.2 изображен взвешенный ориентированный граф, на котором обозначен вес каждого из кратчайших путей из истока s (рис. 24.2а), а также два дерева кратчайших путей с корнем s (рис. 24.26 и в).
Ослабление
В описанных в этой главе алгоритмах используется метод релаксации, или ослабления (relaxation). Для каждой вершины ve V поддерживается атрибут d [и], представляющий собой верхнюю границу веса, которым обладает кратчайший путь из истока s в вершину и. Назовем атрибут d [г?] оценкой кратчайшего пути (shortest-path estimate). Инициализация оценок кратчайших путей и предшественников производится в приведенной ниже процедуре, время работы которой равно © (V):
Initialize_Single_Source(G, s)
for (Для) каждой вершины vG V[G]
do d[v] <— сю
7r[v] <- NIL
d[s] О
После инициализации для всех v eV тг [v] = NIL, d[s] = 0 и для всех vEV—{s} d [v] = сю.
Рис. 24.3. Ослабление ребра (и, и) с весом w (и, и) = 2
Процесс ослабления^ (relaxation) ребра (n, v) заключается в проверке, нельзя ли улучшить найденный до сих пор кратчайший путь к вершине v, проведя его через вершину и, а также в обновлении атрибутов d [v] и тг [v] при наличии такой возможности улучшения. Ослабление может уменьшить оценку кратчайшего пути d [v] и обновить поле тг [v] вершины v. Приведенный ниже код выполняет ослабление ребра (гц v):
Relax(u, v, w)
if d[v] > d\u\ + w(n, v)
then d[v] *— d\u\ + w(u, v)
tt[v] и
На рис. 24.3 приведены два примера ослабления ребра; в одном из этих примеров оценка кратчайшего пути понижается, а в другом — не происходит никаких изменений, связанных с оценками. В каждой вершине на рисунке приводится оценка кратчайшего пути к этой вершине. В примере, приведенном в части а рисунка, перед ослаблением выполняется неравенство d [v] > d [iz] + w (u^ v), поэтому в результате ослабления значение d[v] уменьшается. В части б рисунка перед ослаблением выполняется неравенство d[v] ^ d\u\ + w (и^), поэтому значение d [v] остается неизменным.
В каждом из описанных в этой главе алгоритмов сначала вызывается процедура INITIALIZE_SINGLE_SOURCE, а затем производится ослабление ребер. Более того, ослабление — единственная операция, изменяющая оценки кратчайших путей и предшественников. Описанные в этой главе алгоритмы различаются тем, сколько раз в них производится ослабление ребер, а также порядком ребер, над которыми выполняется ослабление. В алгоритме Дейкстры и алгоритме поиска кратчайших путей в ориентированных ациклических графах каждое ребро
Может показаться странным, что термин “ослабление” используется для операции, которая уточняет верхнюю границу. Этот термин определился исторически. Результат этапа ослабления можно рассматривать как ослабление ограничения d [v] ^ d [u] 4- w (u, v), которое должно выполняться согласно неравенству треугольника (лемма 24.10), если d[u] = 5(s,u)u d[v] = S^V). Другими словами, если справедливо неравенство d[v] ^ d[u] 4- w(u,v), оно выполняется без “давления”, поэтому данное условие “ослабляется”.
ослабляется ровно по одному разу. В алгоритме Беллмана-Форда (Bellman-Ford) каждое ребро ослабляется по несколько раз.
Свойства кратчайших путей и ослабления
Для доказательства корректности описанных в этой главе алгоритмов будут использоваться некоторые свойства кратчайших путей и ослабления. Здесь эти свойства лишь сформулированы, а в разделе 24.5 будет представлено их формальное доказательство. Чтобы не нарушалась целостность изложения, каждое приведенное здесь свойство содержит номер соответствующей ему леммы или следствия из раздела 24.5. В последних пяти свойствах, которые относятся к оценкам кратчайших путей или подграфу предшествования, подразумевается, что они инициализированы с помощью вызова процедуры Initialize_Single_Source(G, s), и что единственный способ, используемый для изменения оценок кратчайших путей и подграфа предшествования, — выполнение некоторой последовательности этапов ослабления.
Неравенство треугольника (лемма 24.10).
Для каждого ребра (tz, и) Е Е выполняется неравенство 8 (s, и) ^ 8 (s, и) + + w(u, и).
Свойство верхней границы (лемма 24.11).
Для всех вершин v Е V всегда выполняется неравенство d[v] > 5(s,v), а после того, как величина d [v] становится равной 8 (s, и), она больше не изменяется.
Свойство отсутствия пути (следствие 24.12).
Если из вершины s в вершину и нет пути, то всегда выполняется соотношение d [и] = 8 (з, и) = оо.
Свойство сходимости (лемма 24.14).
Если з -^ и —* и — кратчайший в графе G путь для некоторых вершин и, v Е V, и если равенство d [и] = 8 (з, и) выполняется в некоторый момент времени до ослабления ребра (tz, v), то в любой момент времени после этого d[v] = 8 (s, v).
Свойство ослабления пути (лемма 24.15).
Если р = («о, vi,..., зд) — кратчайший путь из вершины з = ио в вершину и^, и ослабление ребер пути р производится в порядке (vq> vi), (^1,^2), • ■ •, (vt-i, v/.), то d[vfc] = J(s,Vfc). Это свойство выполняется независимо от других этапов ослабления, даже если они чередуются с ослаблением ребер, принадлежащих пути р.
Свойство подграфа предшествования (лемма 24.17).
Если для всех вершин v Е V выполняется равенство d [и] = 8 (s, и), то подграф предшествования представляет собой дерево кратчайших путей с корнем в истоке з.
Краткое содержание главы
В разделе 24.1 представлен алгоритм Беллмана-Форда, позволяющий решить задачу о кратчайшем пути из фиксированного истока в общем случае, когда вес любого ребра может быть отрицательным. Этот алгоритм отличается своей простотой. К его достоинствам также относится то, что он определяет, содержится ли в графе цикл с отрицательным весом, достижимый из истока. В разделе 24.2 приводится алгоритм с линейным временем выполнения, предназначенный для построения кратчайших путей из одной вершины в ориентированном ациклическом графе. В разделе 24.3 описывается алгоритм Дейкстры, который характеризуется меньшим временем выполнения, чем алгоритм Беллмана-Форда, но требует, чтобы вес каждого из ребер был неотрицательным. В разделе 24.4 показано, как с помощью алгоритма Беллмана-Форда можно решить частный случай задачи линейного программирования. Наконец, в разделе 24.5 доказываются сформулированные выше свойства кратчайших путей и ослабления.
Примем некоторые соглашения, необходимые для выполнения арифметических операций с бесконечно большими величинами. Будем считать, что для любого действительного числа а / — оо выполняется соотношение а 4- оо = оо + + а = оо. Кроме того, чтобы наши доказательства сохраняли силу при наличии циклов с отрицательным весом, будем считать, что для любого действительного числа а / оо выполняется соотношение а + (—оо) = (—оо) + а = —оо.
Во всех описанных в этой главе алгоритмах предполагается, что ориентированный граф G хранится в виде списков смежных вершин. Кроме того, вместе с каждым ребром хранится его вес, так что при просмотре каждого списка смежности вес каждого из его ребер можно определить в течение времени О (1).
4.1 Алгоритм Беллмана-Форда
Алгоритм Беллмана-Форда (Bellman-Ford algorithm) позволяет решить задачу о кратчайшем пути из одной вершины в общем случае, когда вес каждого из ребер может быть отрицательным. Для заданного взвешенного ориентированного графа G = (V,#) с истоком s и весовой функцией w : Е —> R алгоритм Беллмана-Форда возвращает логическое значение, указывающее на то, содержится ли в графе цикл с отрицательным весом, достижимый из истока. Если такой цикл существует, в алгоритме указывается, что решения не существует. Если же таких циклов нет, алгоритм выдает кратчайшие пути и их вес.
В этом алгоритме используется ослабление, в результате которого величина d [и], представляющая собой оценку веса кратчайшего пути из истока s к каждой из вершин d eV, уменьшается до тех пор, пока она не станет равна фактическому весу кратчайшего пути J(s,v). Значение TRUE возвращается алгоритмом
б)б)в)в)Рис. 24.4. Выполнение алгоритма Беллмана-ФордаРис. 24.4. Выполнение алгоритма Беллмана-Форда
б)
б)
в)
в)
Рис. 24.4. Выполнение алгоритма Беллмана-Форда
Рис. 24.4. Выполнение алгоритма Беллмана-Форда
тогда и только тогда, когда граф не содержит циклов с отрицательным весом,
достижимых из истока.
Bellman_Ford(G, w, s)
Initialize_Single_Source(G, s)
for г «—1 to |V[G]| — 1
do for (для) каждого ребра (ц, v) е S[G]
do Relax(u, v, w)
for (для) каждого ребра (u, v) € S[G]
do if d[v] > d[u] + w(u, v)
then return false
return true
На рис. 24.4 проиллюстрирована работа алгоритма Bellman_Ford с графом, содержащим 5 вершин, в котором исток находится в вершине s.
Рассмотрим, как работает алгоритм. После инициализации в строке 1 всех значений d и 7г, алгоритм осуществляет |V| — 1 проходов по ребрам графа. Каждый проход соответствует одной итерации цикла for в строках 2-4 и состоит из однократного ослабления каждого ребра графа. После |V| — 1 проходов в строках 5-8 проверяется наличие цикла с отрицательным весом и возвращается соответствующее булево значение. (Причины, по которым эта проверка корректно работает, станут понятными несколько позже.) В примере, приведенном на рис. 24.4, алгоритм Беллман-Форд возвращает значение TRUE.
На рис. 24.4 в вершинах графа показаны значения атрибутов d на каждом этапе работы алгоритма, а выделенные ребра указывают на значения предшественников: если ребро (u, v) выделено, то тг [и] = и. В рассматриваемом примере при каждом проходе ребра ослабляются в следующем порядке: (i, ж), (t, у), (t, z), (x,t), (у, ж), (у, z), (г,ж), (2, s), (s,t), (s,y). В части а рисунка показана ситуация, сложившаяся непосредственно перед первым проходом по ребрам. В частях б-д проиллюстрирована ситуация после каждого очередного прохода по ребрам. Значения атрибутов d и тг, приведенные в части д, являются окончательными.
Алгоритм Беллмана-Форда завершает свою работу в течение времени О (V Е), поскольку инициализация в строке 1 занимает время 0 (V), на каждый из |V| - 1 проходов по ребрам в строках 2-4 требуется время 0 (Е), а на выполнение цикла for в строках 5-7 — время О (Е).
Чтобы доказать корректность алгоритма Беллмана-Форда, сначала покажем, что при отсутствии циклов с отрицательным весом он правильно вычисляет веса кратчайших путей для всех вершин, достижимых из истока.
Лемма 24.2. Пусть G = (V, Е) — взвешенный ориентированный граф с истоком s и весовой функцией w : Е —> R, который не содержит циклов с отрицательным весом, достижимых из вершины s. Тогда по завершении |V| — 1 итераций цикла for в строках 2-4 алгоритма BELLMANFORD, для всех вершин v, достижимых из вершины s, выполняется равенство d [и] = 6 (s, v).
Доказательство. Докажем сформулированную лемму, воспользовавшись свойством ослабления пути. Рассмотрим произвольную вершину и, достижимую из вершины s. Пусть р = («о, ^ъ • • •, Vfc), где «о = s и Vk = у — кратчайший ациклический путь из вершины s в вершину и. Путь р содержит не более | V| — 1 ребер, так что к ^ |V| — 1. При каждой из |V| — 1 итераций цикла for в строках 2-4 ослабляются все |Е| ребер. Среди ребер, ослабленных во время г-й итерации (г = = 1,2,..., к), находится ребро (vi-b ^г). Поэтому, согласно свойству ослабления путей, выполняется цепочка равенств d [v] = d [v/J = 5 (s, v^.) = 5 (s, v). ■
Следствие 24.3. Пусть G = (V, E) — взвешенный ориентированный граф с истоком s и весовой функцией w : Е —> R. Тогда для каждой вершины v Е У путь из вершины з в вершину и существует тогда и только тогда, когда после обработки графа G процедурой BELLMAN_FORD выполняется неравенство d [v] < оо.
Доказательство. Доказательство этого следствия предлагается выполнить в качестве упражнения 24.1-2. ■
Теорема 24.4 (Корректность алгоритма Беллмана-Форда). Пусть алгоритм BELLMAN_FORD обрабатывает взвешенный ориентированный граф G = (V,E) с истоком s и весовой функцией w : Е —> R. Если граф G не содержит циклов
с отрицательным весом, достижимых из вершины s, то этот алгоритм возвращает значение true, для всех вершин v е V выполняется равенство d [v] = J (s, v) и подграф предшествования G^ является деревом кратчайших путей с корнем в вершине s. Если же граф G содержит цикл с отрицательным весом, достижимый из вершины s, то алгоритм возвращает значение FALSE.
Доказательство. Предположим, что граф G не содержит циклов с отрицательным весом, достижимых из источника з. Сначала докажем, что по завершении работы алгоритма для всех вершин deV выполняется равенство с/ [г?] = 5 (s, v). Если вершина и достижима из источника s, то доказательством этого утверждения служит лемма 24.2. Если же вершина v не достижима из вершины s, то это утверждение следует из свойства отсутствия пути. Таким образом, данное утверждение доказано. Из свойства подграфа предшествования и этого утверждения следует, что граф Стг — дерево кратчайших путей. А теперь с помощью обоснованного выше утверждения покажем, что алгоритм Bellman_Ford возвращает значение TRUE. По завершении работы алгоритма для всех ребер (и, d^ Е Е выполняется соотношение
d [v] = 5 (s, v) ^ 5 (s, v) + w (u, v) = d [w] + w (u, v),
где неравенство следует из неравенства треугольника. Поэтому ни одна из проверок, выполненных в строке 6, не приведет к тому, что алгоритм Bellman Ford возвратит значение FALSE. Следовательно, ему ничего не остается, как возвратить значение TRUE.
Теперь предположим, что граф G содержит цикл с отрицательным весом, достижимый из истока s; пусть это будет цикл с = (vo,vi,... ,^), где vo = ^k* Тогда k
^ш(«(_1,и^ < 0.(24.1)
г=1
Чтобы воспользоваться методом “от противного”, предположим, что алгоритм Bellman_Ford возвращает значение true. Тогда для г = 1,2,..., к выполняются неравенства d [vj] ^ d [vi-i] + w (vi-i^Vi). Просуммировав неравенства по всему циклу с, получим:
кккк
52 и < 52 ^^-^+w(yi-i>ui)) = 52 dtyi-i]+52w(vi-i,vi). г=1г=1г=1г=1
Поскольку vo = иь каждая вершина в цикле с в каждой сумме 52i=i^M и 52^ d [г?г—1] появляется ровно по одному разу, так что
кк
52 dN = 52^1^-11-г=1г=1
Кроме того, согласно следствию 24.3, атрибут d [и;] при г = 1,2,..., к принимает конечные значения. Таким образом, справедливо неравенство
к
г=1
что противоречит неравенству (24.1). Итак, мы приходим к выводу, что алгоритм BELLMAN_FORD возвращает значение TRUE, если граф G не содержит циклов с отрицательным весом, достижимых из истока, и значение FALSE — в противном случае.В
Упражнения
1. Опишите работу алгоритма Bellman_Ford с ориентированным графом, показанным на рис. 24.4, в котором в качестве истока используется вершина z. В процессе каждого прохода ослабление ребер должно выполняться в том же порядке, что и на рисунке. Составьте список значений, которые принимают атрибуты d и тг после каждого прохода. А теперь измените вес ребра (г, ж), присвоив ему значение 4, и выполните алгоритм снова, используя в качестве истока вершину з.
2. Докажите следствие 24.3.
3. Пусть дан взвешенный ориентированный граф G = (У, 5), который не содержит циклов с отрицательным весом. Для каждой пары вершин и, v е У найдем минимальное количество ребер в кратчайшем пути от у к и (длина пути определяется его весом, а не количеством ребер). Пусть т — максимальное из всех полученных таким образом количеств ребер. Предложите простое изменение алгоритма Bellman_Ford, позволяющее ему завершаться после выполнения m + 1 проходов, даже если т заранее неизвестно.
4. Модифицируйте алгоритм Bellman_Ford таким образом, чтобы значения —оо в нем присваивались атрибутам d [и] всех вершин и, для которых на одном из путей от истока к и имеется цикл с отрицательным весом.
* 24.1-5. Пусть G = (У, Е) — взвешенный ориентированный граф с весовой функцией го : Е —» R. Разработайте алгоритм со временем работы О (VE), который позволял бы для каждой вершины убУ найти величину 5* (и) = = minuev {^ («, и)}.
-6. Предположим, что взвешенный ориентированный граф G = (У, Е) содержит цикл с отрицательным весом. Разработайте эффективный алгоритм, позволяющий вывести список вершин одного такого цикла. Докажите, что предложенный вами алгоритм корректен.
4.2 Кратчайшие пути из одной вершины в ориентированных ациклических графах
Ослабляя ребра взвешенного ориентированного ациклического графа G = = (У, Б) в порядке, определенном топологической сортировкой его вершин, кратчайшие пути из одной вершины можно найти в течение времени 0 (У + Б). В ориентированном ациклическом графе кратчайшие пути всегда вполне определены, поскольку даже если у некоторых ребер вес отрицателен, циклов с отрицательными весами не существует.
Работа алгоритма начинается с топологической сортировки ориентированного ациклического графа (см. раздел 22.4), чтобы установить линейное упорядочение вершин. Если путь из вершины и к вершине v существует, то в топологической сортировке вершина и предшествует вершине v. По вершинам, расположенным в топологическом порядке, проход выполняется только один раз. При обработке каждой вершины производится ослабление всех ребер, исходящих из этой вершины.
Dag_Shortest_Paths(G, w, s)
Топологическая сортировка вершин графа G
Initialize_Single_Source(G, s)
for (для) каждой вершины и в порядке топологической сортировки
do for (Для) каждой вершины v е Adj [и]
do Relax(u, v, w)
Работа этого алгоритма проиллюстрирована на рис. 24.5. Вершины на рисунке топологически отсортированы слева направо. В роли истока выступает вершина s. В вершинах приведены значения атрибутов d, а выделенные ребра указывают значения тг. В части а рисунка приведена ситуация перед первой итерацией цикла for в строках 3-5. В каждой из частей б-ж рисунка показаны ситуации, складывающиеся после каждой итерации цикла for в строках 3-5. Каждая новая черная вершина используется в соответствующей итерации в качестве и. В части ж приведены конечные значения.
Время выполнения этого алгоритма легко поддается анализу. Как показано в разделе 22.4, топологическую сортировку в строке 1 можно выполнить в течение времени О (У + Б). Вызов процедуры Initialize_Single_Source в строке 2 занимает время 0 (У). На каждую вершину приходится по одной итерации цикла for в строках 3-5. Для каждой вершины все исходящие из нее ребра проверяются ровно по одному разу. Таким образом, всего выполняется |Б| итераций внутреннего цикла for в строках 4-5 (мы воспользовались здесь групповым анализом). Поскольку каждая итерация внутреннего цикла for занимает время 0(1), полное
Рис. 24.5. Иллюстрация работы алгоритма, предназначенного для поиска кратчайших путей в ориентированном ациклическом графе
время работы алгоритма равно О (У + Е), т.е. оно выражается линейной функцией от размера списка смежных вершин графа.
Из сформулированной ниже теоремы видно, что процедура Dag_Shortest_ Paths корректно вычисляет кратчайшие пути.
Теорема 24.5. Если взвешенный ориентированный граф G = (У, Е) содержит исток s и не содержит циклов, то по завершении процедуры Dag_Shortest_Paths для всех вершин и е У выполняется равенство d [v] = 5 (s, v) и подграф предшествования G^ представляет собой дерево кратчайших путей.
Доказательство. Сначала покажем, что по завершении процедуры для всех вершин v 6 У выполняется равенство d [и] = 8 (s, v). Если вершина v недостижима из истока s, то, согласно свойству отсутствия пути, выполняется соотношение d[v] = ^(s>y) = 00• Теперь предположим, что вершина v достижима из истока s и, следовательно, существует кратчайший путь р = (г>о, vi, • • •, Vfc), где vq = = s, a Vk = v. Поскольку вершины обрабатываются в порядке топологической
сортировки, ребра пути р ослабляются в порядке («о, vi), (щ, «2), • • •, (v/c-i, Vfc)- Из свойства ослабления путей следует, что по завершении процедуры для всех г = 0,1,, к выполняется равенство d [и,] = 5 (s, v,). И наконец, согласно свойству подграфа предшествования, G^ — дерево кратчайших путей.■
Интересное применение этого алгоритма возникает при определении критических путей во время анализа диаграммы PERT (PERT chart)2. Ребра представляют предназначенные для выполнения задания, а вес каждого из ребер — промежутки времени, необходимые для выполнения того или иного задания. Если ребро (и, и) входит в вершину и, а ребро (и, т) покидает ее, это означает, что задание (и, и) должно быть выполнено перед заданием (и, ж). Путь по такому ориентированному ациклическому графу представляет последовательность заданий, которые необходимо выполнить в определенном порядке. Критический путь (critical path) — самый длинный путь по ориентированному ациклическому графу, соответствующий самому длительному времени, необходимому для выполнения упорядоченной последовательности заданий. Вес критического пути равен нижней границе полного времени выполнения всех заданий. Критический путь можно найти одним из таких двух способов:
заменить знаки всех весов ребер и выполнить алгоритм Dag_Shortest_ Paths;
воспользоваться модифицированным алгоритмом Dag_Shortest_Paths, заменив в строке 2 процедуры Initialize_Single_Source значение оо значением —оо, а в процедуре Relax — знак “>” знаком “<”.
Упражнения
1. Выполните процедуру Dag_Shortest_Paths для графа, показанного на рис. 24.5, с использованием вершины г в качестве истока.
2. Предположим, что строка 3 в процедуре Dag_Shortest_Paths изменена следующим образом:
3 for (для) первых |V| — 1 вершин, расположенных в порядке топологической сортировки
Покажите, что процедура останется корректной.
4.2-3. Представленная выше формулировка диаграммы PERT несколько неестественна. Логичнее было бы, если бы вершины представляли задания,
Аббревиатура PERT расшифровывается как “program evaluation and review technique” — система планирования и руководства разработками.
а ребра — ограничения, накладываемые на порядок их выполнения, т.е. если бы наличие ребра (tz, v) указывало на то, что задание и необходимо выполнить перед заданием и. Тогда бы вес присваивался не ребрам, а вершинам. Модифицируйте процедуру Dag_Shortest_Paths таким образом, чтобы она в течение линейного времени позволяла найти самый длинный путь по ориентированному ациклическому графу со взвешенными вершинами.
-4. Разработайте эффективный алгоритм, позволяющий определить общее количество путей, содержащихся в ориентированном ациклическом графе. Проанализируйте время работы этого алгоритма.
Алгоритм Дейкстры
Алгоритм Дейкстры решает задачу о кратчайшем пути из одной вершины во взвешенном ориентированном графе G = (V, Е) в том случае, когда веса ребер неотрицательны. Поэтому в настоящем разделе предполагается, что для всех ребер (и, и) € Е выполняется неравенство w (и, v) > 0. Через некоторое время станет понятно, что при хорошей реализации алгоритм Дейкстры производительнее, чем алгоритм Беллмана-Форда.
В алгоритме Дейкстры поддерживается множество вершин S, для которых уже вычислены окончательные веса кратчайших путей к ним из истока s. В этом алгоритме поочередно выбирается вершина и е V — S, которой на данном этапе соответствует минимальная оценка кратчайшего пути. После добавления этой вершины и в множество S производится ослабление всех исходящих из нее ребер. В приведенной ниже реализации используется неубывающая очередь с приоритетами Q, состоящая из вершин, в роли ключей для которых выступают значения d.
Dukstra(G, w, s)
Initialize_Single_Source(G, s)
S <—0
Q^V[G]
while Q 0
do u <- Extract_Min(Q)
S <— 5 U {u}
for (для) каждой вершины v G Adj [u]
do Relax(u, v, w)
Процесс ослабления ребер в алгоритме Дейкстры проиллюстрирован на рис. 24.6. Исток s расположен на рисунке слева от остальных вершин. В каждой вершине приведена оценка кратчайшего пути к ней, а выделенные ребра указывают предшественников. Черным цветом обозначены вершины, добавленные
в множество S, а белым — содержащиеся в неубывающей очереди с приоритетами Q = V — S. В части а рисунка проиллюстрирована ситуация, сложившаяся непосредственно перед выполнением первой итерации цикла while в строках 4-8. Выделенная серым цветом вершина имеет минимальное значение d и выбирается в стрс-к^ 5 в качестве вершины и для следующей итерации. В частях б-е изображены ситуации после выполнения очередной итерации цикла while. В каждой из этих частей выделенная серым цветом вершина выбирается в качестве вершины и в строке 5. В части е приведены конечные значения величин d и тг.
Опишем работу рассматриваемого алгоритма. В строке 1 производится обычная инициализация величин d и тг, а в строке 2 инициализируется пустое множество вершин S. В этом алгоритме поддерживается инвариант, согласно которому в начале каждой итерации цикла while в строках 4-8 выполняется равенство Q = = V — S. В строке 3 неубывающая очередь с приоритетами Q инициализируется таким образом, чтобы она содержала все вершины множества У; поскольку в этот момент S = 0, после выполнения строки 3 сформулированный выше инвариант выполняется. При каждой итерации цикла while в строках 4-8 вершина и извлекается из множества Q = V — S и добавляется в множество S, в результате чего инвариант продолжает соблюдаться. (Во время первой итерации этого цикла и = s.) Таким образом, вершина и имеет минимальную оценку кратчайшего пути среди всех вершин множества V — S. Затем строках 7-8 ослабляются все ребра (и, и), исходящие из вершины и. Если текущий кратчайший путь к вершине и может быть улучшен в результате прохождения через вершину и, выполняется ослабление и соответствующее обновление оценки величины d [и] и предшественника тг [и]. Обратите внимание, что после выполнения строки 3 вершины никогда не добавляются в множество Q и что каждая вершина извлекается из этого множества и добавляется в множество S ровно по одному разу, поэтому количество итераций цикла while в строках 4-8 равно |У|.
Поскольку в алгоритме Дейкстры из множества V — S для помещения в множество S всегда выбирается самая “легкая” или “близкая” вершина, говорят, что этот алгоритм придерживается жадной стратегии. Жадные стратегии подробно описаны в главе 16, однако для понимания принципа работы алгоритма Дейкстры читать эту главу не обязательно. Жадные стратегии не всегда приводят к оптимальным результатам, однако, как видно из приведенной ниже теоремы и следствия из нее, алгоритм Дейкстры действительно находит кратчайшие пути. Основное — показать, что после каждого добавления вершины и в множество S выполняется равенство d [и] = 8 (s, и).
Теорема 24.6 (Корректность алгоритма Дейкстры). По завершении обработки алгоритмом Дейкстры взвешенного ориентированного графа G = (V, Е) с неотрицательной весовой функцией w и истоком s для всех вершин u е У выполняется равенство d [и] = 8 (s, и).
Рис. 24.6. Выполнение алгоритма ДейкстрыРис. 24.6. Выполнение алгоритма Дейкстры
Рис. 24.6. Выполнение алгоритма Дейкстры
Рис. 24.6. Выполнение алгоритма Дейкстры
Доказательство. Воспользуемся сформулированным ниже инвариантом цикла.
В начале каждой итерации цикла while в строках 4-8 для каждой вершины v е S выполняется равенство d [v] = 5 (s, v).
Достаточно показать, что для каждой вершины и е V равенство d [и] = 6 (s, и) выполняется в момент ее добавления в множество S. После того как будет показана справедливость равенства d [гл] = 5 (s, и), на основе свойства верхней границы мы покажем, что это равенство продолжает выполняться и в дальнейшем.
Инициализация. Изначально выполняется равенство 5 = 0, поэтому справедливость инварианта очевидна.
Сохранение. Нужно показать, что при каждой итерации равенство d [и] = 5 (s, и) выполняется для каждой вершины, добавленной в множество S. Воспользуемся методом “от противного”. Чтобы получить противоречие, предположим, что и — первая добавленная в множество S вершина, для которой d [и] / 5 (s, и). Сосредоточим внимание на ситуации, сложившейся в начале той итерации цикла while, в которой вершина и добавляется в множество S. Проанализировав кратчайший путь из вершины з в вершину и, можно будет получить противоречие, заключающееся в том, что на тот момент справедливо равенство d [и] = 5 (s, и). Должно выполняться условие n / s, поскольку з — первая вершина, добавленная в множество 5, и в момент ее добавления выполняется равенство d [s] = 5 (s, з). Из условия и ф з следует также, что непосредственно перед добавлением вершины и в множество 5 оно не является пустым. Из вершины з в вершину и должен вести какой- нибудь путь, так как в противном случае, в соответствии со свойством отсутствия пути, выполняется соотношение d [п] = 6 (s, и) = оо, нарушающее
Рис. 24.7. Иллюстрация к доказательству теоремы 24.6
справедливость предположения, что d\u\ / 5(з3и). Поскольку хоть один путь существует, то должен существовать и кратчайший путь р из вершины з в вершину iz. Перед добавлением вершины и в множество S путь р соединяет вершину из множества S (вершину s) с вершиной из множества V — S (вершину и). Рассмотрим первую вершину у на пути р, принадлежащую множеству V — S, а также предположим, что ей предшествует вершина х е S. Тогда, как видно из рис. 24.7, путь р можно разложить на составляющие s & х —> у ^ и. (Любой из путей pi и р«2, может не содержать ни одного ребра.)
В примере, приведенном на рисунке, множество S непосредственно перед добавлением в него вершины и не является пустым. Кратчайший путь р из PlР2
истока з в вершину и раскладывается на составляющие зх —> уи, где
у — первая вершина на пути, не принадлежащая множеству S, а вершина х Е S расположена непосредственно перед вершиной у. Вершины х и у не совпадают, однако возможен случай, когда з = х или у = и. Путь р«2 может возвращаться в множество S (но может и не возвращаться).
Мы утверждаем, что когда вершина и добавляется в множество S, выполняется равенство d [у] = 5 (s, у). Чтобы доказать это утверждение, заметим, что х Е S. Далее, поскольку вершина и выбрана как первая вершина, после добавления которой в множество S выполняется соотношение d [п] ^ / 5 (s, и), то после добавления вершины х в множество S справедливо равенство (/[ж] = J(s,rr). В это время (т.е. при добавлении вершины и в множество S) происходит ослабление ребра (ж, у), поэтому сформулированное выше утверждение следует из свойства сходимости.
Теперь можно получить противоречие, позволяющее доказать, что d [и] = = 5 (s, и). Поскольку на кратчайшем пути из вершины з в вершину и вершина у находится перед вершиной и, и вес каждого из ребер выражается неотрицательным значением (это особенно важно для ребер, из которых состоит путь р^\ выполняется неравенство 5 (s, у) < 5 (s, iz), поэтому
d [у] = 5 (s, у) < 5 (s, и) ^d [и],(24.2)
где последнее неравенство следует из свойства верхней границы. Однако поскольку и вершина и, и вершина у во время выбора вершины и в строке 5 находились в множестве V — S, выполняется неравенство d [u] ^ d [у]. Таким образом, оба неравенства в соотношении (24.2) фактически являются равенствами, т.е.
d [у] = 6 (s, у) = 5 (s, tz) = d [и].
Следовательно, d [и] = 5 (s, и), что противоречит нашему выбору вершины и. Приходим к выводу, что во время добавления вершины и в множество S выполняется равенство d [и] = 5 (s, и), а следовательно, оно выполняется и в дальнейшем.
Завершение. По завершении работы алгоритма выполняется равенство Q = 0. Из этого равенства и инварианта Q = V — S следует, что S = V. Таким образом, для всех вершин u е V выполняется равенство d [и] = 5 (s, и). g
Следствие 24.7. Если выполнить алгоритм Дейкстры для взвешенного ориентированного графа G = (V, 5) с неотрицательной весовой функцией w и истоком s, то по завершении работы алгоритма подграф предшествования G^ является деревом кратчайших путей с корнем в вершине s.
Доказательство. Сформулированное выше утверждение непосредственно следует из теоремы 24.6 и свойства подграфа предшествования.■
Анализ
Насколько быстро работает алгоритм Дейкстры? В нем поддерживается неубывающая очередь с приоритетами Q и тремя операциями, характерными для очередей с приоритетами: Insert (явно вызывается в строке 3), EXTRACT_MlN (строка 5) и Decrease_Key (неявно присутствует в процедуре Relax, которая вызывается в строке 8). Процедура Insert, как и процедура Extract_Min, вызывается по одному разу для каждой вершины. Поскольку каждая вершина veV добавляется в множество S ровно по одному разу, каждое ребро в списке смежных вершин Adj [и] обрабатывается в цикле for, заданном в строках 7-8, ровно по одному разу на протяжении работы алгоритма. Так как полное количество ребер во всех списках смежных вершин равно |Е|, всего выполняется |Е| итераций этого цикла for, а следовательно, не более |S| операций Decrease_Key. (Еще раз заметим, что здесь используется групповой анализ.)
Время выполнения алгоритма Дейкстры зависит от реализации неубывающей очереди с приоритетами. Сначала рассмотрим случай, когда неубывающая очередь с приоритетами поддерживается за счет того, что все вершины пронумерованы от 1 до |V|. Атрибут d[v] просто помещается в элемент массива с индексом у. Каждая операция Insert и Decrease_Key занимает время 0(1), а каждая
операция Extract_Min — время О (У) (поскольку в ней производится поиск по всему массиву); в результате полное время работы алгоритма равно О (У2 + F) =
Если граф достаточно разреженный, в частности, если количество вершин и ребер в нем связаны соотношением Е = o(V2/lgV), с практической точки зрения целесообразно реализовать неубывающую очередь с приоритетами в виде бинарной неубывающей пирамиды. (Как было сказано в разделе 6.5, важная деталь реализации заключается в том, что вершины и соответствующие им элементы пирамиды должны поддерживать идентификаторы друг друга.) Далее, каждая операция Extract_Min занимает время О (1g У). Как и раньше, таких операций |У|. Время, необходимое для построения неубывающей пирамиды, равно О (У). Каждая операция Decrease_Key занимает время О (1g У), и всего выполняется не более |S| таких операций. Поэтому полное время выполнения алгоритма равно О ((У + Е) 1g У), что равно О (Е 1g У), если все вершины достижимы из истока. Это время работы оказывается лучшим по сравнению со временем работы прямой реализации О (У2), если Е = о (y2/lgy).
Фактически время работы алгоритма может достигать значения О(У 1g У+Е), если неубывающая очередь с приоритетами реализуется с помощью пирамиды Фибоначчи (см. главу 20). Амортизированная стоимость каждой из |У| операций Extract_Min равна О (1gУ), и каждый вызов процедуры Decrease_Key (всего не более |S|), занимает лишь 0(1) амортизированного времени. Исторически сложилось так, что развитие пирамид Фибоначчи было стимулировано наблюдением, согласно которому в алгоритме Дейкстры процедура Decrease Key обычно вызывается намного чаще, чем процедура Extract_Min, поэтому любой метод, уменьшающий амортизированное время каждой операции DECREASE_Key до величины о (1g У), не увеличивая при этом амортизированное время операции Ех- tract_Min, позволяет получить реализацию, которая в асимптотическом пределе работает быстрее, чем реализация с помощью бинарных пирамид.
Алгоритм Дейкстры имеет некоторую схожесть как с поиском в ширину (см. раздел 22.2), так и с алгоритмом Прима, предназначенным для построения минимальных остовных деревьев (см. раздел 23.2). Поиск в ширину он напоминает в том отношении, что множество S соответствует множеству черных вершин, используемых при поиске в ширину; точно так же, как вершинам множества S сопоставляются конечные веса кратчайших путей, так и черным вершинам при поиске в ширину сопоставляются правильные расстояния. На алгоритм Прима алгоритм Дейкстры похож в том отношении, что в обоих этих алгоритмах с помощью неубывающей очереди с приоритетами находится “самая легкая” вершина за пределами заданного множества (в алгоритме Дейкстры это множество S, а в алгоритме Прима — “выращиваемое” дерево), затем эта вершина добавляется в множество, после чего соответствующим образом корректируются и упорядочиваются веса оставшихся за пределами множества вершин.
Упражнения
1. Выполните алгоритм Дейкстры над ориентированным графом, изображенным на рис. 24.2. Рассмотрите два варианта задачи, в одном из которых истоком является вершина s, а в другом — вершина г. Используя в качестве образца рис. 24.6, укажите, чему будут равны значения d и тг, и какие вершины будут входить в множество S после каждой итерации цикла while.
2. Приведите простой пример ориентированного графа с отрицательными весами ребер, для которого алгоритм Дейкстры дает неправильные ответы. Почему доказательство теоремы 24.6 не годится, если веса ребер могут быть отрицательными?
3. Предположим, что строка 4 алгоритма Дейкстры изменена следующим образом:
4 while |<9| > 1
В результате этого изменения цикл while выполняется |V| — 1 раз, а не |V| раз. Корректен ли предложенный алгоритм?
4. Пусть дан ориентированный граф G = (V, Е), с каждым ребром (u, у)еЕ которого связано значение г (tz, v), являющееся действительным числом в интервале 0 ^ г (u, v) ^ 1, и представляющее надежность соединительного кабеля между вершиной и и вершиной и. Величина г (u, v) интерпретируется как вероятность того, что в канале, соединяющем вершины и и v, не произойдет сбой; при этом предполагается, что все вероятности независимы. Сформулируйте эффективный алгоритм, позволяющий найти наиболее надежный путь, соединяющий две заданные вершины.
5. Пусть G = (V, Е) — взвешенный ориентированный граф с весовой функцией w : Е —>■ {1,2,...,IV}, где W — некоторое положительное целое число. Ни для каких двух вершин кратчайшие пути, ведущие из истока s в эти вершины, не имеют одинаковые веса. Предположим, что определен невзвешенный ориентированный граф G' = (V U V', Е'), в котором каждое ребро (u, v) е Е заменяется w (и, и) последовательными ребрами единичного веса. Сколько вершин содержит граф G"? Теперь предположим, что в графе G' выполняется поиск в ширину. Покажите, что порядок, в котором вершины множества V окрашиваются в черный цвет при поиске в ширину в графе G', совпадает с порядком извлечения вершин множества V из очереди с приоритетами в строке 5 при выполнении алгоритма Dijkstra над графом G.
6. Пусть G = (V, Е) — взвешенный ориентированный граф с весовой функцией го : Е —* {0,1,..., IV}, где W — некоторое целое неотрицательное число. Модифицируйте алгоритм Дейкстры таким образом, чтобы он
находил кратчайшие пути из заданной вершины s в течение времени O(WV + E).
7. Модифицируйте алгоритм из упражнения 24.3-6 таким образом, чтобы он выполнялся за время ОЦУ + .E)lgW). (Указание: сколько различных оценок кратчайших путей для вершин из множества V — S может встретиться одновременно?)
8. Предположим, что имеется взвешенный ориентированный граф G = = (V, Е), в котором веса ребер, исходящих из некоторого истока з, могут быть отрицательными, веса всех других ребер неотрицательные, и циклы с отрицательными весами отсутствуют. Докажите, что в таком графе алгоритм Дейкстры корректно находит кратчайшие пути из истока з.
24.4 Разностные ограничения и кратчайшие пути
В главе 29 изучается общая задача линейного программирования, в котором нужно оптимизировать линейную функцию, удовлетворяющую системе линейных неравенств. В этом разделе исследуется частный случай задачи линейного программирования, который сводится к поиску кратчайших путей из одной вершины. Полученную в результате задачу о кратчайших путях из одной вершины можно решить с помощью алгоритма Беллмана-Форда, решив таким образом задачу линейного программирования.
Линейное программирование
В общей задаче линейного программирования (linear-programming problem) задается матрица А размером т х п, m-компонентный вектор b и п-компонентный вектор с. Нужно найти состоящий из п элементов вектор ж, максимизирующий целевую функцию (objective function) ^2^=1 с^, на которую накладывается т ограничений Ах < Ь.
Несмотря на то, что время работы симплекс-алгоритма, который рассматривается в главе 29, не всегда выражается полиномиальной функцией от размера входных данных, существуют другие алгоритмы линейного программирования с полиномиальным временем работы. Имеется ряд причин, по которым важно понимать, как устроены задачи линейного программирования. Во-первых, если известно, что данная задача приводится к задаче линейного программирования с полиномиальным размером, то отсюда непосредственно следует, что для такой задачи существует алгоритм с полиномиальным временем работы. Во-вторых, имеется большое количество частных случаев задач линейного программирования, для которых существуют более производительные алгоритмы. Например,
в настоящем разделе показано, что задача о кратчайших путях из заданного истока — именно такой частный случай. К другим задачам, которые можно привести к задачам линейного программирования, относятся задача о кратчайшем пути между парой заданных вершин (упражнение 24.4-4) и задача о максимальном потоке (упражнение 26.1-8).
Иногда не имеет значения, какой должна получиться целевая функция; достаточно найти произвольное допустимое решение (feasible solution), т.е. любой вектор ж, удовлетворяющий неравенству Ах 6, или определить, что допустимых решений не существует. Сосредоточим внимание на таких задачах существования (feasibility problem).
Системы разностных ограничений
В системе разностных ограничений (system of difference constraints) каждая строка в матрице линейного программирования Л содержит одно значение 1 и одно значение — 1, а все прочие элементы в этой строке равны 0. Другими словами, ограничения, заданные системой неравенств Лж ^ Ь, представляют собой систему т разностных ограничений (difference constraints), содержащих п неизвестных. Каждое ограничение в этой системе — обычное линейное неравенство вида
Ж^* Ж)
где1 ^ i,j ^пи 1 ^к ^т.
Например, рассмотрим задачу поиска 5-компонентного вектора ж = (ж,), удовлетворяющего системе неравенств
/1-10010000100-1010-100100-1100-10\ 000 -1/1-10010000100-1010-100100-1100-10\ 000 -10 \-1-1 оо о11 /0 \-1-1 оо о11 // 0\Ж2 .5жз4ж4\/.3\ -3 // 0\Ж2 .5жз4ж4\/.3\ -3 /
/1-100
1000
0100
-1010
-1001
00-11
00-10
\ 000 -1
/1-100
1000
0100
-1010
-1001
00-11
00-10
\ 000 -1
0 \
-1
-1 о
о о
1
1 /
0 \
-1
-1 о
о о
1
1 /
/ 0\
Ж2 .5
жз4
ж4
\/.3
\ -3 /
/ 0\
Ж2 .5
жз4
ж4
\/.3
\ -3 /
Эта задача эквивалентна поиску неизвестных величин ж, при г = 1,2,..., 5, удовлетворяющих восьми приведенным ниже ограничениям:
(24.3)(24.4)(24.5)(24.6)(24.7)(24.8)(24.9)(24.10)(24.3)(24.4)(24.5)(24.6)(24.7)(24.8)(24.9)(24.10)Ж4 - Ж2 ^ О,
(24.3)
(24.4)
(24.5)
(24.6)
(24.7)
(24.8)
(24.9)
(24.10)
(24.3)
(24.4)
(24.5)
(24.6)
(24.7)
(24.8)
(24.9)
(24.10)
$1 - $5 < -1,
Xi - $5 < 1,
$3 - Ж1 ^ 5,
Ж4 — Ж1 С 4,
ж4 - ж3 ^ -1,
Жб - Жз < -3,
ж бж4 ^^ 3.
Одно из решений этой задачи имеет вид ж = (—5, — 3,0, — 1, —4), что можно проверить прямой подстановкой. На самом деле эта задача имеет множество решений. Например, еще одно решение — ж' = (0,2,5,4,1). Эти два решения взаимосвязаны: разность между любой парой соответствующих компонентов векторов ж' и ж равна 5. Этот факт — не простое совпадение.
Лемма 24.8. Пусть ж = (ж1, жг,..., жп) — решение системы разностных ограничений Аж ^ b, a d — произвольная константа. Тогда ж-bd = (Ж1 4-d, жг+d,..., жп+ 4- d) — тоже решение системы Аж ^ Ь.
Доказательство. Для каждой пары переменных ж, и Xj можно записать соотношение (Ж1 + d) — (ж, + d) = Xi — xj. Таким образом, если вектор ж удовлетворяет системе неравенств Аж ^ Ь, то ей удовлетворяет и вектор ж 4- d. ■
Системы разностных ограничений возникают в самых разнообразных приложениях. Например, неизвестные величины ж, могут обозначать моменты времени, в которые происходят события. Каждое ограничение можно рассматривать как требование, при котором между двумя событиями должно пройти некоторое время, не меньшее (или не большее) некоторой заданной величины. Возможно, эти события — задания, которые необходимо выполнить в процессе сборки некоторого изделия. Например, если в момент времени ж4 применяется клей, время фиксации которого — 2 часа, а деталь будет устанавливаться в момент времени жг, то необходимо наложить ограничение жг ^ ж4 + 2 или, что эквивалентно, Ж1 — жг ^ —2. При другой технологии может потребоваться, чтобы деталь устанавливалась после применения клея, но не позже, чем когда он “схватится” наполовину. В этом случае получаем пару ограничений жг ^ ж4 и жг ^ ж4 4-1, или, что эквивалентно, Ж1 — жг ^ 0 и жг — Ж1 ^ 1.
Графы ограничений
Системы разностных ограничений удобно рассматривать с точки зрения теории графов. Идея заключается в том, что в системе разностных ограничений Ах ^ b матрицу задачи линейного программирования А размерами т х п можно рассматривать как транспонированную матрицу инцидентности (см. упражнение 22.1 -7) графа с п вершинами и т ребрами. Каждая вершина и^ графа при г = 1,2,..., п соответствует одной из п неизвестных переменных ж,- Каждое ориентированное ребро графа соответствует одному из т независимых неравенств, в которое входят две неизвестных величины.
Если выражаться формальным языком, то заданной системе разностных ограничений Ах ^ b сопоставляется граф ограничений (constraint graph), представляющий собой взвешенный ориентированный граф G = (У, Е\ в котором
У =
И
Е = {(и,, Vj) : $j - Xi < bfc} U {(v0, vi), (v0, «2), • • •, («0, Vn)} •
Вскоре станет понятно, что дополнительная вершина ^о вводится для того, чтобы из нее гарантированно была достижима любая другая вершина. Таким образом, множество V состоит из вершин V;, каждая из которых соответствует неизвестной Xi, и дополнительной вершины vq. В множестве ребер Е на каждое разностное ограничение приходится по одному ребру; кроме того, в это множество входят ребра (vo, Vi), каждое из которых соответствует неизвестной величине Xv Если накладывается разностное ограничение Xj — Xi < b^, это означает, что вес ребра (ui^j) равен w^Di^Dj) = b^. Вес каждого ребра, исходящего из вершины vq, равен 0. На рис. 24.8 приведен граф ограничений для системы разносных ограничений (24.3)-(24.10). В каждой вершине чн указано значение 5 (vq, ^tY Допустимое решение этой системы имеет вид х = (—5, —3,0, —1, —4).
Из приведенной ниже теоремы видно, что решение системы разностных ограничений сводится к определению веса кратчайшего пути в соответствующем графе ограничений.
Теорема 24.9. Пусть G = (V, Е) — граф ограничений, соответствующий заданной системе разностных ограничений Ах ^ Ь. Если граф G не содержит циклов с отрицательным весом, то вектор
х = (<Hyo,viM(vo,V2),..-,5(vo,Vn))(24.11)
является допустимым решением системы. Если граф G содержит циклы с отрицательным весом, то допустимых решений не существует.
Рис. 24.8. Граф ограничений, соответствующих системе разностных ограничений (24.3Н24.10)
Доказательство. Сначала покажем, что если граф ограничений не содержит циклов с отрицательным весом, то уравнение (24.11) определяет допустимое решение. Рассмотрим произвольное ребро (и,, vj) е Е. Согласно неравенству треугольника, выполняется неравенство S(vo,Vj) ^ 5(vo,Vt) + w(vi,vj) или, что то же самое, 5(vq, Vj) — 5(«о>У1) ^ w(vi,Vj). Таким образом, полагая Xi = 5(vo,vt) и Xj = 5 («о, 'Uj'), мы удовлетворяем разностное ограничение Xj — ж, ^ w (и,, vj), соответствующее ребру (v,, vj).
Теперь покажем, что если граф ограничений содержит цикл с отрицательным весом, то система разностных ограничений не имеет допустимых решений. Не теряя общности, предположим, что цикл с отрицательным весом — это цикл с = = (vi, V2> • • • > Vfc), где «1 = у^. (Вершина уо не может принадлежать циклу с, потому что в нее не входит ни одно ребро.) Цикл с соответствует приведенной ниже системе ограничений:
Ж2 ~Ж1 < W(V1,V2),
ж3 - ж2 ^ w (у2) У3) ,
®fc—1 ОД—2 ^ ^ (ОД—2>ОД—1) >
Xk - Xk-1 < w(ufc-i,Vfc) .
Предположим, существует решение ж, удовлетворяющее всем этим к неравенствам. Это решение должно также удовлетворять неравенству, полученному в результате суммирования всех перечисленных к неравенств. Если просуммировать все левые части, то каждая неизвестная xt один раз войдет со знаком “+” и один раз — со знаком “—” (напомним, что из равенства yi = vk следует равенство
$1 = х^. Это означает, что сумма всех левых частей равна 0. Сумма правых частей равна w (с), откуда получается неравенство 0 ^ w (с). Однако поскольку с — цикл с отрицательным весом, то выполняется неравенство w (с) < 0, что приводит
нас к противоречию 0 ^ w (с) < 0.
Решение систем разностных ограничений
Теорема 24.9 говорит о том, что с помощью алгоритма Беллмана-Форда можно решить систему линейных ограничений. Поскольку в графе ограничений существуют ребра, ведущие из вершины vo во все другие вершины, любой цикл с отрицательным весом в графе ограничений достижим из вершины vq. Если алгоритм Беллмана-Форда возвращает значение TRUE, веса кратчайших путей образуют допустимое решение этой системы. В примере, проиллюстрированном на рис. 24.8, веса кратчайших путей образуют допустимое решение ж = (—5, —3,0, —1, —4), и, согласно лемме 24.8, ж = (d — 5, d — 3, d, d — 1, d — 4), где d — произвольная константа, — тоже является допустимым решением. Если алгоритм Беллмана- Форда возвращает значение FALSE, то система разностных ограничений не имеет решений.
Система разностных ограничений с т ограничениями и п неизвестными порождает граф, состоящий из n +1 вершин и п + т ребер. Таким образом, с помощью алгоритма Беллмана-Форда такую систему можно решить в течение времени О ((n + 1) (п + т)) = О (п2 + пт). В упражнении 24.4-5 предлагается модифицировать этот алгоритм таким образом, чтобы он выполнялся в течение времени О (пт), даже если т намного меньше, чем п.
Упражнения
1. Найдите допустимое решение приведенной ниже системы разностных ограничений или определите, что решений не существует:
Xi — Х2 < 1, Xi — Х4 < —4, Х2 - Хз < 2, Х2 — $5 < 7, $2 - Жб < 5, Хз - х6 < 10, Х4 — Х2 2, Ж5 - Ж1 < -1, $5 — $4 ^ 3, $6 - Ж3 < -8.
2. Найдите допустимое решение приведенной ниже системы разностных ограничений или определите, что решений не существует:
Ж1 - Ж2 <4,
Ж1 - Ж5 <5,
Ж2 — Ж4 < —6, Жз - Ж2 <1,
Ж4 — Ж1 <3,
Ж4 — Жз <5,
Ж4 — Жб <10,
Ж5 - ж3 < -4, Жб — Ж4 С —8.
3. Может ли вес кратчайшего пути, исходящего из новой вершины «о в графе ограничений, быть положительным? Объясните свой ответ.
4. Сформулируйте задачу о кратчайшем пути между парой заданных вершин в виде задачи линейного программирования.
5. Покажите, как можно модифицировать алгоритм Беллмана-Форда, чтобы он позволял решить систему разностных ограничений с т неравенствами и п неизвестными в течение времени О (пт).
6. Предположим, что в дополнение к системе разностных ограничений накладываются ограничения-равенства (equality constraints), имеющие вид ж, = Xj + Б),. Покажите, как адаптировать алгоритм Беллмана-Форда, чтобы с его помощью можно было решать системы ограничений такого вида.
7. Покажите, как можно решить систему разностных ограничений с помощью алгоритма, подобного алгоритму Беллмана-Форда, который обрабатывает граф ограничений, не содержащий дополнительную вершину «о* 24.4-8. Пусть Ах ^ b — система т разностных ограничений с п неизвестными. Покажите, что при обработке графа ограничений, соответствующего этой системе, алгоритм Беллмана-Форда максимизирует сумму 53"=1 ж,, где вектор ж удовлетворяет системе Ах ^ Ь, а все компоненты ж, — неравенству ж» ^ 0.
* 24.4-9. Покажите, что в процессе обработки графа ограничений, соответствующего системе разностных ограничений Ах ^ 6, алгоритм Беллмана- Форда минимизирует величину (шах{жг} — min {ж,}), где ж, — компоненты вектора ж, удовлетворяющего системе Ах ^ Ь. Объясните, как можно использовать этот факт, если алгоритм применяется для составления расписания строительных работ.
10. Предположим, что каждая строка матрицы А задачи линейного программирования Ах ^ b соответствует либо разностному ограничению, либо ограничению на одну переменную вида xt ^ Ьк или — Xi ^ Ь^. Покажите, как адаптировать алгоритм Беллмана-Форда для решения систем ограничений этого вида.
11. Разработайте эффективный алгоритм решения системы разностных ограничений Ах < Ь, в которой все элементы вектора b являются действительными числами, а все неизвестные Xt должны быть целыми числами.
* 24.4-12. Разработайте эффективный алгоритм решения системы разностных ограничений Ах ^ Ь, в которой все элементы вектора b являются действительными числами, а определенное подмножество некоторых (но не обя- _ зательно всех) неизвестных xt должны быть целыми числами.
Доказательства свойств кратчайших путей
Корректность аргументов, которые используются в этой главе, основана на неравенстве треугольника, свойстве верхней границы, свойстве отсутствия пути, свойстве сходимости, свойстве ослабления пути и свойстве подграфа предшествования. В начале главы эти свойства сформулированы без доказательств, которые представлены в настоящем разделе.
Неравенство треугольника
При изучении поиска в ширину (раздел 22.2) в лемме 22.1 доказано простое свойство, которым обладают кратчайшие расстояния в невзвешенных графах. Неравенство треугольника обобщает это свойство для взвешенных графов.
Лемма 24.10 (Неравенство треугольника). Пусть G = (V, Е) — взвешенный ориентированный граф с весовой функцией w : Е —> R и истоком з. Тогда для всех ребер (и, v) е Е выполняется неравенство
5 (s, v) ^ 5 (s, iz) + w (zz, v).
Доказательство. Предположим, что существует кратчайший путь р из истока s в вершину v. Тогда вес этого пути р не превышает веса любого другого пути из вершины s в вершину и. В частности, вес пути р не превышает веса пути, состоящего из кратчайшего пути из исходной вершины з в вершину и и ребра
В упражнении 24.5-3 предлагается рассмотреть случай, в котором не существует кратчайшего пути из вершины s в вершину и.■
Влияние ослабления на оценки кратчайшего пути
Приведенная ниже группа лемм описывает, какому воздействию подвергаются оценки кратчайшего пути, когда выполняется последовательность шагов ослабления ребер взвешенного ориентированного графа, инициализированного процедурой Initializer ingle-Source.
Лемма 24.11 (Свойство верхней границы). Пусть G = (VR) — взвешенный ориентированный граф с весовой функцией w : Е —> R. Пусть s е V — исток, а граф инициализирован процедурой Initialize_Single_Source(G, s). Тогда для всех вершин и eV выполняется неравенство d\i)^ ^ 6(s,v), и этот инвариант поддерживается в ходе всей последовательности этапов ослабления ребер графа G. Более того, как только атрибут d [v] достигает своей нижней границы 6 (s, v), он в дальнейшем не изменяется.
Доказательство. Докажем инвариант d [v] ^ 5 (s, v) для всех вершин v Е V, воспользовавшись индукцией по числу шагов ослабления.
В качестве базиса индукции воспользуемся неравенством d [v] ^ 5 (s, v\ которое, очевидно, истинно непосредственно после инициализации, поскольку d [s] = = 0 ^ 6 (s, s) (заметим, что величина 5 (s, s) = —оо, если вершина з находится в цикле с отрицательным весом; в противном случае 5 (s, s) = 0), и из d [v] = оо следует, что d [v] ^ 5 (s^d) для всех вершин v Е V - {s}.
В качестве шага индукции рассмотрим ослабление ребра (и, v). Согласно гипотезе индукции, для всех вершин х е V перед ослаблением выполняется неравенство d[rr] ^ 3(з,х). Единственное значение d, которое может измениться — это значение d [v]. Если оно изменяется, мы имеем
d [v] = d [u] + w Qu, v) ^ 6 (s, iz) + w (iz, v) ^ 5 (s, v),
где первое неравенство следует из гипотезы индукции, а второе — из неравенства треугольника, так что инвариант сохраняется.
Чтобы увидеть, что значение d [v] не будет изменяться после того, как становится справедливым соотношение d [v] = 6 (s, и), заметим, что по достижении своей нижней границы это значение больше не сможет уменьшаться, поскольку, как уже было показано, d [v] ^ 5 (s, v\ Оно также не может возрастать, поскольку ослабление не увеличивает значений d. В
Следствие 24.12 (Свойство отсутствия пути). Предположим, что во взвешенном ориентированном графе G = (V, Е) с весовой функцией w : Е —► R отсутствуют пути, соединяющие исток s е V с данной вершиной v Е 7. Тогда после инициализации графа процедурой Initialize_Single_Source(G, s) мы имеем ^М = (s>v) = оо, и это равенство сохраняется в качестве инварианта в ходе выполнения произвольной последовательности шагов ослабления ребер графа G.
Доказательство. Согласно свойству верхней границы, всегда выполняется соотношение оо = 8 (s, v) < d [v], так что d [v] = oo = 8 (s, v).■
Лемма 24.13. Пусть G = (У, E) — взвешенный ориентированный граф с весовой функцией w : Е —> R, и пусть (u, v) Е Е. Тогда непосредственно после ослабления ребра (и, и) при помощи процедуры Relax(u, v, w) выполняется неравенство d [v] ^ d [u] + w (и, v).
Доказательство. Если непосредственно перед ослаблением ребра (и, и) выполняется неравенство d [v] > d [и] + w (и, и), то после этой операции оно преобразуется в равенство d [v] = d [u] + w (и, v). Если же непосредственно перед ослаблением выполняется неравенство d [v] ^ d [u] + w (u, v), то в процессе ослабления ни значение d [и], ни значение d [v] не изменяются, так что после данной операции d[v] ^ d[u] + w(u, v).■
Лемма 24.14 (Свойство сходимости). Пусть G = (У, Е) — взвешенный ориентированный граф с весовой функцией w : Е —* R, s Е V — исток, a s ~+ и —> v — кратчайший путь в графе G для некоторых его вершин -и,-и eV. Предположим, что граф G инициализирован процедурой INITIALIZE_SINGLE_SOURCE((7, s), после чего выполнена последовательность этапов ослабления, включающая вызов процедуры RELAX(u, v, w). Если в некоторый момент времени до вызова выполняется равенство d [и] = 8 (s, и), то в любой момент времени после вызова справедливо равенство d [v] = 8 (s, v).
Доказательство. Согласно свойству верхней границы, если в некоторый момент до ослабления ребра (и, и) выполняется равенство d [и] = 8 (s, и), то оно остается справедливым и впоследствии. В частности, после ослабления ребра (и, и) имеем
d [v] ^ d [u] + w (и, v) = 8 (s, и) + w (и, v) = 8 (s, v),
где неравенство следует из леммы 24.13, а последнее равенство — из леммы 24.1. В соответствии со свойством верхней границы d [v] ^ 8 (s, и), откуда можно сделать вывод о том, что d[v] = 5(s, и), и это равенство впоследствии сохраняется.■
Лемма 24.15 (Свойство ослабления пути). Пусть G = (У, Е) — взвешенный ориентированный граф с весовой функцией w : Е —> R, a s Е У — исток. Рассмотрим произвольный кратчайший путь р = («о, vi, • • •, «к) из истока s = «о в вершину и,-. Если граф G инициализирован процедурой Initialize_Single_Source((j, s), а затем выполнена последовательность ослаблений ребер (vo.vi), («1,^2), (vfc-i,Vfc) в указанном порядке, то после этих ослаблений и в любой момент времени впоследствии выполняется равенство d[vfc] = 5(s,vfc). Это свойство
справедливо независимо от того, производятся ли ослабления на других ребрах, включая ослабления, которые чередуются с ослаблениями ребер пути р.
Доказательство. По индукции покажем, что после ослабления на i-м ребре пути р выполняется равенство d [vj] = 5 (s, и,). В качестве базиса примем г = 0; перед тем, как будет ослаблено хоть одно ребро, входящее в путь р, после процедуры инициализации очевидно, что d[vo] = d[s] = 0 = 5 (s, з). Согласно свойству верхней границы, значение d [s] после инициализации больше не изменяется.
На очередном шаге индукции предполагается, что выполняется равенство d[vt-i] = д (s, Vj-1), и рассматривается ослабление ребра (vi-i,Vi). Согласно свойству сходимости, после этого ослабления выполняется равенство d[vj] = = 5 (s, vj, которое впоследствии сохраняется. ■
Ослабление и деревья кратчайших путей
Теперь покажем, что после того, как в результате последовательности ослаблений оценки кратчайших путей сойдутся к весам кратчайших путей, подграф предшествования G^, образованный полученными значениями тг, будет деревом кратчайших путей для графа G. Начнем с приведенной ниже леммы, в которой показано, что подграф предшествования всегда образует корневое дерево с корнем в истоке.
Лемма 24.16. Пусть G = (V, Е) — взвешенный ориентированный граф с весовой функцией го : Е —> R, a з eV — исток. Предполагается также, что граф G не содержит циклов с отрицательным весом, достижимых из истока з. Тогда после инициализации графа с помощью процедуры Initialize_Single_Source(G, s) подграф предшествования Сц образует корневое дерево с корнем з, а любая последовательность шагов ослабления ребер графа G поддерживает это свойство в качестве инварианта.
Доказательство. Вначале единственной вершиной графа Gw является исток, и лемма тривиальным образом выполняется. Рассмотрим подграф предшествования Gn, возникающий в результате последовательности этапов ослабления. Сначала докажем, что этот граф — ациклический. Чтобы получить противоречие, предположим, что после некоторого шага ослабления в графе G^ создается цикл. Пусть это цикл с = («о, «!>•••> ^к^ roe Vk = «о- Тогда при г = 1,2,..., к выполняется равенство тг [vj] = Vi-i, и без потери общности можно считать, что цикл был создан в результате ослабления ребра (vt-i, Ок) графа Оц.
Утверждается, что все вершины цикла с достижимы из истока s. Почему? Для каждой вершины цикла с существует предшественник (т.е. значение соответствующего атрибута отлично от значения nil), поэтому каждой из этих вершин
сопоставляется конечная оценка кратчайшего пути, когда ее атрибуту тг присваивается значение, отличное от значения NIL. Согласно свойству верхней границы, каждой вершине цикла с соответствует вес кратчайшего пути, из чего следует, что она достижима из истока s.
Рассмотрим оценки кратчайших путей, которые относятся к циклу с, непосредственно перед вызовом процедуры RELAX(vfc_i, «д, w) и покажем, что с — цикл с отрицательным весом, а это противоречит предположению о том, что в графе G не содержится циклов с отрицательным весом, достижимых из истока. Непосредственно перед вызовом для г = 1,2,..., к — 1 выполняется равенство тг [vf] = Vi-x. Таким образом, при г = 1,2,..., к — 1 последним обновлением величины d [v,] является присвоение d[vi] «— d[vj_i] + ш(у,_1,Уг). Если после этого значение d [vj-i] изменяется, то оно может только уменьшаться. Поэтому непосредственно перед вызовом процедуры RELAX(vfc_i, и^, w) выполняется неравенство
d[vi] ^ d[«i-i] + w (vi-i, Vi) для всех г = 1,2,..., к - 1.(24.12)
Поскольку величина тг [ид;] в результате вызова изменяется, непосредственно перед этим выполняется строгое неравенство
d [vfc] > d [vfc_i] + w (vk_b vk).
Суммируя это строгое неравенство с к — 1 неравенствами (24.12), получим сумму оценок кратчайшего пути вдоль цикла с:
кк
52 d(d [vi-1] + w («г-1, «i)) =
1=11=1
кк
1=11=1
Однако
кк
52 = 52
i=li=l
поскольку каждая вершина цикла с входит в каждую сумму ровно по одному разу. Из этого равенства следует
к
О > ^2 w («,-!,«,).
г=1
Таким образом, суммарный вес цикла с — величина отрицательная, что и приводит к желаемому противоречию.
Рис. 24.9. Иллюстрация того, что путь в графе G^ из истока s в вершину у — единственный
Итак, доказано, что G^ — ориентированный ациклический граф. Чтобы показать, что он образует корневое дерево с корнем s, осталось доказать (см. упражнение Б.5-2), что для каждой вершины v е V в графе G^ имеется единственный путь из истока з в вершину и.
Сначала необходимо показать, что из истока з существует путь в каждую вершину множества 14. В это множество входят вершины, значение атрибута тг которых отлично от значения NIL, а также вершина з. Идея заключается в том, чтобы доказать наличие такого пути из истока з в каждую вершину множества 14 по индукции. Детали предлагается рассмотреть в упражнении 24.5-6.
Чтобы завершить доказательство леммы, теперь нужно показать, что для любой вершины v е 14 в графе G^ существует не более одного пути из вершины s в вершину v. Предположим обратное. Другими словами, предположим, что из истока з существует два простых пути в некоторую вершину v: путь pi, который можно разложить как з ^ и ^ х —> z ^ v, и путь р2, который можно разложить как s ^ и ^ у —> z ^ v, где х / у (рис. 24.9). Однако в таком случае выполняются равенства тг [z] = х и тг [г] = у, откуда следует противоречие х = у. Приходим к выводу, что в графе G^ существует единственный путь из истока s в вершину v, и, следовательно, этот граф образует корневое дерево с корнем з. □
Теперь можно показать, что если после некоторой последовательности этапов ослабления всем вершинам присвоены истинные веса кратчайших путей, то подграф предшествования G^ — это дерево кратчайших путей.
Лемма 24.17 (Свойство подграфа предшествования). ПустьG = (^^ — взвешенный ориентированный граф с весовой функцией w \ Е —> R, азбУ — исток. Предположим также, что граф G не содержит циклов с отрицательным весом, достижимых из вершины з. Вызовем процедуру Initialize_Single_Source(G, s), после чего выполним произвольную последовательность шагов ослабления ребер графа G, в результате которой для всех вершин v е V выполняется равенство d[v] = 5 (s, v). Тогда подграф предшествования G^ — дерево кратчайших путей с корнем з.
Доказательство. Необходимо доказать, что для графа G^ выполняются все три свойства, сформулированные в разделе “Представление кратчайших путей” для
деревьев кратчайших путей. Чтобы доказать первое свойство, необходимо показать, что 14 — множество вершин, достижимых из истока s. По определению вес кратчайшего пути 5 (s, v) выражается конечной величиной тогда и только тогда, когда вершина v достижима из истока s, поэтому из истока s достижимы только те вершины, которым соответствуют конечные значения d. Однако величине d [v], соответствующей вершине и € У — {s}, конечное значение присваивается тогда и только тогда, когда тг [v] / NIL. Таким образом, в множество V, входят только те вершины, которые достижимы из истока з.
Второе свойство следует непосредственно из леммы 24.16.
Поэтому остается доказать справедливость последнего свойства для дерева wvwwР
кратчайших путей: для каждой вершины v е 14 единственный простои путь s у в графе G^ — это кратчайший путь в графе G из истока з в вершину и. Пусть р = ^^v* • • ^kh где vo = $ и Vk = v. При г = 1,2,...,& выполняются соотношения d[v;] = 5(3^1) и (ЦиД ^ d[vi-i] + w(vi-i,Vi), из чего следует, что w(vi-i,Vi) ^ 5(3^1) — S^s^t-iY В результате суммирования весов вдоль пути р получаем
к
w(p) = ^^.^ <
1=1 к (^ (5’^) - 5(s,V,-l)) = г=1
= Hs^Vk) -5(s,v0) =
= 5 (s, «к),
где предпоследнее равенство следует из “телескопичности” суммы разностей, а последнее — из того, что 6 (s, vq) = 6 (s, s) = 0.
Таким образом, справедливо неравенство w(p) ^ 5(s, Vk)- Поскольку 5(з, Vk) — нижняя граница веса, которым обладает любой путь из истока з в вершину Vk, приходим к выводу, что го (р) = 5 (s, Vk), и поэтому р — кратчайший путь из истока s в вершину и = «к- ■
Упражнения
1. Для ориентированного графа, изображенного на рис. 24.2, приведите пример двух деревьев кратчайших путей, отличных от показанных.
2. Приведите пример взвешенного ориентированного графа G = (V^E) с весовой функцией w : Е —» R и истоком з, для которого выполняется сформулированное ниже свойство: для каждого ребра (и, у) € £ существует дерево кратчайших путей с корнем з, содержащее ребро (и, и),
и другое дерево кратчайших путей с корнем s, в котором это ребро отсутствует.
3. Усовершенствуйте доказательство леммы 24.10, чтобы она охватывала случаи, когда веса кратчайших путей равны оо и — оо.
4. Пусть G = (У, 5) — взвешенный ориентированный граф с исходной вершиной s, инициализированный процедурой lNITIALIZE_SlNGLE_ Source(G, s). Докажите, что если в результате выполнения последовательности этапов ослабления атрибуту тг [s] присваивается значение, отличное от nil, то граф G содержит цикл с отрицательным весом.
5. Пусть G = (У, Е) — взвешенный ориентированный граф, не содержащий ребер с отрицательным весом, и пусть s 6 У — исток. Предположим, что в качестве тг [и] может выступать предшественник вершины и на любом кратчайшем пути к вершине и из истока s, если вершина и 6 У — {s} достижима из вершины s; в противном случае тг [и] принимает значение NIL. Приведите пример такого графа G и значений, которые следует присвоить атрибутам тг [и], чтобы в графе G^ образовался цикл. (Согласно лемме 24.16, такое присвоение не может быть получено в результате последовательности этапов ослабления.)
6. Пусть G = (У, Е) — взвешенный ориентированный граф с весовой функцией w : Е —* R, не содержащий циклов с отрицательным весом. Пусть зеУ — исток, а граф G инициализируется процедурой INITIALIZE_SINGLE_ Source(G, s). Докажите, что для каждой вершины и € 14 в графе GT существует путь из вершины s в вершину и и что это свойство под держивается как инвариант в ходе произвольной последовательности ослаблений.
7. Пусть G = (У, Е) — взвешенный ориентированный граф, не содержащий циклов с отрицательным весом. Пусть также s€ У — исток, а граф G инициализируется процедурой IN!TIALIZE_Single_S0URCe(G, s). Докажите, что существует такая последовательность |У | — 1 этапов ослабления, что для всех вершин v € У выполняется равенство d [и] = 6 (s, и).
8. Пусть G — произвольный взвешенный ориентированный граф, который содержит цикл с отрицательным весом, достижимый из истока s. Покажите, что всегда можно построить такую бесконечную последовательность этапов ослабления ребер графа G, что каждое ослабление будет приводить к изменению оценки кратчайшего пути.
Задачи
24-1. Улучшение Йена алгоритма Беллмана-Форда
Предположим, что в каждом проходе алгоритма Беллмана-Форда ослабления ребер упорядочены следующим образом. Перед первым проходом вершины входного графа G = (V, Е) выстраиваются в произвольном порядке «1, «2,..., «|у|. Затем множество ребер Е разбивается на множества EjUEb, где Ej = {(v,,Vj) € Е : г < ;} и Еь = {(«г,vj) € Е : г > j}. (Предполагается, что граф G не содержит петель, так что каждое ребро принадлежит либо множеству Ej, либо множеству Е^ Определим графы Gf = (V, Е/) и Gb = (V, Еь).
Докажите, что G/ — ациклический граф с топологической сортировкой («1, «2, ■ ■ ■, ^|У|)> а Gb — ациклический граф с топологической сортировкой <V|V|, V|V|-1, • • • , Vl).
Предположим, что каждый проход Беллмана-Форда реализуется следующим образом. Сначала вершины обходятся в порядке vi,V2,• • •,V|v|, и при этом ослабляется каждое ребро графа Ej, исходящее из посещаемой вершины. Затем вершины обходятся в порядке иц/|, V|v|-i, • • •,vi, и при этом ослабляется каждое ребро графа Еь, исходящее из этой вершины.
Докажите, что при такой схеме, если граф G не содержит циклов с отрицательным весом, достижимых из истока s, то после ПУ|/2] проходов по ребрам d [и] = 5 (s, и) для всех вершин и € V.
Улучшает ли эта схема асимптотическое поведение времени работы алгоритма Беллмана-Форда?
24-2. Вложенные ящики
Говорят, что d-мерный ящик с размерами (rri, Т2,...,ж^) вкладывается (nests) в другой ящик с размерами (yi, У2, • • •, Уа\ если существует такая перестановка тг индексов {1,2,.. ., d}, что выполняются неравенства •^ir(l) < У1> ^1г(2) < У2, • • • > ®n^d)) < Уа-
Докажите, что вложение обладает свойством транзитивности.
Разработайте эффективный метод определения, вкладывается ли один d-мерный ящик в другой.
Предположим, что задано множество, состоящее из п d-мерных ящиков {Bi, Вг,..., Вп}. Разработайте эффективный алгоритм, позволяющий найти самую длинную последовательность ящиков (В^, Bi2,..., Bt^ такую, что для j = 1,2,..., к — 1 ящик В^ вкладывается в ящик BtjW Выразите время работы этого алгоритма через п и d.
24-3. Арбитражные операции
Арбитражные операции (arbitrage) — это использование различий в текущем курсе валют для преобразования единицы валюты в большее количество единиц этой же валюты. Например, предположим, что за 1 американский доллар можно купить 46.4 индийских рупий, за одну индийскую рупию можно купить 2.5 японских иен, а за одну японскую иену — 0.0091 американских долларов. В этом случае в результате ряда операций обмена торговец может начать с одного американского доллара и купить 46.4 х 2.5 х 0.0091 = 1.0556 американских долларов, получив таким образом доход в размере 5.56%.
Предположим, что даны и валют ci,C2,...,cn и таблица R размером пх п, содержащая обменные курсы, т.е. за одну единицу валюты ^ можно купить R [г, J] единиц валюты Cj.
Разработайте эффективный алгоритм, позволяющий определить, существует ли последовательность валют (с^, Сг2,..., Cik\ такая что
Л[п^2] • ^[ггЛз]1 • • R [ч-ьЧ-] --R^ii] > 1.
Проанализируйте время работы этого алгоритма.
Разработайте эффективный алгоритм поиска такой последовательности, если она существует. Проанализируйте время работы этого алгоритма.
24-4. Алгоритм Габова для масштабирования кратчайших путей из одной вершины
Алгоритм масштабирования (scaling) решает задачу, сначала рассматривая только старший бит каждой соответствующей входной величины (такие как вес ребра). Затем начальное решение улучшается за счет рассмотрения двух старших битов. После этого последовательно рассматривается все большее число (старших) битов, в результате чего каждый раз решение улучшается до тех пор, пока не будут рассмотрены все биты, и не будет найдено правильное решение.
В этой задаче исследуется алгоритм поиска кратчайших путей из одной вершины путем масштабирования весов ребер. Нам дан ориентированный граф G = <(V^E\ веса ребер в котором выражаются неотрицательными целыми величинами w. Введем величину W = niax^u ^EE {w (rz, v)}. Наша цель — разработать алгоритм, время работы которого составляет О (E\gW\ Предполагается, что все вершины достижимы из истока.
В алгоритме последовательно по одному обрабатываются биты, образующие бинарное представление весов ребер, начиная с самого старшего к самому младшему. В частности, пусть к = fig (ТУ + 1)] — количество битов в бинарном представлении величины W, и пусть wt (и, v) =
= [w (и, v)/2fc_’J, где i = 1,2,..., к. Другими словами, w, (u, v) — “масштабированная” версия w (и, v), полученная из г старших битов этой величины. (Таким образом, для всех ребер (и, v) ЕЕ w^ (и, v) = w (и, и).) Например, если к = 5 и w (и, v) = 25 (бинарное представление которого имеет вид (11001)), то доз (u, v) = (ПО) = 6. Другой пример с к = 5: если w (и, и) = (00100) = 4, то шз (и, и) = (001) = 1. Определим величину 5, (и, и) — вес кратчайшего пути из вершины и в вершину и, вычисленный с помощью весовой функции w,. Таким образом, для всех вершин tz, v е У 5к (u,v) = 5 (и, и). Для заданного истока s в алгоритме масштабирования для всех вершин и Е У сначала вычисляются веса кратчайших путей 5i (s, v), затем для всех вершин вычисляются величины 5i (s, и) и т.д., пока для всех вершин у Е У не будут вычислены величины 5^ (s, и). Предполагается, что |S| ^ |У| — 1. Как вы увидите, вычисление величины 5, на основании дг-i требует О (5) времени, так что время работы всего алгоритма — О (кЕ) = О (S 1g IV).
Предположим, что для всех вершин v Е У выполняется неравенство 5(s,v) ^ |S|. Покажите, что величину 5 (s, v) для всех вершин можно вычислить в течение времени О (Е).
Покажите, что величину di (s, v) для всех вершин v Е У можно вычислить в течение времени О (Е).
Теперь сосредоточим внимание на вычислении величины 5,, зная величину 5,-1
Докажите, что при г = 2,3,..., к выполняется либо равенство w, {и, v) = 2ги,_1 (и, v), либо равенство w, (u, v) = 2w,_i (и, v) +1. Затем докажите, что для всех вершин vE У справедливы неравенства
25,-1 (s, v) ^ 5г (s, v) ^ 25,_i (s, v) + |У | - 1.
Определим для г = 2,3,..., к и всех ребер (u, v) Е Е величину wt (и, v) = w, (и, v) + 25,-1 (s, u) — 25,_i (s, v) •
Докажите, что для г = 2,3,..., к и всех и, v Е У значение Wi (и, и) представляет собой неотрицательное целое число.
Теперь определим величину 5, (s, v) как вес кратчайшего пути из истока s в вершину v, полученного с помощью весовой функции го,. Докажите, что для г = 2,3,..., к и всех вершин v Е У выполняется равенство
5i (s, v) = 5i (s, v) + 25,-1 (s, v)
и что 5, (s, v) |E|.
Покажите, как вычислить величину J,(s, и) на основе величины 5i-i (s, v) для всех вершин v € V в течение времени О (5) и обоснуйте вывод о том, что вычислить 5 (s, и) для всех вершин v € У можно за время О (Е 1g ТУ).
24-5. Алгоритм Карпа для поиска цикла с минимальным средним весом
Пусть G = (У, Е) — ориентированный граф с весовой функцией -ш : Е —» —» R, и пусть п = |У|. Определим средний вес (mean weight) цикла с = (ei, ег,.. •, efc), состоящего из ребер множества Е, как
.
^м = t'SL™ ^v
1=1
Пусть /1* = minc р (с), где с охватывает все ориентированные циклы графа G. Цикл с, для которого выполняется равенство р (с) = р*, называется циклом с минимальным средним весом (minimum mean-weight cycle). В этой задаче исследуется эффективный алгоритм вычисления величины
Без потери общности предположим, что каждая вершина чз eV достижима из истока s е V. Пусть 8 (s, v) — вес кратчайшего пути из истока з в вершину и, а 8^ (s, v) — вес кратчайшего пути из истока з в вершину и, содержащего ровно к ребер. Если такого пути не существует, то 8^ (s> ^) = °°-
Покажите, что если р* = 0, то граф G не содержит циклов с отрицательным весом, и 8 (s, и) = што^^п-1 §к (s, v) для всех вершин vE V.
Покажите, что если р* = 0, то
5n(s,^-6k(s,^ 0^/с^п-1 п — к
для всех вершин и 6 V. (Указание: воспользуйтесь обоими свойствами из части а.)
Пусть с — цикл с нулевым весом, а и и v — две произвольные вершины в этом цикле. Предположим, что р* = 0, и что вес пути из вершины и в вершину и вдоль цикла равен ж. Докажите, что 8 (s, v) = 8 (s, u) + x. (Указание: вес пути из вершины и в вершину и вдоль цикла равен —х.)
Покажите, что если д* = 0, то в каждом цикле с минимальным средним весом существует вершина и такая, что
max0^fc^n-lmax0^fc^n-l<5n (s,u) ~ Ms,v)<5n (s,u) ~ Ms,v)n — кn — к= 0.= 0.
max0^fc^n-l
max0^fc^n-l
<5n (s,u) ~ Ms,v)
<5n (s,u) ~ Ms,v)
n — к
n — к
= 0.
= 0.
(Указание: покажите, что кратчайший путь в каждую вершину, принадлежащую циклу с минимальным средним весом, можно расширить вдоль цикла к следующей вершине цикла.)
Покажите, что если р* = 0, то
min max vevo^fc^n-imin max vevo^fc^n-i6п (s, и) - 5к (s,v)6п (s, и) - 5к (s,v)n — кn — к= 0.= 0.
min max vevo^fc^n-i
min max vevo^fc^n-i
6п (s, и) - 5к (s,v)
6п (s, и) - 5к (s,v)
n — к
n — к
= 0.
= 0.
Покажите, что если к весу каждого ребра графа G добавить константу t, то величина д* увеличится на t. Покажите с помощью этого факта справедливость соотношения
ц* = min max vevo^fc^n-iц* = min max vevo^fc^n-iSn ($, у) - 5к (s, v)Sn ($, у) - 5к (s, v)п — кп — к
ц* = min max vevo^fc^n-i
ц* = min max vevo^fc^n-i
Sn ($, у) - 5к (s, v)
Sn ($, у) - 5к (s, v)
п — к
п — к
Разработайте алгоритм, позволяющий вычислить величину р* за время О (V Е\
24-6. Битонические кратчайшие пути
Последовательность называется битонической (bitonic), если она монотонно возрастает, а затем монотонно убывает, или если путем циклического сдвига ее можно привести к такому виду. Например, битониче- скими являются последовательности (1,4,6,8,3, —2), (9,2, —4, —10, —5) и (1,2,3,4), но не (1,3,12,4,2,10). (См. также главу 27 и задачу 15-1.) Предположим, что задан ориентированный граф G = (V,E) с весовой функцией го : Е —> R, и нужно найти кратчайшие пути из одной вершины s. Имеется также дополнительная информация: для каждой вершины v € V веса ребер вдоль произвольного кратчайшего пути из истока з в вершину и образуют битоническую последовательность.
Разработайте наиболее эффективный алгоритм, позволяющий решить эту задачу, и проанализируйте время его работы.
Заключительные замечания
Алгоритм Дейкстры (Dijkstra) [75] появился в 1959 году, но в нем не содержалось никаких упоминаний по поводу очереди с приоритетами. Алгоритм Беллмана-Форда основан на отдельных алгоритмах Беллмана (Bellman) [35] и Форда
(Ford) [93]. Беллман описывает, какое отношение имеют кратчайшие пути к разностным ограничениям. Лоулер (Lawler) [196] описывает алгоритм с линейным временем работы для поиска кратчайших путей в ориентированном ациклическом графе, который он рассматривает как часть “народного творчества”.
Если вес каждого из ребер выражается сравнительно малыми неотрицательными целыми числами, задача о кратчайших путях из одной вершины решается с помощью более эффективных алгоритмов. Последовательность значений, возвращаемых в результате вызовов процедуры Extract_Min в алгоритме Дейкстры, монотонно возрастает со временем. Как говорилось в заключительных замечаниях к главе 6, в этом случае существует несколько структур данных, позволяющих эффективнее реализовать различные операции над очередями с приоритетами, чем бинарная пирамида или пирамида Фибоначчи. Ахуя (Ahuja), Мельхорн (Mehlhorn), Орлин (Orlin) и Таржан (Tarjan) [8] предложили для графов с неотрицательными весами ребер алгоритм со временем работы О (JE + V\/lgFT), где W — максимальный вес ребра графа. Наилучшие границы достигнуты Торупом (Thorup) [299], который предложил алгоритм со временем работы О (Siglg V), и Раманом (Raman) [256], чей алгоритм имеет время работы О(Е + V min{(lg V)1/3^, (lg VT)1/4^}). Оба алгоритма используют объем памяти, зависящий от размера слова машины, на которой выполняется алгоритм. Хотя объем использующейся памяти может оказаться неограниченным в зависимости от размера входных данных, с помощью рандомизированного хеширования его можно снизить до линейно зависящего от размера входных данных.
Для неориентированных графов с целочисленными весами Торуп [298] привел алгоритм со временем работы О (V + Е), предназначенный для поиска кратчайших путей из одной вершины. В отличие от алгоритмов, упомянутых в предыдущем абзаце, этот алгоритм — не реализация алгоритма Дейкстры, поскольку последовательность значений, возвращаемых вызовами процедуры Extract_Min, не является монотонно неубывающей.
Для графов, содержащих ребра с отрицательными весами, алгоритм, предложенный Габовым (Gabow) и Таржаном [104], имеет время работы O(WSlg(WT)), а предложенный Гольдбергом (Goldberg) [118] выполняется в течение времени O(vVslg W\ где W = max(u v)G£ {|w (и, и)|}.
Черкасский (Cherkassky), Гольдберг (Goldberg) и Радзик (Radzik) [57] провели большое количество экспериментов по сравнению различных алгоритмов, предназначенных для поиска кратчайших путей.
ГЛАВА 25
Кратчайшие пути между всемипарами вершин
В этой главе рассматривается задача о поиске кратчайших путей между всеми парами вершин графа. Эта задача может возникнуть, например, при составлении таблицы расстояний между всеми парами городов, нанесенных на атлас дорог. Как и в главе 24, в этой задаче задается взвешенный ориентированный граф G = = (V,E) с весовой функцией w : Е —» R, отображающей ребра на их веса, выраженные действительными числами. Для каждой пары вершин tz, v 6 V требуется найти кратчайший (обладающий наименьшим весом) путь из вершины и в вершину v, вес которого определяется как сумма весов входящих в него ребер. Обычно выходные данные представляются в табличной форме: на пересечении строки с индексом и и столбца с индексом и расположен вес кратчайшего пути из вершины и в вершину и.
Задачу о поиске кратчайших путей между всеми парами вершин можно решить, |V| раз запустив алгоритм поиска кратчайших путей из единого истока, каждый раз выбирая в качестве истока новую вершину графа. Если веса всех ребер неотрицательные, можно воспользоваться алгоритмом Дейкстры. Если используется реализация неубывающей очереди с приоритетами в виде линейного массива, то время работы такого алгоритма равно О (V3 + VS) = О (V3). Если же неубывающая очередь с приоритетами реализована в виде бинарной неубывающей пирамиды, то время работы будет равно О (V Е lg V), что предпочтительнее для разреженных графов. Можно также реализовать неубывающую очередь с приоритетами как пирамиду Фибоначчи; в этом случае время работы алгоритма равно O(V2lgV + VE\
Если допускается наличие ребер с отрицательным весом, алгоритм Дейкстры неприменим. Вместо него для каждой вершины следует выполнить алгоритм Беллмана-Форда, который работает медленнее. Полученное в результате время работы будет равно О (y2E^, которое на плотных графах можно записать как О (у4у В этой главе станет понятно, как лучше поступить. Будет также исследована связь задачи о кратчайших расстояниях между всеми парами вершин с умножением матриц, и изучена алгебраическая структура этой задачи.
В отличие от алгоритмов поиска кратчайшего пути из фиксированного истока, в которых предполагается, что представление графа имеет вид списка смежных вершин, в большей части представленных в этой главе алгоритмов используется представление в виде матрицы смежности. (В алгоритме Джонсона (Johnson) для разреженных графов используются списки смежных вершин.) Для удобства предполагается, что вершины пронумерованы как 1,2,...,|У|, поэтому в роли входных данных выступает матрица W размером п х п, представляющая веса ребер ориентированного графа G = (У, Е) с п вершинами. Другими словами, W = (toy), где
{
0если г = j,
вес ориентированного ребра (г, j) если г / j и (г, j) € Е, (25.1) ооесли г / j и (i,j) £ Е.
Наличие ребер с отрицательным весом допускается, но пока что предполагается, что входной граф не содержит циклов с отрицательным весом.
Выходные данные представленных в этой главе алгоритмов, предназначенных для поиска кратчайших путей между всеми парами вершин, имеют вид матрицы D = (dtj) размером п х п, где элемент dy содержит вес кратчайшего пути из вершины г в вершину j. Другими словами, если обозначить через <5(i,J) кратчайший путь из вершины г в вершину j (как это было сделано в главе 24), то по завершении алгоритма dij = 5 (i, j).
Чтобы решить задачу о поиске кратчайших путей между всеми парами вершин со входной матрицей смежности, необходимо вычислить не только вес каждого из кратчайших путей, но также и матрицу предшествования (predecessor matrix) П = (тгу), где величина тгу имеет значение NIL, если г = j или путь из вершины г в вершину j отсутствует; в противном случае 7Гу — предшественник вершины j на некотором кратчайшем пути из вершины г. Точно так же, как описанный в главе 24 подграф предшествования G^ является деревом кратчайших путей для заданного истока, подграф, индуцированный г-й строкой матрицы П, должен быть деревом кратчайших путей с корнем г. Определим для каждой вершины г € V подграф предшествования (predecessor subgraph) графа G для вершины г как граф G^i = (V^.i, ^г), где
^,» = {j Е V : тгу / NIL} U {г}
и
E^i = {(^ij> J) • 3 ^ У^г {0} •
Если G^t — дерево кратчайших путей, то приведенная ниже процедура, представляющая собой модифицированную версию описанной в главе 22 процедуры Print_Path, выводит кратчайший путь из вершины г в вершину j:
Print_All_Pairs_Shortest_Path(II, г, j)
if г = j
then print г
else if тг^ = nil
then print “He существует пути из” г “в” j
else PRINT_ALL_PAIRS_SHORTEST_PATH(n,Z,7Ty)
print j
Чтобы подчеркнуть важные особенности представленных в этой главе алгоритмов поиска кратчайших путей между всеми парами вершин, создание матриц предшествования и их свойств не будет рассматриваться здесь так же подробно, как это было в главе 24 в случае подграфа предшествования. Основные моменты предлагается рассмотреть в некоторых упражнениях.
Краткое содержание главы
В разделе 25.1 представлен алгоритм динамического программирования, основанный на операции умножения матриц, который позволяет решить задачу о поиске кратчайших путей между всеми парами вершин. С помощью метода “многократного возведения в квадрат” можно сделать так, чтобы время работы этого алгоритма было равно 0 (V3 lgУ). В разделе 25.2 приведен другой алгоритм динамического программирования — алгоритм Флойда-Варшалла (Floyd-Warshall). Время работы этого алгоритма равно 0 (У3). В этом же разделе исследуется задача поиска транзитивного замыкания ориентированного графа, связанная с задачей о поиске кратчайших путей между всеми парами вершин. Наконец, в разделе 25.3 представлен алгоритм Джонсона. В отличие от других алгоритмов, описанных в этой главе, в алгоритме Джонсона применяется представление графа в виде списка смежных вершин. Этот алгоритм позволяет решить задачу о поиске кратчайших путей между всеми парами вершин за время О (У21g У + У5), что делает его пригодным для больших разрешенных графов.
Перед тем как продолжить, нужно принять некоторые соглашения для представлений в виде матрицы смежности. Во-первых, в общем случае предполагается, что входной граф G = (У, S) содержит п вершин, так что п = |У|. Во- вторых, будет использоваться соглашение об обозначении матриц прописными буквами, например, W, L или D, а их отдельных элементов — строчными буквами с нижними индексами, например, -шу, 1ц или (1ц. Возле некоторых матриц
будут взятые в скобки верхние индексы, указывающие на количество итераций, например, L^ = (^^ или D^ = ^J1^. Наконец, для заданной матрицы А размером п х п предполагается, что значение п хранятся в атрибуте rows [А].
Задача о кратчайших путях и умножение матриц
В этом разделе представлен алгоритм динамического программирования, предназначенный для решения задачи о поиске кратчайших путей между всеми парами вершин в ориентированном графе G = (V^E\ В каждом основном цикле динамического программирования будет вызываться операция, очень напоминающая матричное умножение, поэтому такой алгоритм будет напоминать многократное умножение матриц. Начнем с того, что разработаем для решения задачи о кратчайших путях между всеми парами вершин алгоритм со временем работы 0 (V4), после чего улучшим этот показатель до величины 0 (У31g У).
Перед тем как продолжить, кратко напомним описанные в главе 15 этапы разработки алгоритма динамического программирования.
Описание структуры оптимального решения.
Рекурсивное определение значения оптимального решения.
Вычисление значения, соответствующего оптимальному решению, пользуясь методом восходящего анализа.
(Четвертый этап, т.е. составление оптимального решения на основе полученной информации, рассматривается в упражнениях.)
Структура кратчайшего пути
Начнем с того, что охарактеризуем структуру оптимального решения. Для задачи о кратчайших путях между всеми парами вершин графа G = (У, Е) доказано (лемма 24.1), что все частичные пути кратчайшего пути — тоже кратчайшие пути. Предположим, что граф представлен матрицей смежности W = (wy). Рассмотрим кратчайший путь р из вершины г в вершину ] и предположим, что этот путь содержит не более т ребер. Если циклы с отрицательным весом отсутствуют, то т конечно. Если г = j, то вес пути р равен 0, а ребра в нем отсутствуют. Если же вершины гид различаются, то путь р раскладывается на г к —> j, где путь р' содержит не более m — 1 ребер. Согласно лемме 24.1, р' — кратчайший путь из вершины г в вершину к, поэтому выполняется равенство 5 (i^j) = 5 (г, к) + w^.
Рекурсивное решение задачи о кратчайших путях между всеми парами вершин
Пусть теперь 1^ — минимальный вес любого пути из вершины г в вершину 3, содержащий не более т ребер. Если т = 0, то кратчайший путь из вершины г в вершину з существует тогда и только тогда, когда г = j. Таким образом,
,(о) =,(о) =О если г = j, оо если г / j.
,(о) =
,(о) =
Для m ^ 1 величина 1^ вычисляется как минимум двух величин. Первая — Z^ (вес кратчайшего пути из вершины г в вершину j, состоящего не более чем из т - 1 ребер), а вторая — минимальный вес произвольного пути из вершины г в вершину j, который состоит не более чем из т ребер. Этот минимальный вес получается в результате рассмотрения всех возможных предшественников к вершины j. Таким образом, мы можем рекурсивно определить
/ Ат— 1).(dm— 1) ,) \f Ат—1) ,1
Г- ' = mm IV \ mm < rik ’ + S = min < qk ' + Wkj >.(25.2)
гз\ 13 i^n l3)) l^n I3 J
Последнее равенство следует из того, что Wjj = 0 для всех j.
Чему равен фактический вес каждого из кратчайших путей 5 (i^j^ Если граф не содержит циклов с отрицательным весом, то для каждой пары вершин г и j, для которых справедливо неравенство 6(1, j) < оо, существует кратчайший путь из вершины г в вершину j, который является простым и, следовательно, содержит не более п — 1 ребер. Путь из вершины г в вершину j, содержащий более п — 1 ребер, не может иметь меньший вес, чем кратчайший путь из вершины г в вершину j. Поэтому фактический вес каждого из кратчайших путей определяется равенствами
5 (г,= ''' •(25-3)
Вычисление весов кратчайших путей в восходящем порядке
Используя в качестве входной матрицу W = (wy), вычислим ряд матриц LW, L®, ..., L^-1^, где для т = 1,2,..., п — 1 имеем L^m) = ^J1^). Конечная матрица L^-^ содержит фактический вес каждого из кратчайших путей. Заметим, что для всех вершин ij € V выполняется равенство 1^ = Wy, так что L^ = W.
Сердцем алгоритма является приведенная ниже процедура, которая на основе заданных матриц l/m-1) и W вычисляет и возвращает матрицу L^. Другими словами, она расширяет вычисленные на текущий момент кратчайшие пути, добавляя в них еще по одному ребру.
Extend_Shortest_Paths(L, W)
n «— voids [L]
Пусть L* = (Z^) — матрица размера n х п
for г«— 1 to п
do for j <— 1 to n
do ZC <— oo
for к <— 1 to n
do l'^ «- min^, lik + wkj)
return L
В этой процедуре вычисляется матрица L* = ^J, которая и возвращается процедурой по завершении. Вычисления осуществляются на основе уравнения (25.2) для всех пар индексов г и j; при этом в качестве L^771-1) используется матрица L, а в качестве L^ — матрица L*. (В псевдокоде верхние индексы не используются, чтобы входные и выходные матрицы процедуры не зависели от т.) Из-за наличия трех вложенных циклов for время работы алгоритма равно 0 (п3).
Теперь становится понятной связь с умножением матриц. Предположим, требуется вычислить матричное произведение С = А • В, где А и В — матрицы размером п х п. Тогда для г, j = 1,2,..., п мы вычисляем
п
(25.4)(25.4)Су = й{к • Ькj.
(25.4)
(25.4)
А:=1
Заметим, что если в уравнении (25.2) выполнить подстановки
а,Ь,+)а,Ь,+)/(т-1)
а,
Ь,
+)
а,
Ь,
+)
W
min
то мы получим уравнение (25.4). Таким образом, если в процедуре Extend_Shor- testJPaths произвести соответствующие изменения и заменить значение оо (исходное значение для операции вычисления минимума) значением 0 (исходное значение для вычисления суммы), получим процедуру для непосредственного перемножения матриц со временем выполнения 0 (п3):
Matrix_Multiply(A, В)
п«— rows [Л]
Пусть С — матрица пхп
for г«— 1 to п
do for j «— 1 to n
do сг] +- 0
for к «— 1 to n
do C^j * C^j “b Q-ik * ^kj
return C
Возвращаясь к задаче о кратчайших путях между всеми парами вершин, вычислим веса кратчайших путей путем поэтапного расширения путей ребро за ребром. Обозначая через А ■ В матричное “произведение”, которое возвращается процедурой Extend_Shortest_Paths(A, В), вычислим последовательность п — 1 матриц:
LW=L^-W=W,
L^=LW • W=W2,
L^=L^-W=W3,
£<П-1) _ £(n-2) . |y _ jyn-1
Как было показано ранее, матрица L^1-^ = Wn-1 содержит веса кратчайших путей. В приведенной ниже процедуре эта последовательность вычисляется в течение времени © (п4):
Slow_All_Pairs_Shortest_Paths(W)
n <— rows[W]
LW <- W
for m 2 to n — 1
do L^ ^- EXTEND_SHORTEST_PATHS(L(’n-1\ W)
return L^-1)
На рис. 25.1 приведен граф и матрицы L^, вычисленные процедурой SLOW_ALL_ Pairs_Shortest_Paths. Можно легко убедиться в том, что величина L^ = L^ • • W равна L^4\ а следовательно, для всех m ^ 4 выполняется равенство L^ = = LW.
Улучшение времени работы
Следует сказать, что наша цель состоит не в том, чтобы вычислить все матрицы L^; нам нужна только матрица Lln~xX Напомним, что если циклы с отрицательным весом отсутствуют, из уравнения (25.3) вытекает равенство L^ = L^n~^
82-4\
0-417
0511
-1-50-2
оо16Оу
1-32-4\
0-41-14053
-1-50-2
160^
Рис. 25.1. Ориентированный граф и последовательность матриц L^m\ вычисленных в процедуре SL0W_All_Pairs_SH0RTEST_PatHS
для всех целых т > п — 1. Матричное умножение, определенное процедурой Extend_Shortest_Paths, как и обычное матричное умножение, является ассоциативным (упражнение 25.1-4). Таким образом, матрицу L^-^ можно получить путем вычисления fig (п — 1)"| матричных умножений в последовательности:
= w ,
Z/2)=W2=W-W,
L(4)=W4=w2-w2
L®=W8=W4-W4,
^(г^11-1)!)_ р^2Г18<п—!>1_p^rtefn”1)!”1.р^гПкСи—!)1—1
В силу неравенства 2^lg(n ^ ^ п — 1 последнее произведение L^X&(n 1)1) равно
В приведенной ниже процедуре данная последовательность матриц вычисляется методом многократного возведения в квадрат (repeated squaring):
Faster_All_Pairs_Shortest_Paths( W)
п *— n?ws[W]
L^ «- W
m *— 1
while m < n — 1
do l/2m) +- EXTEND_SHORTEST_PATHS(L(m\ L^)
m*— 2m
return L^
В каждой итерации цикла while в строках 4-6, начиная с m = 1, вычисляется матрица L<2m) = ^т^ . В конце каждой итерации значение т удваивается. В последней итерации матрица Z/n-1) вычисляется путем фактического вычисления матрицы L^™! для некоторого значения п — 1 < 2т ^ 2п — 2. Согласно уравнению (25.3), L*-2^ = 1Ап-1Х Далее выполняется проверка в строке 4, значение т удваивается, после чего выполняется условие m ^ п — 1, так что условие цикла оказывается невыполненным, и процедура возвращает последнюю вычисленную матрицу.
Время работы процедуры Faster_ALL_PAIRS_SH0RTEST_Paths равно 0(n3lgn), поскольку вычисление каждого из [lg (п — 1)] матричных произведений требует 0 (п3) времени. Заметим, что этот код довольно компактен. Он не содержит сложных структур данных, поэтому константа, скрытая в ©-обозначении, невелика.
Упражнения
1. Выполните процедуру Slow_All_Pairs_Shortest_Paths над взвешенным ориентированным графом, показанным на рис. 25.2, и запишите промежуточные матрицы, которые получаются в каждой итерации цикла. Затем проделайте то же самое для процедуры FASTER_ALL_PAIRS_SHOR- test_Paths.
Рис. 25.2. Взвешенный ориентированный граф, который используется в упражнениях 25.1-1, 25.2-1 и 25.3-1
2. Почему требуется, чтобы при всех 1 ^ г < п выполнялось равенство шц = О?
-3. Чему в операции обычного матричного умножения соответствует матрица
L^ =
^ 0 оо оо ••• оо ^
ОО0ОО• • •ОО
ОООО0• • •ОО
ООООоо• • •0
использующаяся в алгоритмах поиска кратчайших путей?
4. Покажите, что матричное умножение, определенное в процедуре Ех- TEND_ Shortest_Paths, обладает свойством ассоциативности.
5. Покажите, как выразить задачу о кратчайшем пути из единого истока в виде произведения матриц и вектора. Опишите, как вычисление этого произведения соответствует алгоритму, аналогичного алгоритму Беллмана-Форда (см. раздел 24.1).
6. Предположим, что в алгоритмах, о которых идет речь в этом разделе, также нужно найти вершины, принадлежащие кратчайшим путям. Покажите, как в течение времени О (п3) вычислить матрицу предшествования П на основе известной матрицы L, содержащей веса кратчайших путей.
7. Вершины, принадлежащие кратчайшим путям, можно вычислить одновременно с весом каждого из кратчайших путей. Пусть тг^ — предшественник вершины j на произвольном пути с минимальным весом, который соединяет вершины i и j и содержит не более т ребер. Модифицируйте процедуры Extend_Shortest_Paths и Slow_All_Pairs_Shor- TEST_Paths таким образом, чтобы они позволяли вычислять матрицы П^^П^,... П^-1) так же, как вычисляются матрицы lW, L^\...,
8. В процедуре Faster_All_Pairs_Shortest_Paths в том виде, в котором она представлена, требуется хранить fig (п — 1)1 матриц, содержащих по п2 элементов, для чего требуется общий объем памяти, равный 0 (n2 lg п). Модифицируйте данную процедуру таким образом, чтобы ей требовалось всего 0 (п2) памяти для хранения двух матриц размером п х п.
9. Модифицируйте процедуру Faster_All_Pairs_Shortest_Paths таким образом, чтобы она была способна выявлять наличие циклов с отрицательным весом.
10. Разработайте эффективный алгоритм, позволяющий найти в графе количество ребер цикла с отрицательным весом, имеющего минимальную длину.
Алгоритм Флойда-Варшалла
В этом разделе задача о поиске кратчайших путей между всеми парами вершин в ориентированном графе G = (V, 5) будет решаться с помощью различных модификаций динамического программирования. Время работы полученного в результате алгоритма, известного как алгоритм Флойда-Варшалла (Floyd-Warshall algorithm), равно 0(V3). Как и ранее, наличие ребер с отрицательным весом допускается, но предполагается, что циклы с отрицательным весом отсутствуют. Как и в разделе 25.1, будет пройден весь процесс разработки алгоритма в стиле динамического программирования. После исследования полученного в результате алгоритма будет представлен аналогичный метод, позволяющий найти транзитивное замыкание ориентированного графа.
Структура кратчайшего пути
В алгоритме Флойда-Варшалла используется характеристика структуры кратчайшего пути, отличная от той, которая применялась алгоритмах, основанных на перемножении матриц для всех пар вершин. В этом алгоритме (рассматриваются “промежуточные” вершины кратчайшего пути. Промежуточной (intermediate) вершиной простого пути р = (vi, «2, • • •, vi) называется произвольная вершина, отличная от vi и V/, т.е. это любая вершина из множества {«2, уз> • • • > ^z—1}•
Алгоритм Флойда-Варшалла основан на следующем наблюдении. Предположим, что граф G состоит из вершин V = {1,2,..., п}. Рассмотрим подмножество вершин {1,2,..., /с} для некоторого к. Для произвольной пары вершин г, j € V рассмотрим все пути из вершины г в вершину j, все промежуточные вершины которых выбраны из множества (1,2,...,/с}. Пусть среди этих путей р — путь с минимальным весом (этот путь простой). В алгоритме Флойда-Варшалла используется взаимосвязь между путем р и кратчайшими путями из вершины г в вершину у, все промежуточные вершины которых принадлежат множеству {1,2,..., к — 1}. Эта взаимосвязь зависит от того, является ли вершина к промежуточной на пути р.
Если к — не промежуточная вершина пути р, то все промежуточные вершины этого пути принадлежат множеству {1,2,..., к — 1). Таким образом, кратчайший путь из вершины г в вершину j со всеми промежуточными вершинами из множества {1,2,..., к — 1} одновременно является кратчайшим путем из вершины г в вершину j со всеми промежуточными вершинами из множества (1,2,..., к).
Все промежуточные вершины Все промежуточные вершины 1финшшжат {1.2,1 — Ц принадлежат {1,2,к - 1)Все промежуточные вершины Все промежуточные вершины 1финшшжат {1.2,1 — Ц принадлежат {1,2,к - 1)Все промежуточные вершины принадлежат (L 2. t)Все промежуточные вершины принадлежат (L 2. t)Рис. 25.3. Схема, иллюстрирующая структуру кратчайших путейРис. 25.3. Схема, иллюстрирующая структуру кратчайших путей
Все промежуточные вершины Все промежуточные вершины 1финшшжат {1.2,1 — Ц принадлежат {1,2,к - 1)
Все промежуточные вершины Все промежуточные вершины 1финшшжат {1.2,1 — Ц принадлежат {1,2,к - 1)
Все промежуточные вершины принадлежат (L 2. t)
Все промежуточные вершины принадлежат (L 2. t)
Рис. 25.3. Схема, иллюстрирующая структуру кратчайших путей
Рис. 25.3. Схема, иллюстрирующая структуру кратчайших путей
Если к — промежуточная вершина пути р, то этот путь, как видно из рис. 25.3, можно разбить следующим образом: г ^ к ^ j. Согласно лемме 24.1, pi — кратчайший путь из вершины г в вершину к, все промежуточные вершины которого принадлежат множеству {1,2,..., к}. Поскольку к не является промежуточной вершиной пути pi, понятно, что pi — кратчайший путь из вершины г в вершину к, все промежуточные вершины которого принадлежит множеству {1,2,... ,к — 1}. Аналогично,рг — кратчайший путь из вершины к в вершину j, все промежуточные вершины которого принадлежат множеству {1,2,..., к — 1}.
Рекурсивное решение задачи о кратчайших путях между всеми парами вершин
Определим на основе сделанных выше наблюдений рекурсивную формулировку оценок кратчайших путей, отличную от той, которая использовалась в разделе 25.1. Пусть d^ — вес кратчайшего пути из вершины г в вершину j, для которого все промежуточные вершины принадлежат множеству {1,2,..., А:}. Если к = 0, то путь из вершины г в вершину j, в котором отсутствуют промежуточные вершины с номером, большим нуля, не содержит промежуточных вершин вообще. Такой путь содержит не более одного ребра, поэтому d^ = -шу. Рекурсивное определение, которое соответствует приведенному выше описанию, дается соотношением
,(к) w4 у =,(к) w4 у =если к = О,если к = О,если к ^ 1.если к ^ 1.(25.5)(25.5)
,(к) w4 у =
,(к) w4 у =
если к = О,
если к = О,
если к ^ 1.
если к ^ 1.
(25.5)
(25.5)
Поскольку все промежуточные вершины произвольного пути принадлежат множеству {1,2,..., п}, матрица D^ = ^"^ дает конечный ответ: d^ = 5 (i,^ для всех пар вершин г, j Е V.
Вычисление весов кратчайших путей в восходящем порядке
Исходя из рекуррентного соотношения (25.5), можно составить приведенную ниже процедуру, предназначенную для вычисления величин d^ в порядке возрастания к. В качестве входных данных выступает матрица W размерами п х п, определенная в уравнении (25.1). Процедура возвращает матрицу D^n\ содержащую веса кратчайших путей.
Floyd_Warshall( W)
n «— rows [И7]
D^ <- W
for fc <— 1 to n
do for г«— 1 to n
do for j <— 1 to n
return D^
На рис. 25.4 приведены матрицы D^k\ вычисленные алгоритмом Флойда-Варшал- ла для графа, изображенного на рис. 25.1.
Время работы алгоритма Флойда-Варшалла определяется трижды вложенными друг в друга циклами for, определенными в строках 3-6. Поскольку для каждого выполнения строки 6 требуется время 0(1), алгоритм завершает работу в течение времени 6 (п3). Код этого алгоритма такой же компактный, как и код алгоритма, представленного в разделе 25.1. Он не содержит сложных структур данных, поэтому константа, скрытая в ©-обозначениях, мала. Таким образом, алгоритм Флойда-Варшалла имеет практическую ценность даже для входных графов среднего размера.
Построение кратчайшего пути
Существует множество различных методов, позволяющих строить кратчайшие пути в алгоритме Флойда-Варшалла. Один из них — вычисление матрицы D, содержащей веса кратчайших путей, с последующим конструированием на ее основе матрицы предшествования П. Этот метод можно реализовать таким образом, чтобы время его выполнения было равно О (п3) (упражнение 25.1-6). Если задана матрица предшествования П, то вывести вершины на указанном кратчайшем пути можно с помощью процедуры Print_All_Pairs_Shortest_Path.
Матрицу предшествования П можно так же вычислить “на лету”, как в алгоритме Флойда-Варшалла вычисляются матрицы D^kX Точнее говоря, вычисляется последовательность матриц П^), П^\..., П(п\ где П = П(п\ а элемент тг^
D^ =
f 0
00
00
2
^ 00
3 0
4
oo
00
8 oo
0 -5 oo
00
1
oo
0
6
-4
7
oo
oo
0
n<°) =
/
/
X
NIL NIL NIL 4
NIL
1
NIL 3
NIL NIL
1
NIL
NIL 4 NIL
NIL 2
NIL NIL 5
1 \
2
NIL
NIL
NIL ^
< 0
3
8
00
-4 '
\
/
NIL
1
1
NIL
1 \
oo
0
00
1
7
NIL
NIL
NIL
2
2
D^ =
00
4
0
oo
oo
nw =
NIL
3
NIL
NIL
NIL
2
5
-5
0
-2
4
1
4
NIL
1
^ 00
00
oo
6
0
/
X
NIL
NIL
NIL
5
NIL ^
< 0
3
8
4
-4 \
/
NIL
1
1
2
1 >
oo
0
oo
1
7
NIL
NIL
NIL
2
2
£>(2) =
00
4
0
5
11
nw =
NIL
3
NIL
2
2
2
5
-5
0
-2
4
1
4
NIL
1
00
oo
oo
6
0 /
I
NIL
NIL
NIL
5
NIL ^
< 0
3
8
4
-4 >
/
NIL
1
1
2
1 \
oo
0
00
1
7
NIL
NIL
NIL
2
2
D^ =
00
4
0
5
11
П^ =
NIL
3
NIL
2
2
2
-1
-5
0
-2
4
3
4
NIL
1
^ oo
oo
oo
6
0 >
I
NIL
NIL
NIL
5
NIL ^
( 0
3
-1
4
-4 \
(
NIL
1
4
2
1 >
3
0
-4
1
-1
4
NIL
4
2
1
dw =
7
4
0
5
3
nW =
4
3
NIL
2
1
2
-1
-5
0
-2
4
3
4
NIL
1
( 8
5
1
6
0 /
(
4
3
4
5
NIL j
( o
1
-3
2
-4
(
NIL
3
4
5
1 >
3
0
-4
1
-1
4
NIL
4
2
1
D^ =
7
4
0
5
3
nW =
4
3
NIL
2
1
2
-1
-5
0
-2
4
3
4
NIL
1
( 8
5
1
6
0
4
3
4
5
NIL >
Рис. 25.4. Последовательность матриц D^ и П^\ вычисленная алгоритмом
Флойда-Варшалла для графа, приведенного на рис. 25.1
определяется как предшественник вершины j на кратчайшем пути из вершины г, все промежуточные вершины которого принадлежат множеству (1,2,..., &}.
Можно дать рекурсивное определение величины тг^\ Если к = 0, то кратчайший путь из вершины г в вершину j не содержит промежуточных вершин. Таким
образом,
7Г^ =V7Г^ =VNIL <гNIL <гесли г = j или -ш^ = оо, если г / j и Wij < оо.если г = j или -ш^ = оо, если г / j и Wij < оо.(25.6)(25.6)
7Г^ =V
7Г^ =V
NIL <
г
NIL <
г
если г = j или -ш^ = оо, если г / j и Wij < оо.
если г = j или -ш^ = оо, если г / j и Wij < оо.
(25.6)
(25.6)
Если при к > 1 получаем путь г к j, где к / j, то выбранный нами предшественник вершины j совпадает с выбранным предшественником этой же вершины на кратчайшем пути из вершины к, все промежуточные вершины которого принадлежат множеству {1,2,..., к — 1}. В противном случае выбирается тот же предшественник вершины j, который выбран на кратчайшем пути из вершины г, у которого все промежуточные вершины принадлежат множеству {1,2,..., к — 1}. Выражаясь формально, при к > 1
гзгз(25.7)(25.7)
гз
гз
(25.7)
(25.7)
Вопрос о том, как включить вычисление матрицы П^ в процедуру Floyd_ Warshall, предлагается рассмотреть в упражнении 25.2-3 самостоятельно. На рис. 25.4 показана последовательность матриц n(fc\ полученных в результате обработки алгоритмом графа, изображенного на рис. 25.1. В упомянутом упражнении также предлагается выполнить более сложную задачу, — доказать, что подграф предшествования G^t является деревом кратчайших путей с корнем г. Еще один способ реконструкции кратчайших путей представлен в упражнении 25.2-7.
Транзитивное замыкание ориентированного графа
Может возникнуть необходимость установить, существуют ли в заданном ориентированном графе G = (V, Е), множество вершин которого V = {1,2,..., п}, пути из вершины г в вершину j для всех возможных пар вершин ij е V. Транзитивное замыкание (transitive closure) графа G определяется как граф G* = = (V, Е*\ где Е* = {(г, j) : в графе G имеется путь из вершины г в вершину jY
Один из способов найти транзитивное замыкание графа в течение времени О (п3) — присвоить каждому ребру из множества Е вес 1 и выполнить алгоритм Флойда-Варшалла. Если путь из вершины г в вершину j существует, то мы получим dtj < п; в противном случае dij = оо.
Имеется и другой, подобный путь вычисления транзитивного замыкания графа G в течение времени 0 (п3), на практике позволяющий сэкономить время и память. Этот метод включает в себя подстановку логических операций V (логическое
/о) _ си/о) _ си'о1'о1ИЛИ) и А (логическое И) вместо использующихся в алгоритме Флойда-Варшал- ла арифметических операций min и +. Определим значение t^ при i,j,k = = 1,2,...,п равным 1, если в графе G существует путь из вершины г в вершину j, все промежуточные вершины которого принадлежат множеству {1,2,..., &}; в противном случае эта величина равна 0. Конструируя транзитивное замыкание G* = (V, £?*), будем помещать ребро (1,3) в множество Е* тогда и только тогда, когда t^ = 1. Рекурсивное определение величины ty , построенное по аналогии с рекуррентным соотношением (25.5), имеет вид
/о) _ си
/о) _ си
'о
1
'о
1
если г / j и (г, j) £ Е, если г = j или (г, j) G Е,
а при /с > 1 выполняется соотношение
Лк) _ Ак-Т) ij - 1ЦЛк) _ Ак-Т) ij - 1ЦV (t^ ^ A t^ ^ v (Ггк ,xtkjV (t^ ^ A t^ ^ v (Ггк ,xtkj(25.8)(25.8)
Лк) _ Ак-Т) ij - 1Ц
Лк) _ Ак-Т) ij - 1Ц
V (t^ ^ A t^ ^ v (Ггк ,xtkj
V (t^ ^ A t^ ^ v (Ггк ,xtkj
(25.8)
(25.8)
Как и в алгоритме Флойда-Варшалла, матрицы Т^ = ^ty ^ вычисляются в порядке возрастания к:
Transitive_Closure(G)
1 n-mi
2 for г <— 1 to n
do for j <— 1 to n
do if г = j или (г, j) e S[G]
then t^ «- 1
else tv) «- 0
for к «— 1 to n
do for г <— 1 to n
do for j «— 1 to n
do <ч? <~ tij""^ v (Ак"^ A 4"^
return T^
На рис. 25.5 приведены матрицы тЛк\ вычисленные процедурой Transitive_ Closure для приведенного графа. Время работы процедуры Transitive_Closure, как и время работы алгоритма Флойда-Варшалла, равно 0 (п3). Однако на некоторых компьютерах логические операции с однобитовыми величинами выполняются быстрее, чем арифметические операции со словами, представляющими целочисленные данные. Кроме того, поскольку в прямом алгоритме транзитивного замыкания используются только булевы, а не целые величины, ему требуется меньший объем памяти, чем алгоритму Флойда-Варшалла. Объем экономящейся памяти зависит от размера слова компьютера.
/ 1 0 0 0 \
0 111
0 111
\ 1 0 1 1 /
Рис. 25.5. Ориентированный граф и матрицы Т^, вычисленные алгоритмом транзитивного замыкания
Упражнения
1. Примените алгоритм Флойда-Варшалла ко взвешенному ориентированному графу, изображенному на рис. 25.2. Приведите матрицы D^k\ полученные на каждой итерации внешнего цикла.
2. Покажите, как найти транзитивное замыкание с использованием методики из раздела 25.1.
3. Модифицируйте процедуру Floyd_Warshall таким образом, чтобы в ней вычислялись матрицы П^ в соответствии с уравнениями (25.6) и (25.7). Дайте строгое доказательство того, что для всех г eV граф предшествования G»,» — дерево кратчайших путей с корнем г. (Указание: чтобы показать, что граф G^i — ациклический, сначала покажите, что из равенства тг^ = I в соответствии с определением тг^ следует, что d^ ^ d^ + wij. Затем адаптируйте доказательство леммы 24.16.)
4. Как было показано, для работы алгоритма Флойда-Варшалла требуется объем памяти, равный 0 (п3), поскольку мы вычисляем величины d^) для i,j,k = 1,2, ...,п. Покажите, что приведенная ниже процедура, в которой все верхние индексы просто опускаются, корректна и для ее работы требуется объем памяти 0 (п2):
Floyd_Warsh all' (W)
1 n «— rows [И7]
D^W
for к <— 1 to n
do for г <— 1 to n
do for J <— 1 to n
do dtj «- min (dtj,dik + dkj)
return D
5. Предположим,что мы модифицируем способ обработки равенства в уравнении (25.7):
7^ =гз7^ =гз^kj^kjесли d^-1'» < d(k"^ 4- d^-1^ если ci' • \ d-r. т » ecnndV ’^d^ '+4, '.
7^ =гз
7^ =гз
^kj
^kj
Корректно ли такое альтернативное определение матрицы предшествования П?
6. Как с помощью выходных данных алгоритма Флойда-Варшалла установить наличие цикла с отрицательным весом?
7. В одном из способов, позволяющем восстановить в алгоритме Флойда- Варшалла кратчайшие пути, используются величины ф^’ при i,j,k = = 1,2,... ,п, где ф^ — промежуточная вершина с наибольшим номером, принадлежащая кратчайшему пути из вершины г в вершину j, все промежуточные вершины которого принадлежат множеству {1,2,..., &}. Дайте рекурсивное определение величин ф^, модифицируйте процедуру Floyd_Warshall таким образом, чтобы в ней вычислялись эти величины, и перепишите процедуру Print_All_Pairs_Shortest_Path так, чтобы в качестве ее входных данных выступала матрица Ф = ^Ф^У Чем матрица Ф похожа на таблицу s, которая используется в задаче о перемножении цепочки матриц, описанной в разделе 15.2?
8. Сформулируйте алгоритм, позволяющий вычислить транзитивное замыкание ориентированного графа G = (V, 5) в течение времени О (V Е\
9. Предположим, что транзитивное замыкание ориентированного ациклического графа можно вычислить в течение времени / (|У|, |5|), где / — монотонно возрастающая функция величин |V| и |Е|. Покажите, что время поиска транзитивного замыкания G* = (V, Е*^ ориентированного графа общего вида G = (V, Е) равно / (|V], |Е|) + О (V + Е*\
Алгоритм Джонсона для разреженных графов
Алгоритм Джонсона позволяет найти кратчайшие пути между всеми парами вершин в течение времени О (V2 lg V + V Еу Для разреженных графов в асимптотическом пределе он ведет себя лучше, чем алгоритм многократного возведения матриц в квадрат и алгоритм Флойда-Варшалла. Этот алгоритм либо возвращает матрицу, содержащую веса кратчайших путей для всех пар вершин, либо выводит сообщение о том, что входной граф содержит цикл с отрицательным весом. В алгоритме Джонсона используются подпрограммы, в которых реализованы алгоритмы Дейкстры и Беллмана-Форда, описанные в главе 24.
В алгоритме Джонсона используется метод изменения веса (reweighting), который работает следующим образом. Если веса всех ребер w в графе G = (V, Б) неотрицательные, можно найти кратчайшие пути между всеми парами вершин, по одному разу запустив алгоритм Дейкстры для каждой вершины. Если неубывающая очередь с приоритетами реализована в виде пирамиды Фибоначчи, то время работы этого алгоритма будет равно О (V2 lg V + V Еу Если в графе G содержатся ребра с отрицательным весом, но отсутствуют циклы с отрицательным весом, можно просто вычислить новое множество ребер с неотрицательными весами, позволяющее воспользоваться тем же методом. Новое множество, состоящее из весов ребер w, должно удовлетворять двум важным свойствам.
Для всех пар вершин u, v G V путь р является кратчайшим путем из вершины и в вершину v с использованием весовой функции w тогда и только тогда, когда р — также кратчайший путь из вершины и в вершину v с весовой функцией го.
Для всех ребер (u, v) новый вес w (u, и) — неотрицательный.
Как вскоре станет понятно, предварительную обработку графа G с целью определить новую весовую функцию w можно выполнить в течение времени оуву
Сохранение кратчайших путей
Как видно из приведенной ниже леммы, легко организовать изменение весов, удовлетворяющее первому из сформулированных выше свойств. Значения весов кратчайших путей, полученные с помощью весовой функции го, обозначены как 5, а веса кратчайших путей, полученных с помощью весовой функции го, — как 5.
Лемма 25.1 (Изменение весов сохраняет кратчайшие пути). Пусть дан взвешенный ориентированный граф G = (V, В) с весовой функцией го : В —> R,
и пусть h : Е —> R — произвольная функция, отображающая вершины на действительные числа. Для каждого ребра (u, v) € Е определим
го (и, и) = w (и, г)) + h (и) — h (v).(25.9)
Пусть р = (vo, vi, • • •, Vk) — произвольный путь из вершины vo в вершину v^. р является кратчайшим путем с весовой функцией го тогда и только тогда, когда он является кратчайшим путем с весовой функцией го, те. равенство го(р) = = <5 (vq, Vfc) равносильно равенству w (р) = 8 (vq, ^кУ Кроме того, граф G содержит цикл с отрицательным весом с использованием весовой функции го тогда и только тогда, когда он содержит цикл с отрицательным весом с использованием весовой функции го.
Доказательство. Начнем с того, что покажем справедливость равенства
w (р) = го (р) + h (vq) - h (уд>).(25.10)
Запишем цепочку соотношений
к w(p) = ^W^i-l^i) = 1=1
к
= 52 (W (Уг-1,^) + /1(^-1) -h^i)) = г=1
к
= 52 w ^i-i^i) + h (vo) - h (uk) = i=i
= w (p) + h (v0) - h (vfc),
где предпоследнее равенство легко получается из “телескопичности” суммы разностей.
Таким образом, вес любого пути р из вершины vo в вершину v^ равен го (р) = = го (р)+/i (vo)—h {yk). Если один путь из вершины vo в вершину v^ короче другого с использованием весовой функции го, то он будет короче и с использованием весовой функции го. Таким образом, равенство ги (р) = 8 (vo, Vk) выполняется тогда и только тогда, когда го (р) = 8 (vq, VkY
Наконец, покажем, что граф G содержит цикл с отрицательным весом с использованием весовой функции го тогда и только тогда, когда он содержит такой цикл с использованием весовой функции го. Рассмотрим произвольный цикл с = = (vo, vi,..., ^кУ гДе vo = Vk- В соответствии с уравнением (25.10), выполняется соотношение
W (с) = го (с) + h (vo) - h (v^) = го (с),
а следовательно, вес цикла с будет отрицательным с использованием весовой функции w тогда и только тогда, когда он отрицательный с использованием весовой функции ш. ■
Генерация неотрицательных весов путем их изменения
Следующая наша цель заключается в том, чтобы обеспечить выполнение второго свойства: нужно, чтобы величина w (и, и) была неотрицательной для всех ребер (и, и) е Е. Для данного взвешенного ориентированного графа G = (V, Е) с весовой функцией w : Е —> R мы создадим новый граф G' = (V', S'), где V = V U (s) для некоторой новой вершины s£VwE' = EVJ {(s, v) : v 6 V}. Расширим весовую функцию w таким образом, чтобы для всех вершин v е V выполнялось равенство w (s, v) = 0. Заметим, что поскольку в вершину s не входит ни одно ребро, эту вершину не содержит ни один кратчайший путь графа G' отличный от того, который исходит из s. Кроме того, граф G* не содержит циклов с отрицательным весом тогда и только тогда, когда таких циклов не содержит граф G. На рис. 25.6а показан граф G', соответствующий графу G на рис. 25.1.
Теперь предположим, что графы G и G' не содержат циклов с отрицательным весом. Определим для всех вершин v е V' величину /i(v) = 5(s,v). Согласно неравенству треугольника (лемма 24.10), для всех ребер (u, v) € Е' выполняется соотношение h (и) < h (u) + w (и, и). Таким образом, если мы определим новые веса w в соответствии с уравнением (25.9), то получим w (и, v) = w (u, v)+/i (и) — — h (и) ^ 0, так что второе свойство удовлетворяется. На рис. 25.66 показан граф G', полученный в результате переопределения весов графа, изображенного на рис. 25.6а.
Вычисление кратчайших путей между всеми парами вершин
В алгоритме Джонсона, предназначенном для вычисления кратчайших путей между всеми парами вершин, используется алгоритм Беллмана-Форда (раздел 24.1) и алгоритм Дейкстры (раздел 24.3), реализованные в виде подпрограмм. Предполагается, что ребра хранятся в виде списков смежных вершин. Этот алгоритм возвращает обычную матрицу D = dy размером |У| х |У|, где d^j = 6 VmY или выдает сообщение о том, что входной граф содержит цикл с отрицательным весом. Предполагается, что вершины пронумерованы от 1 до | V|, что типично для алгоритмов, предназначенных для поиска кратчайших путей между всеми парами вершин.
Johnson(G)
1 Строится граф G', где V[G'] = V[G] U {s}, 5[G'] = S[G] U {(s, v) : v e V[G]} и w(s, v) = О для всех v E V[G]
2 if BELLMAN_FORD(G', W, s) = FALSE
3 then print “Входной граф содержит цикл с отрицательным весом”
4 else for (для) каждой вершины и е V [С?']
5do присвоить величине /i(v) значение 5(s,v),
вычисленное алгоритмом Беллмана-Форда
6for (для) каждого ребра (u, v) Е S[G']
7do w(t1) v) w(iz, v) + h(u) — /i(v)
for (для) каждой вершины w e V[G]
do вычисление с помощью алгоритма
Dijkstra(G, w, iz) величин 5(ti^) для всех вершин vE V[G]
for (для) каждой вершины vE V[G]
do d^ 8^ d) + /i(v) — h(u)
return D
В этом коде просто выполняются описанные ранее действия. В строке 1 строится граф G*. В строке 2 выполняется алгоритм Беллмана-Форда с входным графом G\ весовой функцией w и истоком з. Если граф G\ а следовательно, и граф G содержит цикл с отрицательным весом, об этом выводится сообщение в строке 3. В строках 4-11 предполагается, что граф G' не содержит циклов с отрицательным весом. В строках 4-5 для всех вершин v Е V' величине h (и) присваивается вес кратчайшего пути 8 (s, v), вычисленный алгоритмом Беллмана-Форда. В строках 6-7 для каждого ребра вычисляется новый вес w. Для каждой пары вершин tz, v е V цикл for в строках 8-11 вычисляет вес кратчайшего пути w (iz, г?) путем однократного вызова алгоритма Дейкстры для каждой вершины из множества V. В строке 11 в элемент матрицы d^ заносится корректный вес кратчайшего пути 8 (iz, v), вычисленный с помощью уравнения (25.10). Наконец, в строке 12 возвращается вычисленная матрица D. Работа алгоритма Джонсона проиллюстрирована на рис. 25.6.
Если неубывающая очередь с приоритетами реализована в алгоритме Дейкстры в виде пирамиды Фибоначчи, то время работы алгоритма Джонсона равно О (V2 lg V + V Е). Более простая реализация неубывающей очереди с приоритетами приводит к тому, что время работы становится равным О (V Е lg V), но для разреженных графов эта величина в асимптотическом пределе ведет себя лучше, чем время работы алгоритма Флойда-Варшалла.
Рис. 25.6. Работа алгоритма Джонсона, предназначенного для поиска кратчайших путей между всеми парами вершин, с графом, изображенным на рис. 25.1
Упражнения
1. Вычислите с помощью алгоритма Джонсона кратчайшие пути между всеми парами вершин в графе, изображенном на рис. 25.2. Приведите значения h и w, вычисленные этим алгоритмом.
2. Зачем в множество V добавляется новая вершина s, в результате чего создается множество V'?
3. Предположим, что для всех ребер (tz, и) € Е выполняется неравенство w (u, v) ^ 0. Как между собой взаимосвязаны весовые функции w и w?
4. Профессор утверждает, что изменить веса ребер можно проще, чем это делается в алгоритме Джонсона. Для этого надо найти w* = = min(n/u)E£ {w (и, v)} и для всех ребер (w,v) е Е принять w(tt,v) = = w(u, v) — w*. Где кроется ошибка в методе, предложенном профессором?
5. Предположим, что алгоритм Джонсона выполняется для ориентированного графа G с весовой функцией w. Покажите, что если граф G содержит цикл с с нулевым весом, то для всех ребер (n, v) этого цикла w (u^v) = 0.
6. Профессор утверждает, что нет необходимости создавать новую вершину-исток в строке 1 алгоритма JOHNSON. Профессор считает, что вместо этого можно использовать G' = G, а в роли вершины s использовать любую вершину из множества V [G]. Приведите пример взвешенного ориентированного графа G, для которого воплощение идеи профессора в алгоритме JOHNSON даст неправильный ответ. Затем покажите, что если граф G строго связан (каждая его вершина достижима из любой другой вершины), то результаты работы алгоритма JOHNSON с учетом модификации профессора будут верны.
Задачи
25-1. Транзитивное замыкание динамического графа
Предположим, что нужно поддерживать транзитивное замыкание ориентированного графа G = (V, Е) по мере добавления ребер в множество Е. Другими словами, после добавления каждого ребра нужно обновить транзитивное замыкание добавленных до этого времени ребер. Предположим, что граф G изначально не содержит ребер, и что транзитивное замыкание должно быть представлено в виде булевой матрицы.
Покажите, каким образом после добавления нового ребра в граф G транзитивное замыкание G* = (У,Е*) графа G = (V, Е) можно обновить в течение времени О (V2).
Приведите пример графа G и ребра е такой, что обновление транзитивного замыкания после добавления ребра е в граф G будет выполняться в течение времени П (V2) независимо от используемого алгоритма.
Разработайте эффективный алгоритм обновления транзитивного замыкания по мере добавления ребер в граф. Для любой последова-
тельности п добавлений общее время работы этого алгоритма должно быть равно 52”=1 ti = О (V3), где it — время, необходимое для обновления транзитивного замыкания при добавлении г-го ребра. Докажите, что в вашем алгоритме достигается указанная граница времени работы.
25-2. Кратчайшие пути в е-плотном графе
Граф G = (V, Е) называется е-плотным (e-dense), если |Е| = 0 (^1+£) для некоторой константы 0 < е ^ 1. Если в алгоритмах, предназначенных для поиска кратчайших путей в е-плотных графах, воспользоваться d-арными неубывающими пирамидами (см. задачу 6-2), то время их выполнения может быть сопоставимо времени выполнения алгоритмов, основанных на применении пирамиды Фибоначчи. При этом удается обойтись без сложных структур данных.
Чему равно асимптотическое время работы алгоритмов Insert, Extract_Min и Decrease_Key в зависимости от кратности d и количества элементов d-арной неубывающей пирамиды п? Чему равно время работы этих алгоритмов, если выбрать d = 0 (п“), где О < а ^ 1 — некоторая константа? Сравните время работы этих алгоритмов с амортизированными стоимостями этих операций для пирамиды Фибоначчи.
Покажите, как в течение времени О (Е) вычислить кратчайшие пути из единого истока в е-плотном ориентированном графе G = (V, Е), в котором отсутствуют ребра с отрицательным весом. (Указание: выберите величину d как функцию е.)
Покажите, как в течение времени О (У Е) решить задачу поиска кратчайших путей между всеми парами вершин в е-плотном ориентированном графе G = (V, Е), в котором отсутствуют ребра с отрицательным весом.
Покажите, как в течение времени О (V Е) решить задачу поиска кратчайших путей между всеми парами вершин в е-плотном ориентированном графе G = (V, Е), в котором допускается наличие ребер с отрицательным весом, но отсутствуют циклы с отрицательным весом.
Заключительные замечания
Неплохое обсуждение задачи о поиске кратчайших путей между всеми парами вершин содержится в книге Лоулера (Lawler) [196], хотя в ней и не анализируются решения для разреженных графов. Алгоритм перемножения матриц он считает
результатом народного творчества. Алгоритм Флойда-Варшалла был предложен Флойдом (Floyd) [89] и основывался на теореме Варшалла (Warshall) [308], в которой описывается, как найти транзитивное замыкание булевых матриц. Алгоритм Джонсона (Johnson) взят из статьи [168].
Несколько исследователей предложили улучшенные алгоритмы, предназначенные для поиска кратчайших путей с помощью умножения матриц. Фридман (Fredman) [95] показал, что задачу о поиске кратчайшего пути между всеми парами вершин можно решить, выполнив О (V5/2) операций по сравнению суммарных весов ребер; в результате получится алгоритм, время работы которого равно О (у3 (lglgU/lgV)1/3), что несколько лучше соответствующей величины для алгоритма Флойда-Варшалла. Еще одно направление исследований показывает, что к задаче о поиске кратчайших путей между всеми парами вершин можно применить алгоритмы быстрого умножения матриц (см. заключительные замечания к главе 28). Пусть О (пш) — время работы самого производительного алгоритма, предназначенного для перемножения матриц размером п х п; в настоящее время щ < 2.376 [70]. Галил (Galil) и Маргалит (Margalit) [105, 106], а также Зайдель (Seidel) [270] разработали алгоритмы, решающие задачу о поиске кратчайших путей между всеми парами вершин в неориентированных невзвешенных графах в течение времени О (ушр (V)), где р (п) — функция, полилогарифмически ограниченная по п. В плотных графах время работы этих алгоритмов меньше величины О (V 5), необходимой для |У| поисков в ширину. Некоторые исследователи расширили эти результаты и разработали алгоритмы, предназначенные для поиска кратчайших путей между всеми парами вершин в неориентированных графах с целочисленными весами ребер в диапазоне {1,2,...,W}. Среди таких алгоритмов быстрее всего в асимптотическом пределе ведет себя алгоритм Шошана (Shoshan) и Цвика (Zwick) [278], время работы которого равно О (W V^p (V Ж)).
Каргер (Karger), Коллер (Koller) и Филлипс (Phillips) [170], а также независимо Мак-Геч (McGeoch) [215] дали временную границу, зависящую от Е*, — подмножества ребер из множества Е, входящих в некоторый кратчайший путь. Для заданного графа с неотрицательными весами ребер эти алгоритмы завершают свою работу за время О (V Е* + V2lg V). Это лучший показатель, чем |V|- кратное выполнение алгоритма Дейкстры, если |S*| = о^Е\
Ахо (Aho), Хопкрофт (Hopcroft) и Ульман (Ullman) [5] дали определение алгебраической структуры, известной как “замкнутое полукольцо”. Эта структура служит общим каркасом для решения задач о поиске путей в ориентированных графах. Алгоритм Флойда-Варшалла и описанный в разделе 25.2 алгоритм транзитивного замыкания — примеры алгоритмов поиска путей между всеми парами вершин, основанных на замкнутых полукольцах. Маггс (Maggs) и Плоткин (Plotkin) [208] показали, как искать минимальные остовные деревья с помощью замкнутых полуколец.
ГЛАВА 26
Задача о максимальном потоке
Так же, как дорожную карту можно смоделировать ориентированным графом, чтобы найти кратчайший путь из одной точки в другую, ориентированный граф можно интерпретировать как некоторую транспортную сеть и использовать его для решения задач о потоках вещества в системе трубопроводов. Представим, что некоторый продукт передается по системе от источника, где данный продукт производится, к стоку, где он потребляется. Источник производит продукт с некоторой постоянной скоростью, а сток с той же скоростью потребляет продукт. Интуитивно потоком продукта в любой точке системы является скорость движения продукта. С помощью транспортных сетей можно моделировать течение жидкостей по трубопроводам, движение деталей на сборочных линиях, передачу тока по электрическим сетям, информации — по информационным сетям и т.д.
Каждое ориентированное ребро сети можно рассматривать как канал, по которому движется продукт. Каждый канал имеет заданную пропускную способность, которая характеризует максимальную скорость перемещения продукта по каналу, например, 200 литров жидкости в минуту для трубопровода или 20 ампер для провода электрической цепи. Вершины являются точками пересечения каналов; через вершины, отличные от источника и стока, продукт проходит, не накапливаясь. Иными словами, скорость поступления продукта в вершину должна быть равна скорости его удаления из вершины. Это свойство называется свойством сохранения потока; в случае передачи тока по электрическим цепям ему соответствует закон Кирхгофа.
В задаче о максимальном потоке мы хотим найти максимальную скорость пересылки продукта от источника к стоку, при которой не будут нарушаться ограничения пропускной способности. Это одна из простейших задач, возникающих
в транспортных сетях, и, как будет показано в данной главе, существуют эффективные алгоритмы ее решения. Более того, основные методы, используемые в алгоритмах решения задач о максимальном потоке, можно применять для решения других задач, связанных с транспортными сетями.
В данной главе предлагается два общих метода решения задачи о максимальном потоке. В разделе 26.1 формализуются понятия транспортных сетей и потоков, а также дается формальное определение задачи о максимальном потоке. В разделе 26.2 описывается классический метод Форда-Фалкерсона (Ford and Fulkerson) для поиска максимального потока. В качестве приложения данного метода в разделе 26.3 осуществляется поиск максимального паросочетания в неориентированном двудольном графе. В разделе 26.4 описывается метод “проталкивания предпотока” (“push-relabel”), который лежит в основе многих наиболее быстрых алгоритмов для задач в транспортных сетях. В разделе 26.5 рассматривается еще один алгоритм, время работы которого составляет О (V3). Хотя он и не является самым быстрым известным алгоритмом, зато позволяет проиллюстрировать некоторые методы, используемые в асимптотически более быстрых алгоритмах, и на практике является достаточно эффективным.
Транспортные сети
В данном разделе мы дадим определение транспортных сетей в терминах теории графов, обсудим их свойства, дадим точное определение задачи о максимальном потоке, а также введем некие полезные обозначения.
Транспортные сети и потоки
Транспортная сеть (flow network) G = (V,E) представляет собой ориентированный граф, в котором каждое ребро (it, v) € Е имеет неотрицательную пропускную способность (capacity) с (и, и) > 0. Если (u, v) ^ Е, предполагается, что с (и, и) = 0. В транспортной сети выделяются две вершины: источник (source) s и сток (sink) t. Для удобства предполагается, что каждая вершина лежит на неком пути из источника к стоку, т.е. для любой вершины v Е V существует путь s и ^ I Таким образом, граф является связным и |S| > |V| — 1. На рис. 26.1а показан пример транспортной сети G = (У, Е) для задачи грузовых перевозок компании Lucky Puck. Источник s — это фабрика в Ванкувере, а сток t — склад в Виннипеге. Шайбы доставляются через промежуточные города, но за день из города it в город -и можно отправить только с (и, v) ящиков. На рисунке приведена пропускная способность каждого ребра сети. На рис. 26.1 б показаны потоки в транспортной сети. Поток / в сети G имеет значение |/| = 19. Показаны только положительные потоки. Если / (и, и) > 0, то ребро (it, и) снабжено меткой / (и, и)/с (и, и) (косая черта используется только для того, чтобы отделить
Рис. 26.1. Пример транспортной сети и ее потокиРис. 26.1. Пример транспортной сети и ее потоки
Рис. 26.1. Пример транспортной сети и ее потоки
Рис. 26.1. Пример транспортной сети и ее потоки
поток от пропускной способности и не обозначает деление). Если / (u, и) ^ 0, то у ребра (и, и) показана только его пропускная способность.
Теперь дадим формальное определение потоков. Пусть G = (V, S) — транспортная сеть с функцией пропускной способности с. Пусть s — источник, a t - сток. Потоком (flow) в G является действительная функция / : V х V -> R, удовлетворяющая следующим трем условиям.
Ограничение пропускной способности (capacity constraint): / (u, v) ^ с (u, v) для всех u,v eV.
Антисимметричночть (skew symmetry): / (u, v) = —/ (v, u) для всех и, v € V. Сохранение потока (flow conservation): для всех и € V — {s, t}
52 и)= °-
•uev
Количество / (u, v), которое может быть положительным, нулевым или отрицательным, называется потокам (flow) из вершины и в вершину v. Величина (value) потока / определяется как
i/i = 52/(s,t;),(26Л)
uev
те. как суммарный поток, выходящий из источника (в данном случае | • | обозначает величину потока, а не абсолютную величину или мощность). В задаче о максимальном потоке (maximum flow problem) дана некоторая транспортная сеть G с источником s и стоком t, и необходимо найти поток максимальной величины.
Перед тем как рассматривать пример задачи о потоке в сети, кратко проанализируем три свойства потока. Ограничение пропускной способности предполагает, чтобы поток из одной вершины в другую не превышал заданную пропускную способность ребра. Антисимметричность введена для удобства обозначений и заключается в том, что поток из вершины и в вершину v противоположен потоку в обратном направлении. Свойство сохранения потока утверждает, что суммарный поток, выходящий из вершины, не являющейся источником или стоком, равен
нулю. Используя антисимметричность, можно записать свойство сохранения потока как
/ («, и) = О
и£У
для всех v Е V - {s, t}, т.е. суммарный поток, входящий в вершину, отличную от источника и стока, равен 0.
Если в Е не присутствуют ни (iz,v), ни (v, и), между вершинами и и у нет потока, и f (и, v) = / (v,iz) = 0. (В упражнении 26.1-1 предлагается формально доказать это свойство.)
Последнее наблюдение касается свойств, связанных с положительными потоками. Суммарный положительный поток (total positive flow), входящий в вершину v, задается выражением
52<26-2)
uSV
/(u,v)>0
Суммарный положительный поток, выходящий из некоторой вершины, определяется симметрично. Суммарный чистый поток (total net flow) в некоторой вершине равен разности суммарного положительного потока, выходящего из данной вершины, и суммарного положительного потока, входящего в нее. Одна из интерпретаций свойства сохранения потока состоит в том, что для отличной от источника и стока вершины входящий в нее суммарный положительный поток должен быть равен выходящему суммарному положительному потоку. Свойство, что суммарный чистый поток в транзитной вершине должен быть равен 0, часто нестрого формулируют как “входящий поток равен выходящему потоку”.
Пример потока
С помощью транспортной сети можно моделировать задачу о грузовых перевозках, представленную на рис. 26.1а. У компании Lucky Puck в Ванкувере есть фабрика (источник s), производящая хоккейные шайбы, а в Виннипеге — склад (сток t), где эти шайбы хранятся. Компания арендует места на грузовиках других фирм для доставки шайб с фабрики на склад. Поскольку грузовики ездят по определенным маршрутам (ребрам) между городами (вершинами) и имеют ограниченную грузоподъемность, компания Lucky Puck может перевозить не более с (u, и) ящиков в день между каждой парой городов и и и, как показано на рис. 26.1а. Компания Lucky Puck не может повлиять на маршруты и пропускную способность, т.е. она не может менять транспортную сеть, представленную на рис. 26.1а. Ее задача — определить, какое наибольшее количество р ящиков в день можно отгружать, и затем производить именно такое количество, поскольку не имеет смысла производить шайб больше, чем можно отправить на склад. Для
компании не важно, сколы© времени займет доставка конкретной шайбы с фабрики на склад, она заботится только о том, чтобы р ящиков в день отправлялось с фабрики и р ящиков в день прибывало на склад.
На первый взгляд, вполне логично моделировать потоком в данной сети “поток” отгрузок, поскольку число ящиков, отгружаемых ежедневно из одного города в другой, подчиняется ограничению пропускной способности. Кроме того, должно соблюдаться условие сохранения потока, поскольку в стационарном состоянии скорость ввоза шайб в некоторый промежуточный город должна быть равна скорости их вывоза. В противном случае ящики станут накапливаться в промежуточных городах.
Однако между отгрузками и потоками существует одно отличие. Компания Lucky Puck может отправлять шайбы из Эдмонтона в Калгари и одновременно из Калгари в Эдмонтон. Предположим, что 8 ящиков в день отгружается из Эдмонтона («1 на рис. 26.1) в Калгари (иг) и 3 ящика в день из Калгари в Эдмонтон. Как бы ни хотелось непосредственно представлять отгрузки потоками, мы не можем этого сделать. Согласно свойству антисимметричности, должно выполняться условие f (vi> уз) = —/ (^2,«1), но это, очевидно, не так, если считать, что / (ui, иг) = 8, a/(u2,ui) = 3.
Компания Lucky Puck понимает, что бессмысленно отправлять 8 ящиков в день из Эдмонтона в Калгари и 3 ящика из Калгари в Эдмонтон, если того же результата можно добиться, отгружая 5 ящиков из Эдмонтона в Калгари и 0 ящиков из Калгари в Эдмонтон (что потребует к тому же меньших затрат). Этот последний сценарий мы и представим потоком: / (ui, иг) = 5, а / (иг,ui) = —5. По сути, 3 из 8 ящиков в день, отправляемые из ui в иг, взаимно уничтожаются (canceled) с 3 ящиками в день, отправляемыми из иг в щ.
В общем случае взаимное уничтожение позволяет нам представить отгрузки между двумя городами потоком, который положителен не более чем вдоль одного из двух ребер, соединяющих соответствующие вершины. Таким образом, любую ситуацию, когда ящики перевозятся между двумя городами в обоих направлениях, можно привести с помощью взаимного уничтожения к эквивалентной ситуации, в которой ящики перевозятся только в одном направлении — направлении положительного потока.
По определенному таким образом потоку / нельзя восстановить, какими в действительности являются поставки. Если известно, что / (и, и) = 5, то это может быть как в случае, когда 5 единиц отправляется из и в v, так и в случае, когда 8 единиц отправляется из и в и, а 3 единицы из и в и. Обычно нас не будет интересовать, как в действительности организованы физические поставки, для любой пары вершин учитывается только чистое пересылаемое количество. Если важно знать объемы действительных поставок, следует использовать другую модель, в которой сохраняется информация о поставках в обоих направлениях.
Взаимное уничтожение неявно будет присутствовать в рассматриваемых в данной главе алгоритмах. Предположим, что ребро (и, и) имеет величину потока f (и, v). В процессе выполнения алгоритма мы можем увеличить поток вдоль ребра (v, и) на некоторую величину d. С математической точки зрения, эта операция должна уменьшить / (и, и) на d, следовательно, можно считать, что эти d единиц взаимно уничтожаются с d единицами потока, который уже существует вдоль ребра (и, и).
Сети с несколькими источниками и стоками
В задаче о максимальном потоке может быть несколько источников и стоков. Например, у компании Lucky Puck может быть т фабрик {si, S2,..., sm} и п складов {<ь <2> • • • ><п}, как показано на рис. 26.2а, где приведен пример транспортной сети с пятью источниками и тремя стоками. К счастью, эта задача не сложнее, чем обычная задача о максимальном потоке.
Задача определения максимального потока в сети с несколькими источниками и несколькими стоками сводится к обычной задаче о максимальном потоке. На рис. 26.26 показано, как сеть, представленную на рис. 26.2а, можно превратить в обычную транспортную сеть с одним источником и одним стоком. Для
Рис. 26.2. Преобразование задачи о максимальном потоке с несколькими источниками и несколькими стоками к задаче с одним источником и одним стоком
этого добавляется фиктивный источник (supersource) s и ориентированные ребра (s, Sj) с пропускной способностью с (s, St) = оо для каждого г = 1,2,..., т. Точно так же создается новый фиктивный сток (supresink) t и добавляются ориентированные ребра (it, t) с с (t<, t) = оо для каждого г = 1,2,..., п. Интуитивно понятно, что любой поток в сети на рис. 26.2а соответствует потоку в сети на рис. 26.26 и обратно. Единственный источник s просто обеспечивает поток любого требуемого объема к источникам s*, а единственный сток t аналогичным образом потребляет поток любого желаемого объема от множественных стоков tv В упражнении 26.1-3 предлагается формально доказать эквивалентность этих двух задач.
Как работать с потоками
Далее нам придется работать с функциями, подобными /, аргументами которых являются две вершины транспортной сети. В данной главе мы будем использовать неявное обозначение суммирования (implicit summation notation), в котором один аргумент или оба могут представлять собой множество вершин, интерпретируя эту запись так, что указанное значение является суммой всех возможных способов замены аргументов их членами. Например, если X и Y — множества вершин, то
/(X,У) = ££/(*,у).
$ех УеУ
Тогда условие сохранения потока можно записать как / (u, V) = 0 для всех и € V — {s, t}. Для удобства мы также обычно будем опускать фигурные скобки при использовании неявного обозначения суммирования: например, в уравнении / (s, V — s) = f (s, V) запись V — s обозначает множество V — {s}.
Использование неявного обозначения множеств обычно упрощает уравнения, описывающие потоки. В следующей лемме, доказать которую читателю предлагается в качестве упражнения 26.1-4, формулируются основные тождества, связывающие потоки и множества.
Лемма 26.1. Пусть G = (V, 5) — транспортная сеть, и / - некоторый поток в сети G. Тогда справедливы следующие равенства.
Для всех X С V f (X, X) = 0.
Для всех X, У С V f (X, У) = -/ (У, X).
Для всех X, У, ZCV, таких что ХПУ = 0, / (X U У, Z) = / (X, £)+/ (У, Z) и f (Z, X U У) = / (Z, X) + / (Z, У).□
В качестве примера работы с неявным обозначением суммирования, докажем, что значение потока равно суммарному потоку, входящему в сток; т.е.
|/| = /(M(26.3)
Интуитивно мы ожидаем, что это свойство справедливо. Согласно условию сохранения потока, все вершины, отличные от источника и стока, имеют одинаковые величины входящего и выходящего положительного потока. Источник по определению имеет суммарный чистый поток, больший 0; т.е. из источника выходит больший положительный поток, чем входит в него. Симметрично, сток является единственной вершиной, которая может иметь суммарный чистый поток, меньший 0; т.е. в сток входит больший положительный поток, чем выходит из него. Формальное доказательство выглядит следующим образом:
\f\ = f(s,V) == /(Ж)-Ж-»,П == -f(V-s,V) == f (V,V — s) == Ж,г) + /(Ж-з-г) == /(M\f\ = f(s,V) == /(Ж)-Ж-»,П == -f(V-s,V) == f (V,V — s) == Ж,г) + /(Ж-з-г) == /(M(по определению)
\f\ = f(s,V) =
= /(Ж)-Ж-»,П =
= -f(V-s,V) =
= f (V,V — s) =
= Ж,г) + /(Ж-з-г) =
= /(M
\f\ = f(s,V) =
= /(Ж)-Ж-»,П =
= -f(V-s,V) =
= f (V,V — s) =
= Ж,г) + /(Ж-з-г) =
= /(M
(согласно лемме 26.1, часть 3)
(согласно лемме 26.1, часть 1)
(согласно лемме 26.1, часть 2)
(согласно лемме 26.1, часть 3)
(согласно свойству сохранения потока).
Далее в данной главе мы обобщим данный результат (лемма 26.5).
Упражнения
1. Используя определение потока, докажите, что если (u, и) ^ Е и (и, и) ф £ Е,то f (гц-и) = f (и, и) = 0.
2. Докажите, что для любой вершины v, отличной от источника и стока, суммарный положительный поток, входящий в v, должен быть равен суммарному положительному потоку, выходящему из и.
3. Распространите определение и свойства потока на случай задачи с несколькими источниками и несколькими стоками. Покажите, что любой поток в транспортной сети с несколькими источниками и несколькими стоками соответствует некоторому потоку идентичной величины в сети с единственным источником и единственным стоком, полученной путем добавления фиктивного источника и фиктивного стока, и наоборот.
-4. Докажите лемму 26.1.
5. Для транспортной сети G = (V, Е) и потока /, показанных на рис. 26.16, найдите пару подмножеств X,Y СУ, для которых / (X, У) = —f(V — — Х,У\ Затем найдите пару подмножеств Х,У СУ, для которых /(х,у)/-Ж-х,у).
6. Пусть дана транспортная сеть G = (У, Е), и пусть /1 и /2 — функции, отображающие V х V в R. Суммой потоков /1 + /2 является функция,
отображающая У х V в R и определяемая как
(Л + /2) (u, V) = /1 (u, и) + /2 (и, и)(26.4)
для всех и, v ЕУ. Если /1 и /2 — потоки в G, то каким из трех свойств потоков удовлетворяет сумма потоков /1 + /2, и какие из них могут нарушаться?
7. Пусть / — поток в сети, а а — некоторое действительное число. Произведение потока на скаляр (scalar flow product), обозначаемое как af, — это функция, отображающая У х У в R, такая что
(а/) (и, и) = а ■ / (и, и).
Докажите, что потоки в сети образуют выпуклое множество (convex set), т.е. покажите, что если /1 и /2 являются потоками, то a/i + (l — а) /2 также является потоком для любых 0 ^ а ^ 1.
8. Сформулируйте задачу о максимальном потоке в виде задачи линейного программирования.
9. У профессора двое детей, которые, к сожалению, терпеть не могут друг друга. Проблема настолько серьезна, что они не только не хотят вместе ходить в школу, но каждый даже отказывается заходить в квартал, в котором в этот день побывал другой. При этом они допускают, что их пути могут пересекаться на углу того или иного квартала. К счастью, и дом профессора, и школа расположены на углах кварталов, однако профессор не уверен, возможно ли отправить обоих детей в одну школу. У профессора есть карта города. Покажите, как сформулировать задачу о возможности отправить детей в одну и ту же школу в виде задачи о максимальном потоке.
Метод Форда-Фалкерсона
В данном разделе представлен метод Форда-Фалкерсона для решения задачи о максимальном потоке. Мы называем его методом, а не алгоритмом, поскольку он допускает несколько реализаций с различным временем выполнения. Метод Форда-Фалкерсона базируется на трех важных концепциях, которые выходят за рамки данного метода и применяются во многих потоковых алгоритмах и задачах. Это — остаточные сети, увеличивающие пути и разрезы. Данные концепции лежат в основе важной теоремы о максимальном потоке и минимальном разрезе (теорема 26.7), которая определяет значение максимального потока с помощью разрезов транспортной сети. В заключение данного раздела мы предложим одну
конкретную реализацию метода Форда-Фалкерсона и проанализируем время ее выполнения.
Метод Форда-Фалкерсона является итеративным. Вначале величине потока присваивается значение 0: / (и, и) = 0 для всех и, и е V. На каждой итерации величина потока увеличивается посредством поиска “увеличивающего пути” (т.е. некого пути от источника s к стоку I, вдоль которого можно послать больший поток) и последующего увеличения потока. Этот процесс повторяется до тех пор, пока уже невозможно отыскать увеличивающий путь. В теореме о максимальном потоке и минимальном разрезе будет показано, что по завершении данного процесса получается максимальный поток.
Ford_Fulkerson_Method(G, s, t)
Задаем начальное значение потока / равным 0
while (Пока) существует увеличивающий путь р
do увеличиваем поток / вдоль пути р
return /
Остаточные сети
Интуитивно понятно, что если заданы некоторая транспортная сеть и поток, то остаточная сеть — это сеть, состоящая из ребер, допускающих увеличение потока. Более строго, пусть задана транспортная сеть G = (V, Е) с источником з и стоком t. Пусть / — некоторый поток в G. Рассмотрим пару вершин и^ € Е V. Величина дополнительного потока, который мы можем направить из и в и, не превысив пропускную способность с (u, и), является остаточной пропускной способностью (residual capacity) ребра (гл, v), и задается формулой
с/ (и, и) = с (и, v) - / (и, v).(26.5)
Например, если c(u, v) = 16 и / (и, и) = 11, то /(и, и) можно увеличить на с/ (и, v) = 5, не нарушив ограничение пропускной способности для ребра (u, v). Когда поток /(u, v) отрицателен, остаточная пропускная способность c/(u, v) больше, чем пропускная способность с (u, и). Так, если с (u, и) = 16 и / (и, и) = = —4, то остаточная пропускная способность с/ (и, и) = 20. Эту ситуацию можно интерпретировать следующим образом: существует поток величиной 4 единицы из v в и, который можно аннулировать, направив 4 единицы потока из и в и. Затем можно направить еще 16 единиц из и в и, не нарушив ограничение пропускной способности для ребра (tz, и). Таким образом, начиная с потока / (и, и) = —4, мы направили дополнительные 20 единиц потока, прежде чем достигли ограничения пропускной способности.
Для заданной транспортной сети G = (V, 5) и потока /, остаточной сетью (residual network) в G, порожденной потоком /, является сеть Gj = (V, Ef), где
Е/ = {(u, и) € V х V : с/ (u, v) > 0}.
Рис. 26.3. а) Транспортная сеть G и поток /, представленные на рис. 26.16. б) Остаточная сеть Gf с выделенным увеличивающим путем; его остаточная пропускная способность равна 4. в) Поток в сети G, полученный в результате увеличения потока вдоль пути р на величину его остаточной пропускной способности 4. г) Остаточная сеть, порожденная потоком, показанным в части в)Рис. 26.3. а) Транспортная сеть G и поток /, представленные на рис. 26.16. б) Остаточная сеть Gf с выделенным увеличивающим путем; его остаточная пропускная способность равна 4. в) Поток в сети G, полученный в результате увеличения потока вдоль пути р на величину его остаточной пропускной способности 4. г) Остаточная сеть, порожденная потоком, показанным в части в)
Рис. 26.3. а) Транспортная сеть G и поток /, представленные на рис. 26.16. б) Остаточная сеть Gf с выделенным увеличивающим путем; его остаточная пропускная способность равна 4. в) Поток в сети G, полученный в результате увеличения потока вдоль пути р на величину его остаточной пропускной способности 4. г) Остаточная сеть, порожденная потоком, показанным в части в)
Рис. 26.3. а) Транспортная сеть G и поток /, представленные на рис. 26.16. б) Остаточная сеть Gf с выделенным увеличивающим путем; его остаточная пропускная способность равна 4. в) Поток в сети G, полученный в результате увеличения потока вдоль пути р на величину его остаточной пропускной способности 4. г) Остаточная сеть, порожденная потоком, показанным в части в)
Таким образом, как и отмечалось выше, по каждому ребру остаточной сети, или остаточному ребру (residual edge), можно направить поток, больший 0. На рис. 26.3а воспроизведены транспортная сеть G и поток /, представленные на рис. 26.16, а на рис. 26.36 показана соответствующая остаточная сеть Gj.
Ребрами Ej являются или ребра Е, или обратные им. Если / (и, и) < с (и, и) для некоторого ребра (и, и) G Е, то с/ (и, и) = с (и, и) — / (и, и) > 0 и (и, и) € Ej. Если / (и, и) > 0 для некоторого ребра (и, и) € Е, то / (и, и) < 0. В таком случае с/ (и, и) = с (и, и) — f (v,u) > 0 и, следовательно, (и, и) 6 Ej. Если в исходной сети нет ни ребра (u, и), ни (и, и), то с (и, и) = с (и, и) = 0, / (и, и) = f (и, и) = = 0 (согласно результатам упражнения 26.1-1), и с/ (и, и) = с/ (и, и) = 0. Таким образом, можно сделать вывод, что ребро (и, и) может оказаться в остаточной сети только в том случае, если хотя бы одно из ребер (и, и) или (и, и) присутствует в исходной транспортной сети, поэтому
|Е/|«2|В|.
Обратите внимание, что остаточная сеть Gf является транспортной сетью со значениями пропускных способностей, заданными с/. Следующая лемма показывает, как поток в остаточной сети связан с потоком в исходной транспортной сети.
Лемма 26.2. Пусть G = (V, Е) — транспортная сеть с источником s и стоком I, а / — поток в G. Пусть Gf — остаточная сеть в G, порожденная потоком /, а /' —
поток в Gf. Тогда сумма потоков /+/', определяемая уравнением (26.4), является потоком в G, и величина этого потока равна |/ + /'| = |/| + |/'|.
Доказательство. Необходимо проверить, выполняются ли ограничения антисим- метрюг'ости, пропускной способности и сохранения потока. Для подтверждения антисимметричности заметим, что для всех u, и Е V, справедливо
(/ + /') («, v) = / («, v) + f (u, v) == -/ (v, u) - f (y, u) == - (/ (y,«) + f (y,«)) == - (/ + Л (y>y) •
Покажем соблюдение ограничений пропускной способности. Заметим, что /' (u, и) ^ с/ (и, и) для всех и, v 6 V. Поэтому, согласно уравнению (26.5),
(/ + Л (и, v) = / («, ") + /' («, ")/ (и, и) + (с (и, и) - / (и, и)) == c(iz, v).
Что касается сохранения потока, заметим, что для всех и 6 V — {s, t} справедливо равенство
52 (/+Л (у>у) = 52 U (U) у)+f (u>у))= uevuev
= 52^(u>u)+52^' (u>v)= v&VvGV
= 0 + 0 = 0.
И наконец,
I/ + /'! = £ U + Л (»,«) =
•uev
= 52 U (s>у)+^ (s> Л =
= 52-f (s>y) + 52^' (s>u)=
•uevuev
= l/l +1/1.■
Увеличивающие пути
Для заданных транспортной сети G = (V, S) и потока / увеличивающим путем (augmenting path) р является простой путь из s в t в остаточной сети Gj.
Согласно определению остаточной сети, каждое ребро (и, и) увеличивающего пути допускает некоторый дополнительный положительный поток из и в v без нарушения ограничения пропускной способности для данного ребра.
Выделенный путь на рис. 26.36 является увеличивающим путем. Рассматривая представленную на рисунке остаточную сеть Gj как некоторую транспортную сеть, можно увеличивать поток вдоль каждого ребра данного пути вплоть до 4 единиц, не нарушая ограничений пропускной способности, поскольку наименьшая остаточная пропускная способность на данном пути составляет с/(и2>Уз) = 4. Максимальная величина, на которую можно увеличить поток вдоль каждого ребра увеличивающего пути р, называется остаточной пропускной способностью (residual capacity) р и задается формулой
с/ (р) = min {с/ (u, и) : (и, и) принадлежит р} .
Следующая лемма, доказательство которой предлагается провести в качестве упражнения 26.2-7, более строго формулирует приведенные выше рассуждения.
Лемма 26.3. Пусть G = (V, 5) — транспортная сеть, а / — некоторый поток в G, и пусть р — некоторый увеличивающий путь в Gj. Определим функцию Ур : V х V —> R следующим образом:
с/ (р)с/ (р)/p(u,v) = -с/(р)/p(u,v) = -с/(р)(О(Оесли (u, и) принадлежит р, если (и, и) принадлежит р, в противном случае.если (u, и) принадлежит р, если (и, и) принадлежит р, в противном случае.(26.6)(26.6)
с/ (р)
с/ (р)
/p(u,v) = -с/(р)
/p(u,v) = -с/(р)
(О
(О
если (u, и) принадлежит р, если (и, и) принадлежит р, в противном случае.
если (u, и) принадлежит р, если (и, и) принадлежит р, в противном случае.
(26.6)
(26.6)
Тогда Ур является потоком в G и его величина составляет |УР| = с/ (р) > 0. ■
Вытекающее из данной леммы следствие показывает, что если добавить Ур к У, то мы получим новый поток в G, величина которого ближе к максимальной. На рис. 263в показан результат добавления УР, представленного на рис. 26.36, к У, показанному на рис. 26.3а.
Следствие 26.4. Пусть G = (V, Е) — транспортная сеть, а У — некоторый поток в G, и пусть р — некоторый увеличивающий путь в Gf. Пусть Ур определен в соответствии с уравнением (26.6). Определим функцию f : V х V —+ R как У' = f + fp. Тогда У' является потоком в G и имеет величину |У'| = |У| 4- |УР| > |У|.
Доказательство. Непосредственно вытекает из лемм 26.2 и 26.3.
Разрезы транспортных сетей
В методе Форда-Фалкерсона производится неоднократное увеличение потока вдоль увеличивающих путей до тех пор, пока не будет найден максимальный
поток. В теореме о максимальном потоке и минимальном разрезе, которую мы вскоре докажем, утверждается, что поток является максимальным тогда и только тогда, когда его остаточная сеть не содержит увеличивающих путей. Однако для доказательства данной теоремы нам понадобится ввести понятие разреза транспортной сети.
Разрезом (cut) (S, Т) транспортной сети G = (V, 5) называется разбиение множества вершин на множества S и Т = V — S, такие что s 6 5, a t € Т. (Это определение аналогично определению разреза, которое использовалось применительно к минимальным связующим деревьям в главе 23, однако здесь речь идет о разрезе в ориентированном графе, а не в неориентированном, и мы требуем, чтобы sES, a tET.) Если / — поток, то чистый поток (net flow) через разрез (5, Т) по определению равен / (S, Т\ Пропускной способностью (capacity) разреза (S, Г) является c(S, Т). Минимальным разрезом (minimum cut) сети является разрез, пропускная способность которого среди всех разрезов сети минимальна.
На рис. 26.4 показан разрез ({s,vi, иг}» {уз.у-ьО) транспортной сети, представленной на рис. 26.1 б. Чистый поток через данный разрез равен
/ («1, «з) + / («2, уз) + / (u2, и4) = 12 + (-4) + 11 = 19,
а пропускная способность этого разреза равна
с(уьуз) + с(у2, ^4) = 12 + 14 = 26.
Обратите внимание, что чистый поток через разрез может включать в себя отрицательные потоки между вершинами, но пропускная способность разреза слагается исключительно из неотрицательных значений. Иными словами, чистый поток через разрез (S, Т) составляется из положительных потоков в обоих направлениях; положительный поток из S в Т прибавляется, а положительный поток из
Рис. 26.4. Разрез (S, Г) транспортной сети, представленной на рис. 26.16, S = = {s,ui,V2}> Т = {из)У4)0- Вершины, принадлежащие S, отмечены черным цветом, а вершины Т — белым
Т в S вычитается. С другой стороны, пропускная способность разреза (S,T) вычисляется только по ребрам, идущим из S в Т. Ребра, ведущие из Г в S, не участвуют в вычислении с (S, Т).
Следующая лемма показывает, что чистый поток через любой разрез одинаков и равен величине потока.
Лемма 26.5. Пусть / — некоторый поток в транспортной сети G с источником s и стоком t, и пусть (S, Г) — разрез G. Тогда чистый поток через (S, Т) равен
Доказательство. Заметим, что согласно свойству сохранения потока f(S — s, V) = 0, так что
/ (5, Т) = f (5, V) — f (S, S) =(согласнолемме26.1, часть(3))
= / (S, V) =(согласнолемме26.1, часть(1))
= / (s, V) + f (S — s, V) =(согласнолемме26.1, часть(3))
= f (s, V) =(поскольку f (S— s, V) = 0)
= 1/1-■
Непосредственным следствием леммы 26.5 является доказанный ранее результат — уравнение (26.3) — что величина потока равна суммарному потоку, входящему в сток.
Другое следствие леммы 26.5 показывает, как пропускные способности разрезов можно использовать для определения границы величины потока.
Следствие 26.6. Величина любого потока / в транспортной сети G не превышает пропускную способность произвольного разреза G.
Доказательство. Пусть (S, Т) — произвольный разрез G, а / — некоторый поток. Согласно лемме 26.5 и ограничениям пропускной способности,
l/l = /(S,T) = £ £/(«,«)<£ £с(и,») = с(5,Г). ueS vGTuGS v€T■
Непосредственно из следствия 26.6 вытекает, что максимальный поток в сети не превышает пропускной способности минимального разреза. Сейчас мы сформулируем и докажем важную теорему о максимальном потоке и минимальном разрезе, в которой утверждается, что значение максимального потока равно пропускной способности минимального разреза.
Теорема 26.7 (О максимальном потоке и минимальном разрезе). Если / — некоторый поток в транспортной сети G = (V, F) с источником s и стоком t, то следующие утверждения эквивалентны.
/ — максимальный поток в G.
Остаточная сеть Gf не содержит увеличивающих путей.
|/| = с (S, Т) для некоторого разреза (S, Г) сети G.
Доказательство. (1) => (2): Предположим противное: пусть / является максимальным потоком в G, но Gf содержит увеличивающий путь р. Согласно следствию 26.4, сумма потоков / + /р, где /р задается уравнением (26.6), является потоком в G, величина которого строго больше, чем |/|, что противоречит предположению, что / — максимальный поток.
=> (3): Предположим, что Gf не содержит увеличивающего пути, т.е. Gf не содержит пути из s в t. Определим
S = {v € V : в Gf существует путь из s в и}
и Т = V — S. Разбиение (S, Т) является разрезом: очевидно, что s € S, a t ф S, поскольку в Gf не существует пути из s в t. Для каждой пары вершин и е е S, v € Т справедливо соотношение / (u, v) = с (и, v), поскольку в противном случае (и, v) € Ef и v следует поместить во множество S. Следовательно, согласно лемме 26.5, |/| = / (S, Г) = с (S, Г).
=>■ (1): Согласно следствию 26.6, |/| ^ c(S,T) для всех разрезов (S,T), поэтому из условия |/| = с (S, Т) следует, что / — максимальный поток. ■
Базовый алгоритм Форда-Фалкерсона
При выполнении каждой итерации метода Форда-Фалкерсона мы находим некоторый увеличивающий путь р, и поток / вдоль каждого ребра данного пути увеличивается на величину остаточной пропускной способности с/ (р). Приведенная далее реализация данного метода вычисляет максимальный поток в графе G = (V, Е) путем обновления потока /[u, v] между каждой парой вершин и и v, соединенных ребром. Если вершины ни ине связаны ребром ни в одном направлении, неявно предполагается, что / [zz, v] = 0. Предполагается, что значения пропускных способностей задаются вместе с графом и с (и, v) = 0, если (и, v) £ Е. Остаточная пропускная способность Cf (и, v) вычисляется по формуле (26.5). В коде процедуры с/ (р) в действительности является просто временной переменной, в которой хранится остаточная пропускная способность пути р.
Ford_Fulkerson((j, s, t)
for (для) каждого ребра (u, и) € £[0]
do /[и, и] «— О
/[и,и]<- О
while существует путь р из s в t в остаточной сети G/
do Cf(p) <— min {сДи, и) : (и, и) принадлежит р}
for (для) каждого ребра (и, и) in р
do /[и, и] «- /[и, и] + с/(р)
/Н</[и, и]
Приведенный псевдокод алгоритма Ford_Fulkerson является расширением приведенного ранее псевдокода Ford_Fulkerson_Method. На рис. 26.5 показаны результаты каждой итерации при тестовом выполнении. Строки 1-3 инициализируют поток / значением 0. В цикле while в строках 4-8 выполняется неоднократный поиск увеличивающего пути р в Gf, и поток / вдоль пути р увеличивается на остаточную пропускную способность с/ (р). Когда увеличивающих путей больше нет, поток / является максимальным. Остаточная сеть на рис. 26.5а — это исходная сеть G; поток /, показанный на рис. 26.53, является максимальным потоком.
Анализ метода Форда-Фалкерсона
Время выполнения процедуры FORD_FULKERSON зависит от того, как именно выполняется поиск увеличивающего пути р в строке 4. При неудачном методе поиска алгоритм может даже не завершиться: величина потока будет последовательно увеличиваться, но она не обязательно сходится к максимальному значению потока. Если увеличивающий путь выбирается с использованием поиска в ширину (который мы рассматривали в разделе 22.2), алгоритм выполняется за полиномиальное время. Прежде чем доказать этот результат, получим простую границу времени выполнения для случая, когда увеличивающий путь выбирается произвольным образом, а все значения пропускных способностей являются целыми числами.
На практике задача поиска максимального потока чаще всего возникает в целочисленной постановке. Если пропускные способности — рациональные числа, можно использовать соответствующее масштабирование, которое сделает их целыми. В таком предположении непосредственная реализация процедуры FORD_ Fulkerson имеет время работы О (Е |/*|), где /* — максимальный поток, найденный данным алгоритмом. Анализ проводится следующим образом. Выполнение строк 1-3 занимает время 0 (Е). Цикл while в строках 4-8 выполняется не бо-
Рис. 26.5. Работа базового алгоритма Форда-Фалкерсона (последовательные итерации цикла while). В левой части каждого рисунка показана остаточная сеть Gj с выделенным увеличивающим путем р; в правой части показан новый поток /, который получается в результате прибавления /р к /
лее |/*| раз, поскольку величина потока за каждую итерацию увеличивается по крайней мере на одну единицу.
Работа внутри цикла while зависит от того, насколько эффективно организовано управление структурой данных, используемой для реализации сети G = (V, Е). Предположим, что мы поддерживаем структуру данных, соответствующую ориентированному графу G' = (V, Е’\ где Е* = {(iz, v) : (tz, v) е Е или (v, iz) е Е^.
а)а)б)б)В)В)Рис. 26.6. Транспортная сеть, для которой выполнение процедуры FORDFULKERSON может занимать время © (£ |/*|), |/*| = 2 000 000Рис. 26.6. Транспортная сеть, для которой выполнение процедуры FORDFULKERSON может занимать время © (£ |/*|), |/*| = 2 000 000
а)
а)
б)
б)
В)
В)
Рис. 26.6. Транспортная сеть, для которой выполнение процедуры FORDFULKERSON может занимать время © (£ |/*|), |/*| = 2 000 000
Рис. 26.6. Транспортная сеть, для которой выполнение процедуры FORDFULKERSON может занимать время © (£ |/*|), |/*| = 2 000 000
Ребра сети G являются также ребрами графа G', поэтому в этой структуре данных можно довольно легко хранить пропускные способности и потоки. Для данного потока / в G, ребра остаточной сети G/ состоят из всех ребер (и, v) графа G', таких что с (u, v) — / [и, и] / 0. Таким образом, время поиска пути в остаточной сети составляет О (V + Е') = О (Е), если используется только поиск в глубину или поиск в ширину. Каждая итерация цикла while занимает время О (Е), так что в результате общее время выполнения процедуры Ford_Fulkerson составляет 0(E\r\Y
Когда значения пропускных способностей являются целыми числами и оптимальное значение потока |/*| невелико, время выполнения алгоритма Форда- Фалкерсона достаточно неплохое. Но на рис. 26.6а показан пример того, что может произойти в простой транспортной сети, с большим значением |/* |. Величина максимального потока в данной сети равна 2 000 000: 1 000 000 единиц потока идет по пути s —* и —* t, а другие 1 000 000 единиц идут по пути s —* и —* t. Если первым увеличивающим путем, найденным процедурой FordJFulkerson, является путь s —» и —» и —> t, как показано на рис. 26.6а, поток после первой итерации имеет значение 1. Полученная остаточная сеть показана на рис. 26.66. Если в ходе выполнения второй итерации найден увеличивающий путь s —* v —» и —» t, как показано на рис. 26.66, поток станет равным 2. На рис. 26.6в показана соответствующая остаточная сеть. Можно продолжать процедуру, выбирая увеличивающий путь s —» и —* и —* t для итераций с нечетным номером s —* и —> и —*■ t для итераций с четным номером. В таком случае нам придется выполнить 2 000 000 увеличений, при этом величина потока на каждом шаге увеличивается всего на 1 единицу.
Алгоритм Эдмондса-Карпа
Указанный недостаток метода Форда-Фалкерсона можно преодолеть, если реализовать вычисление увеличивающего пути р в строке 4 как поиск в ширину, т.е. если в качестве увеличивающего пути выбирается кратчайший путь из s
в t в остаточной сети, где каждое ребро имеет единичную длину (вес). Такая реализация метода Форда-Фалкерсона называется алгоритмом Эдмондса-Карпа (Edmonds-Karp algorithm). Докажем, что время выполнения алгоритма Эдмондса- Карпа составляет О (VS2).
Анализ зависит от расстояний между вершинами остаточной сети Gf. В следующей лемме длина кратчайшего пути из вершины и в у в остаточной сети Gj, где каждое ребро имеет единичную длину, обозначена как 8/ (и, v).
Лемма 26.8. Если для некоторой транспортной сети G = (V, Е) с источником з и стоком t выполняется алгоритм Эдмондса-Карпа, то для всех вершин и Е Е У — {з, £} длина кратчайшего пути 8j (s,v) в остаточной сети Gj монотонно возрастает с каждым увеличением потока.
Доказательство. Предположим, что для некоторой вершины -и Е V — { s, t} существует такое увеличение потока, которое приводит к уменьшению длины кратчайшего пути из s в и, и покажем, что это предположение приведет нас к противоречию. Пусть / — поток, который был непосредственно перед первым увеличением, приведшим к уменьшению длины некого кратчайшего пути, а /' — поток сразу после этого увеличения. Пусть у — вершина с минимальной длиной кратчайшего пути 5'j (з, и), которая уменьшилась в результате увеличения потока, т.е. 8j (s, v) < < 8/ (s, v). Пусть p = s -^ и —* у — кратчайший путь от s к у в G'p такой что (zz, у) Е Ej и
^(s,u) = ^(s,v)-l.(26.7)
(26.8)(26.8)Исходя из того, как мы выбирали и, можно утверждать, что длина пути до вершины и не уменьшилась, т.е.
(26.8)
(26.8)
5/ (з, и) > 8} (з, и).
Мы утверждаем, что в таком случае (tz, и) ^ Ej. Почему? Если (и, v) Е Е^ тогда справедливо следующее:
8j (s, v) ^ 8j (з, и) +1 ^ < 8'j (з, и) +1 = = 5f (з, и)8j (s, v) ^ 8j (з, и) +1 ^ < 8'j (з, и) +1 = = 5f (з, и)(согласно лемме 24.10, неравенство треугольника)
8j (s, v) ^ 8j (з, и) +1 ^ < 8'j (з, и) +1 = = 5f (з, и)
8j (s, v) ^ 8j (з, и) +1 ^ < 8'j (з, и) +1 = = 5f (з, и)
(согласно неравенству (26.8))
(согласно уравнению (26.7)),
что противоречит предположению 8'j (з, у) С 8j (s, у).
Теперь посмотрим, как может получиться, что (u, v) ^ Ej, но (и, v) Е Еу? Увеличение должно привести к возрастанию потока из и в и. Алгоритм Эдмондса- Карпа всегда увеличивает поток вдоль кратчайших путей, поэтому последним
ребром кратчайшего пути из s в и в Gj является ребро (v, и). Следовательно,
5f (s, v) = 5f (s, и) - 1
< 5j (s, u) — 1 =(согласно неравенству (26.8))
= 5*j (s, v) — 2(согласно уравнению (26.7)),
что противоречит предположению 5^ (s, v) <5/ (s, v), а значит, наше предположение о существовании вершины и не верно.□
Следующая теорема устанавливает верхний предел количества итераций алгоритма Эдмондса-Карпа.
Теорема 26.9. Если для некоторой транспортной сети G = (V, Е) с источником s и стоком t выполняется алгоритм Эдмондса-Карпа, то общее число увеличений потока, выполняемое данным алгоритмам, составляет О (V Е).
Доказательство. Назовем ребро (и, и) остаточной сети Gf критическим (critical) для увеличивающего пути р, если остаточная пропускная способность р равна остаточной пропускной способности ребра (и, v), т.е. если с/ (р) = cj (u,v). После увеличения потока вдоль некоего увеличивающего пути, все критические ребра этого пути исчезают из остаточной сети. Кроме того, по крайней мере одно ребро любого увеличивающего пути должно быть критическим. Теперь покажем, что каждое из |S| ребер может становиться критическим не более |V|/2 — 1 раз.
Пусть и и v — вершины из множества вершин V, соединенные некоторым ребром из множества Е. Поскольку увеличивающие пути — это кратчайшие пути, то когда ребро (гц v) становится критическим первый раз, справедливо равенство
5j (s,v) = 5j (s,u) + 1.
После того как поток увеличен, ребро (и, и) исчезает из остаточной сети. Оно не может появиться в другом увеличивающем пути, пока не будет уменьшен поток из и в v, а это может произойти только в том случае, если на некотором увеличивающем пути встретится ребро (v, и). Если в этот момент поток в сети G составлял /', справедливо следующее равенство:
5'j (s,u) = 5j (s, v) + 1.
Поскольку, согласно лемме 26.8, Sj (s, v) < <5^ (s, v), получаем:
Jy (s,u) = Jy (s,v) + 1 ^ 5j (s, v) + 1 = 6/ (s,it) + 2.
Следовательно, за время, прошедшее с момента, когда ребро (u, v) было критическим, до момента, когда оно становится критическим в следующий раз, расстояние до и от источника увеличивается не менее чем на 2. Расстояние до и от
источника в начальный момент было не меньше 0. Среди промежуточных вершин на кратчайшем пути из s в и не могут находиться s, и или t (поскольку наличие ребра (u, v) в кратчайшем пути подразумевает, что и / t). Следовательно, к тому моменту, когда вершина и станет недостижимой из источника (если такое произойдет), расстояние до нее будет не более |V| — 2. Таким образом, ребро (и, и) может стать критическим не более (|V| — 2)/2 = |V|/2 — 1 раз. Поскольку в остаточном графе имеется не более О (Е) пар вершин, которые могут быть соединены ребрами, общее количество критических ребер в ходе выполнения алгоритма Эдмондса-Карпа равно О (V Е). Каждый увеличивающий путь содержит по крайней мере одно критическое ребро, следовательно, теорема доказана.g
Если увеличивающий путь находится посредством поиска в ширину, каждую итерацию процедуры Ford_Fulkerson можно выполнить за время 0(E), следовательно, суммарное время выполнения алгоритма Эдмондса-Карпа составляет О (V Е2). Мы покажем, что алгоритмы проталкивания предпотока позволяют достичь еще лучших результатов. На основе алгоритма из раздела 26.4 построен метод, который позволяет достичь времени выполнения О (V2^; этот метод является основой алгоритма со временем выполнения О (V3), рассматриваемого в разделе 26.5.
Упражнения
1. Чему равен поток через разрез ({s, «2; ^4} > {^ь уз> О) нарис. 26.16? Чему равна пропускная способность данного разреза?
2. Продемонстрируйте выполнение алгоритма Эдмондса-Карпа на примере транспортной сети, представленной на рис. 26.1а.
3. Укажите минимальный разрез на рис. 26.5, соответствующий показанному максимальному потоку. Какие два из представленных в примере увеличивающих путей взаимно уничтожают поток?
4. Докажите, что для любой пары вершин u, v и произвольных функций пропускной способности с и потока / справедливо соотношение с/ (и, и) 4- с/ (и, и) = с (и, и) + с (v, и).
5. Вспомним предложенную в разделе 26.1 конструкцию, которая преобразует транспортную сеть с несколькими источниками и несколькими стоками в сеть с одним источником и одним стоком путем добавления ребер с бесконечной пропускной способностью. Докажите, что любой поток в полученной сети имеет конечную величину, если ребра исходной сети с множественными источниками и стоками имеют конечную пропускную способность.
6. Предположим, что каждый источник Sj в задаче со множественными источниками и стоками производит ровно pi единиц потока, так что / (sj, V) = pi. Предположим также, что каждый сток tj потребляет ровно qj единиц, так что f (V, tj) = qj, где ^Pi = YLjQr Покажите, как преобразовать данную задачу поиска потока /, удовлетворяющего указанным дополнительным ограничениям, в задачу поиска максимального потока в транспортной сети с одним источником и одним стоком.
7. Докажите лемму 26.3.
8. Покажите, что максимальный поток в сети G = (V, Е) всегда можно найти с помощью последовательности не более чем из |S| увеличивающих путей. (Указание: считая, что максимальный поток известен, покажите, как следует выбирать пути.)
9. Запасам связности (edge connectivity) неориентированного графа назовем минимальное число ребер к, которые необходимо удалить, чтобы разъединить граф. Например, запас связности дерева равен 1, а запас связности циклической цепи вершин равен 2. Покажите, как определить запас связности неориентированного графа G = (V, Е) с помощью алгоритма максимального потока не более чем для |У| транспортных сетей, каждая из которых содержит О (V) вершин и О (Е) ребер.
10. Предположим, что транспортная сеть G = (V,E) содержит симметричные ребра, т.е. (и, у) ЕЕ тогда и только тогда, когда (v, u) G Е. Покажите, что алгоритм Эдмондса-Карпа завершается после не более чем |V| |S|/4 итераций. (Указание: для произвольного ребра (u, v) проследите, как меняются 5 (s, и) и б (v, t) между последовательными моментами, когда ребро (и, у) становится критическим.)
Максимальное паросочетание
Некоторые комбинаторные задачи можно легко свести к задачам поиска максимального потока. Одной из таких задач является задача определения максимального потока в сети с несколькими источниками и стоками, описанная в разделе 26.1 Существуют другие комбинаторные задачи, которые на первый взгляд имеют мало общего с транспортными сетями, однако могут быть сведены к задачам поиска максимального потока. В данном разделе рассматривается одна из подобных задач: поиск максимального паросочетания в двудольном графе (см. раздел Б.4). Чтобы решить данную задачу, мы воспользуемся свойством полноты, обеспечиваемым методом Форда-Фалкерсона. Мы также покажем, что с помощью метода Форда-Фалкерсона можно за время О (V Е) решить задачу поиска максимального паросочетания в двудольном графе G = (V, Е).
Задача поиска максимального паросочетания в двудольном графе
Пусть дан неориентированный граф G = (V, Е). Паросочетанием (matching) называется подмножество ребер М С Е, такое что для всех вершин -и Е V в М содержится не более одного ребра, инцидентного v. Мы говорим, что вершина v Е V является связанной (matched) паросочетанием М, если в М есть ребро, инцидентное и; в противном случае вершина -и называется открытой (unmatched). Максимальным паросочетанием называется паросочетание максимальной мощности, т.е. такое паросочетание М, что для любого паросочетания М* |М| ^ |М'|. В данном разделе мы ограничимся рассмотрением задачи поиска максимальных паросочетаний в двудольных графах. Мы предполагаем, что множество вершин можно разбить на два подмножества V = L U R, где L и R не пересекаются, и все ребра из Е проходят между L и R. Далее мы предполагаем, что каждая вершина из V имеет по крайней мере одно инцидентное ребро. Иллюстрация понятия паросочетания показана на рис. 26.7.
Задача поиска максимального паросочетания в двудольном графе имеет множество практических приложений. В качестве примера можно рассмотреть паросочетание множества машин L и множества задач R, которые должны выполняться одновременно. Наличие в Е ребра (и, и) означает, что машина и Е L может выполнять задачу v Е R. Максимальное паросочетание обеспечивает максимальную загрузку машин.
LRLR
б)б)
Рис. 26.7. Двудольный граф G = (У, Е^ с разбиением вершин V = LU R. а) Паросочетание с мощностью 2. б) Максимальное паросочетание с мощностью 3.
Поиск максимального паросочетания в двудольном графе
С помощью метода Форда-Фалкерсона можно найти максимальное паросо- четание в неориентированном двудольном графе G = (У, S) за время, полиномиально зависящее от |У| и |S|. Проблема состоит в том, чтобы построить транспортную сеть, потоки в которой соответствуют паросочетаниям, как показано на рис. 26.8. Определим для заданного двудольного графа G соответствующую транспортную сеть G' = (У', Е') следующим образом. Возьмем в качестве источника s и стока t новые вершины, не входящие в У, и пусть У' = У U {s, t}. Если разбиение вершин в графе G задано как У = L U R, ориентированными ребрами G* будут ребра Е, направленные из L в R, а также [У | новых ребер
Е' = {(s, и) : и Е L} U {(и, и) : и Е L, v Е R и (и, и) Е S} U {(v, t) : и Е Я}.
Чтобы завершить построение, присвоим каждому ребру Е' единичную пропускную способность. Поскольку каждая вершина из множества вершин У имеет по крайней мере одно инцидентное ребро, |S| ^ |У|/2. Таким образом, |Е| ^ IS'I = = |Е| + |У| 3 |S|, так что |S'| = О (Е).
Рис. 26.8. Двудольный граф (а) и соответствующая ему транспортная сеть (б). Выделенные ребра обеспечивают максимальный поток и определяют максимальное паросочетаниеРис. 26.8. Двудольный граф (а) и соответствующая ему транспортная сеть (б). Выделенные ребра обеспечивают максимальный поток и определяют максимальное паросочетание
Рис. 26.8. Двудольный граф (а) и соответствующая ему транспортная сеть (б). Выделенные ребра обеспечивают максимальный поток и определяют максимальное паросочетание
Рис. 26.8. Двудольный граф (а) и соответствующая ему транспортная сеть (б). Выделенные ребра обеспечивают максимальный поток и определяют максимальное паросочетание
Следующая лемма показывает, что паросочетание в G непосредственно соответствует некоторому потоку в соответствующей транспортной сети G'. Поток / в транспортной сети G = (У, Е) называется целочисленным (integer-valued), если значения / (u, и) целые для всех (и, и) Е У х У.
Лемма 26.10. Пусть G = (У, Е) — двудольный граф с разбиением вершин У = = L U R, и пусть G" = (У', Е') — соответствующая ему транспортная сеть. Если
М — паросочетание в G, то существует целочисленный поток / в G\ величина которого |/| = \М|. Справедливо и обратное утверждение: если / — целочисленный поток в G\ то в G существует паросочетание М с мощностью \М| = |/|.
Доказательство. Покажем сначала, что паросочетанию М в графе G соответствует некоторый целочисленный поток / в сети G'. Определим / следующим образом. Если (tz, v) е М, то f (s, и) = / ^ v) = / (v, £) = 1 и / (w, s) = = J (и, и) = /(^v) = — 1. Для всех остальных ребер (w,v) Е Е' определим / (^, v) = 0. Нетрудно убедиться, что / обладает свойством антисимметричности, удовлетворяет ограничениям пропускной способности и сохранения потока.
Интуитивно понятно, что каждое ребро (tz, v) Е М соответствует единице потока в G\ проходящего по маршруту з —> и —> v —> t. Кроме того, пути, порожденные ребрами из М, представляют собой непересекающиеся множества, не считая s и t Чистый поток через разрез (L U {s}, R U {t}) равен \М\; следовательно, согласно лемме 26.5, величина потока равна |/| = \М|.
Чтобы доказать обратное, предположим, что / — некоторый целочисленный поток в G', и пусть
М = {(iz, v) : и Е L, v Е R и f (iz, v) > 0} .
Каждая вершина и Е L имеет только одно входящее ребро, а именно (s, tz), и его пропускная способность равна 1. Следовательно, в каждую вершину и Е L входит не более одной единицы положительного потока, и если она действительно входит, то из нее должна также выходить одна единица положительного потока согласно свойству сохранения потока. Более того, поскольку / — целочисленный поток, для каждой вершины и Е L одна единица потока может входить не более чем по одному ребру и выходить не более чем по одному ребру. Таким образом, одна единица положительного потока входит в и тогда и только тогда, когда существует в точности одна вершина v Е R, такая что / (iz, v) = 1, и из каждой вершины и Е L выходит не более одного ребра, несущего положительный поток. Симметричные рассуждения применимы для каждой вершины veR. Следовательно, М является паросочетанием.
Чтобы показать, что \М| = |/|, заметим, что / (s, iz) = 1 для каждой связанной вершины и Е L, и f (и, v) = 0 для каждого ребра (iz, v) Е Е — М. Следовательно,
\М\ = / (L, R) = / (L, V') - / (L, L) - / (L, s) - / (L, t) согласно лемме 26.1.
Приведенное выражение можно значительно упростить. Из свойства сохранения потока следует, что / (L, V') = 0; из леммы 26.1 следует, что / (L, L) = 0; согласно свойству антисимметричности, —f(L,s) = f(s,Ly, и поскольку нет ребер,
ведущих из L к t, f (L, t) = 0. Таким образом,
\M\ = f^L) =
= / (s, У') = (поскольку все ребра, выходящие из s, идут в L)
= |/|(согласно определению |/|).
И
На основании леммы 26.10 можно сделать вывод, что максимальное паросоче- тание в двудольном графе G соответствует максимальному потоку в соответствующей ему транспортной сети G\ следовательно, можно находить максимальное паросочетание в G с помощью алгоритма поиска максимального потока в G'. Единственной проблемой в данных рассуждениях является то, что алгоритм поиска максимального потока может вернуть такой поток в G', в котором некоторое значение /(w,v) оказывается нецелым, несмотря на то, что величина |/| должна быть целой. Следующая теорема показывает, что такая проблема не может возникнуть при использовании метода Форда-Фалкерсона.
Теорема 26.11 (Теорема о целочисленности). Если функция пропускной способности с принимает только целые значения, то максимальный поток /, полученный с помощью метода Форда-Фалкерсона, обладает тем свойством, что значение потока |/| является целочисленным. Более того, для всех вершин м и и величина / (u, v) является целой.
Доказательство. Доказательство проводится индукцией по числу итераций. Его предлагается провести в качестве упражнения 26.3-2.■
Докажем следствие из леммы 26.10.
Следствие 26.12. Мощность максимального паросочетания М в двудольном графе G равна величине максимального потока / в соответствующей транспортной сети G'.
Доказательство. Воспользуемся терминологией леммы 26.10. Предположим, что М — максимальное паросочетание в G, но соответствующий ему поток / в G' не максимален. Тогда в G' существует максимальный поток /', такой что |/'| > > |/|. Поскольку пропускные способности в G' являются целочисленными, теорема 26.11 позволяет сделать вывод, что поток f — целочисленный. Следовательно, f соответствует некоторому паросочетанию М* в G с мощностью \М'\ = |/'| > > |/| = |М|, что противоречит нашему предположению о том, что М — максимальное паросочетание. Аналогично можно показать, что если / — максимальный поток в G', то соответствующее ему паросочетание является максимальным па- росочетанием в G.■
Таким образом, для заданного неориентированного двудольного графа G можно найти максимальное паросочетание путем создания транспортной сети G', применения метода Форда-Фалкерсона и непосредственного получения максимального паросочетания М по найденному максимальному целочисленному потоку /. Поскольку любое паросочетание в двудольном графе имеет мощность не более min (L, R) = О (У), величина максимального потока в G* составляет О (V). Поэтому максимальное паросочетание в двудольном графе можно найти за время О (V Е') = О (V Е), поскольку |S'| = 6 (Е).
Упражнения
1. Примените алгоритм Форда-Фалкерсона для транспортной сети на рис. 26.86 и покажите остаточную сеть после каждого увеличения потока. Вершины из множества L пронумеруйте сверху вниз от 1 до 5, а вершины множества R — от 6 до 9. Для каждой итерации укажите лексикографически наименьший увеличивающий путь.
2. Докажите теорему 26.11.
3. Пусть G = (V, Е) — двудольный граф с разбиением вершин V = L U R, a G' — соответствующая ему транспортная сеть. Найдите верхнюю границу длины любого увеличивающего пути, найденного в G' в процессе выполнения процедуры FORD_FULKERSON.
* 26.3-4. Полное паросочетание (perfect matching) — это паросочетание, в котором каждая вершина является связанной. Пусть G = (У, Е) — двудольный граф с разбиением вершин У = L U R, где |L| = |Д|. Для любого подмножества X С У определим окрестность (neighborhood) Л" как
N (X) = (у 6 У : (ж, у) 6 Е для некоторого х € X} ,
те. это множество вершин, смежных с какой-либо из вершин X. Докажите теорему Халла (Hall’s theorem): полное паросочетание в G существует тогда и только тогда, когда |Д| ^ \N (Д)| для любого подмножества ACL.
26.3-5. Двудольный граф G = (У, Е), где У = L U R, называется d-регулярным (d-regular), если каждая вершина v G У имеет степень, в точности равную d. В каждом d-регулярном двудольном графе |L| = |Д|. Докажите, что в каждом d-регулярном двудольном графе имеется паросочетание мощности |L|, показав, что минимальный разрез соответствующей транспортной сети имеет пропускную способность |L|.
26.4 Алгоритмы проталкивания предпотока
В данном разделе мы рассмотрим подход к вычислению максимальных потоков, основанный на “проталкивании предпотока”. В настоящее время многие наиболее асимптотически быстрые алгоритмы поиска максимального потока принадлежат данному классу, и на этом методе основаны реальные реализации алгоритмов поиска максимального потока. С помощью методов проталкивания предпотока можно решать и другие связанные с потоками задачи, например, задачу поиска потока с минимальными затратами. В данном разделе приводится разработанный Голдбергом (Goldberg) “обобщенный” алгоритм поиска максимального потока, для которого существует простая реализация с временем выполнения О (у2Е^ что лучше времени работы алгоритма Эдмондса-Карпа О (V Е2). В разделе 26.5 данный универсальный алгоритм будет усовершенствован, что позволит получить алгоритм проталкивания предпотока, время выполнения которого составляет О (V3).
Алгоритмы проталкивания предпотока работают более локальным способом, чем метод Форда-Фалкерсона. Вместо того чтобы для поиска увеличивающего пути анализировать всю остаточную сеть, алгоритмы проталкивания предпотока обрабатывают вершины по одной, рассматривая только соседей данной вершины в остаточной сети. Кроме того, в отличие от метода Форда-Фалкерсона, алгоритмы проталкивания предпотока не обеспечивают в ходе своего выполнения свойство сохранения потока. При этом, однако, они поддерживают предпоток (preflow), который представляет собой функцию f : V х V —> R, обладающую свойством антисимметричности, удовлетворяющую ограничениям пропускной способности и следующему ослабленному условию сохранения потока: / (V, и) ^ 0 для всех вершин и Е V — {s}. Это количество называется избыточным потоком (excess flow), входящим в вершину и, и обозначается
е (и) = f (V, и).(26.9)
Вершина и Е V — {s, ^} называется переполненной (overflowing), если е (и) > 0.
Мы начнем данный раздел с описания интуитивных соображений, приводящих к методу проталкивания предпотока. Затем рассмотрим две применяемые в данном методе операции: “проталкивание” предпотока и подъем (перемаркировка, relabeling) некоторой вершины. Наконец, мы представим универсальный алгоритм проталкивания предпотока и проанализируем его корректность и время выполнения.
Интуитивные соображения
Интуитивные соображения, лежащие в основе метода проталкивания предпотока, лучше всего проиллюстрировать на примере потоков жидкости: пусть транс-
портная сеть G = (V.E) представляет собой систему труб с заданными пропускными способностями. Применяя данную аналогию, о методе Форда-Фалкерсона можно сказать, что каждый увеличивающий путь в сети вызывает дополнительный поток жидкости, без точек ветвления, который течет от источника к стоку. Метод Форда-Фалкерсона многократно добавляет дополнительные потоки, пока дальнейшее добавление станет невозможным.
В основе обобщенного алгоритма проталкивания предпотока лежат другие интуитивные соображения. Пусть, как и ранее, ориентированные ребра соответствуют трубам. Вершины, в которых трубы пересекаются, обладают двумя интересными свойствами. Во-первых, чтобы принять избыточный поток, каждая вершина снабжена выходящей трубой, ведущей в произвольно большой резервуар, способный накапливать жидкость. Во-вторых, каждая вершина, ее резервуар и все трубные соединения находятся на платформе, высота которой увеличивается по мере работы алгоритма.
Высота вершины определяет, как проталкивается поток: поток может проталкиваться только вниз, т.е. от более высокой вершины к более низкой. Поток может быть направлен и от нижестоящей вершины к вышестоящей, но операции проталкивания потока проталкивают его только вниз. Высота источника является фиксированной и составляет |У|, а фиксированная высота стока равна 0. Высота всех других вершин сначала равна 0 и увеличивается со временем. Алгоритм сначала посылает максимально возможный поток вниз от источника к стоку. Посылается количество, в точности достаточное для заполнения всех выходящих из источника труб до достижения их пропускной способности; таким образом посылается поток, равный пропускной способности разреза (s, V — s). Когда поток впервые входит в некоторую транзитную вершину, он накапливается в ее резервуаре. Отсюда он со временем проталкивается вниз.
Может случиться так, что все трубы, выходящие из вершины и и еще не заполненные потоком, ведут к вершинам, которые лежат на одном уровне с и или находятся выше нее. В этом случае, чтобы избавить переполненную вершину и от избыточного потока, необходимо увеличить ее высоту — провести операцию подъема (relabeling) вершины и. Ее высота увеличивается и становится на единицу больше, чем высота самой низкой из смежных с ней вершин, к которым ведут незаполненные трубы. Следовательно, после подъема вершины существует по крайней мере одна выходящая труба, по которой можно протолкнуть дополнительный поток.
В конечном итоге весь поток, который может пройти к стоку, оказывается там. Больше пройти не может, поскольку трубы подчиняются ограничениям пропускной способности; количество потока через любой разрез ограничено его пропускной способностью. Чтобы сделать предпоток “нормальным” потоком, алгоритм после этого посылает избытки, содержащиеся в резервуарах переполненных вершин, обратно к источнику, продолжая менять метки вершин, чтобы их высота
превышала фиксированную высоту источника | У|. Как будет показано, после того как резервуары окажутся пустыми, предпоток оказывается не только нормальным, но и максимальным потоком.
Основные операции
Как следует из предыдущих рассуждений, в алгоритме проталкивания пред- потока выполняются две основные операции: проталкивание избытка потока от вершины к одной из соседних с ней вершин и подъем вершины. Применение этих операций зависит от высот вершин, которым мы сейчас дадим более точные определения.
Пусть G = (У, 5) — транспортная сеть с источником s и стоком t, а / — некоторый предпоток в G. Функция h : V —> N является функцией высоты (height function), если h (s) = |У |, h (t) = 0 и
h (и) h(v) + 1
для любого остаточного ребра (u, v) € Ej. Сразу же можно сформулировать следующую лемму.
Лемма 26.13. Пусть G = (У, Е) — транспортная сеть, а / — некоторый предпоток в G, и пусть h — функция высоты, заданная на множестве У. Для любых двух вершин tz, v е У справедливо следующее утверждение: если h (и) > h (и) + 1, то (и, v) не является ребром остаточного графа. ■
Операция проталкивания
Основная операция Push(u, v) может применяться тогда, когда и является переполненной вершиной, с/ (u, и) > 0 и h (u) = h (v) + 1. Представленный ниже псевдокод обновляет предпоток / в заданной сети G = (У, Е). Предполагается, что остаточные пропускные способности при заданных / и с можно вычислить за фиксированное время. Излишний поток, хранящийся в вершине и, поддерживается в виде атрибута е [и], а высота вершины и — в виде атрибута h [и]. Выражение d/(u, v) — это временная переменная, в которой хранится количество потока, которое можно протолкнуть из и в и.
PUSH(u, v)
о Условия применения: и переполнена, с/(и, и) > 0, и 7t[it] = /i[v] + 1.
о Действие: Проталкивает d/(u, v) = min(e[u], c/(u, и)) единиц потока из и в и.
d/(n,v) *— min(e[n],c/(n, и))
fVu, v] «- /[u, vj + d/(u, v)
f[«,w]<f[«,v]
e[u] <— e[u] — df(u, u)
e[v] *— e[v] + df(u, v)
Процедура PUSH работает следующим образом. Предполагается, что вершина и имеет положительный избыток е [и] и остаточная пропускная способность ребра (u, v) положительна. Тогда можно увеличить поток из и в и на величину df (и, v) = = min (е [и], с/ ^ v)\ при этом избыток е [п] не становится отрицательным и не будет превышена пропускная способность с (и, и). В строке 3 вычисляется значение dj (и, v), после чего в строках 4-5 обновляется /, а в строках 6-7 обновляется е. Таким образом, если функция / являлась предпотоком перед вызовом процедуры PUSH, она останется предпотоком и после ее выполнения.
Обратите внимание, что в коде процедуры PUSH ничто не зависит от высот вершин и и и; тем не менее, мы запретили вызов процедуры, если не выполнено условие h [u] = h [v] + 1. Таким образом, избыточный поток проталкивается вниз только при разности высот, равной 1. Согласно лемме 26.13, между двумя вершинами, высоты которых отличаются более чем на 1, не существует остаточных ребер, а значит, поскольку атрибут h является функцией высоты, мы ничего не добьемся, разрешив проталкивать вниз поток при разности высот, превышающей 1.
Процедура Push(u, и) называется проталкиванием (push) из и к и Если операция проталкивания применяется к некоторому ребру (и, и), выходящему из вершины и, будем говорить, что операция проталкивания применяется к и. Если в результате ребро (и, и) становится насыщенным (saturated) (после проталкивания с/ (и, и) = 0), то это насыщающее проталкивание (saturating push), в противном случае это ненасыщающее проталкивание (nonsaturating push). Если ребро насыщено, оно не входит в остаточную сеть. Один из результатов ненасыщающего проталкивания характеризует следующая лемма.
Лемма 26.14. После ненасыщающего проталкивания из и в и вершина и более не является переполненной.
Доказательство. Поскольку проталкивание ненасыщающее, количество посланного потока должно быть равно величине в [и] непосредственно перед проталкиванием. Поскольку избыток в [и] уменьшается на эту величину, после проталкивания он становится равным 0.■
Операция подъема
Основная операция Relabel(tz) применяется, если вершина и переполнена и h [г/] ^ h, [г?] для всех ребер (u, v) е Ej. Иными словами, переполненную вершину и можно подвергнуть подъему, если все вершины v, для которых имеется остаточная пропускная способность от и к v, расположены не ниже и, так что протолкнуть поток из и нельзя. (Напомним, что по определению ни источник s, ни сток t не могут быть переполнены; следовательно, ни s, ни t нельзя подвергать подъему.)
Relabel(u)
> Условия применения: и переполнена и для всех v Е V таких что (tt, v) е Ej, h[u] < /i[v].
> Действие: увеличивает высоту и.
h\u\ 1 + min {7г[т?] : (u, v) е Ej^
Когда вызывается операция Relabel(iz), мы говорим, что вершина и подвергается подъему (relabeled). Заметим, что когда производится подъем и, остаточная сеть Ej должна содержать хотя бы одно ребро, выходящее из и, чтобы минимизация в коде операции производилась по непустому множеству. Это свойство вытекает из предположения, что вершина и переполнена. Поскольку е [и] > 0, имеем е [и] = = f(V,u) > 0 и, следовательно, должна существовать по крайней мере одна вершина v, такая что / [v, и\ > 0. Но тогда
с/ (и, и) = с (и, v) - / [и, и] = с (и, и) + / [и, и] > 0,
откуда вытекает, что (и, v) € Ej. Таким образом, операция Relabel(u) дает и наибольшую высоту, допускаемую наложенными на функцию высоты ограничениями.
Универсальный алгоритм
Универсальный алгоритм проталкивания предпотока использует следующую процедуру для создания начального предпотока в транспортной сети:
Initialize_Preflow(G', s)
for (для) каждой вершины u е V[G]
do /г[и]0
е[и] <— 0
for (для) каждого ребра (it, v) € F[G]
do /[it, v] <— 0
/[v, it] 0
Z^Hmi
for (для) каждой вершины и е ^^[з]
91011129101112do f [s, u] «— c(s, u) fV^ s] <c(s,u) e[u] <— c^u) e[s] <— e[s] — c(s^u)
9
10
11
12
9
10
11
12
с (и, v)/ [u, v] = -c (v, iz)с (и, v)/ [u, v] = -c (v, iz)^0^0если и = s,если v = s, в противном случае.если и = s,если v = s, в противном случае.(26.10)(26.10)Процедура Initialize_Preflow(G, s) создает начальный предпоток f, определяемый формулой
с (и, v)
/ [u, v] = -c (v, iz)
с (и, v)
/ [u, v] = -c (v, iz)
^0
^0
если и = s,
если v = s, в противном случае.
если и = s,
если v = s, в противном случае.
(26.10)
(26.10)
То есть каждое ребро, выходящее из источника s, заполняется до его пропускной способности, а все остальные ребра не несут потока. Для каждой вершины у, смежной с источником, начальное значение е [v] = c(s,v), а начальное значение е [s] устанавливается равным сумме этих значений с обратным знаком. Универсальный алгоритм начинает работу с начальной функцией высоты
/z [iz] = </z [iz] = <|У| если и = s,|У| если и = s,в противном случае.в противном случае.
/z [iz] = <
/z [iz] = <
|У| если и = s,
|У| если и = s,
в противном случае.
в противном случае.
Это действительно функция высоты, поскольку единственными ребрами (iz, v), для которых h\u\ > h [v] + 1, являются ребра, для которых и = s, и эти ребра заполнены, а это означает, что их нет в остаточной сети.
Инициализация, за которой следует ряд операций проталкивания и подъема, выполняемых без определенного порядка, образует алгоритм Generic_Push_ Relabel:
Generic_Push_Relabel(G)
Initialize_Preflow(G, s)
while существует применимая операция проталкивания или подъема
do выбрать операцию проталкивания или подъема и выполнить ее
Следующая лемма утверждает, что до тех пор пока существует хотя бы одна переполненная вершина, применима хотя бы одна из этих операций.
Лемма 26.15 (Для переполненной вершины можно выполнить либо проталкивание, либо подъем). Пусть G = (V, Е) — транспортная сеть с источником s и стоком t, f — предпоток, a h — некоторая функция высоты для /. Если и — некоторая переполненная вершина, то к ней можно применить или операцию проталкивания, или операцию подъема.
Доказательство. Для любого остаточного ребра (u, у) выполняется соотношение h (и) ^ h (и)+1, поскольку h, — функция высоты. Если к и не применима операция проталкивания, то для всех остаточных ребер (u, у) должно выполняться условие h(u) < h(y) + 1, откуда следует, что /i(u) ^ /i(y). В этом случае к и можно применить операцию подъема. ■
Корректность метода проталкивания предпотока
Чтобы показать, что универсальный алгоритм проталкивания предпотока позволяет решить задачу максимального потока, сначала докажем, что после его завершения предпоток / является максимальным потоком. Затем докажем, что алгоритм завершается. Начнем с рассмотрения некоторых свойств функции высоты h.
Лемма 26.16 (Высота вершины никогда не уменьшается). При выполнении процедуры Generic_Push_Relabel над транспортной сетью G = (V, Е), для любой вершины иЕ V ее высота h [и] никогда не уменьшается. Более того, всякий раз, когда к вершине и применяется операция подъема, ее высота h [и] увеличивается как минимум на 1.
Доказательство. Поскольку высота вершины меняется только при выполнении операции подъема, достаточно доказать второе утверждение леммы. Если вершина и должна подвергнуться подъему, то для всех вершин у, таких что (и, и) е Ej, выполняется условие h [u] ^ h [и]. Таким образом, h [u] < 1 + min{/i [и] : (и, и) 6 6 Ej^, и операция должна увеличить значение h [и]. ■
Лемма 26.17. Пусть G = (V, Е) — транспортная сеть с источником s и стоком t. Во время выполнения процедуры Generic_Push_Relabel над сетью G атрибут h сохраняет свойства функции высоты.
Доказательство. Доказательство проводится индукцией по числу выполненных основных операций. Как уже отмечалось, вначале h является функцией высоты.
Утверждается, что если h — функция высоты, то после выполнения операции Relabel(u) она останется функцией высоты. Если посмотреть на остаточное ребро (и, v) € Ej, выходящее из и, то операция Relabel(u) гарантирует, что после ее выполнения h [u] < h [у] + 1. Рассмотрим теперь некоторое остаточное ребро (w, и), входящее в и. Согласно лемме 26.16, h [w] < h [и] + 1 перед выполнением операции Relabel(u); следовательно, после ее выполнения h [w] < h [u] + 1. Таким образом, операция Relabel(u) оставляет h функцией высоты.
Теперь рассмотрим операцию PUSH(u, и). Данная операция может добавить ребро (у, и) к Ej или удалить ребро (и, у) из Е/. В первом случае имеем h [и] = = h [и] — 1 < h [и] + 1, так что h остается функцией высоты. Во втором случае
удаление ребра (и, v) из остаточной сети приводит к удалению соответствующего ограничения, так что h по-прежнему остается функцией высоты.■
Следующая лемма характеризует важное свойство функций высоты.
Лемма 26.18. Пусть G = (V, Е) — транспортная сеть с источником s и стоком I, f — предпоток в G, a h — функция высоты, определенная на множестве V. Тогда не существует пути из источника s к стоку t в остаточной сети Gj.
Доказательство. Предположим, что в Gf существует некоторый путь р = (^о, ^1, ..., v^) из з в t, где vq = s, a v^ = t, и покажем, что это приводит к противоречию. Без потери общности можно считать, что р — простой путь, так что k < | V |. Для г = 0,1,..., к — 1, ребра (v*, г>г+1) Е Ej. Поскольку h — функция высоты, для г = 0,1,..., к — 1 справедливы соотношения h (wi) ^ h (vi+i) + 1- Объединяя эти неравенства вдоль пути р, получим, что h (s) ^ h (Z) + к. Но поскольку h (f) = О, получаем h(s) ^ к < |V|, что противоречит требованию h(s) = |V| к функции высоты.■
Теперь покажем, что после завершения универсального алгоритма проталкивания предпотока вычисленный алгоритмом предпоток является максимальным потоком.
Теорема 26.19 (О корректности универсального алгоритма проталкивания предпотока). Если алгоритм Generic_Push_Relabel, выполняемый над сетью G = (V, Е) с источником з и стоком t, завершается, то вычисленный им предпоток / является максимальным потоком в G.
Доказательство. Мы используем следующий инвариант цикла:
Всякий раз, когда производится проверка условия цикла while в строке 2 процедуры Generic_Push_Relabel, / является предпотоком.
Инициализация. Процедура Initialize_Preflow делает / предпотоком.
Сохранение. Внутри цикла while в строках 2-3 выполняются только операции проталкивания и подъема. Операции подъема влияют только на атрибуты высоты, но не на величины потока, следовательно, от них не зависит, будет ли / предпотоком. Анализируя работу процедуры PUSH, мы доказали, что если / является предпотоком перед выполнением операции проталкивания, он остается предпотоком и после ее выполнения.
Завершение. По завершении процедуры каждая вершина из множества V - {s, t} должна иметь избыток, равный 0, поскольку из лемм 26.15 и 26.17 и инварианта, что / всегда остается предпотоком, вытекает, что переполненных вершин нет. Следовательно, / является потоком. Поскольку h — функция
высоты, согласно лемме 26.18 не существует пути из s в t в остаточной сети Gy Согласно теореме о максимальном потоке и минимальном разрезе (теорема 26.7), / является максимальным потоком. В
Анализ метода проталкивания предпотока
Чтобы показать, что универсальный алгоритм проталкивания предпотока действительно завершается, найдем границу числа выполняемых им операций. Для каждого вида операций (подъем, насыщающее проталкивание и ненасыщающее проталкивание) имеется своя граница. Зная эти границы, несложно построить алгоритм, время работы которого О У^Еу Прежде чем проводить анализ, докажем важную лемму.
Лемма 26.20. Пусть G = (У, Е) — транспортная сеть с источником s и стоком t, а / — предпоток в G. Тогда для любой переполненной вершины и существует простой путь из и в s в остаточной сети Gу
Доказательство. Пусть и — некоторая переполненная вершина, и пусть U = {и : в Gf существует простой путь изиву}. Предположим, что s ^ U, и покажем, что это приведет нас к противоречию. Обозначим U = V—U.
Утверждается, что для каждой пары вершин w 6 U и v Е U выполняется соотношение / (w, v) ^ 0. Почему? Если / (w, и) > 0, то / (v, w) < 0, откуда в свою очередь вытекает, что с/ (и, w) = с (и, w) — / (и, w) > 0. Следовательно, существует ребро (v,w) 6 Ej и существует простой путь вида n v w в остаточной сети Gу что противоречит тому, как мы выбирали w.
Таким образом, должно выполняться неравенство f(U,U) ^ 0, поскольку каждое слагаемое в этом неявном суммировании неположительно, и, следовательно,
е У) = f (V, U) = (из уравнения (26.9))
= / (у, U) + f (U, U) = (согласно лемме 26.1 (часть 3))
= / (U, U) ^ 0 (согласно лемме 26.1 (часть 1)).
Излишки неотрицательны для всех вершин из множества V — {s}; поскольку мы предположили, что U С V — {s}, то для всех вершин v € U должно выполняться е (у) = 0. В частности, е (и) = 0, что противоречит предположению о том, что и переполнена. а
Следующая лемма устанавливает границы высот вершин, а вытекающее из нее следствие устанавливает предел общего числа выполненных операций подъема.
Лемма 26.21. Пусть G = (V,E) — транспортная сеть с источником s и стоком t. В любой момент в процессе выполнения процедуры Generic_Push_Relabel в сети G для всех вершин и е V выполняется соотношение h [и] ^ 2 |V| — 1.
Доказательство. Высоты источника s и стока t никогда не изменяются, поскольку эти вершины по определению не переполняются. Таким образом, всегда h, [s] = = |V| и h [t] = 0, и обе не превышают 2 |V| — 1.
Рассмотрим теперь произвольную вершину и 6 V - {s, t}. Изначально К [и] = = 0 ^ 2 | V| — 1. Покажем, что после каждого подъема неравенство h [и] < 21 V| — 1 остается справедливым. При подъеме вершины и она является переполненной и, согласно лемме 26.20, имеется простой путь р из и в s в G/. Пусть р = = (vo> vi > • • ■ > Vfc), где «о = и, a dr = s, и k ^ |У| — 1, поскольку р — простой путь. Для г = 0,1,..., к — 1 имеем (и,, Vi+i) € Ej, следовательно, h [v,] ^ h [vi+i] + + 1 согласно лемме 26.17. Расписав неравенства для всех составляющих пути р, получаем h [u] = h [vq] ^ h [vt] + к ^ h [s] + (|V| — 1) = 2 |V| — 1. a
Следствие 26.22 (Верхний предел числа подъемов). Пусть G = ^ - транспортная сеть с источником s и стоком t. Тогда в процессе выполнения процедуры Generic_Push_Relabel в G число подъемов не превышает 2 |V| — 1 для одной вершины, а их общее количество не более (2 |V| — 1) (|V| — 2) < 2 |V|2.
Доказательство. Во множестве V — {s, <} только |V| — 2 вершин могут быть подняты. Пусть и € V — {s,t}. Операция Relabel(u) увеличивает высоту /i[u]. Значение h [и] первоначально равно 0 и, согласно лемме 26.21, возрастает не более чем до 2 |V| — 1. Таким образом, каждая вершина u € V — {s, t} подвергается подъему не более 2 |V| — 1 раз, а общее число выполненных подъемов не превышает (2 |V| -1) (И -2) <2 |V|2. ■
Лемма 26.21 помогает также определить границу количества насыщающих проталкиваний.
Лемма 26.23 (Граница количества насыщающих проталкиваний). В процессе выполнения алгоритма Generic_Push_Relabel для любой транспортной сети G = (V, Е) число насыщающих проталкиваний меньше, чем 2 |V| |S|.
Доказательство. Для любой пары вершин и, v € V рассмотрим насыщающие проталкивания от и к v и от v к и (в обе стороны), и назовем их насыщающими проталкиваниями между и и и. Если есть хотя бы одно такое проталкивание, то хотя бы одно из ребер (и, и) и (v, ц) является ребром Е. Теперь предположим, что произошло насыщающее проталкивание из и в v. В этот момент h [v] = h [и] — - 1. Чтобы позднее могло произойти еще одно проталкивание из и в и, алгоритм сначала должен протолкнуть поток из и в и, что невозможно до тех пор, пока не
будет выполнено условие h [v] = h [u] + 1. Поскольку h [iz] никогда не уменьшается, для того чтобы выполнялось условие h, [v] = h [tz] + 1, значение h [v] должно увеличиться по меньшей мере на 2. Аналогично, h [iz] должно увеличиться между последовательными насыщающими проталкиваниями из v в и как минимум на 2. Высота изначально принимает значение 0 и, согласно лемме 26.21, никогда не превышает 2 |У| — 1, откуда следует, что количество раз, когда высота вершины может увеличиться на 2, меньше |У|. Поскольку между двумя насыщающими проталкиваниями между и и v хотя бы одна из высот h [iz] и h [v] должна увеличиться на 2, всего имеется меньше 2|У| насыщающих проталкиваний между и и г?. Умножив это число на число ребер, получим, что общее число насыщающих проталкиваний меньше, чем 2 |V| |j5|. и
Следующая лемма устанавливает границу числа ненасыщающих проталкиваний в обобщенном алгоритме проталкивания предпотока.
Лемма 26.24 (Граница количества ненасыщающих проталкиваний). В процессе выполнения алгоритма Generic_Push_Relabel для любой транспортной сети G = (V, Е) число ненасыщающих проталкиваний меньше 4 | V |2 (|У| + \Е\У
Доказательство. Определим потенциальную функцию Ф = 5Zv-e(v)>o ^ М- Изначально Ф = 0 и значение Ф может изменяться после каждого подъема, насыщающего и ненасыщающего проталкивания. Мы найдем предел величины, на которую насыщающие проталкивания и подъемы могут увеличивать Ф. Затем покажем, что каждое ненасыщающее проталкивание должно уменьшать Ф как минимум на 1, и используем эти оценки для определения верхней границы числа ненасыщающих проталкиваний.
Рассмотрим два пути увеличения Ф. Во-первых, подъем вершины и увеличивает Ф менее чем на 2 |У |, поскольку множество, для которого вычисляется сумма, остается прежним, а подъем не может увеличить высоту вершины iz больше, чем ее максимально возможная высота, которая составляет не более 2 |У| — 1 согласно лемме 26.21. Во-вторых, насыщающее проталкивание из вершины iz в вершину v увеличивает Ф менее чем на 2 |У|, поскольку никаких изменений высот при этом не происходит, и только вершина у, высота которой не более 2 |У| — 1, может стать переполненной.
Теперь покажем, что ненасыщающее проталкивание из и в и уменьшает Ф не менее чем на 1. Почему? Перед ненасыщающим проталкиванием вершина и была переполненной, a v могла быть переполненной или непереполненной. Согласно лемме 26.14, после этого проталкивания и больше не является переполненной. Кроме того, после данного проталкивания v должна быть переполненной, если только она не является источником. Следовательно, потенциальная функция Ф уменьшилась ровно на h [iz], а увеличилась на 0 или на h [v]. Поскольку h [u] - — A [v] = 1, в итоге потенциальная функция уменьшается как минимум на 1.
Итак, в ходе выполнения алгоритма увеличение Ф происходит благодаря подъемам и насыщающим проталкиваниям; согласно следствию 26.22 и лемме 26.23, это увеличение ограничено, и составляет менее (2 |У|) ^2 |У|2) + + (2 |V|) (2 |V| \Е\) = 4 |V|2 (|V| + \E\). Поскольку Ф ^ 0, суммарная величина уменьшения и, следовательно, общее число ненасыщающих проталкиваний меньше, чем 4|V|2 (|У| + \Е\).g
Определив границу числа подъемов, насыщающего проталкивания и ненасыщающего проталкивания, мы заложили основу дальнейшего анализа процедуры Generic_Push_Relabel, а также любых других алгоритмов, основанных на методе проталкивания предпотока.
Теорема 26.25. При выполнении процедуры Generic_Push_Relabel для любой транспортной сети G = (V, Е) число основных операций составляет О (у2Еу
Доказательство. Непосредственно вытекает из уже доказанных следствия 26.22 и лемм 26.23 и 26.24.■
Таким образом, алгоритм завершается после О (V^E) операций. Итак, осталось предложить эффективные методы реализации каждой операции и выбора подходящей выполняемой операции.
Следствие 26.26. Существует реализация обобщенного алгоритма проталкивания предпотока, которая для любой сети G = (V,E) выполняется за время O(V2E\
Доказательство. В упражнении 26.4-1 предлагается показать, как реализовать обобщенный алгоритм, в котором на каждый подъем затрачивается время О (У), а на каждое проталкивание — 0(1). Там же предлагается разработать структуру данных, которая позволит выбрать применимую операцию за время 0(1). Тем самым следствие будет доказано.g
Упражнения
1. Покажите, как реализовать обобщенный алгоритм проталкивания предпотока, в котором на каждый подъем затрачивается время О (V), на каждое проталкивание — О (1), и то же время О (1) — на выбор применимой операции; суммарное время выполнения при этом составляет О (V^E^.
26А-2. Докажите, что время, затрачиваемое в целом на выполнение всех О (V2) подъемов в обобщенном алгоритме проталкивания предпотока, составляет только О (у Е).
3. Предположим, что с помощью алгоритма проталкивания предпотока найден максимальный поток для транспортной сети G = (У, Е). Разработайте быстрый алгоритм поиска минимального разреза в G.
4. Разработайте эффективный алгоритм проталкивания предпотока для поиска максимального паросочетания в двудольном графе. Проанализируйте время его работы.
5. Предположим, что все пропускные способности ребер транспортной сети G = (V, Е) принадлежат множеству {1,2,..., Ц. Проанализируйте время выполнения обобщенного алгоритма проталкивания предпотока, выразив его через |V|, |S| и к. (Указание: сколько ненасыщающих проталкиваний можно применить к каждому ребру, прежде чем оно станет насыщенным?)
6. Покажите, что строку 7 процедуры Initialize_Preflow можно заменить строкой
7 7.Ы^№)|-2
и это не повлияет на корректность или асимптотическую производительность универсального алгоритма проталкивания предпотока.
7. Пусть 5j (и, v) — расстояние (количество ребер) от и до и в остаточной сети Gf. Покажите, что в процессе работы процедуры Generic_Push_Rela- BEL выполняются следующие свойства: если h [u] < | V|, то h [и] ^ ^ 5 $ (u,t), а если h [и] > |У|, то h [и] — |V| ^ 6/ (и, s).
* 26.4-8. Как и в предыдущем упражнении, пусть 6j (и, v) — расстояние от и до и в остаточной сети Gj. Покажите, как можно модифицировать обобщенный алгоритм проталкивания предпотока, чтобы в процессе работы процедуры выполнялись следующие свойства — если h [u] < |V|, то ^М = ^/(u>^)> а если ^М ^ |V|, то ^М — |У| = 6j(u,s\ Суммарное время, затраченное на обеспечение выполнения данного свойства, должно составлять О (V Е).
9. Покажите, что количество ненасыщающих проталкиваний, выполняемых процедурой Generic_Push_Relabel в транспортной сети G = (V, Е), не превышает 41V|2 |S|, если |У| ^ 4.
* 26.5 Алгоритм “поднять-в-начало”
Метод проталкивания предпотока позволяет нам применять основные операции в произвольном порядке. Однако после тщательного выбора порядка их выполнения и при эффективном управлении структурой сетевых данных, можно
решить задачу поиска максимального потока быстрее, чем за предельное время О(у2Е), определенное следствием 26.26. Далее мы рассмотрим алгоритм “поднять-в-начало” (relabel-to-front), основанный на методе проталкивания пред- потока, время выполнения которого составляет О (У3), что асимптотически не хуже, чем О (у2Ё), а для плотных сетей — лучше.
Алгоритм “поднять-в-начало” поддерживает список вершин сети. Алгоритм сканирует список с самого начала, выбирает некоторую переполненную вершину и, а затем “разгружает” ее, т.е. выполняет операции проталкивания и подъема до тех пор, пока избыток в и не станет равен 0. Если выполнялось поднятие вершины, то она переносится в начало списка (отсюда и название алгоритма: “поднять-в- начало”), и алгоритм начинает очередное сканирование списка.
Для исследования корректности и временных характеристик данного алгоритма используется понятие “допустимых” ребер: это ребра остаточной сети, через которые можно протолкнуть поток. Доказав некоторые свойства сети, состоящей из допустимых ребер, мы рассмотрим операцию разгрузки а затем представим и проанализируем сам алгоритм “поднять-в-начало”.
Допустимые ребра и сети
Пусть G = У,Е) — некоторая транспортная сеть с источником s и стоком t, f — предпоток в G, a h — функция высоты. Ребро (и, и) называется допустимым ребром (admissible edge), если с/(и, v) > 0 и Л(ц) = h(v) + 1. В противном случае ребро (и, и) называется недопустимым (inadmissible). Допустимой сетью (admissible network) является сеть Gj^ = УЕ/^), где Ej^ — множество допустимых ребер.
Допустимая сеть состоит из тех ребер, через которые можно протолкнуть поток. Следующая лемма показывает, что такая сеть является ориентированным ациклическим графом.
Лемма 26.27 (Допустимая сеть является ациклической). Если G = у, Е) — некоторая транспортная сеть с источником s и стоком t, f — предпоток в G, a h — функция высоты, тогда допустимая сеть Gj^ = У, Ef^) является ациклической.
Доказательство. Доказательство проводится методом от противного. Предположим, что G^h. содержит некоторый циклический путь р = (уо!^!,---,^), где «о = Vk и к > 0. Поскольку каждое ребро пути р является допустимым, справедливо равенство h (vj-i) = h (v,) + 1 для г = 1,2,..., к. Просуммировав эти равенства вдоль циклического пути, получаем:
к к к
52 (у*-1) = 52 (^ (у*) + !) = 52 ^ (и<) + к.
г=1 г=1 г=1
Поскольку каждая вершина циклического пути р встречается при суммировании по одному разу, приходим к выводу, что к = 0, что противоречит первоначальному предположению. В
Следующая лемма показывает, как операции проталкивания и подъема изменяют допустимую сеть.
Лемма 26.28. Пусть G = (V, Е) — транспортная сеть с источником з и стоком t, f — предпоток в G, и предположим, что атрибут h — функция высоты. Если вершина и переполнена и ребро (tz, v) является допустимым, то применяется операция Push(u, у). Данная операция не создает новые допустимые ребра, однако она может привести к тому, что ребро (tz, v) станет недопустимым.
Доказательство. По определению допустимого ребра, из и в v можно протолкнуть поток. Поскольку вершина и переполнена, применяется операция Push(?z, г?). В результате проталкивания потока из и в и может быть создано только одно новое остаточное ребро (v, и). Поскольку h [v] = h [tz] — 1, ребро (v, iz) не может стать допустимым. Если примененная операция является насыщающим проталкиванием, то после ее выполнения с/ (щ v) = 0 и ребро (tz, v) становится недопустимым, в
Лемма 26.29. Пусть G = (V, Е) — транспортная сеть с источником з и стоком t, f — предпоток в G, и предположим, что атрибут h — функция высоты. Если вершина и переполнена и не имеется допустимых ребер, выходящих из и, то применяется операция Relabel(tz). После подъема появляется по крайней мере одно допустимое ребро, выходящее из и, но нет допустимых ребер, входящих в и.
Доказательство. Если вершина tz переполнена, то, согласно лемме 26.15, к ней применяется или операция проталкивания, или операция подъема. Если не существует допустимых ребер, выходящих из и, то протолкнуть поток из и невозможно, следовательно, применяется операция RELABEL(tz). После данного подъема h [tz] = 1 + min ^h [v] : (и, v) Е EjY Таким образом, если v — вершина, в которой реализуется минимум указанного множества, ребро (tz, v) становится допустимым. Следовательно, после подъема существует по крайней мере одно допустимое ребро, выходящее из и.
Чтобы показать, что после подъема не существует входящих в и допустимых ребер, предположим, что существует некоторая вершина v, такая что ребро (tz, v) допустимо. Тогда после подъема h [v] = h [tz] + 1, так что непосредственно перед подъемом h [г?] > h [tz] + 1. Но, согласно лемме 26.13, не существует остаточных ребер между вершинами, высоты которых отличаются более чем на 1. Кроме того, подъем вершины не меняет остаточную сеть. Таким образом, ребро (v, tz) не принадлежит остаточной сети, следовательно, оно не может находиться в допустимой сети. g
Списки соседей
Ребра в алгоритме “поднять-в-начало” объединены в так называемые “списки соседей”. В заданной транспортной сети G = (V, Е) списком соседей (neighbor list) N [zz] некоторой вершины и Е V является односвязный список вершин, смежных с и в G. Таким образом, вершина v оказывается в списке N [и] только в том случае, если (zz, zz) Е Е или (и, и) Е Е. Список соседей TV [zz] содержит только такие вершины v, для которых может существовать остаточное ребро (и, и). На первую вершину в списке N [п] указывает указатель head [TV [и]]. Для вершины, следующей за v в списке соседей, поддерживается указатель next-neighbor^; этот указатель имеет значение NIL, если v — последняя вершина в списке соседей.
Алгоритм “поднять-в-начало” циклически обрабатывает каждый список соседей в произвольном порядке, который фиксируется в процессе выполнения алгоритма. Для каждой вершины и поле current [п] указывает на текущую вершину списка N [п]. Первоначально current [zz] устанавливается равным head [TV [zz]].
Разгрузка переполненной вершины
Переполненная вершина и разгружается (discharged) путем проталкивания всего ее избыточного потока через допустимые ребра в смежные вершины, при этом, если необходимо, производится подъем вершины и, чтобы ребра, выходящие из вершины и, стали допустимыми. Псевдокод разгрузки выглядит следующим образом:
Discharge(zz)
while e[zz] > О
do v <— current\u\
if v = NIL
then Relabel(zz)
current [u]head [TV [zz]]
elseif c/(zz, z;) > 0 и h\u\ = h\u\ + 1
then Push(zz, u)
else current [a] next-neighbor^]
На рис. 26.9 показаны несколько итераций цикла while (строки 1-8), тело цикла выполняется до тех пор, пока вершина и имеет положительный избыток. Каждая итерация выполняет одно из трех действий в зависимости от текущей вершины и из списка соседей TV[zz]. На рисунке показаны только смежные с у вершины и ребра, входящие в у или выходящие из нее. Число внутри каждой вершины — ее избыток к моменту начала первой итерации, показанной в данном фрагменте; каждая вершина показана на своей высоте. Справа приводится список соседей TV [у] в начале каждой итерации (номер итерации указан вверху).
Рис. 26.9. Разгрузка вершины -у. Чтобы протолкнуть весь избыток потока из вершины у, требуется 15 итераций цикла while процедуры Discharge
Если v равно NIL, значит, мы дошли до конца списка АГ [и]. Выполняется подъем вершины и (строка 4), а затем (строка 5) текущей соседней вершиной и делается первая вершина из списка N [tz]. (В приведенной ниже лемме 26.30 утверждается, что в данной ситуации подъем применим.)
Если v не равно NIL, и ребро (гц v) является допустимым (что определяется с помощью проверки в строке 6), тогда (строка 7) производится проталкивание части (или всего) избытка из и в вершину и.
Если v не равно NIL, но ребро (tz, v) является недопустимым, тогда (строка 8) указатель current [iz] в списке N [iz] перемещается на одну позицию вперед.
Заметим, что если процедура DISCHARGE вызывается для некоторой переполненной вершины и, последним действием, выполняемым данной процедурой, должно быть проталкивание из и. Почему? Процедура завершается только то-
гда, когда избыток е [и] становится равным нулю, и ни подъем, ни перемещение указателя current [и] не влияют на значение е [и].
Теперь необходимо убедиться, что когда процедура DISCHARGE вызывает процедуры Push или Relabel, эти операции применимы. Следующая лемма доказывает данный факт.
Лемма 26.30. Когда процедура Discharge вызывает в строке 7 процедуру Push(u, и), то для пары вершин (u, v) применима операция проталкивания. Когда
процедура Discharge вызывает в строке 4 процедуру Relabel(iz), к вершине и применим подъем.
Доказательство. Проверки в строках 1 и 6 гарантируют, что операция проталкивания вызывается только тогда, когда она применима, таким образом, первое утверждение леммы доказано.
Чтобы доказать второе утверждение, исходя из проверки в строке 1 и леммы 26.29, необходимо только показать, что все ребра, выходящие из iz, являются недопустимыми. При повторных вызовах Discharge(tz) указатель current [и] смещается вниз по списку ^[гz]. Каждый “проход” начинается с головы списка N [и] и оканчивается при current [n] = NIL; в этот момент производится подъем и и начинается новый проход. Во время прохода, чтобы передвинуть указатель current [и] с некоторой вершины v е N [п] вперед, ребро (и, v) должно быть признано недопустимым проводимой в строке 6 проверкой. Поэтому к окончанию очередного прохода все ребра, выходящие из и, в некоторый момент этого прохода были признаны недопустимыми. Ключевым является тот факт, что к концу прохода все ребра, покидающие и, остаются недопустимыми. Почему? Согласно лемме 26.28, операции проталкивания не могут приводить к созданию допустимых ребер, в том числе и выходящих из вершины и. Поэтому любое допустимое ребро должно быть создано операцией подъема. Но вершина и не подвергается подъему в процессе прохода, а любая другая вершина и, подвергшаяся подъему в процессе данного прохода, не имеет после подъема допустимых входящих ребер согласно лемме 26.29. Таким образом, в конце прохода все ребра, выходящие из и, остаются недопустимыми, и лемма доказана.я
Алгоритм “поднять-в-начало”
В алгоритме “поднять-в-начало” поддерживается связанный список L, состоящий из всех вершин V — {s, t}. Ключевым свойством данного списка является то, что вершины в нем топологически отсортированы в соответствии с допустимой сетью, как будет показано при рассмотрении инварианта цикла ниже. (Напомним, что, согласно лемме 26.27, допустимая сеть является ориентированным ациклическим графом.)
В приведенном ниже псевдокоде алгоритма “поднять-в-начало” предполагается, что для каждой вершины и уже создан список соседей N [и]. Кроме того, предполагается, что next [и] указывает на вершину, следующую за и в списке L, и что, как обычно, если и — последняя вершина данного списка, то next [u] = NIL.
Relabel_To_Front(G, s, t)
Initialize_Preflow(G, s)
L <— V[G] — {s, t} в произвольном порядке
for (для) каждой вершины uE V[G] - {s,t}
do current [u] Лead[^[гz]]
и *— head\L\
while iz / NIL
do old-height h\u\
DlSCHARGE(tt)
if h\u\ > old-height
then передвинуть и в начало списка L
и next\u\
Алгоритм “поднять-в-начало” работает следующим образом. Строка 1 инициализирует предпоток и высоты теми же значениями, что и обобщенный алгоритм проталкивания предпотока. Строка 2 инициализирует список L, который содержит все потенциально переполненные вершины в произвольном порядке. Строки 3-4 инициализируют указатель current каждой вершины и, чтобы он указывал на первую вершину в списке соседей и.
Как показано на рис. 26.10, цикл while (строки 6-11) проходит по списку 1, разгружая вершины. Рассмотрение начинается с первой вершины списка L (строка 5). На каждой итерации цикла выполняется разгрузка вершины и (строка 8). Если процедура Discharge изменила высоту вершины и, строка 10 перемещает эту вершину в начало списка L. Чтобы определить, подверглась ли вершина и подъему, перед разгрузкой ее высота сохраняется в переменной oldjieight (строка 7), а затем это значение сравнивается со значением высоты после выполнения процедуры разгрузки (строка 9). Строка 11 обеспечивает выполнение очередной итерации цикла while для вершины, следующей за и в списке L. Если и была передвинута в начало списка, рассматриваемая на следующей итерации вершина — это вершина, следующая за и в ее новой позиции в списке.
Чтобы показать, что процедура Relabel_To_Front вычисляет максимальный поток, покажем, что она является реализацией универсального алгоритма проталкивания предпотока. Во-первых, заметим, что она выполняет операции проталкивания и подъема только тогда, когда они применимы, что гарантируется леммой 26.30. Остается показать, что когда процедура Relabel_To_Front завершается, не применима ни одна основная операция. Дальнейшее доказательство корректности построено на следующем инварианте цикла:
При каждом выполнении проверки в строке 6 процедуры RELABEL— To_Front список L является топологическим упорядочением вершин допустимой сети G/^ = (V, Ej^Y и ни одна вершина, стоящая в списке перед и, не имеет избыточного потока.
Инициализация. Непосредственно после запуска процедуры Initialize_Preflow /i[s] = |V| и h\o^ = 0 для всех v е V — {s}. Поскольку |У| ^ 2 (так как V содержит как минимум источник s и сток t), ни одно ребро не
является допустимым. Следовательно, Ej^ = 0, и любой порядок множества V — {5, t} является топологическим упорядочением Gj^- Поскольку изначально вершина и является заголовком списка L, перед ней нет вершин, следовательно, перед ней нет вершин с избытком потока.
Сохранение. Чтобы убедиться, что данное топологическое упорядочение сохраняется при проведении итераций цикла while, прежде всего заметим, что к изменению допустимой сети приводят только операции проталкивания и подъема. Согласно лемме 26.28, операции проталкивания не приводят к появлению новых допустимых ребер. Поэтому допустимые ребра могут создаваться только подъемами. После того как вершина iz подверглась подъему, согласно лемме 26.29, больше не существует допустимых ребер, входящих в и, но могут быть допустимые ребра, выходящие из нее. Таким образом, перемещая и в начало списка L, алгоритм гарантирует, что все допустимые ребра, выходящие из и, удовлетворяют условию топологического упорядочения.
Чтобы убедиться, что ни одна вершина, предшествующая и в списке L, не имеет избытка потока, обозначим вершину, которая будет текущей вершиной и на следующей итерации, как и'. Среди вершин, которые будут предшествовать и’ на следующей итерации, находится текущая вершина и (согласно строке 11) и либо больше таких вершин нет (если и подвергалась подъему), либо там находятся те же вершины, что и ранее (если высота и не изменялась). Поскольку и подверглась разгрузке, она не содержит избытка потока. Следовательно, если и подвергалась подъему в процессе разгрузки, то ни одна вершина, предшествующая и', не содержит избытка потока. Если же высота и в процессе разгрузки не менялась, ни одна вершина, стоящая в списке L перед ней, не получила избыток потока при этой разгрузке, поскольку L остается топологически упорядоченным все время в процессе разгрузки (как уже отмечалось, допустимые ребра создаются только подъемами, а не операциями проталкивания), поэтому каждая операция проталкивания заставляет избыток потока двигаться только к вершинам, расположенным в списке дальше (или же к s или t). В этом случае ни одна вершина, предшествующая iz', также не имеет избытка потока.
Завершение. Когда цикл завершается, и оказывается за последним элементом списка L, поэтому инвариант цикла гарантирует, что избыток всех вершин равен 0. Следовательно, ни одна основная операция неприменима.
Рис. 26.10. Работа процедуры Relabel_To_Front. Справа показан список L, где под каждой вершиной приведен список ее соседей, в котором выделена текущая вершина
Анализ
Покажем теперь, что процедура Relabel_To_Front выполняется за время О (V3) для любой сети G = (У,ЕУ Поскольку данный алгоритм является реализацией универсального алгоритма проталкивания предпотока, воспользуемся следствием 26.22, которое устанавливает границу О (V) для числа подъемов, применяемых к одной вершине, и О (V2) для общего числа подъемов. Кроме того, в упражнении 26.4-2 устанавливается граница О (V Е) для суммарного времени, затраченного на выполнение подъемов, а лемма 26.23 устанавливает границу О (V Е) для суммарного числа операций насыщающих проталкиваний.
Теорема 26.31. Время выполнения процедуры RELABEL_To_Front для любой сети G = (V, Е) составляет О (V3).
Доказательство. Будем считать “фазой” алгоритма “поднять-в-начало” время между двумя последовательными операциями подъема. Поскольку всего выполняется О (V2) подъемов, в алгоритме насчитывается О (У2) фаз. Каждая фаза сдержит не более |У| обращений к процедуре Discharge, что можно показать следующим образом. Если процедура DISCHARGE не выполняет подъем, то следующий ее вызов происходит ниже по списку L, а длина L меньше |У|. Если процедура Discharge выполняет подъем, то следующий ее вызов происходит уже в другой фазе алгоритма. Поскольку каждая фаза содержит не более |У| обращений к процедуре DISCHARGE и в алгоритме насчитывается О (У2) фаз, число вызовов данной процедуры строкой 8 процедуры Relabel_To_Front составляет О (У3).Таким образом, цикл while процедуры Relabel_To_Front выполняет работу (не учитывая работу, выполняемую внутри процедуры Discharge), не превышающую О (У3).
Теперь необходимо оценить работу, выполняемую внутри процедуры Discharge в ходе выполнения данного алгоритма. Каждое выполнение цикла while в процедуре Discharge заключается в выполнении одного из трех действий. Проанализируем объем работы при выполнении каждого из них.
Начнем с подъемов (строки 4-5). В упражнении 26.4-2 время для выполнения всех О (У2) подъемов ограничивается пределом О (У Е\
Теперь предположим, что действие заключается в обновлении указателя current [и] в строке 8. Это действие выполняется О (degree(u)) в том случае, когда вершина и подвергается подъему, что для всех вершин составляет O(V-degree(u)) раз. Следовательно, для всех вершин общий объем работы по перемещению указателей в списке соседей составляет О (V Е) согласно лемме о рукопожатиях (упражнение Б.4-1).
Третий тип действий, выполняемых процедурой Discharge, — операция проталкивания (строка 7). Как уже отмечалось, суммарное число насыщающих операций проталкивания составляет О (V Е). Если выполняется ненасыщающее проталкивание, процедура Discharge немедленно выполняет возврат, поскольку такое проталкивание уменьшает избыток до 0. Поэтому при каждом обращении к процедуре Discharge может выполняться не более одного ненасыщающего проталкивания. Процедура DISCHARGE вызывается О (V3) раз, следовательно, общее время, затраченное на ненасыщающие проталкивания, составляет О (V3).
Таким образом, время выполнения процедуры Relabel_To_Front составляет О (У3 + VE\ что эквивалентно О (V"3).■
Упражнения
1. Проиллюстрируйте (используя в качестве образца рис. 26.10) выполнение процедуры Relabel_To_Front для сети, представленной на рис. 26.1а. Предполагается, что начальный порядок следования вершин в списке L — («1, «2, «з, «4), а списки соседей имеют следующий вид:
7V[vi] = (s,V2,V3> , TV[v2] = <S,V1,V3,V4) , 2V [v3] = (vi,V2,V4,t) , ^[V4] = («2, «3,0 .
* 26.5-2. Мы хотим реализовать алгоритм проталкивания предпотока, в котором поддерживается порядок обслуживания переполненных вершин “первым вошел, первым вышел”. Данный алгоритм разгружает первую вершину в очереди и удаляет ее оттуда, а все вершины, которые перед этой разгрузкой не были переполнены, но после нее стали таковыми, помещаются в конец очереди. Когда очередь становится пустой, алгоритм завершается. Покажите, что можно построить реализацию данного алгоритма, которая вычисляет максимальный поток за время О (V"3).
3. Покажите, что обобщенный алгоритм будет работать, даже если процедура Relabel при обновлении h [и] просто использует выражение h [и] <— «— h [и] + 1. Как это повлияет на оценку времени выполнения процедуры Relabel_To_Front?
* 26.5-4. Покажите, что если разгрузке всегда подвергается наивысшая переполненная вершина, метод проталкивания предпотока можно реализовать так, чтобы он выполнялся за время О (V3).
5. Предположим, что в некоторой точке в процессе выполнения алгоритма проталкивания предпотока, существует некоторое целое число 0 < к ^ < | V| — 1, для которого нет ни одной вершины с данной высотой, те. такой, что h [v] = к. Покажите, что все вершины с h [v] > к находятся в минимальном разрезе на стороне источника. Если такое значение к существует, эвристика промежутка (gap heuristic) обновляет каждую вершину v е V — s, для которой h [v] > к, устанавливая h [v] *- max(/i [v], |V| + 1). Покажите, что полученный таким образом атрибут h является функцией высоты. (Эвристика промежутка позволяет получить эффективные реализации метода проталкивания предпотока на практике.)
Задачи
26-1. Задача о выходе
Решетка (grid) размером п х п — это неориентированный граф, состоящий из п строк и п столбцов вершин, как показано на рис. 26.11. Обозначим вершину, находящуюся в г-й строке и j-м столбце как (i^j). Каждая вершина решетки имеет ровно по четыре соседа, за исключением граничных вершин, представляющих собой точки (ij), для которых г = 1, г = n, j = 1 или j = п.
Пусть в решетке задано т ^ п2 стартовых точек (zi,yi), (а^Уг), • (хт1ут\ Задача о выходе (escape problem) заключается в том, чтобы определить, существует ли т путей, не имеющих общих вершин, из стартовых точек к любым т различным точкам границы. Например, решетка на рис. 26.1 \а имеет выход, а решетка на рис. 26.116 — не имеет.
Рассмотрим транспортную сеть, в которой вершины, равно как и ребра, имеют пропускные способности, т.е. суммарный положительный поток, входящий в каждую заданную вершину, должен удовлетворять ограничению пропускной способности. Покажите, что задача определения максимального потока в такой сети, где вершины и ребра имеют пропускные способности, может быть сведена к стандартной задаче о максимальном потоке для транспортной сети сопоставимого размера.
разработайте эффективный алгоритм решения задачи о выходе и проанализируйте время его выполнения.
Рис. 26.11. Решетки для задачи о выходе. Стартовые точки отмечены черным цветом, остальные вершины решетки белые, а) Решетка с выходом, пути указаны цветом, б) Решетка без выходаРис. 26.11. Решетки для задачи о выходе. Стартовые точки отмечены черным цветом, остальные вершины решетки белые, а) Решетка с выходом, пути указаны цветом, б) Решетка без выхода
Рис. 26.11. Решетки для задачи о выходе. Стартовые точки отмечены черным цветом, остальные вершины решетки белые, а) Решетка с выходом, пути указаны цветом, б) Решетка без выхода
Рис. 26.11. Решетки для задачи о выходе. Стартовые точки отмечены черным цветом, остальные вершины решетки белые, а) Решетка с выходом, пути указаны цветом, б) Решетка без выхода
26-2. Задача о минимальном покрытии путями
Покрытие путями (path cover) ориентированного графа G = (V, Е) — это множество Р не имеющих общих вершин путей, таких что каждая вершина из множества V принадлежит ровно одному пути из Р. Пути могут начинаться и заканчиваться где угодно, а также иметь произвольную длину, включая 0. Минимальным покрытием путями (minimum path cover) графа G называется покрытие, содержащее наименьшее возможное количество путей.
Предложите эффективный алгоритм поиска минимального покрытия путями ориентированного ациклического графа G = (V\E\ (Указание: предположив, что V = {1,2, ...,п}, постройте граф О = (Vх, 5х), где
V' = {жо,Ж1,...,жп}и{уо,У1,---,Уп},
S'= {(жо.Жг) : геУ}и{(у1,уо) : г 6 V} U {(ж,, у^ : (г,»еЕ}, и примените алгоритм поиска максимального потока.)
Будет ли ваш алгоритм работать для ориентированного графа, содержащего циклы? Объясните ваш ответ.
26-3. Эксперименты на кораблях многоразового использования
Профессор консультирует НАСА при планировании серии полетов кораблей многоразового использования. Он должен решить, какие коммерческие эксперименты следует провести и какие инструменты будут на борту во время каждого полета. Для каждого полета рассматривается множество экспериментов Е = {Ei, Ei,..., Ет^, и коммерческий
спонсор эксперимента Ej согласен заплатить НАСА pj долларов за его результат. В экспериментах используется множество инструментов I = = {/1,7г> • • • > Л}; каждый эксперимент Ej требует наличия всех инструментов из некого подмножества Rj CI. Затраты перевозки в космическом корабле инструмента Ik составляют Ск долларов. Задача профессора — найти эффективный алгоритм, позволяющий определить, какие эксперименты проводить и какие инструменты размещать на борту корабля при каждом полете, чтобы максимизировать чистый доход, который вычисляется как суммарный доход от выполненных экспериментов минус суммарные затраты на перевозку всех используемых инструментов.
Рассмотрим следующую сеть G. Данная сеть содержит источник s, вершины Ii, I2,..., 1п, вершины Ei,E2, .. •, Ет и сток t. Для каждого к = = 1,2,..., п имеется ребро (s, Ik) с пропускной способностью Ск, а для каждого з = 1,2,...,т имеется ребро ^Ej,t) с пропускной способностью pj. Если для к = 1,2,..., п и j = 1,2,..., т выполняется условие Ik € Rj, то существует ребро (Ik,Ej) неограниченной пропускной способности.
Покажите, что если для разреза конечной пропускной способности (S, Т) сети G Ej еТ, то Ik ЕТ для всех Ik 6 Rj.
Покажите, как определить максимальный чистый доход на основании пропускной способности минимального разреза G и заданных значений pj.
Предложите эффективный алгоритм, позволяющий определить, какие эксперименты проводить и какие инструменты брать в каждый полет. Проанализируйте время выполнения вашего алгоритма, выразив его через т, п и г = ^2,^-1 |Д5 |.
26-4. Обновление максимального потока
Пусть G = (V, Е) — транспортная сеть с источником s, стоком t и целочисленными пропускными способностями. Предположим, что известен максимальный поток в G.
Предположим, что пропускная способность некоторого одного ребра (и, и) 6 Е увеличена на 1. Предложите алгоритм обновления максимального потока с временем выполнения О (У + Е).
Предположим, что пропускная способность некоторого одного ребра (u, v) € Е уменьшена на 1. Предложите алгоритм обновления максимального потока с временем выполнения О (V + Е).
26-5. Масштабирование
Пусть G = (V, S) — транспортная сеть с источником s, стоком t и целочисленными пропускными способностями с (и, и) всех ребер (и, v) е Е. Пусть С = max(Ui„)€£ с (и, и).
Докажите, что минимальный разрез G имеет пропускную способность не более С |S|.
Для заданного числа К покажите, что за время О (Е) можно найти увеличивающий путь с пропускной способностью не менее К, если такой путь существует.
Для вычисления максимального потока в G можно использовать следующую модификацию процедуры Ford_Fulkerson_Method:
Max_Flow_By_Scaling(G, s, t)
С «- max(U)V)6£; c^u, v)
Инициализация потока / значением О
К^-2^с\
while К > 1
do while (пока) существует некоторый увеличивающий путь р с пропускной способностью не менее К
do увеличить / вдоль р
К «- К/2
return /
Докажите, что процедура Max_Flow_By_Scaling возвращает максимальный поток.
Покажите, что каждый раз, когда выполняется строка 4, пропускная способность минимального разреза остаточного графа Gf составляет не более 2К |S|.
Докажите, что внутренний цикл while в строках 5-6 при каждом ■ значении К выполняется О (S) раз.
Покажите, что процедуру Max_FL0W_By_SCALING можно реализовать так, что она будет выполняться за время О (Е2 lg С).
26-6. Отрицательная пропускная способность
Предположим, что в транспортной сети ребра могут иметь как положительную, так и отрицательную пропускную способность. В такой сети не обязательно существует допустимый поток.
Рассмотрим некоторое ребро (u, v) сети G = ^У,Е), пропускная способность которого с (и, и) < 0. Кратко поясните, что такая отрицательная пропускная способность означает в плане потока между и и и, каков ее “физический смысл”.
Пусть G = (V, S) — некоторая транспортная сеть с отрицательными пропускными способностями, и пусть s и t — источник и сток данной сети. Построим обычную транспортную сеть G' = (У', Е') с функцией пропускной способности d, источником s' и стоком t', где
У'= yu{sV}
и
Е* = Е U {(u, v) : (v, и) Е 5} U {(s', v) : v G У} U {(u,t') : иЕ У} U{(s,t),(t,s)}.
Присвоим ребрам пропускные способности следующим образом. Для каждого ребра (u, v) е Е присвоим
с' (и, v) = с' (v, и) = (с (и, v) + с (и, и))/2.
Для каждой вершины и € У присвоим
с' (s', и) = шах (0, (с (У, и) — с (и, У))/2)
и
с' (и, t') = max (0, (с (и, У) — с (У, и))/2).
Присвоим также d (s, t) = d (t, s) = co.
Докажите, что если в G существует допустимый поток, то все пропускные способности в G* неотрицательны и в ней существует максимальный поток, такой что все входящие в сток t' ребра являются насыщенными.
Докажите утверждение, обратное утверждению пункта б). Доказательство должно быть конструктивным, т.е. если задан поток в G', насыщающий все ребра, входящие в t', вам нужно показать, как получить допустимый поток в G.
Разработайте алгоритм, который находит максимальный допустимый поток в G. Обозначим через MF (|У|, |Е|) наихудшее время выполнения стандартного алгоритма поиска максимального потока в графе с [У| вершинами и |Е| ребрами. Проанализируйте время выполнения вашего алгоритма вычисления максимального потока в транспортной сети с отрицательными пропускными способностями, выразив его через MF.
26-7. Алгоритм Хопкрофта-Карпа поиска паросочетания в двудольном графе
В данной задаче представлен более быстрый алгоритм поиска максимального паросочетания в двудольном графе, предложенный Хопкроф- том (Hopcroft) и Карпом (Karp). Этот алгоритм выполняется за время О ^VVE^. Задан неориентированный двудольный граф G = (У,Е), где У = LUR и у всех ребер ровно одна точка находится в L. Пусть М — па- росочетание в G. Мы говорим, что простой путь Р bG является увеличивающим путем (augmenting path) по отношению к М, если он начинается в некоторой свободной вершине множества L, заканчивается в некоторой свободной вершине R, а его ребра попеременно принадлежат М и Е — — М. (Это определение увеличивающего пути связано с определением увеличивающего пути в транспортной сети, но несколько отличается от него.) В данной задаче путь трактуется как последовательность ребер, а не последовательность вершин. Кратчайший увеличивающий путь по отношению к паросочетанию М — это увеличивающий путь с минимальным числом ребер.
Для заданных двух множеств А и В, симметрическая разность (symmetric difference) А ф В определяется как (А — В) U (В — А), т.е. это элементы, которые входят ровно в одно из двух множеств.
Покажите, что если М — некоторое паросочетание, а Р — увеличивающий путь по отношению к М, то симметрическая разность множеств М ф Р является паросочетанием, и \М ф Р| = \М| + + 1. Покажите, что если Pi, Р2,..., Pk — увеличивающие пути по отношению к М, не имеющие общих вершин, то симметрическая разность М ф (Pi U Р2 U • • • U Pk) является паросочетанием с мощностью |М| + к.
Общая структура алгоритма имеет следующий вид:
Hopcroft_Karp(G?)
М ^-0
repeat
Пусть Р <— {Pi, Р2,..., Рк) максимальное множество
кратчайших увеличивающих путей по отношению к М, не имеющих общих вершин
М *- М Ф (Pi U Р2 U • • • U Рк)
until Р = 0
return М
Далее в этой задаче вам предлагается проанализировать число итераций данного алгоритма (т.е. число итераций цикла repeat) и предложить реализацию строки 3.
Для двух заданных паросочетаний М и М* в G покажите, что каждая вершина графа G = (У, М ф М*) имеет степень не больше 2. Сделайте вывод, что G' является объединением непересекающих- ся простых путей или циклов. Докажите, что ребра каждого такого простого пути или цикла по очереди принадлежат М и М*. Докажите, что если |М| ^ |Л/*|, то М ф М* содержит как минимум |Л/*| — |М| увеличивающих путей по отношению к М, не имеющих общих вершин.
Пусть I — длина кратчайшего увеличивающего пути по отношению к па- росочетанию М и пусть Ру, Р^,..., Рк — максимальное множество увеличивающих путей длины I по отношению к М, не имеющих общих вершин. Пусть М' = М ф (Pi U Рг U • ■ • U Р^) и предположим, что Р — кратчайший увеличивающий путь по отношению к М'.
Покажите, что если Р не имеет общих вершин с Pi, Рг,..., Pfc, то Р содержит больше чем I ребер.
Теперь предположим, что Р имеет общие вершины с Ру, Р2,..., Рк- Пусть А — множество ребер (М ф М') ф Р. Покажите, что А = = (Pi U Р2 U • • • U Рк) Ф Р и что |Л| > (к + 1) I. Покажите, что Р содержит более I ребер.
Докажите, что если кратчайший увеличивающий путь для М содержит I ребер, то размер максимального паросочетания составляет не более |М| + |У|/(/ + 1).
Покажите, что число повторений цикла repeat в данном алгоритме не превышает *ZVV. (Указание: на сколько сможет вырасти М после итерации номер VVT)
Предложите алгоритм для поиска максимального множества кратчайших увеличивающих путей Ру, Р?,..., Рк для заданного паросочетания М, не имеющих общих вершин, время работы которого — О (Е). Покажите, что суммарное время выполнения процедуры Hopcroft_ Karp составляет О (W s).
Заключительные замечания
Транспортные сети и связанные с ними алгоритмы рассматриваются в работах Ахуя (Ahuja), Магнанти (Magnanti) и Орлина (Orlin) [7], Ивена (Even) [87], Лоупера (Lawler) [196], Пападимитриу (Papadimitriou) и Стейглица (Steiglitz) [237], Таржана (Taijan) [292]. Широкий обзор алгоритмов для задач поиска потоков в сетях можно найти также в книге Голдберга (Goldberg), Тардоса (Tardos) и Таржана [119]. В работе Шрайвера (Schrijver) [267] предлагается интересный исторический обзор исследований в сфере транспортных сетей.
Метод Форда-Фалкерсона представлен в работе Форда (Ford) и Фалкерсона (Fulkerson) [93], которые являются основоположниками формальных исследований ряда задач в области транспортных сетей, включая задачи поиска максимального потока и паросочетаний. Во многих ранних реализациях метода Форда-Фалкерсона поиск увеличивающих путей осуществляется с помощью поиска в ширину; Эдмондс (Edmonds) и Карп (Karp) [86] и, независимо от них, Диниц (Dinic) [76] доказали, что такая стратегия дает полиномиальный по времени алгоритм. Диницу [76] также принадлежит идея использования “тупиковых потоков” (blocking flows); предпотоки впервые предложил Карзанов (Karzanov) [176]. Метод проталкивания предпотока описан в работах Голдберга [117] и Голдберга и Таржана [121]. Голдберг и Таржан приводят алгоритм со временем работы О (V"3), в котором для хранения множества переполненных вершин используется очередь, а также алгоритм на основе использования динамических деревьев, время работы которого достигает О (УSig (У2/5 + 2)). Некоторые другие исследователи разработали алгоритмы проталкивания предпотока для поиска максимального потока. В работах Ахуя и Орлина [9] и Ахуя, Орлина и Таржана [10] приводятся алгоритмы, использующие масштабирование. Чериян (Cheriyan) и Махешвари (Maheshvari) [55] предложили проталкивать поток из переполненной вершины с максимальной высотой. В работе Черияна и Хейджерапа (Hagerup) [54] предлагается использовать случайные перестановки списков соседей; другие исследователи [14, 178, 241] развили данную идею, предложив искусные методы дерандомизации, что позволило получить ряд более быстрых алгоритмов. Алгоритм, предложенный Кингом (King), Рао (Rao) и Таржаном [178], является самым быстрым из них — время его работы составляет О(УЕ| log^^i/^^j У).
Асимптотически самый быстрый из известных в настоящее время алгоритмов для задачи максимального потока разработан Голдбергом и Рао [120], время его работы равно O(min(V2/3, S1/2).# lg(V2/S+2) lg С), где С = max(u ^е с (u> v)- Этот алгоритм не использует метод проталкивания предпотока, он основан на нахождении тупиковых потоков. Все предыдущие алгоритмы, включая рассмотренные в данной главе, используют некоторое понятие расстояния (в алгоритмах проталкивания предпотока используется аналогичное понятие высоты), где каждому ребру неявно присвоена длина 1. В этом же алгоритме используется другой под-
ход: ребрам с высокой пропускной способностью присваивается длина 0, а ребрам с низкой пропускной способностью — длина 1. Неформально при таком выборе длин кратчайшие пути от источника к стоку будут иметь высокую пропускную способность, следовательно, потребуется меньшее количество итераций.
На практике на сегодняшний день при решении задач поиска максимального потока алгоритмы проталкивания предпотока превосходят алгоритмы, основанные на увеличивающих путях и линейном программировании. В исследованиях Черкасски (Cherkassky) и Голдберга [56] подчеркивается важность использования при реализации алгоритма проталкивания предпотока двух эвристик. Первая состоит в том, что в остаточном графе периодически производится поиск в ширину, чтобы получить более точные значения высот. Вторая эвристика — это“эвристика промежутка” (gap heuristic), описанная в упражнении 26.5-5. Авторы пришли к заключению, что наилучшим вариантом метода проталкивания предпотока является вариант, в котором для разгрузки выбирается переполненная вершина с максимальной высотой.
Наилучший известный к настоящему времени алгоритм поиска максимального паросочетания (описанный в задаче 26-7) был предложен Хопкрофтом (Hopcroft) и Карпом (Karp) [152]; время его работы составляет О ^VVE^. Задачи поиска паросочетаний подробно рассматриваются в книге Ловаса (Lovasz) и Пламмера (Plummer) [207].
ЧАСТЬ VII
Избранные темы
Введение
Эта часть содержит избранные темы теории алгоритмов, расширяющие и дополняющие материал, ранее изложенный в данной книге. В некоторых главах вводятся новые вычислительные модели, такие как комбинационные схемы или параллельные вычислительные машины. Другие главы охватывают специализированные области знаний, такие как вычислительная геометрия или теория чисел. В двух последних главах обсуждаются некоторые известные ограничения, возникающие при разработке эффективных алгоритмов, а также излагаются основы методов, позволяющих справиться с этими ограничениями.
В главе 27 представлена параллельная модель вычислений: сравнивающие сети. Грубо говоря, сравнивающая сеть — это алгоритм, основанный на одновременном выполнении большого количества сравнений. В этой главе показано, как построить сравнивающую сеть, позволяющую сортировать п чисел за время О (lg2 п).
В главе 28 изучаются эффективные алгоритмы, предназначенные для работы с матрицами. После изучения некоторых основных свойств матриц исследуется алгоритм Штрассена (Strassen), позволяющий перемножить две матрицы п х п за время О (п2*81). Затем представлены два общие метода LU-разложения и LUP- разложения, предназначенные для решения системы линейных уравнений по методу Гаусса (методу исключений) за время О ^п3). Здесь также показано, что перемножение и обращение матриц можно выполнять с одинаковой скоростью. В заключительной части главы показано, как получить приближенное решение системы линейных уравнений методом наименьших квадратов, если эта система не имеет точного решения.
В главе 29 исследуется линейное программирование, цель которого — минимизировать или максимизировать целевую функцию при заданных ограниченных ресурсах и конкурирующих ограничениях. Линейное программирование применяется в самых различных прикладных областях. В главе описывается постановка задач линейного программирования и их решение. В качестве метода решения изложен симплекс-алгоритм, который является одним из древнейших алгоритмов, используемых в линейном программировании. В отличие от многих других алгоритмов, о которых идет речь в этой книге, для симплекс-алгоритма время работы в наихудшем случае не выражается полиномиальной функцией, однако он достаточно эффективен и широко применяется на практике.
В главе 30 изучаются операции над полиномами. Здесь показано, что с помощью такого известного метода обработки сигналов, как быстрое преобразование Фурье (Fast Fourier Transform, FFT), два полинома п-й степени можно перемножить за время O(nlgn). В этой главе также исследуются методы эффективной реализации FFT, включая параллельные вычисления.
В главе 31 представлены теоретико-числовые алгоритмы. После обзора элементарной теории чисел здесь описан алгоритм Евклида, предназначенный для вычисления наибольшего общего делителя. Далее представлены алгоритмы для решения модульных линейных уравнений и для возведения числа в степень по модулю другого числа. Затем читатель сможет ознакомиться с важным приложением теоретико-числовых алгоритмов: криптографической системой с открытым ключом RSA. С ее помощью можно не только кодировать сообщения таким образом, чтобы их не могли прочитать посторонние, но и создавать цифровые подписи. Далее в главе представлен рандомизированный тест для простых чисел Миллера- Рабина (Miller-Rabin), позволяющий производить эффективный поиск больших целых чисел, необходимый для реализации схемы RSA. В заключительной части главы описан эвристический p-метод Полларда (Pollard) для разбиения целых чисел на множители, а также обсуждаются успехи, достигнутые в этой области.
В главе 32 исследуется задача поиска всех вхождений заданной строки-образца в имеющуюся строку текста; эта задача часто возникает при написании программ, предназначенных для редактирования текста. После ознакомления с “наивным” подходом в этой главе представлен элегантный метод решения данной задачи, разработанный Рабином (Rabin) и Карпом (Karp). Затем, после демонстрации эффективного решения, основанного на теории конечных автоматов, здесь вниманию читателя предложен алгоритм Кнута-Морриса-Пратта (Knuth-Morris-Pratt), позволяющий достичь высокой эффективности за счет предварительной обработки образца.
Тема главы 33 — вычислительная геометрия. После обсуждения основных принципов этого раздела вычислительной математики, в главе показано, как с помощью метода “обметания” можно эффективно определить, содержатся ли какие- нибудь пересечения в множестве прямолинейных отрезков. Два остроумных алгоритма, предназначенных для поиска выпуклой оболочки заданного множества точек, — метод сканирования по Грэхему (Graham’s scan) и метод продвижения по Джарвису (Jarvis’s march), — также иллюстрируют мощь метода обметания. В заключение в главе описан эффективный алгоритм, предназначенный для поиска пары самых близких точек в заданном множестве точек на плоскости.
Глава 35 посвящена NP-полным задачам. Многие интересные вычислительные задачи являются NP-полными, однако неизвестен ни один алгоритм решения какой бы то ни было из этих задач, время работы которого выражалось бы полиномиальной функцией. В данной главе представлены методы определения того, является ли задача NP-полной. Доказана NP-полнота для нескольких классических задач: определение того, содержит ли граф цикл Гамильтона, определение того, выполнима ли заданная булева формула, и определение того, содержит ли заданное множество чисел такое подмножество, сумма элементов в котором была бы равна заданному значению. В этой главе также доказано, что знаменитая задача о коммивояжере также является NP-полной.
В главе 35 показано, как эффективно находить приближенные решения NP- полных задач с помощью приближенных алгоритмов. Для некоторых NP-полных задач достаточно легко выразить приближенные решения, достаточно близкие к оптимальным, в то время как для других задач даже самые лучшие из известных приближенных алгоритмов работают все хуже по мере увеличения размера задачи. Есть также другой класс задач, для которых наблюдается возрастание времени вычисления с увеличением точности приближенных решений. Эти возможности проиллюстрированы на задаче о вершинном покрытии (представлены невзвешенная и взвешенная версии), на задаче о коммивояжере и других.
ГЛАВА 27
Сортирующие сети
Во второй части этой книги были рассмотрены алгоритмы сортировки, предназначенные для последовательных компьютеров (вычислительных машин, оснащенных памятью с произвольным доступом), в которых в заданный момент времени может выполняться лишь одна операция. В этой главе исследуются алгоритмы сортировки, основанные на модели сравнивающих сетей, в которых одновременно можно выполнять большое количество операций сравнения.
Сравнивающие сети имеют два важных отличия от последовательных компьютеров. Во-первых, в них могут выполняться только сравнения. Это означает, что в этой сети нельзя реализовать такой алгоритм, как сортировка подсчетом. Во-вторых, в отличие от последовательных компьютеров, в которых операции выполняются последовательно, т.е. одна за другой, операции в сравнивающей сети могут выполняться одновременно или “параллельно”. Мы сможем убедиться, что эта характеристика позволяет строить сравнивающие сети, сортирующие и величин за время, меньшее линейного.
В начальном разделе главы, разделе 27.1, дается определение сравнивающих и сортирующих сетей. Здесь также представлено естественное определение “времени работы” сравнивающей сети в терминах глубины сети. В разделе 27.2 доказывается “нуль-единичный принцип”, позволяющий значительно упростить задачу анализа корректности работы сортирующих сетей.
Эффективная сортирующая сеть, которая будет разработана в этой главе, по сути, представляет собой параллельную версию алгоритма слиянием, изложенную в разделе 2.3.1. Процесс разработки состоит из трех этапов. В разделе 27.3 представлена схема “битонического” сортировщика, который станет нашим основным строительным блоком. В разделе 27.4 битонический сортировщик будет слегка
модифицирован, с тем чтобы получить объединяющую сеть, позволяющую объединять две отсортированные последовательности в одну. Наконец, в разделе 27.5 из этих объединяющих сетей будет собрана сортирующая сеть, позволяющая выполнить сортировку п величин за время О (lg2 п).
Сравнивающие сети
Сортирующие сети — это такие сравнивающие сети, в которых входные данные всегда сортируются, поэтому есть смысл вначале обсудить сравнивающие сети и их характеристики. Сравнивающая сеть состоит только из сравнивающих устройств и соединяющих их проводов. Компаратор, или сравнивающее устройство (comparator, рис. 27.1), — это устройство с двумя входами, х и у, и двумя выходами, х' и у', выполняющее такую операцию:
х = min (ж, у),у' = шах (ж, у).
Поскольку представленное на рис. 27.1а схематическое изображение сравнивающего устройства слишком громоздкое, мы примем в качестве условного обозначения этого устройства вертикальную линию, показанную на рис. 27.16. Входные величины изображены слева, а выходные — справа, причем меньшая входная величина на выходе переходит вверх, а большая — вниз. Таким образом, можно сказать, что сравнивающее устройство сортирует две входных величины.
В дальнейшем предполагается, что сравнивающее устройство выполняет требуемое действие за время 0(1). Другими словами, предполагается, что время, которое проходит с момента подачи входных величин х и у до момента выдачи выходных величин х' и у', равно константе.
Значение передается из одной точки в другую по проводу (wire). Провода соединяют выход одного сравнивающего устройства с входом другого; в противном случае они являются либо входными каналами в сеть, либо выходными каналами из нее. В этой главе предполагается, что сравнивающая сеть содержит п входных проводов (input wires) а^^а^ ... , ап, по которым в сеть поступают сортируемые величины, и п выходных проводов (output wires) bi, 62? • • • > bn, по которым выдаются вычисленные сетью результаты. Кроме того, мы будем говорить о входной
КомпараторКомпараторх - Illin(x, j)/'= тах(х5 у)х - Illin(x, j)/'= тах(х5 у)а)а)х —— х'= min(x, у)
Компаратор
Компаратор
х - Illin(x, j)
/'= тах(х5 у)
х - Illin(x, j)
/'= тах(х5 у)
а)
а)
37
у —4—— у* = тах(х, у)
б)
Рис. 27.1. Схематические представления сравнивающего устройства
последовательности (input sequence) (ai, 02,..., an) и выходной последовательности (output sequence) (61, 62,..., b^, подразумевая под ними наборы величин во входных и выходных проводах. Таким образом, одно и то же название будет использоваться и для проводов, и для значений, которые по ним передаются. Что именно имеется в виду — всегда будет понятно из контекста.
На рис. 27.2 показана сравнивающая сеть (comparison network), представляющая собой набор сравнивающих устройств, соединенных между собой проводами. В такой сети п входов изображаются в виде п горизонтальных линий (lines), а сравнивающие устройства — вертикальными отрезками. Заметим, что линия представляет не отдельный провод, а последовательность различных проводов, соединяющих разные сравнивающие устройства. Например, верхней линией на рис. 27.2 представлены три провода: входной провод ai, который подсоединен к входу сравнивающего устройства А; провод, соединяющий верхний выход сравнивающего устройства А со входом сравнивающего устройства С; выходной провод 61, присоединенный к верхнему выходу сравнивающего устройства С. Ко входу каждого сравнивающего устройства подсоединен провод, который либо является одним из п входных проводов ai, 02,..., ап, либо присоединен к выходу другого сравнивающего устройства. Аналогично, к выходу каждого сравнивающего устройства подсоединен провод, который либо является одним из п выходных проводов 61,62,..., 6П, либо подсоединен к входу другого сравнивающего устройства. Основной принцип, по которому сравнивающие устройства соединяются между собой, заключается в том, что получившийся в результате граф соединений должен быть ациклическим: если проследить путь, проходящий от выхода какого-нибудь сравнивающего устройства к входу другого сравнивающего устройства, затем — от его выхода к входу следующего сравнивающего устройства и т.д., то этот путь никогда не должен зацикливаться, дважды проходя через одно и то же сравнивающее устройство. Таким образом, как видно из рис. 27.2, на схеме сравнивающей сети входы можно расположить слева, а выходы — справа; при этом данные в процессе обработки будут продвигаться слева направо.
Выходные значения производятся сравнивающим устройством лишь в том случае, когда на его вход подаются обе сравниваемые величины. Например, на рис. 27.2a предполагается, что в начальный момент времени на входные провода последовательности подается последовательность (9,5,2,6). Таким образом, в этот момент времени только сравнивающие устройства Аи В располагают всеми необходимыми входными величинами. С учетом того что для вычисления выходных значений сравнивающему устройству требуется единичный промежуток времени, сравнивающие устройства Аи В выдадут выходные величины в момент времени 1; результат показан на рис. 27.26. Заметим, что результат в сравнивающих устройствах А и В появляется одновременно, или “параллельно”. Далее, в момент времени 1 полным набором входных величин располагают сравнивающие устройства С и D, но не Е. По истечении еще одного единичного интервала
в) Г)
Рис. 27.2. Сравнивающая сеть на 4 входа и 4 выхода, которая фактически является сортирующей сетью
времени, в момент времени 2, выдадут результат сравнивающие устройства С и D (рис. 27.2в). Они также работают параллельно. К верхнему выходу сравнивающего устройства С и нижнему выходу сравнивающего устройства D подсоединены выходные провода bi и 64 сравнивающей сети соответственно. Поэтому в момент времени 2 на эти выходные провода подаются их результирующие значения. В этот же момент времени входные значения подаются на сравнивающее устройство Е, и, как видно из рис. 27.2г, результат выдается на этом сравнивающем устройстве в момент времени 3. Полученные величины передаются по сети по выходным проводам bs и Ьз, и теперь вычисление выходной последовательности (2,5,6,9) завершено.
Исходя из предположения, что каждое сравнение выполняется в течение единичного промежутка времени, можно определить “время работы” сравнивающей сети, т.е. время, которое требуется для подачи всех выходных значений на выходы сети с момента, когда на ее входы поданы все необходимые сигналы. Это время естественно считать равным максимальному количеству сравнивающих устройств, через которые проходит входное значение на пути следования от входного провода к выходному. Выражаясь более строго, дадим определение глубины (depth) провода. Глубина входного провода сравнивающей сети равна нулю. Далее, если глубины входных проводов сравнивающего устройства равны dx и dy, то глубина его выходных проводов равна max (dx, dy) + 1. Поскольку в сравниваю-
щей сети отсутствуют циклы, глубина провода определяется однозначно, и можно определить глубину сравнивающего устройства как величину, равную глубине его выходных проводов. На рис. 27.2 показаны глубины изображенных на нем сравнивающих устройств. Глубина сравнивающей сети равна максимальной глубине выходного провода или, что эквивалентно, максимальной глубине сравнивающего устройства. Например, глубина сравнивающей сети, представленной на рис. 27.2, равна 3, поскольку именно этому значению равна глубина сравнивающего устройства Е. Если для вычисления результата каждому сравнивающему устройству требуется единичный интервал времени, и если входные значения подаются в нулевой момент времени, сравнивающее устройство на глубине d выдает результат в момент времени d. Таким образом, глубина сети равна времени, в течение которого сеть обрабатывает входные значения и выдает результат на все выходные провода.
Сортирующая сеть (sorting network) — это сравнивающая сеть, в которой выходная последовательность является монотонно неубывающей (т.е. выполняется цепочка неравенств by < Ь^ < • • • < Ьп) для любой входной последовательности. Конечно же, не все сравнивающие сети являются сортирующими, но сеть на рис. 27.2 именно такая. Чтобы понять причину этого, заметим, что по истечении единичного интервала времени минимальная из четырех входных величин появится либо на верхнем выходе сравнивающего устройства А, либо на верхнем выходе сравнивающего устройства В. Поэтому по истечении двух единичных интервалов времени эта величина должна оказаться на верхнем выходе сравнивающего устройства С. Аналогично, по истечении двух единичных интервалов времени максимальная из четырех входных величин появится на нижнем выходе сравнивающего устройства D. Все, что остается сравнивающему устройству Е, — это убедиться, что два средних значения займут правильные позиции, что и произойдет в момент времени 3.
Сравнивающая сеть напоминает процедуру в том смысле, что она указывает, как должны выполняться операции сравнения, но отличается от нее тем, что ее размер (size), т.е. количество содержащихся в сети сравнивающих устройств, зависит от количества входных и выходных величин. Таким образом, мы должны описывать “семейства” сравнивающих сетей. Например, цель этой главы — разработать семейство эффективных сортирующих сетей SORTER. Конкретная сеть в пределах этого семейства задается семейным именем и количеством входов (которое равно количеству выходов). Например, сортирующая сеть с п входами и п выходами в семействе SORTER получает имя SORTER[n].
Упражнения
1. Какие значения появятся на всех проводах сети, представленной на рис. 27.2, если входная последовательность имеет вид (9,6,5,2).
°i °2 °3*4°5 °6 °7 °8°i °2 °3*4°5 °6 °7 °8Ь\
°i °2 °3
*4
°5 °6 °7 °8
°i °2 °3
*4
°5 °6 °7 °8
Ь2
Ьз
Ь4
Ь5
^6
Ь1 ьъ
Рис. 27.3. Сортирующая сеть, основанная на методе сортировки вставками, для упражнения 27.1-6
2. Пусть п — степень двойки. Покажите, как сконструировать сравнивающую сеть глубиной Ign с п входами и п выходами, в которой верхний выходной провод всегда передает минимальное входное значение, а нижний выходной провод — максимальное.
3. К сортирующей сети всегда можно добавить сравнивающее устройство таким образом, чтобы в результате получилась сравнивающая сеть, которая не является сортирующей. Покажите, как добавить сравнивающее устройство в сеть, изображенную на рис. 27.2, чтобы получившаяся сеть перестала сортировать все входные перестановки.
4. Докажите, что глубина сортирующей сети на п входов ограничена снизу величиной 1g п.
5. Докажите, что количество сравнивающих устройств в произвольной сортирующей сети равно Q (n lg п).
6. Рассмотрим сортирующую сеть, изображенную на рис. 27.3. Докажите, что это на самом деле сортирующая сеть и опишите, как ее структура связана со структурой алгоритма, работающего по методу вставок (раздел 2.1).
27.1-7. Сравнивающую сеть на п входов, содержащую с сравнивающих устройств, можно представить в виде списка с пар целых чисел, которые находятся в интервале от 1 до п. Если две пары содержат общее целое число, порядок соответствующих сравнивающих устройств сети определяется порядком пар в списке. Опишите с помощью этого представления (последовательный) алгоритм со временем работы О (п + с), позволяющий определить глубину сравнивающей сети.
* 27.1-8. Предположим, что кроме обычных сравнивающих устройств мы располагаем “перевернутыми” сравнивающими устройствами, минимальное значение в которых поступает на нижний провод, а максимальное —
на верхний. Покажите, как преобразовать любую сортирующую сеть, содержащую с стандартных и перевернутых сравнивающих устройств в сортирующую сеть, в которой используется с стандартных сравнивающих устройств. Докажите корректность предложенного метода преобразования.
27.2 Нуль-единичный принцип
Нуль-единичный принцип (zero-one principle) утверждает, что если сортировочная сеть правильно работает для всех наборов входных величин, составленных из элементов множества {0,1}, то она правильно работает для любых входных чисел. (Эти числа могут быть целыми, действительными или любым другим подмножеством величин, извлеченных из произвольного линейно упорядоченного множества.) При построении сортирующих сетей или других сравнивающих сетей нуль-единичный принцип позволяет ограничиться операциями, выполняющимися над последовательностью, составленной только из нулей и единиц. Построив сортирующую сеть и доказав, что с ее помощью сортируются все последовательности из нулей и единиц, мокою обратиться к нуль-единичному принципу и доказать, что она надлежащим образом сортирует последовательности, составленные из произвольных величин.
Доказательство нуль-единичного принципа основано на понятии монотонно неубывающей функции (раздел 3.2).
Лемма 27.1. Если сравнивающая сеть преобразует входную последовательность а = (ai, аг,.. •, ап) в выходную последовательность b = (61,6г,..., 6П), то для любой монотонно неубывающей функции / эта сеть преобразует входную последовательность / (а) = (/ (oi), / (аг),...,/ (&п)) в выходную последовательность / (6) = (/ (61), / (62),...,/ (6П)).
Доказательство. Сначала докажем, что если функция / монотонно неубывает, то отдельное сравнивающее устройство с входными значениями / (ж) и / (у) выдаст результат / (min (ж, у)) и / (max (ж, у)). Затем докажем лемму по индукции.
Чтобы доказать сформулированное выше утверждение, рассмотрим сравнивающее устройство, на вход которого подаются величины ж и у. Верхнее выходное значение такого устройства равно min (ж, у), а его нижнее выходное значение — max (ж, у). Предположим, что теперь на вход сравнивающего устройства подаются значения / (ж) и / (у) (рис. 27.4). На верхний выход сравнивающего устройства выдается значение min (/ (ж), / (у)), а на нижний выход — значение max (У (ж), / (у)). Поскольку функция / монотонно неубывающая, из неравенства
/М/О')/М/О')min(/(x),/0')) =/(min(x,y))
/М
/О')
/М
/О')
тахУ(х),/О-)) =/(тах(х, у))
Рис. 27.4. Работа сравнивающего устройства, иллюстрирующая доказательство леммы 27.1; функция / — монотонно неубывающая
ж ^ у следует неравенство f (х) С f (у). Следовательно, выполняются тождестваmin (/ (ж), / (у)) = f (min (ж, у)),max (/ (ж), / (у)) = / (max (ж, у)).
Таким образом, если на вход сравнивающего устройства подать значения / (ж) и / (у), то на его выходе получим значения min (/ (ж), / (у)) и max (/ (ж), / (у)). На этом доказательство утверждения завершается.
Методом индукции по шагам продвижения вглубь по каждому проводу в сравнивающей сети общего вида можно доказать более сильное утверждение, чем то, которое сформулировано в лемме. Оно заключается в том, что если какой-нибудь провод получает значение сц в результате подачи в сеть входной последовательности а, то при подаче входной последовательности / (а) он получает значение /(at)- Поскольку в этом утверждении идет речь обо всех проводах, в том числе и о выходных, его доказательство станет доказательством леммы.
В качестве базиса индукции рассмотрим провод на глубине 0, т.е. входной провод Oj. Результат получается тривиальным образом: если на вход сети подается сигнал / (а), то по входному проводу передается сигнал / (а,). В качестве шага индукции рассмотрим провод, расположенный на глубине d ^ 1. Этот провод является выходным в" сравнивающем устройстве, расположенном на глубине d, а входные провода этого устройства находятся на глубине, строго меньшей d. В соответствии с гипотезой индукции, если входные провода сравнивающего устройства передают сигналы а, и aj при подаче в сеть входной последовательности а, то при подаче входной последовательности / (а) они передают сигналы / (о,) и f (aj\ Согласно доказанному ранее утверждению, выходные провода рассматриваемого сравнивающего устройства передают сигналы / (min(at,Oj)) и / (max (a^aj)). Так как при подаче в сеть входной последовательности а они передают сигналы min (a,, aj) и max (а^ aj), то лемма доказана.I
В качестве примера применения леммы 27.1 рассмотрим рис. 27.5. Сортирующая сеть, изображенная в части а этого рисунка, идентична той, что показана на рис. 27.5. В части б этого рисунка показана эта же сеть в ситуации, когда ее входная последовательность образована путем применения к входной последовательности из части а монотонно неубывающей функции / (ж) = (ж/2"|.
а)а)Рис. 27.5. Применение неубывающей функции ко входу сортирующей сетиРис. 27.5. Применение неубывающей функции ко входу сортирующей сетиб)б)
а)
а)
Рис. 27.5. Применение неубывающей функции ко входу сортирующей сети
Рис. 27.5. Применение неубывающей функции ко входу сортирующей сети
б)
б)
Если сравнивающая сеть является сортирующей, то лемма 27.1 позволяет доказать сформулированное ниже замечательное утверждение.
Теорема 27.2 (Нуль-единичный принцип). Если сравнивающая сеть с п входами правильно сортирует все 2П возможных последовательностей, состоящих из нулей и единиц, то она правильно сортирует все последовательности чисел произвольного вида.
Доказательство. Предположим, что это не так, и сеть сортирует все нуль-еди- ничные последовательности, но существует последовательность, состоящая из произвольных чисел, которую сеть не может правильно отсортировать. Другими словами, существует входная последовательность (01,02,.. .ап), которая содержит элементы at и aj, связанные соотношением о» < a,j, но после прохождения сети значение а^ расположено в выходной последовательности перед значением at. Определим следующую монотонно неубывающую функцию /:
при х ^ а^ при х > Qi.при х ^ а^ при х > Qi.
при х ^ а^ при х > Qi.
при х ^ а^ при х > Qi.
Поскольку в выходной последовательности сеть помещает значение aj перед значением а^ если на вход подается последовательность (ai,a2,.. .ап), то из леммы 27.1 следует, что она разместит значение f (aj) перед значением f (а^ в выходной последовательности, если на вход сети подается последовательность (/(^1),/(02)(an)). Но так как f (aj) = 1 и f (а^ = 0, мы приходим к противоречию, что сеть не в состоянии правильно отсортировать нуль-единич- ную последовательность (/ (ai), / (a2),...,/ (an)). S
Упражнения
1. Докажите, что в результате применения монотонно неубывающей функции к отсортированной последовательности получится отсортированная последовательность.
°* —т—тт—61
"2 *2
а3 —V*— Ь,
а4 —44— Ь4
Рис. 27.6. Сортирующая сеть, предназначенная для сортировки четырех чисел
2. Докажите, что сравнивающая сеть с п входами правильно сортирует входную последовательность (n, п — 1,..., 1) тогда и только тогда, когда она правильно сортирует нуль-единичные последовательности (1,0,0,... 0,0), (1,1,0,... ,0,0),..., (1,1,1,..., 1,0), состоящие из п — 1 членов.
3. Докажите с помощью нуль-единичного принципа, что сравнивающая сеть, показанная на рис. 27.6, является сортирующей.
4. Сформулируйте и докажите утверждение, аналогичное нуль-единичному принципу, для модели дерева решений. (Указание: не забудьте корректно обработать равенство.)
5. Докажите, что для всех г = 1,2, ...,n — 1 в сортирующей сети на п входов между г-й и (г + 1)-й линиями должно содержаться по крайней мере одно сравнивающее устройство.
27.3 Битоническая сортирующая сеть
Первый этап конструирования эффективной сортирующей сети состоит в том, чтобы построить сравнивающую сеть, которая может сортировать любую бито- ническую последовательность (bitonic sequence): последовательность, которая сначала монотонно возрастает, а затем монотонно убывает, или последовательность, которая приводится к такому виду путем циклического сдвига. Примерами битонических последовательностей являются последовательности (1,4,6,8,3,2), (6,9,4,2,3,5) и (9,8,3,2,4,6). Любая последовательность, состоящая всего из одного числа или двух чисел, является битонической. Такие последовательности представляют собой своего рода граничный случай. Нуль-единичные битониче- ские последовательности обладают простой структурой. Они имеют вид О1!^ или l1^!^ для некоторых i,j,k ^ 0. Заметим, что последовательность, которая либо монотонно возрастает, либо монотонно убывает, — тоже битоническая.
Битонический сортировщик, который нам предстоит сконструировать, представляет собой сортирующую сеть, которая сортирует битонические последовательности, состоящие из нулей и единиц. В упражнении 27.3-6 предлагается по-
казать, что битонический сортировщик может сортировать битонические последовательности, образованные произвольными числами.
Полуфильтр
Битонический сортировщик состоит из нескольких каскадов, каждый из которых называется полуфильтром (half-cleaner). Каждый полуфильтр — это сравнивающая сеть глубиной 1, в которой г-я входная линия сравнивается со входной линией под номером г + п/2, где г = 1,2, ...,п/2. (Предполагается, что п — четное.) На рис. ПЛ показана сеть Half_Cleaner[8], — полуфильтр на 8 входов и 8 выходов, и приведены два примера нуль-единичных входных и выходных наборов значений. Если входные последовательности — битонические, то каждый элемент из верхней половины выходной последовательности не превышает значения любого элемента из нижней половины этой последовательности. Кроме того, обе половины образуют битонические последовательности.
Если на вход полуфильтра подается битоническая последовательность из нулей и единиц, то на его выход выдается последовательность, в которой меньшие значения расположены в верхней половине, большие — в нижней половине, причем обе половины образуют битонические последовательности. По крайней мере одна из половинных подпоследовательностей выходной последовательности является однородной (clean) — состоящей либо из нулей, либо из единиц. Именно благодаря этому свойству такая сеть получила название “полуфильтр”. (Заметим,
Рис. 27.7. Сравнивающая сеть Half_Cleaner[8]
что все однородные последовательности — битонические.) В сформулированной ниже лемме доказываются эти свойства полуфильтров.
Лемма 27.3. Если на вход полуфильтра подается битоническая последовательность из нулей и единиц, то его выход обладает такими свойствами: верхняя и нижняя половины образуют битонические последовательности; каждый элемент из верхней половины по величине не превосходит любой элемент из нижней половины; хотя бы одна половина является однородной.
Доказательство. Для всех г = 1,2,..., п/2 сравнивающая сеть HALF_CLEANER[n] сравнивает входные величины с номерами г и г + п/2. Без потери общности предположим, что входная последовательность имеет вид 00... 011... 100... 0. (Рассуждения для входной последовательности вида 11... 100... 011... 1 аналогичны.) В зависимости от Toro'S каком блоке из последовательно расположенных нулей или единиц находится средняя точка п/2 входной последовательности, можно выделить три случая, причем один из этих случаев (тот, когда средняя точка приходится на блок из единиц), в свою очередь, разбивается на два частных случая. Все эти четыре частных случая показаны на рис. 27.8. Последовательности из нулей выделены белым фоном, а последовательности из единиц — серым. Случаи, в которых точка деления пополам приходится на последовательность единиц, представлены в частях а-б, а случаи, в которых она приходится на последовательность нулей, — в частях в-г. Для каждого из них лемма выполняется. ■
Битонический сортировщик
Рекурсивно комбинируя полуфильтры, как показано на рис. 27.9, можно составить битонический сортировщик (bitonic sorter), представляющий собой сеть, которая сортирует битонические последовательности. Первый модуль сети BlTONIC_SORTER[n] представляет собой модуль HALF_CLEANER[n], который, согласно лемме 27.3, выдает две битонические последовательности половинного размера, причем каждый элемент из верхней половины не превышает по величине любой элемент из нижней половины. Таким образом, сортировку можно завершить с помощью двух копий модуля BlTONIC_SORTER[n/2], рекурсивно сортирующий обе половины. На рис. 27.9а рекурсия показана явно. Здесь после модуля HALF_CLEANER[n] расположены два модуля HALF_CLEANER[n/2]. На рис. 27.96 схема представлена в развернутом виде, демонстрируя полуфильтры все меньшего размера, образующие остальную часть битонического сортировщика. Каждый полуфильтр выделен затененным фоном. Возле проводов приведены примеры возможных нуль-единичных значений. Глубина D (п) сети BlTONIC_SORTER[n] выра-
Битони чех1 кая последовательностьБитони чех1 кая последовательностьРазделениеСравнениеОбади некиеРазделениеСравнениеОбади некиеБитоническаяоднороднаяпоследовательностьБитоническаяпоследовательностьБитоническаяоднороднаяпоследовательностьБитоническаяпоследовательностьБитоническая последовательностьБитоническая последовательностьБитоническаяпоследовательностьБитоническаяпоследовательностьБитоническая однородная последовательностьБитоническая однородная последовательностьБитоническая последовательностьБитоническая последовательностьБитоническая последовательностьБитоническая последовательностьРис. 27.8. Возможные частные случаи сравнения в сети Half_Cleaner[h]Рис. 27.8. Возможные частные случаи сравнения в сети Half_Cleaner[h]жается рекуррентным соотношениемжается рекуррентным соотношениемD (п) = <D (п) = <ОD (п/2) +1ОD (п/2) +1при п = 1,при п = 1,при п = 2к, к ^ 1,при п = 2к, к ^ 1,
Битони чех1 кая последовательность
Битони чех1 кая последовательность
РазделениеСравнениеОбади некие
РазделениеСравнениеОбади некие
Битоническая
однородная
последовательность
Битоническая
последовательность
Битоническая
однородная
последовательность
Битоническая
последовательность
Битоническая последовательность
Битоническая последовательность
Битоническая
последовательность
Битоническая
последовательность
Битоническая однородная последовательность
Битоническая однородная последовательность
Битоническая последовательность
Битоническая последовательность
Битоническая последовательность
Битоническая последовательность
Рис. 27.8. Возможные частные случаи сравнения в сети Half_Cleaner[h]
Рис. 27.8. Возможные частные случаи сравнения в сети Half_Cleaner[h]
жается рекуррентным соотношением
жается рекуррентным соотношением
D (п) = <
D (п) = <
О
D (п/2) +1
О
D (п/2) +1
при п = 1,
при п = 1,
при п = 2к, к ^ 1,
при п = 2к, к ^ 1,
решение которого имеет вид D (n) = 1g п.
Отсортированная'последовательностьОтсортированная'последовательностьБитоническая последовательностьБитоническая последовательностьРис. 27.9. Сравнивающая сеть BlTONlC_SORTER[n] для п = 8Рис. 27.9. Сравнивающая сеть BlTONlC_SORTER[n] для п = 8
Отсортированная'
последовательность
Отсортированная'
последовательность
Битоническая последовательность
Битоническая последовательность
Рис. 27.9. Сравнивающая сеть BlTONlC_SORTER[n] для п = 8
Рис. 27.9. Сравнивающая сеть BlTONlC_SORTER[n] для п = 8
Таким образом, нуль-единичную битоническую последовательность можно отсортировать с помощью сети Bitonic_Sorter, глубина которой равна 1g п. Из утверждения, аналогичному нуль-единичному принципу, которое предлагается доказать в упражнении 27.3-6, следует, что с помощью такой сети можно отсортировать любую битоническую последовательность, состоящую из произвольных чисел.
Упражнения
1. Сколько нуль-единичных битонических последовательностей длины п можно образовать?
2. Покажите, что сеть BlTONlC_SORTER[n], где п — степень двойки, содержит 0 (n lg п) сравнивающих устройств.
3. Опишите, как сконструировать битонический сортировщик глубиной О (1g п), если п не равно степени двойки.
4. Докажите, что если на вход полуфильтра подается битоническая последовательность, состоящая из произвольных чисел, то выходная последовательность обладает следующими свойствами: верхняя и нижняя половины выходной последовательности являются битоническими, и каждый
элемент из верхней половины не превышает по величине ни одного элемента из нижней половины.
5. Рассмотрим две последовательности, состоящие из нулей и единиц. Докажите, что если каждый элемент одной из них не превышает по величине элементы другой последовательности, то одна из двух последовательностей является однородной.
6. Докажите такой аналог нуль-единичного принципа для битонических сортирующих сетей: сравнивающая сеть, которая может отсортировать любую битоническую последовательность из нулей и единиц, может также отсортировать любую битоническую последовательность, состоящую из произвольных чисел.
27.4 Объединяющая сеть
Наша сортирующая сеть будет составлена из объединяющих сетей (merging networks), в роли которых выступают сети, способные объединять две отсортированные входные последовательности в одну отсортированную выходную последовательность. Модифицируем сеть BlTON!C_SORTER[n], с тем чтобы создать объединяющую сеть MERGER[n]. Как и в случае с битоническим сортировщиком, корректность работы объединяющей сети достаточно доказать для входных последовательностей, состоящих из нулей и единиц. В упражнении 27.4-1 предлагается обобщить это доказательство на случай произвольных входных значений.
Идея объединяющей сети основывается на таком интуитивном соображении. Если имеются две отсортированные последовательности, то в результате инвертирования второй последовательности и объединения ее с первой последовательностью получится битоническая последовательность. Например, пусть нуль-еди- ничные последовательности X и Y имеют вид: X = 00000111 и У = 00001111. После инвертирования последовательности Y получаем yR = 11110000. Объединив последовательности X и KR, получим битоническую последовательность 0000011111110000. Таким образом, чтобы объединить две входные последовательности X и У, достаточно выполнить битоническую сортировку последовательности X, объединенной с последовательностью Ук.
Чтобы составить сеть Merger [п], можно модифицировать первый полуфильтр, входящий в состав сети BlTONlC_SoRTER[n]. Главная проблема в том, чтобы выполнить явное инвертирование второй половины входной последовательности. Чтобы объединить две заданные отсортированные последовательности (ai, а2,..., ап/2) и (°n/2+i,°n/2+2, • • • >Оп), нужно добиться, чтобы выполнялась битоническая сортировка последовательности (ai, а2,..., an/2,an, an-i,..., ап/2+1). Поскольку в первом полуфильтре сети BlTONlC_SORTER[n] сравниваются входные значения под номерами г и п/2 + 1 для всех г = 1,2, ...,п/2, в первом моду-
piОтсортированная ] а2 последовательность \ „I 3Г *5Отсортированная 1 <4 последовательность \UepiОтсортированная ] а2 последовательность \ „I 3Г *5Отсортированная 1 <4 последовательность \UeД 0.1 1 1 1 Л 1Д 0.1 1 1 1 Л 10. д Л1 1 1 о.10. д Л1 1 1 о.1b2 I Битоническая к / последовательностьU^6 ( Битоническая/,7 Г последовательность^8 Jb2 I Битоническая к / последовательностьU^6 ( Битоническая/,7 Г последовательность^8 JазБитоническая / а4 последовательность flgазБитоническая / а4 последовательность flgА 0.1 11 0.0.0.А 0.1 11 0.0.0.а)а)д 0.0. о 1 д 1 1д 0.0. о 1 д 1 1bl bl b3 Ьдbl bl b3 ЬдБитоническая последовательностьБитоническая последовательностьБитоническая последовательностьБитоническая последовательность
pi
Отсортированная ] а2 последовательность \ „
I 3
Г *5
Отсортированная 1 <4 последовательность \
Ue
pi
Отсортированная ] а2 последовательность \ „
I 3
Г *5
Отсортированная 1 <4 последовательность \
Ue
Д 0.
1 1 1 1 Л 1
Д 0.
1 1 1 1 Л 1
0. д Л
1 1 1 о.
1
0. д Л
1 1 1 о.
1
b2 I Битоническая к / последовательность
U
^6 ( Битоническая
/,7 Г последовательность
^8 J
b2 I Битоническая к / последовательность
U
^6 ( Битоническая
/,7 Г последовательность
^8 J
аз
Битоническая / а4 последовательность flg
аз
Битоническая / а4 последовательность flg
А 0.
1 1
1 0.
0.
0.
А 0.
1 1
1 0.
0.
0.
а)
а)
д 0.
0. о 1 д 1 1
д 0.
0. о 1 д 1 1
bl bl b3 Ьд
bl bl b3 Ьд
Битоническая последовательность
Битоническая последовательность
Битоническая последовательность
Битоническая последовательность
б)
Рис. 27.10. Сравнение первого модуля сети MERGER [п] с первым модулем HALF_CLEANER[n] при п = 8
ле объединяющей сети необходимо сравнивать входные значения под номерами г и п — 1 + г. На рис. 27.10 показано данное соответствие. На первом этапе в сети MERGER[n] две монотонные входные последовательности (ai, а^ ..., ап/2} и (^n/2+i > ^п/2+2? • • • ? ^п) преобразуются в битонические последовательности 01А,... А/2) и (bn/2+iA/2+2.---А) (часть а рисунка). В части б этого рисунка проиллюстрирована эквивалентная операция в сети HALF_CLEANER[n]. Здесь битоническая входная последовательность (ai, аг,..., ап/г, an, an-i,..., an/2+i) преобразуется в две битонические последовательности (bi А, • • •, Ьп/г) и (bn, bn-i, • • •, Ьп/г+1)- Единственное отличие этой схемы заключается в том, что выходы в нижней части первого модуля сети MERGER[n] расположены в обратном порядке по сравнению с выходами обычного полуфильтра. Однако поскольку последовательность, полученная в результате инвертирования битонической последовательности, тоже является битонической, верхняя и нижняя половины последовательности, полученной на выходе первого модуля объединяющей сети, удовлетворяют свойствам леммы 27.3. Таким образом, можно параллельно выполнить битоническую сортировку верхней и нижней частей последовательности, чтобы на выходе объединяющей сети получить отсортированную последовательность.
Рис. 27.11. Сеть, объединяющая две входные отсортированные последовательности, в одну выходную отсортированную последовательность при п = 8
Получившаяся в результате объединяющая сеть показана на рис. 27.11. Лишь первый модуль сети MERGER[n] отличается от модуля сети BlTONlC_SORTER[n], следовательно, глубина обеих сетей равна lg п. Сеть MERGER[n] можно рассматривать как сеть BlTONlC_SORTER[n], в которой первый полуфильтр изменен таким образом, что он сравнивает входные значения с номерами i и п — г + 1 при г = = 1,2,..., п/2. В части а этого рисунка сеть разбита на модули; за первым модулем в ней следуют два параллельно расположенных модуля BlTONlC_SORTER[n/2]. В части б изображена та же сеть, в которой рекурсия раскрыта подробнее. Возле проводов указаны примеры нуль-единичных величин, а отдельные модули выделены затенением.
Упражнения
1. Докажите для объединяющих сетей утверждение, аналогичное нуль-еди- ничному принципу. Другими словами, покажите, что сравнивающая сеть, которая объединяет две произвольные монотонно неубывающие последовательности из нулей и единиц, могут объединять две произвольные монотонно неубывающие последовательности, состоящие из любых чисел.
2. Сколько различных нуль-единичных последовательностей необходимо подать на вход сравнивающей сети, чтобы проверить, что она действительно является объединяющей сетью?
3. Покажите, что любая сеть, которая объединяет один элемент с п — 1 отсортированными элементами, выдавая отсортированную последовательность длины п, должна иметь глубину не менее 1g п.
* 27.4-4. Рассмотрим объединяющую сеть с входной последовательностью 01,02, ..., оп для п, равных степени двойки, в которых две монотонные объединяемые последовательности имеют вид (01,03,..., on-i) и (02,04,..., оп). Докажите, что количество сравнений, которые выполняются в объединяющих сетях этого вида, равно Q (n lg п). Почему эта нижняя граница представляет интерес? (Указание: разбейте сравнивающие устройства на три множества.)
* 27.4-5. Докажите, что для любой объединяющей сети, независимо от порядка входных последовательностей, требуется fi(nlgn) сравнивающих устройств.
27.5 Сортирующая сеть
Теперь у нас имеются все инструменты, необходимые для построения сети, которая способна отсортировать любую входную последовательность. В сортирующей сети SORTER[n] с помощью объединяющей сети реализована параллельная версия сортировки слиянием, описанная в разделе 2.3.1. Построение и работа сортирующей сети проиллюстрирована на рис. 27.12.
На рис. 27.12а показана рекурсивная схема сети SORTER[n]. Последовательность из п входных элементов сортируется путем (параллельной) рекурсивной сортировки двух подпоследовательностей длиной п/2, каждая в двух модулях SORTER[n/2]. Затем обе полученные в результате последовательности объединяются с помощью модуля MERGER[n]. Граничный случай рекурсии имеет место при n = 1. При этом 1-элементную последовательность можно отсортировать с помощью провода, потому что она уже отсортирована. На рис. 27.125 показан результат более подробного представления рекурсии, а на рис. 27.12в — сама сеть, полученная в результате замены блоков Merger, изображенных на рис. 27.125, реальными объединяющими сетями. Кроме того, на рис. 27.12в указаны глубины всех сравнивающих устройств, а возле проводов — примеры нуль-единичных значений.
В сети SORTER[n] данные проходят lg п этапов. Каждый отдельный входной элемент сети представляет собой уже отсортированную одноэлементную последовательность. Первый модуль сети SORTER[n] состоит из п/2 копий подсети Merger[2], которые подключены параллельно и объединяют пары 1-элементных
б)
Рис. 27.12. Сортирующая сеть SORTER[n], построенная путем рекурсивного совмещения объединяющих сетей
последовательностей в отсортированные последовательности из двух элементов. Второй модуль состоит из п/4 копий подсети Merger[4], объединяющих пары этих двухэлементных отсортированных последовательностей в отсортированные последовательности из четырех элементов. В общем случае модуль под номером
к, где к = 1,2,... ,1g п, состоит из п/2к копий подсети MERGER[2fc], объединяющих пары 2fc-1-элементных отсортированных последовательностей в отсортированные последовательности длины 2к. На выходе последнего модуля выдается одна отсортированная последовательность, содержащая все входные значения. По индукции можно показать, что такая сеть сортирует все нуль-единичные последовательности, а значит, согласно нуль-единичному принципу (теорема 27.2), она способна сортировать произвольные значения.
Можно провести рекурсивный анализ глубины сортирующей сети. Глубина D (п) сети SORTER[n] равна сумме глубины D (п/2) подсети SORTER[n/2] (всего имеется две копии этой подсети, но они работают параллельно) и глубины Ign модуля MERGER[n]. Следовательно, глубина сети SORTER[n] выражается рекуррентным соотношением
D (п) = <D (п) = <Опри n = 1,
D (п) = <
D (п) = <
D (п/2) 4- Ign при п = 2к, к ^ 1, решение которого имеет вид D (п) = 0 (1g2 п). (Здесь использована версия основного метода из упражнения 4.4-2.) Таким образом, в параллельной сети п чисел можно отсортировать за время О (1g2 п).
Упражнения
1. Сколько сравнений выполняется в сети SORTER[n]?
2. Покажите, что глубина сети SORTER[n] равна (Ign) (lg п + 1)/2.
3. Предположим, что всего имеется 2п элементов («1,02,... ,Q2n) и нужно разбить их на две части, в одной из которых содержалось бы п меньших элементов, а в другой — п больших. Докажите, что это можно сделать путем увеличения на единицу глубины сети, выполняющей раздельную сортировку последовательностей (ai, 02,..., ап) и (an+i, ап+2,. • •, агп)- * 27.5-4. Пусть S (к) — глубина сортирующей сети на к входов, а М (к) — глубина объединяющей сети на 2к входов. Предположим, что задана последовательность из п чисел, которую нужно отсортировать. Также известно, что каждое число находится в пределах к позиций от правильного положения, которое оно займет после сортировки. Покажите, что п таких чисел можно отсортировать с помощью сети глубиной S (к) + 2М (к).
* 27.5-5. Элементы матрицы m х m можно отсортировать путем fc-кратного повторения описанной ниже процедуры.
Сортировка всех нечетных строк в порядке возрастания.
Сортировка всех четных строк в порядке убывания.
Сортировка всех столбцов в порядке возрастания.
Сколько итераций потребуется выполнить в этой процедуре сортировки? В каком порядке следует считывать матричные элементы после к итераций, чтобы получилась отсортированная выходная последовательность?
Задачи
27-1. Транспозиционные сортирующие сети
Сравнивающая сеть является транспозиционной (transposition network), если каждое сортирующее устройство в ней соединяет соседние линии, как в сети, изображенной на рис. 27.3.
Покажите, что любая сортирующая транспозиционная сеть с п входами содержит П (п2) сравнивающих устройств.
Докажите, что транспозиционная сеть с п входами является сортирующей тогда и только тогда, когда она сортирует последовательность (n, п — 1,..., 1). (Указание; используйте метод математической индукции, аналогично доказательству леммы 27.1.)
Нечетно-четная сортирующая сеть (odd-even sorting network) на n входов (ai, 02,..., On) — это транспозиционная сортирующая сеть с п уровнями сравнивающих устройств, соединенных между собой по схеме “кирпичной кладки” (рис. 27.13). Как видно из рисунка, при г = = 1,2,..., п и d = 1,2,..., п линия г соединена сравнивающим устройством на глубине d с линией j = г + (—l)t+d, если 1 ^ j ^ п.
Докажите, что нечетно-четные сортирующие сети действительно выполняют сортировку.
Рис. 27.13. Нечетно-четная сортирующая сеть на 8 входов
27-2. Нечетно-четная объединяющая сеть Батчера (Batcher)
В разделе 27.4 было показано, как построить объединяющую сеть на основе битонической сортировки. В этой задаче будет сконструирована нечетно-четная объединяющая сеть (odd-even merging network). Предполагается, что п равно степени двойки, а задание заключается в том, чтобы объединить отсортированную последовательность, элементы которой подаются на линии (ai, а^,..., ап), с отсортированной последовательностью, элементы которой подаются на линии (an+i, an+2, • • • > °2n)- Если n = 1, то сравнивающее устройство размещается между линиями oi и аг- В противном случае по принципу рекурсии составляются две нечетно-четные объединяющие сети, которые работают параллельно. Первая из них объединяет последовательность, которая подается на линии (а1,аз,... ,an-i), с последовательностью, которая подается на линии (an+i, ап+з,..., агп-i) (нечетные элементы). Вторая сеть выполняет ту же самую операцию над последовательностями (аг, 04,..., ап) и (ап+2, Оп+4, • • • ,«2п) (четные элементы). Чтобы скомбинировать две отсортированные последовательности, сравнивающие устройства помещаются между линиями аг» и a2i+i при г = 1,2,..., п — 1.
Изобразите объединяющую сеть на 2п входов при п = 4.
Профессор предложил объединять две отсортированные последовательности, полученные путем рекурсивного объединения, помещая сортирующие устройства не между линиями аг< и a2i+i для г = = 1,2,..., п — 1, а между линиями агг-i и аг» для г = 1,2,..., п. Нарисуйте схему такой сети на 2п входов при п = 4 и приведите контрпример, из которого видно, что профессор ошибается, и получившаяся в результате сеть не является объединяющей. На этом же примере покажите, что объединяющая сеть на 2п входов, описанная в части а, работает правильно.
Докажите с помощью нуль-единичного принципа, что любая нечетно-четная объединяющая сеть на 2п входов действительно является объединяющей сетью.
Чему равна глубина нечетно-четной объединяющей сети на 2п входов? Чему равен ее размер?
27-3. Перестановочные сети
Перестановочная сеть (permutation network) на п входов и п выходов содержит переключатели, позволяющие соединять входы сети с ее выходами в соответствии с любой из п! возможных перестановок. На рис. 27.14a показана перестановочная сеть Рг на 2 входа и 2 выхода,
состоящая из одного переключателя, с помощью которого входы можно соединить с выходами напрямую или крест-накрест.
Докажите, что если каждое сравнивающее устройство в сортирующей сети заменить переключателем, показанным на рис. 27.14а, то полученная в результате сеть будет перестановочной. Другими словами, для любой перестановки тг существует способ установить переключатели в сети таким образом, чтобы соединить вход г с выходом тг (г).
На рис. 27.146 показана рекурсивная схема перестановочной сети Р% на 8 входов и 8 выходов, которая содержит две копии сети Рд и 8 переключателей. Переключатели установлены таким образом, чтобы реализовать перестановку тг = (тг (1) ,тг (2),..., тг (8)) = (4,7,3,5,1,6,8,2). При этом требуется (по рекурсии), чтобы в верхней сети Рд реализовалась перестановка (4,2,3,1), а в нижней — перестановка (2,3,1,4).
Покажите, как в сети Pg реализовать перестановку (5,3,4,6,1,8, 2,7) путем изменения положений переключателей и перестановок, выполняющихся в двух сетях Рд..
Пусть п равно степени двойки. Дайте рекурсивное определение сети Рп в терминах двух сетей Рп/2> аналогичное определению сети Р^.
Опишите алгоритм, который в течение времени О(п) (на обычной машине с произвольным доступом к памяти) позволяет уста-
новить п переключателей, соединенных с входами и выходами сети Рп, и определить перестановки, которые необходимо реализовать в каждой из сетей Рп/2, чтобы выполнить любую перестановку п элементов. Докажите корректность вашего алгоритма.
Чему равны глубина и размер сети РпЧ Сколько времени потребуется, чтобы определить на обычном компьютере с произвольным доступом к памяти положения всех переключателей, включая те, которые содержатся в сетях Рп^
Докажите, что при п > 2 любая перестановочная сеть, а не только Рп, должна реализовать некоторую перестановку путем установки двух различных сочетаний положений переключателей.
Заключительные замечания
В книге Кнута (Knuth) [185] обсуждаются сортирующие сети и приводится их краткая история. Однозначно можно сказать, что впервые они исследовались в 1954 году Армстронгом (P.N. Armstrong), Нельсоном (R.J. Nelson) и О’Коннором (D.J. O’Connor). В начале 1960-х Батчер (К.Е. Batcher) разработал первую сеть, способную объединять две последовательности из п чисел в течение времени O(lgn). Он воспользовался нечетно-четным объединением (см. задачу 27-2), а также показал, как с помощью этого метода выполнить сортировку п чисел за время О (lg2 п). Вскоре после этого он разработал битонический сортировщик глубиной O(lgn), аналогичный тому, который представлен на рис. 27.3. Авторство нуль-единичного принципа Кнут приписывает Бурайсиусу (W.G. Bouricius) (1954 г.), доказавшему его в контексте деревьев решений.
В течение долгого времени открытым оставался вопрос о существовании сортирующих сетей глубиной О (lg п). В 1983 году на него удалось ответить утвердительно, но оказалось, что этот ответ нельзя считать удовлетворительным. Сортирующая сеть AKS (названная так в честь своих разработчиков Ajtai (Айтаи), Комлёса (Komlos) и Семереди (Szemeredi) [11]) имеет глубину O(lgn) и сортирует п чисел с помощью О (п lg п) сравнений. К сожалению, константы, скрытые в О-обозначении, получаются слишком большими (порядка нескольких тысяч), поэтому считается, что такая сеть не имеет практической пользы.
ГЛАВА 28
Работа с матрицами
Работа с матрицами — сердце научных расчетов, поэтому эффективные алгоритмы для работы с матрицами представляют значительный практический интерес. Эта глава представляет собой краткое введение в теорию матриц и операции над матрицами, делая особый упор на задачу умножения матриц и решение систем линейных уравнений.
После раздела 28.1, который знакомит нас с основными концепциями теории матриц и используемыми обозначениями, в разделе 28.2 представлен алгоритм Штрассена, позволяющий выполнить умножение двух матриц размером n х п за время 0 (nlg7) = О (?г2,81). В разделе 28.3 показано, как решать системы линейных уравнений с использованием LUP-разложения. Затем в разделе 28.4 показывается тесная связь задач умножения и обращения матриц. И наконец, в разделе 28.5 рассматривается важный класс симметричных положительно определенных матриц и их применение для поиска решения переопределенных систем линейных уравнений методом наименьших квадратов.
Один из важнейших вопросов, возникающих на практике, — численная устойчивость (numerical stability). Из-за ограниченной точности представления действительных чисел в реальном компьютере в процессе вычислений могут резко нарастать ошибки округления, что приводит к неверным результатам. Такие вычисления являются численно неустойчивыми. Несмотря на важность данного вопроса, мы лишь поверхностно коснемся его в данной главе, так что мы рекомендуем читателям обратиться к отличной книге Голуба (Golub) и Ван Ло- ана (Van Loan) [125], в которой детально рассматриваются вопросы численной устойчивости.
Свойства матриц
В этом разделе мы рассмотрим некоторые базовые концепции теории матриц и их фундаментальные свойства, обращая особое внимание на те из них, которые понадобятся нам в следующих разделах.
Матрицы и векторы
МатрицаНапример,МатрицаНапример,(matrix) представляет собой прямоугольный массив чисел.
Матрица
Например,
Матрица
Например,
(28.1)(28.1)апai2ai3\/123
(28.1)
(28.1)
a2iа22^23/\ 4 56
является матрицей размера 2 х 3 А = (а^), где г = 1,2 и j = 1,2,3. Элемент на пересечении г-й строки и j-ro столбца матрицы — а^. Мы используем заглавные буквы для обозначения матриц, а их элементы обозначаются соответствующими строчными буквами с нижними индексами. Множество всех матриц размером т х п, элементами которых являются действительные числа, обозначается как Rmxn. q общем случае множество матриц размером т х п, элементы которых принадлежат множеству 5, обозначается как Smxn.
Транспонированная (transpose) матрица Лт получается из матрицы А путем обмена местами ее строк и столбцов. Так, для матрицы А из (28.1)
456456
4
5
6
4
5
6
Вектор (vector) представляет собой одномерный массив чисел. Например,
(28.2)
является вектором размером 3. Для обозначения векторов мы используем строчные буквы и обозначаем г-й элемент вектора ж как ж,. Стандартной формой вектора будем считать вектор-столбец (column vector), эквивалентный матрице n х 1. Соответствующий вектор-строка (row vector) получается путем транспонирования вектора-столбца:
жт = ( 2 3 5 )
Единичным вектором (unit vector) е, называется вектор, г-й элемент которого равен 1, а все остальные элементы равны 0. Обычно размер единичного вектора ясен из контекста.
Нулевая матрица (zero matrix) — это матрица, все элементы которой равны 0. Такая матрица часто записывается просто как 0, поскольку неоднозначность между числом 0 и нулевой матрицей легко разрешается при помощи контекста. Если размер нулевой матрицы не указан, то он также выводится из контекста.
Часто приходится иметь дело с квадратными (square) матрицами размером п х п. Некоторые из квадратных матриц представляют особый интерес.
Диагональная матрица (diagonal matrix) обладает тем свойством, что ау = = 0 при г / j. Поскольку все недиагональные элементы такой матрицы равны 0, диагональную матрицу можно определить путем перечисления ее элементов вдоль диагонали:
diag(an, 0-22) • • •, Одл)diag(an, 0-22) • • •, Одл)/ oil/ oil002200220ООпп /0ООпп /
diag(an, 0-22) • • •, Одл)
diag(an, 0-22) • • •, Одл)
/ oil
/ oil
0
022
0
022
0
О
Опп /
0
О
Опп /
Единичная матрица (identity matrix) 1п размером п х п представляет собой диагональную матрицу, все диагональные элементы которой равны 1:
/„ = diag(l, 1,/„ = diag(l, 1,О ... О \1 ... ОО ... 1 /О ... О \1 ... ОО ... 1 /
/„ = diag(l, 1,
/„ = diag(l, 1,
О ... О \
1 ... О
О ... 1 /
О ... О \
1 ... О
О ... 1 /
Если используется обозначение I без индекса, размер единичной матрицы определяется из контекста. Заметим, что г-м столбцом единичной матрицы является единичный вектор е,.
Элементы трехдиагональной матрицы (tridiagonal matrix) Т обладают тем свойством, что если |г — j| > 1, то <у = 0. Ненулевые элементы такой матрицы располагаются на главной диагонали, непосредственно над ней (<i,i+i Для г = 1,2,..., п — 1) и непосредственно под ней (<i+i,i для г =
= 1,2,...,
п
-1):
/
<п
<12
0
0 .
..0
0
0
\
<21
<22
<23
0 .
0
0
0
0
<32
<33
<34 •
..0
0
0
Т =
•:
;
0
0
0
0 .
• • <п—2,п—2
^n—2,п—1
0
0
0
0
0 .
• • <п—1,п—2
tn—1,п— 1
tn— l,n
у
0
0
0
0 .
..0
tn,n-l
tnn
/
Верхне-треугольной матрицей (upper-triangular matrix) U называется матрица, у которой все элементы ниже диагонали равны 0 («у = 0 при г > j):
^«11«12• • •«1п^
О«22• • •«2п
\00. . .«пп)
Верхне-треугольная матрица является единичной верхне-треугольной матрицей (unit upper-triangular), если все ее диагональные элементы равны 1.
Нижне-треугольной матрицей (lower-triangular matrix) L называется матрица, у которой все элементы выше диагонали равны 0 (Zy = 0 при г < зУ
О ... О \О ... О \
О ... О \
О ... О \
Нижне-треугольная матрица является единичной нижне-треугольной матрицей (unit lower-triangular), если все ее диагональные элементы равны 1.
Матрица перестановки (permutation matrix) Р имеет в каждой строке и столбце ровно по одной единице, а на всех прочих местах располагаются нули. Примером матрицы перестановки может служить матрица
Р =Р =О 1 ОО 1 О1О О О О1О О О ОО О ОО 1О О ОО 1О 1 О О ОО 1 О О ООО 1ОО 1
Р =
Р =
О 1 О
О 1 О
1
О О О О
1
О О О О
О О О
О 1
О О О
О 1
О 1 О О О
О 1 О О О
О
О 1
О
О 1
Такая матрица называется матрицей перестановки, потому что умножение вектора х на матрицу перестановки приводит к перестановке элементов вектора.
Симметричная матрица (symmetric matrix) Л удовлетворяет условию А = = Ат. Например, матрица
2 6 4
является симметричной.
Операции над матрицами
Элементами матриц и векторов служат элементы некоторой числовой системы, такие как действительные числа, комплексные числа или, например, целые числа по модулю простого числа. Числовая система определяет, каким образом должны складываться и перемножаться числа. Эти определения можно распространить и на матрицы.
Определим сложение матриц (matrix addition) следующим образом. Если А = (ву) и В = (Ьу) — матрицы размером m х п, то их суммой является матрица С = (су) = А+В размером mxn, определяемая соотношением су = ay-Vby для г = 1,2,..., m и j = 1,2,..., п. Другими словами, сложение матриц выполняется поэлементно. Нулевая матрица нейтральна по отношению к сложению матриц:
Л + 0 = Л = 0 + Л.
Если А — число, а А = (оу) — матрица, то соотношение ХА = (Асу) определяет скалярное произведение (scalar multiple) матрицы на число, которое также выполняется поэлементно. Частным случаем скалярного произведения является умножение на — 1, которое дает противоположную (negative) матрицу — 1 • А = = — А, обладающую тем свойством, что
л + (-л) = о = (-л) + л.
Соответственно, можно определить вычитание матриц (matrix subtraction) как сложение с противоположной матрицей: А — В = А + (—В).
Матричное умножение (matrix multiplication) определяется следующим образом. Матрицы А и В могут быть перемножены, если они совместимы (compatible) в том смысле, что число столбцов А равно числу строк В (в общем случае выражение, содержащее матричное произведение АВ, всегда подразумевает совместимость матриц Л и В). Если А = (су) — матрица размером тх п, а В = (by) — матрица размером п х р, то их произведение С = АВ представляет собой матрицу С = (су) размером т х р, элементы которой определяются уравнением п
Cik = ^ijbjk(28.3)
j=l
для i = 1,2,..., m и к = 1,2,... ,р. Процедура Matrix_Multiply из раздела 25.1 реализует матричное умножение квадратных матриц (т = п = р) непосредственно по формуле (28.3). Для умножения матриц размером п х п процедура Matrix_Multiply выполняет п3 умножений и n2 (п — 1) сложений, так что время ее работы равно 0 (п3).
Матрицы обладают многими (но не всеми) алгебраическими свойствами, присущими обычным числам. Единичная матрица является нейтральным элементом
по отношению к умножению:
1тА — А1п = А
для любой матрицы А размером т х п. Умножение на нулевую матрицу дает нулевую матрицу:
Л0 = 0Л = 0.
Умножение матриц ассоциативно:
А (ВС) = (АВ) С(28.4)
для любых совместимых матриц Л, В и С. Умножение матриц дистрибутивно относительно сложения:
А (В + С) = АВ + АС,,
v 1(28.5)
(В + С) D = BD + CD.
Для n > 1 умножение матриц размером п х п не коммутативно. Например, если А = (° 1) и в = («§), то АВ -О.ноВА-О-
Произведения матрицы и вектора иди двух векторов вычисляются путем представления вектора как матрицы размером п х 1 (или 1 х п в случае вектора-строки). Таким образом, если А — матрица размером тхп,ах — вектор размером п, то Ах является вектором размера т. Если х и у — векторы размера п, то произведение
пхТу =1=1
представляет собой число (в действительности — матрицу размером 1 х 1), называющееся скалярным произведением (inner product) векторов х и у. Матрица размером n х п Z = хут с элементами Zij = x^yj называется тензорным произведением (outer product) этих же векторов. (Евклидова) норма ((euclidean) norm) ||ж J| вектора х размером п определяется соотношением
Ikll = ^l+^ + '-'^n = Vx^x,
т.е. норма х — это длина вектора в n-мерном евклидовом пространстве.
Обратные матрицы, ранги и детерминанты
Матрицей, обратной (inverse) к данной матрице А размером п х п, является матрица размером п х п, обозначаемая как Л-1 (если таковая существует), такая что А А-1 = 1п = А""1 А. Например,
/ 1 1 V1 _ / ° 1 \
\ 1 О J \ 1 -1 у '
Многие ненулевые квадратные матрицы не имеют обратных матриц. Матрица, для которой не существует обратная матрица, называется необращаемой (noninvertible), или вырожденной (singular). Вот пример ненулевой вырожденной матрицы:
/ 1 0 \
\ 1 0 /
Если матрица имеет обратную матрицу, она называется обращаемой (invertible), или невырожденной (nonsingular). Если обратная матрица существует, то она единственная (см. упражнение 28.1-3). Если А и В — невырожденные матрицы размером п х п, то
(АВ)"1 = А"1 В"1. (28.6)
Операция обращения коммутативна с операцией транспонирования:
(л-1/ = (aV-
Векторы Ж1, Ж2> • • • ^п линейно зависимы (linearly dependent), если существуют коэффициенты ci, С2,...,Сп, среди которых есть ненулевые, такие что ci^i + + С2Ж2 + • • • + Сп,хп = 0. Например, векторы ху = (1 2 з), £2 = (2 6 4^ и хз = (4 11 9^ линейно зависимы, поскольку 2^1 + 3^2 — 2жз = 0. Если векторы не являются линейно зависимыми, они называются линейно независимыми (linearly independent). Например, столбцы единичной матрицы линейно независимы.
Столбцовым рангом (column rank) ненулевой матрицы А размером m х п называется размер наибольшего множества линейно независимых столбцов А. Аналогично, строчным рангом (row rank) ненулевой матрицы А размером т х п называется размер наибольшего множества линейно независимых строк А. Фундаментальным свойством любой матрицы А является равенство ее строчного и столбцового рангов, так что мы можем говорить просто о ранге (rank) матрицы. Ранг матрицы размером т х и представляет собой целое число от 0 до min (m, п) включительно (ранг нулевой матрицы равен 0, ранг единичной матрицы размером п х п равен п). Другое эквивалентное (и зачастую более полезное) определение ранга ненулевой матрицы А размером т х п — это наименьшее число г такое, что существуют матрицы В и С размером соответственно т х г и г х п такие, что А = ВС.
Квадратная матрица размером n х п имеет полный ранг (full rank), если ее ранг равен п. Матрица размером т х п имеет полный столбцовый ранг (foil column rank), если ее ранг равен п. Фундаментальное свойство рангов приведено в следующей теореме.
Теорема 28.1. Квадратная матрица имеет полный ранг тогда и только тогда, когда
она является невырожденной.
Ненулевой вектор ж, такой что Ах = 0, называется аннулирующим вектором (null vector) матрицы А. Приведенная далее теорема (доказательство которой оставлено в качестве упражнения 28.1-9) и ее следствие связывают столбцовый ранг и вырожденность с аннулирующим вектором.
Теорема 28.2. Матрица А имеет полный столбцовый ранг тогда и только тогда, когда для нее не существует аннулирующий вектор. ■
Следствие 28.3. Квадратная матрица А является вырожденной тогда и только тогда, когда она имеет аннулирующий вектор. ■
Минором (minor) элемента а^- (ij-минор) матрицы А размером n х n(n > 1) называется матрица Лэд размером (п — 1) х (п — 1),получаемая из А удалением г-й строки и j-ro столбца. Определитель, или детерминант (determinant) матрицы А размером п х п можно определить рекурсивно при помощи миноров следующим образом:
«и«ипри п = 1,при п = 1,det (Л) = <det (Л) = <Ё (-1)1+'’ aij det (Лдо) при n > 1. j=iЁ (-1)1+'’ aij det (Лдо) при n > 1. j=i(28.7)(28.7)
«и
«и
при п = 1,
при п = 1,
det (Л) = <
det (Л) = <
Ё (-1)1+'’ aij det (Лдо) при n > 1. j=i
Ё (-1)1+'’ aij det (Лдо) при n > 1. j=i
(28.7)
(28.7)
Множитель (—1)1+,? det (Л^) называется алгебраическим дополнением (cofactor) элемента ay.
В приведенных ниже теоремах, доказательство которых здесь опущено, описывают фундаментальные свойства определителей.
Теорема 28.4 (Свойства определителя). Определитель квадратной матрицы А обладает следующими свойствами.
Если любая строка или любой столбец А нулевой, то det (Л) = 0.
Если все элементы одного произвольного столбца (или строки) матрицы умножаются на А, то ее определитель также умножается на Л.
Определитель матрицы А остается неизменным, если все элементы одной строки (или столбца) прибавить к элементам другой строки (столбца).
лт.лт.Определитель матрицы А равен определителю транспонированной матрицы
лт.
лт.
Определитель матрицы А умножается на — 1, если обменять местами любые два ее столбца (или строки).
Кроме того, для любых квадратных матриц А и В det (ЛВ) = det (Л) det (В). ■
Теорема 28.5. Квадратная матрица А вырождена тогда и только тогда, когда det (Л) = 0.а
Положительно определенные матрицы
Во многих приложениях важную роль играют положительно определенные матрицы. Матрица А размером п х п является положительно определенной (positive-definite), если хТАх > 0 для любого ненулевого вектора х размера п. Например, единичная матрица положительно определенная, поскольку для про-
(V
извольного ненулевого вектора ж = 1ж1 жг ... жп)
жт/п ж = жтж = У^ ж2 > 0.г=1
Как мы увидим, зачастую встречающиеся в приложениях матрицы положительно определены в силу следующей теоремы.
Теорема 28.6. Для произвольной матрицы А с полным столбцовым рангом матрица АТА положительно определена.
Доказательство. Мы должны показать, что жт (АТА) ж > 0 для любого ненулевого вектора ж. Для произвольного вектора ж
жт (АТА) ж = (Аж)т (Аж) = ||Аж||2,
где первое равенство следует из упражнения 28.1-2. Заметим, что || Аж||2 представляет собой просто сумму квадратов элементов вектора Аж. Таким образом, ||Аж||2 > 0. Если ||Аж||2 = 0, все элементы вектора Аж равны 0, т.е. Аж = = 0. Поскольку А — матрица с полным столбцовым рангом, из Аж = 0 согласно теореме 28.2 следует, что ж = 0. Следовательно, матрица АТА положительно определенная.■
Прочие свойства положительно определенных матриц рассматриваются в разделе 28.5.
Упражнения
1. Покажите, что если А и В — симметричные матрицы размером п х п, то симметричными будут их сумма и разность.
2. Докажите, что (АВ)Т = ВТАТ и что Ат А всегда является симметричной матрицей.
3. Докажите единственность обратной матрицы, т.е. что если В и С — обратные к А матрицы, то В = С.
4. Докажите, что произведение двух нижне-треугольных матриц дает нижне-треугольную матрицу. Докажите, что определитель нижне-треугольной или верхне-треугольной матрицы равен произведению диагональных элементов. Докажите, что если существует матрица, обратная к нижнетреугольной матрице, то она также является нижне-треугольной.
5. Докажите, что если Р — матрица перестановок размером п х п, а А — матрица размером п х п, то РА можно получить из А путем перестановки ее строк, а АР — путем перестановки столбцов А. Докажите, что произведение двух матриц перестановки является матрицей перестановки. Докажите, что если Р — матрица перестановки, то Р обращаема, причем обратной к Р является матрица Рт, которая также является матрицей перестановки.
6. Пусть А и В — матрицы размером п х п такие, что АВ = 1. Докажите, что если А* получена из А путем прибавления к строке г строки j, то обратную к А* матрицу В' можно получить, вычитая в матрице В столбец г из столбца j.
7. Пусть А — невырожденная матрица размером n х п с комплексными элементами. Покажите, что все элементы А-1 вещественны тогда и только тогда, когда вещественны все элементы А.
8. Покажите, что если А — невырожденная симметричная матрица размером п х п, то матрица Д-1 симметрична. Покажите, что если В — произвольная матрица размером m х п, то матрица размером m х т, получающаяся в результате умножения ВАВТ, симметрична.
9. Докажите теорему 28.2, т.е. покажите, что матрица А имеет полный столбцовый ранг тогда и только тогда, когда из Ах = 0 следует х = 0. (Указание: запишите условие линейной зависимости одного столбца от остальных в виде матрично-векторного уравнения.)
10. Докажите, что для любых двух совместимых матриц А и В rank (А В) ^
^ min (rank (Л), rank (В)), причем равенство достигается если либо А, либо В — невырожденная квадратная матрица. (Указание: воспользуйтесь альтернативным определением ранга матрицы.)
-11. Докажите, что определитель матрицы Вандермонда (Vandermonde matrix)
/ 1
Жо
®0•
\
У(ж0,Ж1,...,а:п_1) =
1
х\
1 1
Хп-1
*п-1 '
1 п—1
/
равен
det(V'(x0,xi,... ,жп_1)) = Ц (хк-х^.
0<j<k<n—l
(Указание: умножьте столбец г на — хо и прибавьте к столбцу г + 1 для г = п — 1, п — 2,..., 1, а затем примените индукцию.)
Алгоритм умножения матриц Штрассена
В этом разделе представлен замечательный рекурсивный алгоритм умножения матриц размера п х п, разработанный Штрассеном (Strassen). Время его работы равно 0 (^lg7) = О (п281). При достаточно больших значениях п этот алгоритм работает быстрее алгоритма Matrix_Multiply из раздела 25.1, время работы которого — О (п3).
Обзор алгоритма
Алгоритм Штрассена можно рассматривать как применение уже знакомой нам технологии декомпозиции “разделяй и властвуй”. Предположим, что мы хотим вычислить произведение С = АВ, где каждая из матриц имеет размер пхтг. Считая, что п является точной степенью 2, поделим каждую из матриц на четыре матрицы размером п/2 х п/2 и перепишем уравнение С = АВ следующим образом:
(28.8)(28.8)
(28.8)
(28.8)
(В упражнении 28.2-2 рассматривается ситуация, когда п не является точной степенью 2.) Уравнение (28.8) соответствует четырем уравнениям:
(28.9)(28.10)(28.11)(28.12)(28.9)(28.10)(28.11)(28.12)г = ае + Ьд,s = af + bh,t = се + dg,и = cf + dh.
(28.9)
(28.10)
(28.11)
(28.12)
(28.9)
(28.10)
(28.11)
(28.12)
Каждое из этих четырех уравнений требует двух умножений матриц размера п/2 х х п/2 и сложения получившихся произведений. Используя эти уравнения как определение простейшего рекурсивного алгоритма, мы получим следующее рекуррентное соотношение для времени его работы при умножении матриц размера п х п:
(28.13)(28.13)Т (n) = 8Т (п/2) + 0 (п2) .
(28.13)
(28.13)
К сожалению, рекуррентное соотношение (28.13) имеет решение Т (п) = О (п3), так что этот метод получается не быстрее, чем обычное стандартное умножение матриц.
Штрассен разработал рекурсивный алгоритм, который требует только 7 умножений матриц размером п/2 х п/2 и О (п2) скалярных сложений и умножений, что приводит к рекуррентному соотношению
Т (п) = 7 Т (п/2) + 0 (п2),(28.14)
которое имеет решение Т (п) = 0 (nlg7) = О (п281).
Метод Штрассена состоит из четырех шагов.
Разделяем матрицы Л и В на подматрицы размером п/2 х п/2, как показано в 28.8.
Используя О (п2) скалярных сложений им умножений, вычисляем 14 матриц Л1, Bi, А2, В2,..., Ат, Вт, каждая из которых имеет размер п/2 х п/2.
Рекурсивно вычисляем семь матричных произведений Pi = AiBi для г = = 1,2,...,7.
Вычисляем подматрицы г, s, t и и результирующей матрицы С путем сложения и/или вычитания различных комбинаций матриц Pi с использованием 0 (п2) скалярных сложений и вычитаний.
Описанная процедура удовлетворяет рекуррентному соотношению (28.14). Все, что осталось сделать, — изложить опущенные детали.
Определение произведений подматриц
Не совсем понятно, как именно Штрассен нашел необходимые подматрицы, которые следует перемножать. Давайте попытаемся воспроизвести один из возможных способов разработки алгоритма.
Предположим, что каждое матричное произведение Pi можно записать в виде
Pi = AiBi = ^ама + oti2b + о^зс + o^d?) • УЗце + 0i2f + Ргз9 Ч" А4М, (28.15)
где коэффициенты ау и Pij принимают значения из множества {—1,0,1). Т.е. мы предполагаем, что каждое произведение вычисляется при помощи сложения или вычитания некоторых из подматриц А, сложения или вычитания некоторых из подматриц В, и перемножения получающихся результатов. Хотя, естественно, можно искать более общий вид произведения Pi, описанного вида произведения оказывается достаточно для разработки алгоритма.
Если использовать описанный вид произведения, то мы можем использовать его рекурсивно без оглядки на некоммутативность умножения матриц, так как
в каждом произведении все подматрицы А оказываются слева, а подматрицы В — справа.
Для удобства представления линейных комбинаций произведений подматриц воспользуемся матрицами размером 4x4. Например, мы можем записать уравнение (28.9) как
г = ае + Ьд =
а bа bссее99dd
а b
а b
с
с
е
е
9
9
d
d
а
Ь
с d
Последнее выражение использует сокращенную запись, где каждый “+” представляет +1, “•” представляет 0, а “—” 1. Кроме того, далее мы опускаем метки строк и столбцов. Используя данные обозначения, мы получим следующие уравнения для остальных подматриц, составляющих результирующую матрицу С:
s = af + bh =
t = се + dg =
и = cf + dh =
Начнем наш поиск алгоритма быстрого перемножения матриц со следующего наблюдения: подматрицу s можно вычислить как s = Pi + Р2, где матрицы Pi и Р2 вычисляются с использованием одного матричного произведения каждая:
Pi = AjBi = а • (/ — h) = af — ah =
Р2 = А2В2 = (а + b) ■ h = ah + bh =
Матрица t может быть вычислена как t = Р3 + Р4, где
Рз = ^4зРз = (с + d) • е = се 4- de =
и
Р4 = А4В4 = d • (g — е) = dg — de =
Определим существенное слагаемое (essential term) как один из восьми членов, появляющихся в правой части уравнений (28.9)-(28.12). Мы использовали 4 произведения для вычисления двух подматриц s и t, существенными слагаемыми которых являются а/, bh, се и dg. Заметим, что Pi вычисляет существенное слагаемое af, Р2 вычисляет существенное слагаемое bh, Р3 вычисляет существенное слагаемое се, а Р4 вычисляет существенное слагаемое dg. Таким образом, нам остается вычислить две оставшиеся подматрицы г и и, чьими существенными слагаемыми являются ае, bg, cf и dh, с использованием не более чем трех дополнительных произведений. Попробуем вычислить Р5 по-новому, чтобы охватить два существенных слагаемых одновременно:
Рз = А5В5 = (а + d) • (е + К) = ае + ah + de + dh =
В дополнение к существенным слагаемым ае и dh Р5 вычисляет несущественные слагаемые ah и de, которые требуется каким-то образом сократить. Мы можем воспользоваться для этого произведениями Рг и Р4, но при этом появятся новые несущественные слагаемые:
Р^ + Р4 — Р-2 = ае + dh + dg — bh =
Прибавляя дополнительное произведение
Рб = АбВб = (b — d) • (д + h) = bg + bh — dg — dh =
мы получим:
Рб с использованием PiРб с использованием Piг = Р5 + Р4 - Р2 + Рб = ае + Ьд =
Рб с использованием Pi
Рб с использованием Pi
Мы можем получить и аналогичным способом из и Рз для удаления несущественных слагаемых из Р5:
Р5 + Pi — Р3 = ае 4- af — се + dh =
Вычитая дополнительное произведение
Р7 = А7В7 = (а — с) • (е + /) = ае + af — се — of =
X ■ • • • /
мы получим
u = Р5 + Pi - Рз - Р7 = cj + dh =
Таким образом, для вычисления произведения С = АВ можно использовать 7 произведений подматриц Pi, Р%,..., Р7, что и завершает описание метода Штрассена.
Обсуждение метода
Алгоритм Штрассена редко применяется на практике по следующим причинам.
Постоянный множитель, скрытый во времени работы алгоритма Штрассена, превышает постоянный множитель во времени работы 0 (п3) простого алгоритма умножения.
В случае разреженных матриц имеются специализированные более эффективные методы умножения.
Алгоритм Штрассена не настолько численно устойчив, как простой алгоритм умножения матриц.
Построение подматриц на каждом шаге рекурсии приводит к повышенному расходу памяти.
Последние две причины потеряли актуальность в 1990-х годах. Хайем (Higham) [145] показал, что отличия в численной устойчивости преувеличены; хотя алгоритм Штрассена для ряда приложений действительно слишком численно неустойчив, его устойчивости все же вполне достаточно для большого количества приложений. Бейли (Bailey) и др. в работе [30] рассмотрели методы снижения требующейся для работы алгоритма Штрассена памяти.
На практике реализации быстрого умножения плотных матриц с использованием алгоритма Штрассена имеют “точку пересечения” (в смысле размера перемножаемых матриц) с обычным алгоритмом умножения, и переключаются на использование простого алгоритма при перемножении матриц с размером, меньшим точки пересечения. Точное значение точки пересечения сильно зависит от реализации и используемой вычислительной системы. Анализ, учитывающий количество операций и игнорирующий кэширование и конвейерную обработку, дает для точки пересечения различные оценки — 8 у Хайема [145] и 12 у Хасс-Ледермана (Huss-Lederman) [163]. Эмпирические измерения обычно приводят к более высокой точке пересечения, обычно порядка 20 и выше. В каждой конкретной системе поиск точки пересечения лучше выполнять экспериментально.
Использование более сложных методов, изложение которых выходит за рамки книги, позволяет вычислять произведение матриц еще быстрее. В настоящий момент наилучшая верхняя граница составляет примерно О ^п2ту Наилучшая нижняя граница, очевидно, равна Q (п2) (ее очевидность вытекает из необходимости заполнения п2 элементов матрицы), так что разрыв достаточно велик и точная граница в настоящий момент неизвестна.
Упражнения
1. Воспользуйтесь алгоритмом Штрассена для вычисления произведения (5 7) (I 2 )• Приведите промежуточные результаты.
2. Каким образом следует модифицировать алгоритм Штрассена для умножения матриц размером п х п, если п не является точной степенью 2? Покажите, что модифицированный алгоритм имеет время работы О ^пУ^У
3. Допустим, что мы можем перемножить матрицы размером 3 х 3 с использованием к умножений (не используя коммутативности умножения). Чему равно наибольшее значение к, позволяющее перемножить матрицы размером n х п за время о (nlg7)? Чему равно время работы алгоритма в этом случае?
4. Имеется способ перемножения матриц размером 68 х 68 при помощи 132 464 умножений чисел, матриц размером 70 х 70 за 143 640 умножений чисел и матриц размером 72 х 72 за 155 424 умножения. Какой метод дает лучшее асимптотическое время работы при использовании в алгоритме умножения матриц “разделяй и властвуй”? Как это время работы соотносится со временем работы алгоритма Штрассена?
5. Как быстро можно умножить матрицу размером кп х п на матрицу размером п х кп, используя алгоритм Штрассена в качестве подпрограммы? А в случае перемножения матриц в обратном порядке?
6. Покажите, как можно перемножить два комплексных числа а + Ы и с + +di, используя только три действительных умножения. Алгоритм должен получать в качестве входных параметров числа а, Ь, с и d, и давать на выходе действительную (ас—М) и мнимую (ad+bc) части произведения.
Решение систем линейных уравнений
Решение систем линейных уравнений представляет собой фундаментальную задачу, возникающую в различных приложениях. Такую систему линейных уравнений можно записать как матричное уравнение, в котором каждый элемент матрицы или вектора принадлежит некоторому полю, обычно — полю действительных
чисел R. В этом разделе мы рассмотрим решение систем линейных уравнений с использованием метода, называемого LUP-разложением.
Начнем с системы линейных уравнений с п неизвестными хх,Х2,..., хп.
ОцЖ1 + 012^2 + • • • + О1ПЖП = Ьх ,
021^1 + 022^2 + ‘ ' ' + O2n^n = &2 >
(28.16)
Oni^-i 4" a,n2$2 4" • • • 4~ оппжп = ^n •
Множество значений хх,Х2,... ,хп, одновременно удовлетворяющее всем уравнениям в (28.16), называется решением (solution) этих уравнений. В данном разделе мы рассмотрим только случай, когда у нас имеется ровно п уравнений для п неизвестных.
Мы можем для удобства переписать уравнения (28.16) в виде матрично-векторного уравнения
«11
012 • 1
* * ^ln
( Ьх \
021
022 1
* * а2п
^2
=
bs
\ ^nl
ап2 " '
* * апп /
\ хп
/
\ Ьп /
или, вводя обозначения А = (оу), х = (xi) и b = (bi), в виде
Ах = Ь.(28.17)
Если матрица А невырождена, то можно найти обратную к ней матрицу А-1 и найти решение системы линейных уравнений следующим образом:
х = А"Ч.(28.18)
Можно легко доказать, что х является единственным решением уравнения (28.17). Пусть имеется два решения — х и х'. Тогда Ах = Ах* = Ьи
х = (А-1 А) х = А-1 (Ах) = А-1 (Аж') = (А-1 А) х' = х*.
В этом разделе мы будем иметь дело в основном с системами линейных уравнений, матрица А которых невырождена, или, что в соответствии с теоремой 28.1 то же, ранг матрицы А равен количеству неизвестных в системе линейных уравнений п. Имеются и другие ситуации, с которыми мы вкратце познакомимся. Если количество уравнений меньше количества неизвестных (или, говоря более общен- но, ранг матрицы А меньше п), такая система линейных уравнений называется
недоопределенной (underdetermined). Недоопределенные системы линейных уравнений обычно имеют бесконечно много решений, хотя решение вообще может не существовать, если уравнения несовместимы друг с другом. Если же количество уравнений превышает количество неизвестных, такая система линейных уравнений называется переопределенной (overdetermined), и может не иметь решений. Поиск хорошего приближенного решения переопределенных систем линейных уравнений представляет собой важную задачу, которая рассматривается в разделе 28.5.
Вернемся к нашей задаче решения системы линейных уравнений Ах = b из п уравнений с п неизвестными. Одним из путей решения системы является поиск обратной матрицы Л-1 и умножение на нее обеих частей уравнения, что даст нам А-1 Ах = А~гЬ, или х = А-1Ь. Такой подход на практике отвергается в первую очередь из-за его численной неустойчивости. К счастью, другой способ решения — LUP-разложение — численно устойчив и быстрее работает.
Обзор LUP-разложения
Идея, лежащая в основе LUP-разложения, состоит в поиске трех матриц L, U и Р размером в х п, таких что
PA = LU,(28.19)
где
L — единичная нижне-треугольная матрица,
U — верхне-треугольная матрица,
Р — матрица перестановки.
Матрицы L,U иР, удовлетворяющие уравнению (28.19), называются LUP-разложением (LUP decomposition) матрицы А. Мы докажем, что всякая невырожденная матрица А допускает такое разложение.
Преимущество вычисления LUP-разложения матрицы А основано на том, что система линейных уравнений решается гораздо легче, если ее матрица треугольна, что и выполняется в случае матриц LhU. Найдя LUP-разложение матрицы А, мы можем решить уравнение (28.17) Ах = b путем решения треугольной системы линейных уравнений, как показано далее. Умножая обе части уравнения А х = Ь на Р, мы получим эквивалентное уравнение Р А х = Р Ь, которое в соответствии с упражнением 28.1-5 эквивалентно перестановке уравнений из (28.16). Используя разложение (28.19), получаем
LUx = Pb.
Теперь мы можем решить полученное уравнение, решая две треугольные системы линейных уравнений. Обозначая у = U х, где х — решение исходной системы
линейных уравнений, мы сначала решаем нижне-треугольную систему линейных уравнений
Ly = Pb,(28.20)
находя неизвестный вектор у с помощью “прямой подстановки”. После этого, имея вектор у, мы решаем верхне-треугольную систему линейных уравнений
U х = у,(28.21)
находя х при помощи “обратной подстановки”. Вектор х и есть решение исходной системы линейных уравнений Ах = Ь, поскольку матрица перестановки Р обращаема (см. упражнение 28.1-5):
Ах = P^LUx = Р"Чу = Р"гРЬ = Ь.
Теперь рассмотрим, как работают прямая и обратная подстановки, а затем приступим к задаче вычисления LUP-разложения.
Прямая и обратная подстановки
Прямая подстановка (forward substitution) позволяет решить нижне-треугольную систему линейных уравнений (28.20) для данных L, Р и b за время 0 (п2). Для удобства мы представим перестановку Р в компактной форме при помощи массива тг [1..п]. Элемент тг [г] при г = 1,2,..., п указывает, что Рг,я-[г] = 1 и Pij = = 0 для j / тт [г]. Таким образом, в матрице РА на пересечении г-ой строки и j-ro столбца находится элемент a^j, а г-ым элементом РЬ является Ь^^]. Поскольку L — единичная нижне-треугольная матрица, уравнение (28.20) можно переписать следующим образом:
У1
= &^[1]
^21У1 + У2
= ^[2]
^31У1 + ^32У2 + УЗ
= ^[3]
^п1У1 + ^п2У2 + ^пЗУЗ + • • • + Уп — ^[п] •
Мы можем найти значение yi непосредственно, поскольку первое уравнение гласит, что yi = &„[!]. Зная yi, мы можем подставить его во второе уравнение и найти
У2 = ^[2] - 1цу\.
Теперь мы можем подставить в третье уравнение два найденных значения — yi и уг и получить
Уз = bw[3] - (/31 yi + ^згУг) ■
В общем случае для поиска у, мы подставляем найденные значения yi, уа,..., Уг—i в г-е уравнение и находим
г—1
Уг = ^тт[г] у ^ijyj-
J=1
Обратная подстановка (back substitution) аналогична прямой. Для данных U и у мы сначала решаем n-ое уравнение, а затем идем в обратном направлении к первому уравнению. Так же, как и в случае прямой подстановки, время работы составляет 0 (п2). Поскольку матрица U верхне-треугольная, мы можем переписать (28.21) в следующем виде:
^11^1 + U12^2 + • • • +^п-г^п-г +^l.n-l^n-l +^ln^n = У1 ,
^22^2 + • • • +^2,n-2^n-2 +^2,n-l^n-l +^2n^n = У2 ,
^n—2,n—2^n—2 4” ^n—2,n—l^n—1 + Un—2,n^n = Уп—2 ?
^n—l,n—l^n—1 4” ^n—l,n^n = Уп—1 ,
^n,n^n = Уп •
Таким образом мы можем последовательно найти жп, жп-ь .. •, ^ь
Хп = Уп/^п,п 1
Хп— 1 = (Уп—1 — ^n—l,n^n)/^n—l,n—1 ,
Хп—2 = (Уп—2 — (t^n—2,n—l^n—1 4" ^n—2,n^n))/^n—2,п—2 ,
или, в общем виде, (п\
У г^ ^ uijxj I /^Н*
j=i+lу
Процедура LUP_SOLVE для данных Р, L,U и 6 находит х путем комбинирования прямой и обратной подстановки. В псевдокоде предполагается, что размерность п хранится в атрибуте rows [L] и что матрица перестановки Р представлена массивом 7г.
LUP_Solve(L, U,n,b)
п «— rows[L]
for г *— 1 to п
do yi « Ь^ф] — J3j=l hjl/j
for г«— n downto 1
do Xi « ^y^У"^—i+i ^ij-^j^ /^ii
return x
Процедура LUP_SOLVE находит у в строках 2-3 с помощью прямой подстановки, а затем вычисляет х при помощи обратной подстановки в строках 4-5. Наличие внутри каждого цикла неявного цикла суммирования приводит ко времени работы данной процедуры, равному О (п2).
В качестве примера данного метода рассмотрим систему линейных уравнений
/ 1 2 0 \/ 3
3 4 4 ж =7
\ 5 6 3 /\ 8
Здесь
и мы хотим найти неизвестный вектори мы хотим найти неизвестный векторх. LUP-разложение матрицы А имеет видх. LUP-разложение матрицы А имеет вид
и мы хотим найти неизвестный вектор
и мы хотим найти неизвестный вектор
х. LUP-разложение матрицы А имеет вид
х. LUP-разложение матрицы А имеет вид
L =L =10.210.201010000\ 0.6 0.5 1\ 0.6 0.5 1630.8 -0.602.5630.8 -0.602.5° 1 \0 0.1 0 /° 1 \0 0.1 0 /
L =
L =
1
0.2
1
0.2
0
1
0
1
0
0
0
0
\ 0.6 0.5 1
\ 0.6 0.5 1
63
0.8 -0.6
02.5
63
0.8 -0.6
02.5
° 1 \
0 0.
1 0 /
° 1 \
0 0.
1 0 /
(Читатель может самостоятельно убедиться в корректности разложения, проверив выполнение равенства Р А = L U.) Используя прямую подстановку, мы находим у из уравнения Ly = РЬ'.
/100\/ух\/8
0.21 0 у2 =3
(0.60.51/\&/\ 7
что дает нам путем вычисления сначала yi, затем у2 и уз окончательное решение
Используя обратную подстановку, мы решаем уравнение U х = у относительно х:
563О 0.8 -0.6002.5563О 0.8 -0.6002.5
563
О 0.8 -0.6
002.5
563
О 0.8 -0.6
002.5
что дает нам требуемое решение исходной системы линейных уравнений
-1.4
2.2
0.6
путем вычисления сначала жз, затем жг и Ж1.
Вычисление LU-разложения
Мы показали, что если можно вычислить LUP-разложение невырожденной матрицы А, то для решения системы линейных уравнений А х = b можно воспользоваться простыми прямой и обратной подстановками. Нам осталось показать, как эффективно найти LUP-разложение матрицы А. Мы начнем наше рассмотрение со случая невырожденной матрицы А размера п х п и отсутствия матрицы Р (или, что эквивалентно, Р = 1п). В этом случае мы должны найти разложение А = L U. Назовем матрицы L и U LU-разложением (LU decomposition) матрицы А.
Наш процесс построения LU-разложения называется методом исключения Гаусса (Gauss elimination) Мы начнем с удаления первой переменной из всех уравнений, кроме первого, путем вычитания из этих уравнений первого, умноженного на соответствующий коэффициент. Затем та же операция будет проделана со вторым уравнением, чтобы в третьем и последующих уравнениях отсутствовали первая и вторая переменные. Процесс будет продолжаться до тех пор, пока мы не получим верхне-треугольную матрицу — это и будет искомая матрица U. Матрица L составляется из коэффициентов, участвовавших в процессе исключения переменных.
Мы реализуем описанную стратегию при помощи рекурсивного алгоритма. Итак, мы хотим построить LU-разложение невырожденной матрицы А размером п х п. Если n = 1, задача решена, поскольку мы можем выбрать L = /1 и U = А. При n > 1 разобьем А на четыре части:
ац
012•
* * а1п
021
022 1
°nl
Оп2 " 1
* * ^nn
ап
v
А*
где « — вектор-столбец размером п — 1, шт — вектор-строка размером п — 1, а А' — матрица размером (п — 1) х (п — 1). Используя матричную алгебру (проверить полученный результат можно при помощи умножения), разложим матрицу А следующим образом:
<211 шт« А’<211 шт« А’v/ац In-iv/ац In-i«и«иО А* — «шт/ацО А* — «шт/ац. (28.22). (28.22)
<211 шт« А’
<211 шт« А’
v/ац In-i
v/ац In-i
«и
«и
О А* — «шт/ац
О А* — «шт/ац
. (28.22)
. (28.22)
Нули в первой и второй матрицах разложения представляют собой вектор-строку и вектор-столбец размера п - 1 с нулевыми элементами. Матрица vwT/au, получающаяся тензорным произведением векторов «ищи делением каждого элемента получившейся в результате умножения матрицы на ац, представляет собой матрицу размером (п — 1) х (п — 1) (тот же размер имеет и матрица А*, из которой она вычитается). Получающаяся в результате матрица размером (п — 1) х (п — 1)
(28.23)(28.23)А! — «щт /ац
(28.23)
(28.23)
называется дополнением Шура (Schur complement) элемента ац в матрице А.
Из требования невырожденности А вытекает невырожденность дополнения Шура. Почему? Предположим, что дополнение Шура представляет собой вырожденную матрицу размером (п — 1) х (п — 1). Тогда по теореме 28.1 она имеет ранг, строго меньший п — 1. Поскольку нижние п — 1 элементов в первом столбце матрицы
ац шт
О А* — «щт/ац
равны 0, нижние п — 1 строк должны иметь ранг, строго меньше п — 1. Таким образом, ранг всей матрицы строго меньше п. Применяя результат упражнения 28.1-10 к уравнению (28.22), находим, что ранг матрицы А строго меньше п, так что согласно теореме 28.1 мы получаем противоречие с начальным условием невырожденности А.
Поскольку дополнение Шура невырождено, мы можем рекурсивно найти его LU-разложение А'—v и? /ап = U U’, где U — нижне-треугольная, a U* — верхнетреугольная матрицы. Используя матричную алгебру, получим:
1 «/ац1 «/ац«/ац«/ац1«/ац1«/ацац 0ац 0
1 «/ац
1 «/ац
«/ац
«/ац
1
«/ац
1
«/ац
ац 0
ац 0
что дает нам искомое LU-разложение. (Заметим, что поскольку матрица L' — единичная нижне-треугольная, таковой же является и матрица L; поскольку матрица U' — верхне-треугольная, таковой же является и матрица U.)
Конечно, если ац = 0, этот метод не работает, поскольку при этом должно быть выполнено деление на 0. Он также не работает, если верхний левый элемент дополнения Шура А* — vwT/ац равен нулю, поскольку в этом случае деление на ноль возникнет на следующем шаге рекурсии. Элементы, на которые в процессе LU-разложения выполняется деление, называются ведущими (pivots), и они располагаются на диагонали матрицы U. Причина, по которой в LUP-разложение включается матрица перестановок Р, состоит в том, чтобы избежать деления на нулевые элементы. Использование матрицы перестановки для того, чтобы избежать деления на ноль (или на малые величины), называется выбором ведущего элемента (pivoting).
Важным классом матриц, для которых LU-разложение всегда работает корректно, является класс симметричных положительно определенных матриц. Такие матрицы не требуют выбора ведущего элемента, и описанная стратегия может быть применена без опасения столкнуться с делением на ноль. Мы докажем это в разделе 28.5.
Наш код для LU-разложения матрицы А следует рекурсивной стратегии, хотя рекурсия в нем и заменена итеративным циклом (такое преобразование является стандартной оптимизацией процедуры с оконечной рекурсией, когда последней операцией процедуры является рекурсивный вызов ее самой). В коде предполагается, что размерность матрицы А хранится в атрибуте rows [А]. Поскольку мы знаем, что в вычисляемой матрице U все элементы ниже диагонали равны 0 и процедура LUP_Solve к ним не обращается, наш код не заполняет их никакими значениями. Аналогично, поскольку в матрице L диагональные элементы равны 1, а элементы выше диагонали — нулевые, код процедуры не заполняет их, ограничиваясь только “значащими” элементами матриц U и L.
LU_Decomposition(A)
n <— rows [А]
for к *— 1 to п
do Ukk акк
for г «— к + 1 to п
do lik <— aik/ukk > кк содержит v,
Uki <- Oki > Uki содержит w^
for г «— к + 1 to n
do for j «— к + 1 to n
do Oij < Uij likukj
return LnU
2 36 13155190 3 15_2 3По1 52 434 2 42 191023116 9 181 41 24 10i 13 124 9 212 17 172 36 13155190 3 15_2 3По1 52 434 2 42 191023116 9 181 41 24 10i 13 124 9 212 17 17а)б)в)а)б)в)' 2 3 15I О О О V 2 3 15'Ь I 3 5 193100 04242191023141000124 IО I I 31 J |2 I 7 | ДО О О 3,ALU' 2 3 15I О О О V 2 3 15'Ь I 3 5 193100 04242191023141000124 IО I I 31 J |2 I 7 | ДО О О 3,ALU2 4О 2TJT2 4О 2TJT
2 3
6 13
1
5
5
19
0 3 15
_2 3
По
1 5
2 4
3
4 2 4
2 19
10
23
1
16 9 18
1 4
1 2
4 10
i 1
3 1
2
4 9 21
2 1
7 17
2 3
6 13
1
5
5
19
0 3 15
_2 3
По
1 5
2 4
3
4 2 4
2 19
10
23
1
16 9 18
1 4
1 2
4 10
i 1
3 1
2
4 9 21
2 1
7 17
а)б)в)
а)б)в)
' 2 3 15I О О О V 2 3 15'
Ь I 3 5 193100 0424
219102314100012
4 IО I I 31 J |2 I 7 | ДО О О 3,
ALU
' 2 3 15I О О О V 2 3 15'
Ь I 3 5 193100 0424
219102314100012
4 IО I I 31 J |2 I 7 | ДО О О 3,
ALU
2 4
О 2
TJT
2 4
О 2
TJT
Д)
Рис. 28.1. Работа процедуры LUDecomposition
Внешний цикл for, начинающийся в строке 2, выполняет каждый шаг рекурсии по одному разу. В теле этого цикла в строке 3 ведущим элементом полагается элемент а^. В цикле for в строках 4-6 (который не выполняется, когда к равно п) для обновления матриц U и L используются векторы -и и wT. Элементы вектора и определяются в строке 5 и сохраняются в /^, а элементы шт определяются в строке 6, после чего каждый элемент wp сохраняется в и^- И наконец, элементы дополнения Шура вычисляются в строках 7-9 и сохраняются в матрице Л (в строке 9 нам не требуется деление на а^, так как оно уже выполнено в строке 5 при вычислении ltk\ В связи с тройной вложенностью в циклы строки 9 время работы процедуры LU_Decomposition равно О (и3).
На рис. 28.1 показан процесс работы процедуры LU_DECOMPOS1TION. На рис. 28.1а показана исходная матрица, на рис. 28.1б-г — шаги рекурсии. Ведущий элемент выделен черным цветом, а вычисляемые элементы матриц U и L — серым. На рис. 28. Id показан окончательный результат LU-разложения.
В приведенной реализации используется стандартная оптимизация, состоящая в том, что значащие элементы матриц U nL хранятся на месте элементов матрицы Л, т.е. мы устанавливаем соответствие между каждым элементом Оу и либо Ц (если г > j), либо Цу (если г ^ j) и обновляем матрицу Л так, что при выходе из процедуры она будет содержать значащие элементы матриц U и L. Для этого в псевдокоде достаточно заменить все обращения к и и / на обращения к а; нетрудно убедиться, что такое преобразование кода сохраняет его корректность.
Вычисление LUP-разложения
В общем случае при решении системы линейных уравнений Ах = b мы можем оказаться должны выбирать ведущие элементы среди недиагональных элементов
матрицы А для того, чтобы избежать деления на 0. Причем нежелательно не только деление на 0, но и просто на малое число, даже если матрица А невырождена, поскольку в результате понижается численная устойчивость вычислений. В связи с этим в качестве ведущего элемента следует выбирать наибольший возможный элемент.
Математические основы LUP-разложения аналогичны LU-разложению. Нам дана невырожденная матрица А размером п х п, и нам требуется найти матрицу перестановки Р, единичную нижне-треугольную матрицу L и верхне-треугольную матрицу U такие, что Р А = L U. Перед разделением матрицы А на части, как мы делали при вычислении LU-разложения, мы перемещаем ненулевой элемент, скажем, а^, откуда-то из первого столбца матрицы в позицию (1,1) (если первый столбец содержит только нулевые значения, то матрица вырождена, поскольку ее определитель равен 0 (см. теоремы 28.4 и 28.5)). Для сохранения множества исходных линейных уравнений мы меняем местами строки 1 и к, что эквивалентно умножению матрицы А на матрицу перестановки Q слева (см. упражнение 28.1-5). Тогда мы можем записать QA как
°ki wT \v А' ) ’
где v = (021,031,• • • ,aA:-i>aii>OA:+i,• • • ,ani)T (к-й элемент заменен первым), wT = (ak2,dk3,... ,а^п), а А' — матрица размером (n — 1) х (п — 1). Поскольку акх / 0, мы можем выполнить те же преобразования, что и при LU-разложении, не опасаясь деления на 0:
QA =QA =а-кхvа-кхvwT \ _ ( 10 \ f акхА' ) I v/°ki In-i И 0wT \ _ ( 10 \ f акхА' ) I v/°ki In-i И 0А* - vwT(ак\А* - vwT(ак\
QA =
QA =
а-кхv
а-кхv
wT \ _ ( 10 \ f акх
А' ) I v/°ki In-i И 0
wT \ _ ( 10 \ f акх
А' ) I v/°ki In-i И 0
А* - vwT(ак\
А* - vwT(ак\
Как мы видели в LU-разложении, если матрица А невырождена, то невырождено и дополнение Шура А' — vwT/акх- Таким образом, мы можем индук
тивно найти его LUP-разложение, дающее единичную нижне-треугольную матрицу I/, верхне-треугольную матрицу V и матрицу перестановки Р' такие, что Р' (А' - vwT/afcx) = U U'.
Определим матрицу
которая является матрицей перестановки в силу того, что она представляет собой произведение двух матриц перестановки (см. упражнение 28.1-5). Мы имеем
1 ° И 10 Р' / \ v/afci1 ° WP^/aki Р- )\1 ° И 10 Р' / \ v/afci1 ° WP^/aki Р- )\1P'v/akX1P^l^ki1P'-v,akx1P'v/akX1P^l^ki1P'-v,akx0 \ ( акт wT/п-1 у у О А* - угот/ам«ki wT \ _О А* — vwT(ак\ у0 \ ( акт wT/п-1 у у О А* - угот/ам«ki wT \ _О А* — vwT(ак\ уw1Р\А* - vwT/afcl) wT \ № у =w1Р\А* - vwT/afcl) wT \ № у =
1 ° И 1
0 Р' / \ v/afci
1 ° W
P^/aki Р- )\
1 ° И 1
0 Р' / \ v/afci
1 ° W
P^/aki Р- )\
1
P'v/akX
1
P^l^ki
1
P'-v,akx
1
P'v/akX
1
P^l^ki
1
P'-v,akx
0 \ ( акт wT
/п-1 у у О А* - угот/ам
«ki wT \ _
О А* — vwT(ак\ у
0 \ ( акт wT
/п-1 у у О А* - угот/ам
«ki wT \ _
О А* — vwT(ак\ у
w1
Р\А* - vwT/afcl) wT \ № у =
w1
Р\А* - vwT/afcl) wT \ № у =
= LU ,
что и дает нам искомое LUP-разложение. Поскольку L* — единичная нижне-треугольная матрица, такой же будет и L, и поскольку U' — верхне-треугольная матрица, такой же будет и U.
Заметим, что в отличие от LU-разложения, и вектор-столбец v/ak\, и дополнение Шура А! — vwT/ак\ должны умножаться на матрицу перестановки Р'.
Как и ранее, в псевдокоде LUP-разложения рекурсия заменяется итерацией. В качестве усовершенствования непосредственной реализации рассмотренной рекурсии матрицу перестановки Р мы представляем массивом тг, где тг [г] = j означает, что г-я строка массива Р содержит 1 в столбце j. Мы также реализуем код, который вычисляет L и U на месте матрицы А, т.е. по окончании работы процедуры
/у при г > j, dij — < при г ^ j.
LUP_Decomposition(A)
п <— rows [Л]
for г <— 1 to п
do тт[г] <— г
for к <— 1 to п
do р <— 0
for г <— к to п
doif|aifc|>p
8899then р <— |а<к|
8
8
9
9
к* *— г
if р = 0
then error “Матрица вырождена”
Обмен тг[А:] w тг[А/]
for г *— 1 to n
do Обмен akt ^ а-кч
for г«— к + 1 to n
do Qik < O-ik/^kk
for J «— fc + 1 to П
do a^j < Q^j 0>ikakj
На рис. 28.2 продемонстрирована работа процедуры LUP_Decomposition по разложению матрицы. На рис. 28.2а показана исходная матрица с тождественной перестановкой строк (массив перестановок показан слева от матрицы). На рис. 28.26 показан выбор максимального ведущего элемента и соответствующий обмен строк, заштрихованные столбец и строка представляют и и wT. На рис. 28.2в показано деление вектора и на ведущий элемент и вычисление дополнения Шура. Линии на рисунке делят матрицу на три части: элементы U над линией, элементы L слева от линии и элементы дополнения Шура в правой нижней части. На рис. 28.2г-е показан второй шаг вычисления LUP-разложения, а на рис. 28.2з#с-м — третий шаг. На рис. 28.2к представлен окончательный результат LUP-разложения Р А = L U.
Массив 7г инициализируется в строках 2-3 тождественной перестановкой. Внешний цикл for, начинающийся в строке 4, реализует рекурсию. При каждом выполнении тела внешнего цикла в строках 5-9 определяется элемент аук с наибольшим абсолютным значением в текущем первом столбце (столбце к) матрицы размером (п — к + 1) х (п — к + 1), разложение которой должно быть найдено. Если все элементы текущего первого столбца нулевые, в строках 10-11 сообщается о вырожденности матрицы. Далее мы делаем аук ведущим элементом. Для этого в строке 12 выполняется обмен элементов % [fc] и тг [А/] массива я-, а в строках 13-14 — обмен А:-ой и А'-ой строк матрицы А. (Мы выполняем обмен строк полностью, поскольку, как говорилось в изложении метода, на Р' умножается не только дополнение Шура А* — vwT/ак\, но и вектор v/aki-) Наконец, в строках 15-18 вычисляется дополнение Шура (практически так же, как и в строках 4-9 процедуры LU_Decomposition, с тем отличием, что вычисленные значения заносятся в матрицу Л, а не в отдельные матрицы L и U).
В силу тройной вложенности циклов время работы процедуры LUP_Decompo- sition равно О (п3), т.е. оно точно такое же, как и в случае процедуры LU_Decom- POS1TION. Следовательно, выбор ведущего элемента приводит к увеличению времени работы не более чем на постоянный множитель.
хб 2020.6L4@542
;34- 2j 2334-2
@ <2! 1 22
•1;23.4 -1-123.4 - 1
а)
Io
3
Ж
3
4
) -
)
)
A
0,6
0.4
412
5
542
01.6-32
-20.4-02
i4.2"0,6
542
>6 р0 И» 3 'pi О..
pj1 1 i ' h(pp -о,
г)
Ы .5 542Ы
■^ 20.6 0 L6 -3.24-02
‘•illф II 1i -It
ж)
ro010V 2o20.6'
1000334-2
00015542
0100J ^1_23.4-1
PA
1^ 0.4 -0.2
01.6 -3.2
-!4.246
и)
4?
0 !'I?
" О4 :
«16
r 1000 )
0.4100(
-0.20.510(
0.600.41(
\/ V
L
11.4 0,6 -02
0.4
0.2
0.6
54
-2 0.4 04
00
U
®
0
OJ
5
2
0
2 -0.2 -0.5
-3
il4 -0.2
L(>-3.2
4■ 0.5
42
0.4 2). 2
О -0.5 0.4 | -3
к)
Рис. 28.2. Работа процедуры LUP_Decomposition
Упражнения
1. Решите при помощи прямой подстановки уравнение
/100\/хх\/3\
410z2=14
\-651)\хз)\-7/
28.3-2. Найдите LU-разложение матрицы
4-5 6 \
8-6 7.
12 -7 12 У
3. Решите с помощью LUP-разложения систему линейных уравнений
1 5 4 \
2 0 3
5 8 2 /
4. Как выглядит LUP-разложение диагональной матрицы?
5. Как найти LUP-разложение матрицы перестановки? Докажите его единственность.
6. Покажите, что для всех n ^ 1 существует вырожденная матрица размером п х п, имеющая LU-разложение.
7. Необходимо ли выполнение тела внешнего цикла for в процедуре LU_Decomposition при к = п? А в процедуре LUP_Decomposition?
28.4 Обращение матриц
На практике для решения систем линейных уравнений обращение матриц не используется, вместо этого применяются другие, численно более устойчивые методы, например, LUP-разложение. Тем не менее, задача обращения матриц имеет как теоретический, так и сугубо практический интерес. В этом разделе мы покажем, что для обращения матриц можно использовать уже рассмотренный нами метод LUP-разложения. Мы также докажем, что умножение матриц и обращение матрицы — задачи одинаковой сложности, так что для решения одной задачи мы можем использовать алгоритм для решения другой, чтобы получить одинаковое асимптотическое время работы. В частности, мы можем применить алгоритм Штрассена для обращения матриц (к слову, в своей работе Штрассен преследовал цель ускорить решение систем линейных уравнений).
Вычисление обратной матрицы из LUP-разложения
Предположим, что у нас имеется LUP-разложение матрицы А на три матрицы L, U и Р такие, что РА = LU. Используя процедуру LUP_Solve, мы можем решить уравнение вида Ах = b за время 0(п2). Поскольку LUP-разложение зависит только от А, но не от Ь, мы можем использовать ту же процедуру для решения другой системы линейных уравнений вида Ах = 6' за то же время О (п2). Обобщая, имея LUP-разложение матрицы А, мы можем решить к систем линейных уравнений с одной и той же матрицей А за время 0 (kn2).
Уравнение
АХ = 1п(28.24)
можно рассматривать как множество из п различных систем линейных уравнений вида Ах = Ь. Эти уравнения позволяют найти матрицу X, обратную матрице А. Обозначим через Xi г-ый столбец X, и вспомним, что г-ым столбцом матрицы 1п является единичный вектор е,. Мы можем найти X в уравнении (28.24), использовав LUP-разложение для решения набора уравнений
AXi = Ci
для каждого Xi в отдельности. Поиск каждого столбца Xi требует времени 0 (^2), так что полное время вычисления обратной матрицы X на основе LUP-разложения исходной матрицы А требует времени О (п3). Поскольку LUP-разложение А также вычисляется за время 0 (п3), задача обращения матрицы решается за время 0 (п3).
Умножение матриц и обращение матрицы
Теперь мы покажем, каким образом можно использовать ускоренное умножение матриц для ускорения обращения матрицы (это ускорение имеет скорее теоретический интерес, чем практическое применение). В действительности мы докажем более строгое утверждение — что умножение матриц эквивалентно обращению матрицы в следующем смысле. Если обозначить через М (п) время, необходимое для умножения двух матриц размером п х п, то имеется способ обратить матрицу размером п х п за время О (М (п)). Кроме того, если обозначить через I (п) время, необходимое для обращения матрицы размером п х п, то имеется способ перемножит две матрицы размера n х п за время О (I (п)). Мы докажем эти утверждения по отдельности.
Теорема 28.7 (Умножение не сложнее обращения). Если мы можем обратить матрицу размером n х п за время I (п), где Z (п) = П (п2) и I (п) удовлетворяет условию регулярности I (Зп) = О (I (п)), то мы можем умножить две матрицы размера п х п за время О (I (п)).
Доказательство. Пусть А и В — матрицы размером п х п, произведение которых С мы хотим найти. Определим матрицу D размером Зп х Зп следующим образом:
А 0 \In В .О In /А 0 \In В .О In /
А 0 \
In В .
О In /
А 0 \
In В .
О In /
Обратная к D матрица имеет следующий вид:
(
1п -А АВ \ О In -в , О 0 1п /
так что мы можем вычислить произведение АВ как верхнюю правую подматрицу размера п х п матрицы D-1.
Матрицу D мы можем построить за время 0 (п2) = 0(1 (п)), а обратить ее — за время О(1(3п)) = О(/(п)) в соответствии с условием регулярности I (п). Таким образом, мы получаем М (п) = О (I (n)).Н
Заметим, что / (п) = О (nc lgd п) удовлетворяет условию регулярности при любых константах с > 0 и d > 0.
Доказательство того, что обращение матрицы не сложнее умножения, опирается на некоторые свойства симметричных положительно определенных матриц, которые мы докажем в разделе 28.5.
Теорема 28.8 (Обращение не сложнее умножения). Предположим, что мы можем умножить две действительные матрицы размером п х п за время М (п), где М (n) = Q (п2) и, кроме того, удовлетворяет условию регулярности М (п + к) = = 0(М(п)) для произвольного 0 ^ к ^ п, а также М (п/2) < сМ (п) для некоторой константы с < 1/2. В таком случае мы можем обратить любую действительную невырожденную матрицу размером n х п за время О (М (п)).
Доказательство. Мы можем считать, что п — точная степень 2, поскольку для любого к > 0
(А о V1 _ / Л"1 0 \у 0 In У у 0 In у
Таким образом, выбрав к так, чтобы величина п+к была степенью 2, мы увеличиваем исходную матрицу до размера, представляющего собой степень 2, а обратную матрицу Л-1 получаем как часть обращенной матрицы большего размера. Первое условие регулярности М (п) гарантирует, что такое увеличение не вызовет увеличения времени работы более чем на постоянный множитель.
Предположим теперь, что матрица А размером п х п симметрична и положительно определенная. Разделим А на четыре матрицы размером п/2 х п/2:
( В СТ \
Л =.(28.25)
\ С D )'
Обозначив через S дополнение Шура подматрицы В в матрице А
S = D — СВ~ХСТ(28.26)
мы получим
В"1 + B-^S^CB"1-8"ХСВ"ХВ"1 + B-^S^CB"1-8"ХСВ"Х-B-XCTS-XS~x-B-XCTS-XS~x
В"1 + B-^S^CB"1
-8"ХСВ"Х
В"1 + B-^S^CB"1
-8"ХСВ"Х
-B-XCTS-X
S~x
-B-XCTS-X
S~x
поскольку А А-1 = 1П. Приведенное выражение легко проверить непосредственным матричным умножением. Согласно леммам 28.9, 28.10 и 28.11 из раздела 28.5, если матрица А — симметричная положительно определенная, то существуют и матрицы В-1 и S-1, поскольку и В, и S — симметричные положительно определенные матрицы. Согласно упражнению 28.1-2, В-1СТ = (СВ”1)7 и В-1 Ст В”1 = (В-1 С В"1)7 Уравнения (28.26) и (28.27) могут таким образом быть использованы для определения рекурсивного алгоритма, требующего четыре умножения матриц размером п/2 х п/2:
СВ"1,
(СВ-1) • Ст , S"1 • (СВ"1) , (СВ"1^ • (S^CB"1) .
Таким образом, для обращения симметричной положительно определенной матрицы размером п х п надо инвертировать две матрицы размером п/2 х п/2 (В и В), выполнить четыре указанных умножения матриц размером п/2 х п/2 (это умножение можно осуществить при помощи алгоритма умножения матриц размером п х п), а также выполнить дополнительные действия по извлечению подматриц из А (стоимость О (п2)) и некоторое постоянное количество сложений и вычитаний матриц размером п/2 х п/2. В результате мы получаем следующее рекуррентное соотношение:
/ (п) ^ 2/ (п/2) + 4М (п) + О (п2) = 2/ (п/2) + 6 (М (п)) = О (М (п)).
Первое равенство в приведенном соотношении выполняется в силу того, что М (n) = Q (п2), а второе получается потому, что второе условие регулярности, накладываемое в теореме на М (п), позволяет нам использовать случай 3 теоремы 4.1.
Нам остается доказать, что асимптотическое время умножения матриц может быть получено для обращения невырожденной матрицы А, которая не является симметричной и положительно определенной. Основная идея заключается в том, что для любой невырожденной матрицы А матрица Ат А симметричная (согласно упражнению 28.1-2) и положительно определенная (в соответствии с теоремой 28.6). Все, что остается — это привести задачу обращения матрицы А к задаче обращения матрицы Ат А.
Такое приведение основано на наблюдении, что если А — невырожденная матрица размера п х п, тогда
А"1 = (ЛТЛ) 1 Лт,
поскольку
((АТА)-1 Лт) Л = (ЛТА)-1 (АТА) = /„,
а обратная матрица единственна. Следовательно, мы можем вычислить А-1, сначала находя Ат для получения симметричной положительно определенной матрицы АТА, затем обращая эту матрицу с помощью описанного выше рекурсивного алгоритма, а затем умножая полученный результат на Ат. Каждый из перечисленных шагов требует О (М (п)) времени, так что обращение любой невырожденной матрицы с действительными элементами может быть выполнено за время О(Л/(п)).■
Доказательство теоремы 28.8 наводит на мысль о том, каким образом можно решать систему уравнений Ах = Ъ с невырожденной матрицей А при помощи LU-разложения, без выбора ведущего элемента. Для этого обе части уравнения нужно умножить на Ат, получая уравнение (АТА) х = АТЬ. Такое преобразование не влияет на ж в силу обращаемости матрицы Ат, а тот факт, что матрица АТА является симметричной положительно определенной, позволяет использовать для решения метод LU-разложения. После этого применение прямой и обратной подстановки с использованием правой части уравнения, равной АТЬ, даст нам решение х исходного уравнения. Хотя теоретически этот метод вполне корректен, на практике процедура LUP_Decomposition работает существенно лучше. Во- первых, она требует меньшего количества арифметических операций (отличающееся постоянным множителем от количества операций при описанном методе), и во-вторых, численная устойчивость LUP_Decomposition несколько выше.
Упражнения
1. Пусть М (п) — время, необходимое для умножения двух матриц размером п х п, a S (п) — время, необходимое для возведения матрицы размером n х п в квадрат. Покажите, что умножение матриц и возведение матрицы в квадрат имеют одну и ту же сложность: из М (п)- алгоритма умножения матриц вытекает О (М (п))-алгоритм возведения матрицы в квадрат, a S (п)-алгоритм возведения матрицы в квадрат дает О (S (п))-алгоритм умножения матриц.
2. Пусть М (п) — время, необходимое для умножения двух матриц размером п х n, a L (п) — время, необходимое для LUP-разложения матрицы того же размера. Покажите, что умножение матриц и LUP-разложение имеют одинаковую сложность, т.е. что из М (п)-алгоритма умножения матриц вытекает О (М (п))-алгоритм LUP-разложения, a L (п)-алгоритм LUP-разложения дает О (L (п))-алгоритм умножения матриц.
3. Пусть М (п) — время, необходимое для умножения двух матриц размером п х п, a D(n) — время, необходимое для вычисления определителя матрицы того же размера. Покажите, что умножение матриц и вычисление определителя имеют одинаковую сложность, т.е. что из М (п)-алгоритма умножения матриц вытекает О (М(п))-алгоритм вычисления определителя, a D (п)-алгоритм вычисления определителя дает О (D (п))-алгоритм умножения матриц.
4. Пусть М (п) — время, необходимое для умножения двух булевых матриц размером n х n, а Т (п) - время, необходимое для поиска транзитивного замыкания булевой матрицы размером nx п (см. раздел 25.2). Покажите, что М (п)-алгоритм умножения булевых матриц дает О (М (n) 1g ^-алгоритм поиска транзитивного замыкания, а Т (п)-алгоритм поиска транзитивного замыкания приводит к О (Т (п))-алгоритму умножения булевых матриц.
5. Применим ли основанный на теореме 28.8 алгоритм обращения матриц к матрицам над полем целых чисел по модулю 2? Поясните свой ответ.
* 28.4-6. Обобщите алгоритм обращения матриц из теоремы 28.8 для матриц с комплексными числами, и докажите корректность вашего обобщения. (Указание; вместо транспонирования матрицы А воспользуйтесь сопряженно-транспонированной (conjugate transpose) матрицей А*, которая получается из исходной путем транспонирования и замены всех элементов комплексно сопряженными числами. Вместо симметричных матриц рассмотрите эрмитовы (Hermitian) матрицы, обладающие тем свойством, что А = A* J)
Симметричные положительно определенные матрицы и метод наименьших квадратов
Симметричные положительно определенные матрицы обладают рядом интересных и полезных свойств. Например, они невырождены и их LU-разложение можно выполнить, не опасаясь столкнуться с делением на 0. В этом разделе мы докажем ряд важных свойств симметричных положительно определенных матриц и покажем их применение для получения приближений методом наименьших квадратов.
Первое свойство, которое мы докажем, пожалуй, наиболее фундаментальное.
Лемма 28.9. Любая симметричная положительно определенная матрица является невырожденной.
$к0$к0
$к
0
$к
0
Доказательство. Предположим, что матрица А вырождена. Тогда, согласно следствию 28.3, имеется такой ненулевой вектор ж, что Ах = 0. Следовательно, хТА х = 0, и А не может быть положительно определенной. ■
Доказательство того факта, что LU-разложение симметричных положительно определенных матриц можно выполнить, не опасаясь столкнуться с делением на 0, более сложное. Мы начнем с доказательства свойств некоторых определенных подматриц А. Определим k-ую главную подматрицу (leading submatrix) А как матрицу А*., состоящую из пересечения к первых строк и к первых столбцов А.
Лемма 28.10. Если А — симметричная положительно определенная матрица, то все ее главные подматрицы симметричные и положительно определенные.
Доказательство. То, что каждая главная подматрица Ак является симметричной, очевидно. Для доказательства того, что она положительно определенная, воспользуемся методом от противного. Если Ак не является положительно определенной, то существует вектор Хк / 0 размером к такой, что х^АкХк ^ 0. Пусть матрица А имеет размер п х и. Определим вектор х = ( х^ 0 )т размером п, в котором после Хк следуют п — к нулей. Тогда
хТАх=Г х^ 0
АкХкВхк
= ХкАкХк < 0,
что противоречит условию, что матрица А положительно определенная.
Теперь мы рассмотрим дополнение Шура. Пусть А — симметричная положительно определенная матрица, а Ак — главная подматрица А размера к х к. Разделим А на части следующим образом:
Обобщим определение (28.23) для определения дополнения Шура матрицы А относительно подматрицы Ак (Schur complement of A with respect to Ak) следующим образом:
S = C - BA^BT .
(В соответствии с леммой 28.10 Ак — симметричная положительно определенная матрица; следовательно, согласно лемме 28.9, А"^1 существует, и дополнение Шура S вполне определено.) Заметим, что прежнее определение (28.23) дополнения Шура согласуется с определением (28.29), если принять к равным 1.
Следующая лемма показывает, что дополнение Шура симметричной положительно определенной матрицы является симметричным положительно определенным. Этот результат используется в теореме 28.8, а следствие из него необходимо для доказательства корректности LU-разложения симметричных положительно определенных матриц.
Лемма 28.11 (Лемма о дополнении Шура). Если А — симметричная положительно определенная матрица, а Ак — главная подматрица А размером к х к, то дополнение Шура к подматрице Ак матрицы А является симметричным положительно определенным.
Доказательство. Поскольку матрица А симметрична, симметрична также подматрица С. Согласно упражнению 28.1-8, произведение ВА^В4- является симметричным, так что в соответствии с упражнением 28.1-1 дополнение Шура S также является симметричным.
Остается показать, что дополнение Шура положительно определенное. Рассмотрим разделение А (28.28). Для любого ненулевого вектора х в соответствии с тем, что А — положительно определенная матрица, выполняется соотношение хТАх > 0. Разобьем х на два подвектора у и z, совместимые с Ак и С соответственно. В силу существования А^1 имеем:
хтАх = ( утхтАх = ( ут= ( УТ= ( УТАку + BTz By + CzАку + BTz By + Cz
хтАх = ( ут
хтАх = ( ут
= ( УТ
= ( УТ
Аку + BTz By + Cz
Аку + BTz By + Cz
= утАку + yTBTz + zT By + гтСг
= (у + A;1BTz)TAk(y + A^BTz") + zT(C - BA^B1)? ,(28.30)
(Корректность приведенного выражения можно проверить непосредственным вычислением.) Последнее равенство соответствует выделению полного квадрата из квадратичной форм . (см. упражнение 28.5-2).
Поскольку нер венство хтАх > 0 выполняется для любого ненулевого х, для любого ненулевого z выберем у = — Ак*Втг, что удаляет первое слагаемое в (28.30), оставляя только
zT (C-BA^BT)z = zTSz
в качестве значения всего выражения. Итак, для любого г / 0 мы имеем z^Sz = хтАх > 0, так что дополнение Шура является положительно определенным.я
Следствие 28.12. LU-разложение симметричной положительно определенной матрицы никогда не приводит к делению на 0.
Доказательство. Пусть А — симметричная положительно определенная матрица. Докажем несколько более строгое утверждение, чем формулировка данного следствия: каждый ведущий элемент строго положителен. Первым ведущим элементом является ац. Этот элемент положителен по определению положительно определенной матрицы А, так как его можно получить с помощью единичного вектора ei следующим образом: ац = e^Aei > 0. На следующем шаге рекурсии LU-разложение применяется к дополнению Шура матрицы А относительно подматрицы Ai = (ац), которое в соответствии с леммой 28.11 является положительно определенным, так что по индукции все ведущие элементы в процессе LU-разложения оказываются положительны.я
Метод наименьших квадратов
Подбор кривой для множества точек представляет собой важное применение симметричных положительно определенных матриц. Предположим, что нам дано множество из т точек
01, У1) , (*2, У2) , • • • , (хт, ут) ,
где значения yt содержат ошибки измерений. Мы хотим найти функцию F (ж), такую что ошибки аппроксимации
r]i = F(xi)-yi(28.31)
малы при г = 1,2,... ,т. Вид функции F зависит от рассматриваемой задачи, и здесь мы будем считать, что она имеет вид линейной взвешенной суммы
п
F ^ = 53 С^3 кх\
3=1
где количество слагаемых п и набор базисных функций (basis functions) fj выбираются на основе знаний о рассматриваемой задаче. Зачастую в качестве базисных функций выбираются fj (ж) = хЗ~\ т.е. функция F представляет собой полином степени п — 1:
F (ж) = ci + с2х + сзх2 Нh CnXn-1.
При п = т можно найти функцию F, которая удовлетворяет соотношению (28.31) с нулевыми погрешностями. Такой выбор функции F не слишком удачен, так как помимо данных он учитывает и весь “шум”, что приводит к плохим результатам при использовании F для предсказания значения у для некоторого х, измерения для которого еще не выполнялись. Обычно гораздо лучшие результаты получаются при п значительно меньшем, чем т, поскольку тогда есть надежда отфильтровать шум, вносимый ошибками измерений. Для выбора значения п имеются определенные теоретические предпосылки, но данная тема лежит за пределами нашей книги. В любом случае, когда п выбрано, мы получаем переопределенную систему линейных уравнений, приближенное решение которой хотим найти. Сейчас мы покажем, каким образом это можно сделать.
Пусть А — матрица значений базисных функций в заданных точках:
/1(^1)/2(zi) ••• /п(ж1)
Л(ж2)Мх2) ••• fn(x2)
\ МхтА (жт) • • • /п(^т) /
т.е. aij = fj (ж,), и пусть с = (ск) — искомый вектор коэффициентов размером п. Тогда
Л(*1)/1(®г)Л(*1)/1(®г)\ Мхт)\ Мхт)/2(^1) f2(x2)f2{Xm)/2(^1) f2(x2)f2{Xm)fn(x2)fn(x2)/ F(xi) \ F(x2)\ F^xm^ )/ F(xi) \ F(x2)\ F^xm^ )
Л(*1)
/1(®г)
Л(*1)
/1(®г)
\ Мхт)
\ Мхт)
/2(^1) f2(x2)
f2{Xm)
/2(^1) f2(x2)
f2{Xm)
fn(x2)
fn(x2)
/ F(xi) \ F(x2)
\ F^xm^ )
/ F(xi) \ F(x2)
\ F^xm^ )
представляет собой вектор размера т “предсказанных значений” у, а вектор у = = А с — у — вектор невязок (approximation error) размера т.
Для минимизации ошибок приближения мы будем минимизировать норму вектора ошибок у, что отражено в названии “решение по методу наименьших квадратов” (least-square solution):
hll =hll =1/21/2
hll =
hll =
1/2
1/2
ПосколькуПоскольку
Поскольку
Поскольку
(
\ 2 п\
j=l)
мы можем минимизировать Ц77Ц, дифференцируя ||у||2 по всем с^ и приравнивая полученные производные к 0:
• и ц2m/п\
Чг^ = 52 2 52 w - yi °ik = 0 .(28.32)
Скг=1 \j=l/
п уравнений (28.32) эквивалентны одному матричному уравнению (Ас — у)т А = = 0, которое эквивалентно (см. упражнение 28.1-2) уравнению Ат (А с — у) = 0, откуда вытекает
А? Ас = А? у.(28.33)
В математической статистике такое уравнение называется нормальным уравнением (normal equation). Согласно упражнению 28.1-2, матрица АТА симметрична, и если А имеет полный столбцовый ранг, то по теореме 28.6 матрица АТА положительно определенная. Следовательно, существует обратная матрица (АТА) \ и решение уравнения (28.33) имеет вид
с = ((АТА)-1 Ат) у = А*у,(28.34)
где
А+ = ((АТА)-1 Ат)
псевдообрашная (pseudoinverse) к А матрица. Псевдообратная матрица является естественным обобщением обратной матрицы для случая, когда исходная матрица не является квадратной (сравните уравнение (28.34), дающее приближенное решение уравнения Ас = у с точным решением А-1Ь уравнения Ах = Ь\
В качестве примера рассмотрим пять экспериментальных точек
(Ж1,У1) = (-1,2),
(ж2,у2) = (1,1),
(^з,Уз) = (2,1),
($4,3/4) = (3,0) ,
(®5,У5) = (5,3),
которые показаны на рис. 28.3 черным цветом. Мы хотим найти приближение экспериментальных данных квадратичным полиномом F (ж) = cj + с2х + сзж2.
Начнем с матрицы значений базисных функций:
1
21
1
-1
1 \
1
Х2
1
1
1
А =
1
хз
хз
=
1
2
4
1
Х4
1
3
9
1 1
Я5
ж5
(1
5
25 ,
Рис. 283. Применение метода наименьших квадратовРис. 283. Применение метода наименьших квадратов
Рис. 283. Применение метода наименьших квадратов
Рис. 283. Применение метода наименьших квадратов
Псевдообратная к ней матрица равна
0.500
0.300
0.200
0.100
-0.100
А+ = I
-0.388
0.093
0.190
0.193
-0.088
0.060
-0.036
-0.048
-0.036
0.060
Умножая у на А+, мы получаем вектор коэффициентов
1.200
-0.757
0.214
который дает нам квадратный полином
F (ж) = 1.200 - 0.757ж + 0.214ж2
в качестве наилучшего квадратичного приближения экспериментальных данных в смысле наименьших квадратов.
На практике нормальное уравнение (28.33) решается путем умножения Лту с последующим поиском LU-разложения АТЛ. Если матрица А имеет полный ранг, то матрица АТА гарантированно невырожденная, поскольку она симметричная и положительно определенная (см. упражнение 28.1-2 и теорему 28.6).
Упражнения
1. Докажите, что все диагональные элементы симметричной положительно определенной матрицы положительны.
2. Пусть Д = (^ с) — симметричная положительно определенная матрица размером 2x2. Докажите, что ее определитель ас — Ь2 положителен, выделив полный квадрат так, как это было сделано в доказательстве леммы 28.11.
3. Докажите, что максимальный элемент симметричной положительно определенной матрицы находится на ее диагонали.
4. Докажите, что определитель каждой главной подматрицы симметричной положительно определенной матрицы положителен.
5. Пусть Ак — к-я главная подматрица симметричной положительно определенной матрицы А. Докажите, что к-й ведущий элемент при LU-разложении равен det ^fc)/det (Дк-i) (полагаем det (До) = 1)
6. Найдите функцию вида F (ж) = ci + С2Ж 1g ж+сзе1, являющуюся наилучшим приближением в смысле наименьших квадратов экспериментальных данных (1,1), (2,1), (3,3), (4,8).
7. Покажите, что псевдообратная матрица Д+ обладает следующими свойствами:
ДД+Д = А , Д+ДД+ = Д+ , (ДД+)Т = ДД+ , (Д+Д)т = Д+Д .
Задачи
28-1. Трехдиагональные системы линейных уравнений
Рассмотрим трехдиагональную матрицу:
/ 1
-1
0
0
0
\
-1
2
-1
0
0
Д =
0
-1
2
-1
0
0
0
-1
2
-1
1 0
0
0
-1
2
у
Найдите LU-разложение матрицы А. /\ т
Решите уравнение Ах = (11111) с использованием прямой и обратной подстановки.
Найдите обратную к А матрицу.
Покажите, что для любой симметричной положительно определенной трехдиагональной матрицы А размером n х п и произвольного вектора b размером п уравнение Ах = b можно решить при помощи LU-разложения за время О (п). Покажите, что любой другой алгоритм, основанный на обращении матрицы А, имеет асимптотически большее время работы в худшем случае.
Покажите, что использование LUP-разложения позволяет решить уравнение Ах = Ь, где А — невырожденная трехдиагональная матрица размером п х n, а b — произвольный вектор размером п, за время О (п).
28-2. Сплайны
Один из практических методов интерполяции набора точек при помощи кривых заключается в использовании кубических сплайнов (cubic splines). Пусть задан набор {(ж/, у,) : г = 0,1,..., п} из п +1 точек, причем xq < Ж1 < • • • < хп. Мы хотим провести через эти точки кусочнокубическую кривую (сплайн) / (ж). Кривая / (ж) состоит из п кубических полиномов /, (ж) = а< + Ь,ж + с^ж2 + с^ж3 (г = 0,1,..., п — 1). Когда ж находится в диапазоне ж» ^ ж ^ ж,+1, значение кривой вычисляется как / (ж) = fi(x — Xi\ Точки ж,, в которых состыковываются кубические полиномы, называются узлами (knots). Для простоты будем считать, что Xi = г при г = 0,1,..., п — 1.
Чтобы обеспечить непрерывность / (ж), потребуем выполнения условий
/fo)= /г(0) = Ш ,
/(ж<+1) = /,(1) = yW
для г = 0,1,..., п — 1. Чтобы функция / (ж) была достаточно гладкой, мы также потребуем непрерывности первой производной в узлах:
f4xi^ = fiM = fw (0)
для г = 0,1,... ,п — 1.
Предположим, что нам даны не только пары {(а;,, у,)}, но и значения первых производных Di = f (ж,) в каждой точке г = 0,1,..., п. Выразите коэффициенты ai, bi, Ci и dj через у,, y,+i, Di и Di+i (напомним, что Xi = г). Сколько времени потребуется для вычисления 4п коэффициентов при таких условиях?
Остается вопрос о вычислении первой производной / (ж) в узлах. Один из методов их определения состоит в том, чтобы обеспечить непрерывность второй производной в узлах, так что
f4xwWi(V) = fwW
для г = 0,1,..., п — 1. Мы полагаем, что в первом и последнем узлах /" (х0) = /о (0) = 0 и /" (хп) = f”_y (1) = 0. Это предположение дает нам естественный кубический сплайн (natural cubic spline).
Используя непрерывность второй производной, покажите, что для г = 1,2,... ,п — 1
Di-i + 4Di + Di+i = 3 (уг+i ~ Уг—i) •(28.35)
(28.36)(28.37)(28.36)(28.37)Покажите, что
(28.36)
(28.37)
(28.36)
(28.37)
2Ро + Di = 3 (ух — уо),•On—1 ~Ь 2Dn = 3 (уп Уп—1) •
Перепишите уравнения (28.35)-(28.37) в матричном виде с использованием вектора неизвестных D = (Do, Di,..., Dn). Какими свойствами обладает матрица вашего уравнения?
Докажите, что множество из п+1 точек может быть интерполировано при помощи естественного кубического сплайна за время О (п) (см. задачу 28-1).
Покажите, как построить естественный кубический сплайн, который интерполирует множество из n +1 точек (xj, у,), где хо < xi < < • • • < хп и Xj не обязательно равны г. Какое матричное уравнение надо для этого решить и сколько времени для этого потребуется?
Заключительные замечания
Имеется множество превосходных работ, в которых вопросы числовых и научных вычислений рассматриваются существенно более детально, чем в данной книге можем позволить себе мы. В особенности хочется порекомендовать следующие книги: Джордж (George) и Лью (Liu) [113], Голуб (Golub) и ван Лоан (Van Loan) [125], Пресс (Press), Фланнери (Flannery), Тукольски (Teukolsky) и Ветгер- линг (Vetterling) [248, 249], Стренг (Strang) [285, 286].
В книге Голуба и ван Лоана [125] рассматриваются вопросы численной устойчивости. Они показали, почему det (Д) не может служить хорошим показателем устойчивости матрицы А, предложив вместо него использовать величину
МНоо Н NL’ где Halloo = maxK^nE”=i 1%1- Кроме того, они рассмотрели также вопрос вычисления указанного значения без реального вычисления обратной матрицы А-1.
Публикация алгоритма Штрассена в 1969 году [287] произвела сенсацию — до этого было трудно даже представить, что обычный алгоритм умножения матриц может быть улучшен. С того времени асимптотическая верхняя граница сложности умножения матриц была существенно улучшена. Асимптотически наиболее эффективный алгоритм умножения матриц размером п х п приведен в работе Копперсмита (Coppersmith) и Винограда (Winograd) [70] и имеет время работы О (п2-376). Графическое представление алгоритма Штрассена приведено в работе Патерсона (Paterson) [238].
Метод исключения неизвестных Гаусса, на котором основаны алгоритмы LU- и LUP-разложения, был первым систематическим методом решения систем линейных уравнений, и одним из первых численных алгоритмов. Хотя он был известен и ранее, его открытие обычно приписывают К. Ф. Гауссу (С. F. Gauss) (1777-1855).
В своей знаменитой работе [287] Штрассен также показал, что матрица размером пхп может быть обращена за время О (nlg7). Виноград [317] доказал, что умножение матриц не сложнее обращения, а обратная оценка была получена Ахо (Aho), Хопкрофтом (Hopcroft) и Ульманом (Ullman) [5].
Еще одним важным разложением матриц является сингулярное разложение (singular value decomposition, SVD). SVD-разложение матрицы А размером m x n представляет собой разложение A = QVE Qj> гДе S — матрица размером m x n, в которой ненулевые элементы находятся только на диагонали, Qi — матрица размером т х т со взаимно ортонормальными столбцами, а матрица Qi имеет размер п х п и также обладает свойством взаимной ортонормальности столбцов. Два вектора называются ортонормальными (orthonormal), если их скалярное произведение равно 0, а норма каждого вектора равна 1. Сингулярное разложение хорошо изложено в книгах Стренга [285, 286] и Голуба и ван Лоана [125].
Прекрасное изложение теории симметричных положительно определенных матриц (и линейной алгебры вообще) содержит книга Стренга [286].
ГЛАВА 29
Линейное программирование
Многие задачи можно сформулировать как задачи максимизации или минимизации некой цели в условиях ограниченности ресурсов и наличия конкурирующих ограничений. Если удастся задать цель в виде линейной функции нескольких переменных и сформулировать ограничения в виде равенств или неравенств, связывающих эти переменные, мы получим задачу линейного программирования (linear-programming problem). Задачи линейного программирования часто встречаются в разнообразных практических приложениях. Начнем их изучение на примере выработки предвыборной политики.
Политическая задача
Представьте себя на месте политика, стремящегося выиграть выборы. В вашем избирательном округе есть районы трех типов — городские, пригородные и сельские. В этих районах зарегистрировано, соответственно, 100 000, 200 000 и 50000 избирателей. Чтобы добиться успеха, желательно получить большинство голосов в каждом из трех регионов. Вы — честный человек и никогда не будете давать обещания, в которые сами не верите. Однако вам известно, что определенные пункты программы могут помочь завоевать голоса определенных групп избирателей. Основными пунктами программы являются строительство дорог, контроль за использованием огнестрельного оружия, сельскохозяйственные субсидии и налог на бензин, направляемый на улучшение работы общественного транспорта. Согласно исследованиям вашего предвыборного штаба, можно оценить, сколько голосов будет приобретено или потеряно в каждой группе избирателей, если потратить 1 000 долл, на пропаганду по каждому пункту программы. Эта информация представлена в табл. 29.1. Каждый элемент данной таблицы
показывает, сколько тысяч избирателей из городских, пригородных или сельских районов удастся привлечь, потратив 1 000 долл, на агитацию в поддержку определенного пункта предвыборной программы. Отрицательные элементы отражают потерю голосов. Задача состоит в минимизации суммы, которая позволит завоевать 50 000 голосов горожан, 100 000 голосов избирателей из пригородных зон и 25 000 голосов сельских жителей.
Таблица 29.1. Влияние предвыборной политики на настроения избирателей
Пункт программы
Горожане
Жители пригорода
Сельские жители
Строительство дорог
-2
5
3
Контроль использования оружия
8
2
-5
Сельскохозяйственные субсидии
0
0
10
Налог на бензин
10
0
-2
Методом проб и ошибок можно выработать стратегию, которая позволит получить необходимое количество голосов, но затраты на такую стратегию могут оказаться не самыми низкими. Например, можно выделить 20 000 долл, на пропаганду строительства дорог, 0 долл, на агитацию в пользу контроля за использованием оружия, 4 000 долл, на пропаганду сельскохозяйственных субсидий и 9 000 долл, на агитацию за введение налога на бензин. При этом удастся привлечь 20 • (—2) + + 0 • (8) + 4 • (0) + 9 • 10 = 50 тысяч голосов горожан, 20 • (5) + 0 • (2) + 4 • (0) + 9 • • 0 = 100 тысяч голосов жителей пригородов и 20 • (3) + 0 • (—5) + 4 • 10 + 9 • (—2) = = 82 тысячи голосов сельских жителей. Таким образом, будет получено ровно необходимое количество голосов в городских и пригородных районах и большее количество голосов в сельской местности. (Получается, что в сельской местности привлечено голосов больше, чем наличное число избирателей!) Чтобы получить эти голоса, придется потратить на пропаганду 20+0+4+9 = 33 тысячи долларов.
Возникает естественный вопрос: является ли данная стратегия наилучшей из возможных, т.е. можно ли достичь поставленных целей, потратив на пропаганду меньше денег? Ответ на этот вопрос можно получить, действуя методом проб и ошибок, однако вместо этого хотелось бы иметь некий систематический метод для ответа на подобные вопросы. Сформулируем данный вопрос математически. Введем 4 переменные:
Ж1 — сумма (в тысячах долларов), потраченная на пропаганду программы строительства дорог,
Ж2 — сумма (в тысячах долларов), потраченная на агитацию в пользу контроля за использованием оружия,
жз — сумма (в тысячах долларов), потраченная на пропаганду программы сельскохозяйственных субсидий,
Х4 — сумма (в тысячах долларов), потраченная на агитацию за введение налога на бензин.
Требование получить не менее 50 000 голосов избирателей-горожан можно записать в виде неравенства
—2zi + 8x2 + Охз + 10x4 ^ 50.(29.1)
Аналогично, требования получить не менее 100000 голосов избирателей, живущих в пригороде, и 25000 голосов избирателей в сельской местности можно записать как неравенства
5xi + 2x2 + Охз + 0x4 > 100(29.2)
и
3x1 ~ 5x2 + Юхз — 2x4 ^ 25.(29.3)
Любые значения переменных xi, хг, хз, Х4, удовлетворяющие неравенствам (29.1)-(29.3), позволят получить достаточное количество голосов избирателей в каждом регионе. Чтобы сделать затраты минимально возможными, необходимо минимизировать сумму, затраченную на пропаганду, т.е. минимизировать выражение
xi + Х2 + Х3 + Х4.(29.4)
Хотя отрицательная агитация часто встречается в политической борьбе, отрицательных затрат на пропаганду не бывает. Поэтому следует записать условия
xi > 0, Х2 0, хз > 0 и Х4 > 0.(29.5)
Поставив задачу минимизации выражения (29.4) при соблюдении неравенств (29.1)-(29.3) и (29.5), мы получаем так называемую “задачу линейного программирования”. Запишем ее следующим образом:
Минимизировать
Х1 + Х2 + Хз + Х4
(29.6)
при условиях
— 2xi + 8x2 + Охз + 10x4 >
50
(29.7)
5xi + 2x2 + Охз + 0х4 >
100
(29.8)
3xi — 5x2 + Юхз — 2x4 >
25
(29.9)
*^1) *^2> ^3, ^4 —
0.
(29.10)
Решение данной задачи линейного программирования позволит политику получить оптимальную стратегию предвыборной агитации.
Общий вид задач линейного программирования
В общем случае в задаче линейного программирования требуется оптимизировать некую линейную функцию при условии выполнения множества линейных неравенств. Для данных действительных чисел aj, аг,... ,ап, и множества переменных xi,хг,..., хп линейная функция этих переменных / определяется как
п
f («Tli *^2 > • • • ) *^м) — CL^X^ Н~ CL2X2 ~Н • • • CL^X-^ — ^ ^ CLjXj. j=l
Если b — действительное число, а / — линейная функция, то выражение
f (Х!,Х2,...,Хп) = b
называется линейным равенством, а выражения
/(ЖЬЖ2,...,ЖП) ^ Ь
И
линейными неравенствами. Термин линейные ограничения применяется как к линейным равенствам, так и к линейным неравенствам. В линейном программировании не допускается использование строгих неравенств. Формально задача линейного программирования — это задача минимизации или максимизации линейной функции при соблюдении конечного множества линейных ограничений. Если выполняется минимизация, то такая задача называется задачей минимизации, а если производится максимизация, то такая задача называется задачей максимизации.
Вся оставшаяся часть данной главы будет посвящена формулированию и решению задач линейного программирования. Для решения задач линейного программирования существует несколько алгоритмов с полиномиальным временем выполнения, однако изучать их в данной главе мы не будем. Вместо этого мы рассмотрим самый старый алгоритм линейного программирования — симплекс- алгоритм. В худшем случае симплекс-алгоритм не выполняется за полиномиальное время, однако обычно он достаточно эффективен и широко используется на практике.
Краткий обзор задач линейного программирования
Чтобы описывать свойства задач линейного программирования и алгоритмы их решения, удобно договориться, в каких формах их записывать. В данной главе мы будем использовать две формы: стандартную и каноническую (slack).
Их строгое определение будет дано в разделе 29.1. Неформально, стандартная форма задачи линейного программирования — это задача максимизации линейной функции при соблюдении линейных неравенств, а каноническая форма — это задача максимизации линейной функции при соблюдении линейных равенств. Обычно мы будем использовать стандартную форму задач линейного программирования, однако при описании принципа работы симплекс-алгоритма удобней использовать каноническую форму. На данном этапе ограничимся рассмотрением задачи максимизации линейной функции п переменных при условии выполнения т линейных неравенств.
Рассмотрим следующую задачу линейного программирования с двумя переменными:
Максимизировать ху +
^2
(29.11)
при условиях
4^1 —
х2 ^
: 8
(29.12)
2^1 +
Х2 ^
; ю
(29.13)
5^1 —
2^2 5
j — 2
(29.14)
ху
,Я2 5
; 0
(29.15)
Любой набор значений переменных ху и Х2, удовлетворяющий всем ограничениям (29.12)—(29.15), называется допустимым решением (feasible solution) данной задачи линейного программирования. Если изобразить эти ограничения в декартовой системе координат ^ху Х2^ как показано на рис. 29.1а, то множество допустимых решений (заштрихованная область на рисунке) образует выпуклую область в двумерном пространстве. Эта выпуклая область называется допустимой областью (feasible region). Функция, которую мы хотим максимизировать, называется целевой функцией (objective function). Теоретически, можно было бы оценить значение целевой функции ху + Х2 в каждой точке допустимой области (значение целевой функции в определенной точке называется целевым значением (objective value)). Затем можно найти точку, в которой целевое значение максимально; она и будет оптимальным решением. В данном примере (как и в большинстве задач линейного программирования) допустимая область содержит бесконечное множество точек, поэтому хотелось бы найти способ, который позволит находить точку с максимальным целевым значением, не прибегая к вычислению значений целевой функции в каждой точке допустимой области.
В двумерном случае оптимальное решение можно найти с помощью графической процедуры. Множество точек, для которых ху + Х2 = т., при любом 2
Рис. 29.1. а) Задача линейного программирования (29.12)-(29.15); б) Пунктирные линии показывают точки, в которых целевое значение равно 0, 4 и 8, соответственноРис. 29.1. а) Задача линейного программирования (29.12)-(29.15); б) Пунктирные линии показывают точки, в которых целевое значение равно 0, 4 и 8, соответственнох2х2б)б)
Рис. 29.1. а) Задача линейного программирования (29.12)-(29.15); б) Пунктирные линии показывают точки, в которых целевое значение равно 0, 4 и 8, соответственно
Рис. 29.1. а) Задача линейного программирования (29.12)-(29.15); б) Пунктирные линии показывают точки, в которых целевое значение равно 0, 4 и 8, соответственно
х2
х2
б)
б)
представляет собой прямую с коэффициентом наклона —1. Если мы построим график функции Ж1 + хг = 0, получится прямая с коэффициентом наклона - —1, проходящая через начало координат, как показано на рис. 29.16. Пересечение данной прямой и допустимой области — это множество допустимых решений, целевое значение в которых равно 0. В данном случае пересечением прямой и допустимой области является точка (0,0). В общем случае для любого z пересечением прямой Ж1 + Ж2 = г с допустимой областью является множество допустимых решений, в которых целевое значение равно z. На рис. 29.16 показаны прямые $1 +ж2 = 0, Ж1 +$2 = 4 и жх +ж2 = 8. Поскольку допустимая область на рис. 29.1 ограничена, должно существовать некое максимальное значение z, для которого пересечение прямой Ж1 + $2 = z и допустимой области является непустым множеством. Любая точка этого пересечения является оптимальным решением задачи линейного программирования; в данном случае такой точкой является $i = 2, Ж2 = 6 с целевым значением 8. То, что оптимальное решение задачи линейного программирования оказалось в некоторой вершине допустимой области, не случайно. Максимальное значение z, при котором прямая rri + Х2 = = z пересекает допустимую область, должно находиться на границе допустимой области, поэтому пересечение данной прямой и границы допустимой области может быть либо вершиной, либо отрезком. Если пересечение является вершиной, то существует единственное оптимальное решение, находящееся в данной вершине. Если же пересечение является отрезком, то все точки этого отрезка имеют одинаковое целевое значение и являются оптимальными решениями; в частности,
оптимальными решениями являются оба конца отрезка. Каждый конец отрезка — это вершина, поэтому в данном случае также существует оптимальное решение в вершине допустимой области.
Несмотря на то, что для задач линейного программирования, где число переменных больше двух, простое графическое решение построить невозможно, наши интуитивные соображения остаются в силе. В случае трех переменных каждое ограничение описывается полупространством в трехмерном пространстве. Пересечение этих полупространств образует допустимую область. Множество точек, в которых целевая функция имеет значение z, представляет собой некую плоскость. Если все коэффициенты целевой функции неотрицательны и начало координат является допустимым решением рассматриваемой задачи линейного программирования, то при движении этой плоскости по направлению от начала координат получаются точки с возрастающими значениями целевой функции. (Если начало координат не является допустимым решением или некоторые коэффициенты целевой функции отрицательны, интуитивная картина будет немного сложнее.) Как и в двумерном случае, поскольку допустимая область выпукла, множество точек, в которых достигается оптимальное целевое значение, должно содержать вершину допустимой области. Аналогично, в случае п переменных каждое ограничение определяет полупространство в n-мерном пространстве. Допустимая область, образуемая пересечением этих полупространств, называется симплексом (simplex). Целевая функция в данном случае представляет собой гиперплоскость, и благодаря выпуклости допустимой области оптимальное решение находится в некой вершине симплекса.
Симплекс-алгоритм получает на входе задачу линейного программирования и возвращает оптимальное решение. Он начинает работу в некоторой вершине симплекса и выполняет последовательность итераций. В каждой итерации осуществляется переход вдоль ребра симплекса из текущей вершины в соседнюю, целевое значение в которой не меньше (как правило, больше), чем в текущей вершине. Симплекс-алгоритм завершается при достижении локального максимума, т.е. вершины, все соседние вершины которой имеют меньшее целевое значение. Поскольку допустимая область является выпуклой, а целевая функция линейна, локальный оптимум в действительности является глобальным. В разделе 29.4 мы воспользуемся понятием двойственности, чтобы показать, что решение, полученное с помощью симплекс-алгоритма, действительно оптимально.
Хотя геометрическое представление позволяет наглядно проиллюстрировать операции симплекс-алгоритма, мы не будем непосредственно обращаться к нему при подробном рассмотрении симплекс-метода в разделе 29.3. Вместо этого мы воспользуемся алгебраическим представлением. Сначала запишем задачу линейного программирования в канонической форме в виде набора линейных равенств. Эти линейные равенства выражают одни переменные, называемые базисными, через другие переменные, называемые небазисными. Переход от одной вершины
к другой осуществляется путем замены одной из базисных переменных на небазисную. Данная операция называется замещением и алгебраически заключается в переписывании задачи линейного программирования в эквивалентной канонической форме.
Приведенный выше пример с двумя переменными был исключительно простым. В данной главе нам предстоит рассмотреть и более сложные случаи: задачи линейного программирования, не имеющие решений; задачи, не имеющие конечного оптимального решения, и задачи, для которых начало координат не является допустимым решением.
Приложения линейного программирования
Линейное программирование имеет широкий спектр приложений. В любом учебнике по исследованию операций содержится множество примеров задач линейного программирования; линейное программирование — стандартный метод, который преподается студентам большинства школ бизнеса. Разработка сценария предвыборной борьбы — лишь один типичный пример. Приведем еще два примера, где с успехом используется линейное программирование.
Авиакомпания составляет график работы экипажей. Федеральное авиационное агентство установило ряд ограничений, таких как ограничение времени непрерывной работы для каждого члена экипажа и требование, чтобы каждый конкретный экипаж работал только на самолетах одной модели на протяжении одного месяца. Авиакомпания хочет назначить экипажи на все рейсы, задействовав как можно меньше сотрудников (членов экипажей).
Нефтяная компания выбирает место бурения скважины. С размещением буровой в каждом конкретном месте связаны определенные затраты и ожидаемая прибыль в виде некоторого количества баррелей добытой нефти, рассчитанная на основе проведенных геологических исследований. Средства, выделяемые на бурение новых скважин, ограничены, и компания хочет максимизировать ожидаемое количество добываемой нефти исходя из заданного бюджета.
Задачи линейного программирования также полезны при моделировании и решении задач теории графов и комбинаторных задач, таких как задачи, приведенные в данной книге. Мы уже встречались с частным случаем линейного программирования, который использовался для решения систем разностных ограничений в разделе 24.4. В разделе 29.2 мы покажем, как сформулировать в виде задач линейного программирования некоторые задачи теории графов и задачи сетевых потоков. В разделе 35.4 линейное программирование будет использоваться в качестве инструмента поиска приблизительного решения еще одной задачи теории графов.
Алгоритмы решения задач линейного программирования
В данной главе изучается симплекс-алгоритм. При правильном применении данный алгоритм на практике обычно позволяет быстро решать задачи линейного программирования общего вида. Однако при некоторых специально подобранных начальных значениях время выполнения симплекс-алгоритма может оказаться экспоненциальным. Первым алгоритмом с полиномиальным временем выполнения для решения задач линейного программирования был эллипсоидный алгоритм, который на практике работает весьма медленно. Второй класс полиномиальных по времени алгоритмов содержит так называемые методы внутренней точки (interior-point methods). В отличие от симплекс-алгоритма, который движется по границе допустимой области и на каждой итерации рассматривает допустимое решение, являющееся вершиной симплекса, эти алгоритмы осуществляют движение по внутренней части допустимой области. Промежуточные решения являются допустимыми, но не обязательно находятся в вершинах симплекса, однако конечное решение является вершиной. Первый подобный алгоритм был разработан Кармаркаром (Karmarkar). Для задач большой размерности производительность алгоритмов внутренней точки может быть сравнима с производительностью симплекс-алгоритма, а иногда и превышает ее.
Если ввести в задачу линейного программирования дополнительное требование, чтобы все переменные принимали целые значения, получится задача целочисленного линейного программирования. В упражнении 34.5-3 предлагается показать, что в этом случае даже задача поиска допустимого решения является NP-полной; поскольку ни для одной NP-полной задачи не известны полиномиальные алгоритмы решения, для задач целочисленного линейного программирования полиномиальные по времени алгоритмы также не известны. В отличие от них, задача линейного программирования общего вида может быть решена за полиномиальное время.
В данной главе для указания конкретного набора значений переменных в задаче линейного программирования с переменными ж = (ж1, $2, • • •, ^п) мы будем использовать обозначение х = ^Х\,Х2,..., хп\
Стандартная и каноническая формы задач линейного программирования
В данном разделе описываются стандартная и каноническая формы задач линейного программирования, которые будут полезны при формулировании задач и работе с ними. В стандартной форме все ограничения являются неравенствами, а в канонической форме ограничения являются равенствами.
Стандартная форма
В стандартной форме заданы п действительных чисел ci, сг,..., Сп; т действительных чисел 61,62, ■ • •, Ьт; и тп действительных чисел ау, где г = 1,2,..., т и з = 1,2,..., п. Требуется найти п действительных чисел tri, Х2,..., хп, которые максимизируют п
^CjXj(29.16)
j=l
при условиях
п
^2 ayXj С bi, где г = 1,2,..., т,(29.17)
j=i
х3> 0, гдез = 1,2,...,п.(29.18)
Обобщая введенную для двумерной задачи линейного программирования терминологию, будем называть выражение (29.16) целевой функцией, лп + т неравенств (29.17) и (29.18) — ограничениями; п ограничений (29.18) называются ограничениями неотрицательности. Произвольная задача линейного программирования не обязательно содержит ограничения неотрицательности, но в стандартной форме они необходимы. Иногда удобно записывать задачу линейного программирования в более компактной форме. Определим т х n-матрицу А = = (ау), m-мерный вектор b = (bi), n-мерный вектор с = (с,) и n-мерный вектор х = (хзУ тогда задачу линейного программирования (29.16)-(29.18) можно записать в следующем виде:
Максимизировать сТх(29.19)
при условиях
Ах ^ Ь,(29.20)
х > 0.'(29.21)
В выражении (29.19) сТх — это скалярное произведение двух векторов. В выражении (19.20) Ах — произведение матрицы и вектора, а ж > 0 в (29.21) означает, что все компоненты вектора х должны быть неотрицательными. Таким образом, задачу линейного программирования в стандартной форме можно описать с помощью тройки (А, Ь, с), и мы примем соглашение, что А, Ь, и с всегда имеют указанную выше размерность.
Теперь введем терминологию для описания различных ситуаций, возникающих в линейном программировании. Некоторые термины уже использовались в двумерной задаче. Набор значений переменных х, которые удовлетворяют всем ограничениям, называется допустимым решением, в то время как набор значений переменных х, не удовлетворяющий хотя бы одному ограничению, называется недопустимым решением. Решению х соответствует целевое значение сТх.
Допустимое решение х, целевое значение которого является максимальным среди всех допустимых решений, является оптимальным решением, а его целевое значение стж называется оптимальным целевым значением. Если задача линейного программирования не имеет допустимых решений, она называется неразрешимой (infeasible), в противном случае она является разрешимой (feasible). Если задача линейного программирования имеет допустимые решения, но не имеет конечного оптимального целевого значения, она называется неограниченной (unbounded). В упражнении 29.1-9 предлагается показать, что задача линейного программирования может иметь конечное оптимальное целевое значение даже в том случае, когда ее допустимая область неограниченна.
Преобразование задач линейного программирования в стандартную форму
Любую задачу линейного программирования, в которой требуется минимизировать или максимизировать некую линейную функцию при наличии линейных ограничений, можно преобразовать в стандартную форму. Исходная задача может находиться не в стандартной форме по четырем причинам.
Целевая функция минимизируется, а не максимизируется.
На некоторые переменные не наложены условия неотрицательности.
Некоторые ограничения имеют форму равенств, т.е. имеют знак равенства вместо знака “меньше или равно”.
Некоторые ограничения-неравенства вместо знака “меньше или равно” имеют знак “больше или равно”.
Преобразовывая задачу линейного программирования L в другую задачу линейного программирования U, мы бы хотели, чтобы оптимальное решение задачи L' позволяло найти оптимальное решение задачи L. Будем говорить, что две задачи максимизации L и U эквивалентны, если для каждого допустимого решения х задачи L с целевым значением х существует соответствующее допустимое решение х! задачи L* с целевым значением х, а для каждого допустимого решения х* задачи L* с целевым значением х существует соответствующее допустимое решение х задачи L с целевым значением х. (Это определение не подразумевает взаимно однозначного соответствия между допустимыми решениями.) Задачи минимизации L и задача максимизации L' эквивалентны, если для каждого допустимого решения х задачи L с целевым значением х существует соответствующее допустимое решение х' задачи L' с целевым значением — х, а для каждого допустимого решения х' задачи L* с целевым значением х существует соответствующее допустимое решение х задачи L с целевым значением — х.
Теперь покажем, как поочередно избавиться от перечисленных выше проблем. После устранения каждого несоответствия стандартной форме докажем, что новая задача линейного программирования эквивалентна старой.
Чтобы превратить задачу минимизации L в эквивалентную ей задачу максимизации L', достаточно просто изменить знаки коэффициентов целевой функции на противоположные. Поскольку L и И имеют одинаковые множества допустимых решений и для любого допустимого решения целевое значение L противоположно целевому значению L', эти две задачи линейного программирования эквивалентны. Например, пусть исходная задача имеет вид:
Минимизировать — 2xi + Зхг при условиях
xi + хг = 7
xi — 2хг ^ 4
Xi0
Если мы поменяем знаки коэффициентов целевой функции, то получим следующую задачу:
Максимизировать 2xi — 3x2 при условиях
Xi + Х2 = 7
Xi — 2x2 ^ 4
Xi > 0
Теперь покажем, как преобразовать задачу линейного программирования, в которой на некоторые переменные не наложены ограничения неотрицательности, в задачу, где все переменные подчиняются этому условию. Предположим, что для некоторой переменной х, ограничение неотрицательности отсутствует. Заменим все вхождения переменной х, выражением х'- — х'- и добавим ограничения неотрицательности х' > 0 и x'j > 0. Так, если целевая функция содержит слагаемое CjXj, то оно заменяется на с^х'- — Cjx", а если ограничение г содержит слагаемое QijXj, оно заменяется на ayXj — aijXj. Любое допустимое решение х новой задачи линейного программирования соответствует допустимому решению исходной задачи с х, = х'- — х" и тем же самым целевым значением, следовательно, эти две задачи эквивалентны. Применив эту схему преобразования ко всем переменным, для которых нет ограничений неотрицательности, получим эквивалентную задачу линейного программирования, в которой на все переменные наложены ограничения неотрицательности.
Продолжая рассмотрение нашего примера, проверяем, для всех ли переменных есть соответствующие ограничения неотрицательности. Для переменной xi такое
ограничение есть, а для переменной хг — нет. Заменив переменную х^ двумя переменными х2 и х2 и выполнив соответствующие преобразования, получим следующую задачу:
Максимизировать 2xi — 3x2 + 3^2 при условиях
Xi + х2- х2 = 7(29.22)
xi — 2х2 + 2х2 ^ 4
xi,x2,x2 > О
Теперь преобразуем ограничения-равенства в ограничения-неравенства. Предположим, что задача линейного программирования содержит ограничение-равенство / (xi, Х2,..., хп) = Ь. Поскольку х = у тогда и только тогда, когда справедливы оба неравенства х > уих ^ у, можно заменить данное ограничение-равенство парой ограничений-неравенств / (xi, Х2,..., ®п) ^ 6 и / (xi, Х2,..., ^п) ^ Ь. Выполнив такое преобразование для всех ограничений-равенств, получим задачу линейного программирования, в которой все ограничения являются неравенствами.
Наконец, можно преобразовать ограничения вида “больше или равно” в ограничения вида “меньше или равно” путем умножения этих ограничений на -1. Любое ограничение вида п
^ij^j Ь{ j=l
эквивалентно ограничению
п
—bi
j=l
Таким образом, заменив каждый коэффициент aij на —а^ и каждое значение bj на —bj, мы получим эквивалентное ограничение вида “меньше или равно”.
Чтобы завершить преобразование нашего примера, заменим ограничение-равенство (29.22) на два неравенства, и получим:
Максимизировать 2xi — 3x2 + 3x2 при условиях
Xj, —। Х2 ^2
Х1+ х^- х£>7(29.23)
Xi — 2x2 + 2x2 4 хьх^.хз > О
Теперь изменим знак ограничения (29.23). Для единообразия имен переменных переименуем х2 в Х2, и х2 в хз. Полученная стандартная форма имеет вид:
Максимизировать
2^1 — Зжг + Зжз
(29.24)
при условиях
Xi + Х2 - Хз <
: 7
(29.25)
-Xi - Х2 + Хз <
: -7
(29.26)
Xi — 2x2 + 2жз ^
: 4
(29.27)
Ж1,Т2,ТЗ >
: 0
(29.28)
Преобразование задач линейного программирования в каноническую форму
Чтобы решать задачу линейного программирования с помощью симплекс-метода, удобно записать ее в такой форме, когда некоторые ограничения заданы в виде равенств. Говоря более точно, мы будем приводить задачу к форме, в которой только ограничения неотрицательности заданы в виде неравенств, а остальные ограничения являются равенствами. Пусть ограничение-неравенство имеет вид
(29.29)
ппaijxj 1 3=1aijxj 1 3=1Введем новую переменную s и перепишем неравенство (29.29) в виде двух ограничений:
п
п
aijxj 1 3=1
aijxj 1 3=1
(29.30)
(29.31)
Переменная s называется вспомогательной переменной (slack variable), она определяет разность (slack) между левой и правой частями выражения (29.29). Поскольку неравенство (29.29) верно тогда и только тогда, когда одновременно выполнены равенство (29.30) и неравенство (29.31), можно применить данное преобразование юз всем ограничениям-неравенствам задачи линейного программирования и получить эквивалентную задачу, в которой в виде неравенств записаны только условия неотрицательности. При переходе от стандартной формы к канонической мы будем использовать для связанной с г-м ограничением вспомогательной переменной обозначение хп^ (вместо s). Тогда г-е ограничение будет записано
в виде равенства
п
^n+i =' Ojj ®i j(29.32)
5=1
наряду с ограничением неотрицательности хп+г > 0.
Применяя данное преобразование ко всем ограничениям задачи линейного программирования в стандартной форме, получаем задачу в канонической форме. Например, для задачи, заданной формулами (29.24)-(29.28), введя вспомогатель-
ные переменные х^ х^ xq, получим:
Максимизировать
2xi — 3x2 + Зхз
(29.33)
при условиях
Х4 =7 — Х1 — Х2 + Хз
(29.34)
Х5 = — 7 + Xi + Х2 - Хз
(29.35)
хе =4 - Xi + 2x2 - 2хз
(29.36)
Х1,Х2,Хз,Х4,Х5,Хб > 0
(29.37)
В этой задаче линейного программирования все ограничения, за исключением условий неотрицательности, являются равенствами, и все переменные подчиняются ограничениям неотрицательности. В записи каждого ограничения-равенства в левой части стоит одна переменная, а остальные переменные находятся в правой части. Более того, каждое уравнение содержит в правой части одни и те же переменные, и это только те переменные, которые входят в целевую функцию. Переменные, находящиеся в левой части равенств, называются базисными переменными (basic variables), а переменные, находящиеся в правой части, — небазисными переменными (nonbasic variables).
В задачах линейного программирования, удовлетворяющих данным условиям, мы иногда будем пропускать слова “максимизировать” и “при условии”, а также “ограничения неотрицательности”. Для обозначения значения целевой функции мы будем использовать переменную г. Полученная форма записи называется канонической формой (slack form). Каноническая форма задачи линейного программирования (29.33)-(29.37) выглядит следующим образом:
X =
2xi — 3x2 + Зхз
(29.38)
Х4 =
7 - Xi - Х2 + Хз
(29.39)
хь =
- 7 + Xi + Х2 - Хз
(29.40)
Хб =
4 — Xi + 2x2 — 2хз
(29.41)
Для канонической формы, как и для стандартной, удобно иметь более короткий способ записи. Как будет показано в разделе 29.3, множества базисных и небазисных переменных будут меняться в процессе работы симплекс-алгоритма.
Обозначим множество индексов небазисных переменных N, а множество индексов базисных переменных — В. Всегда выполняются соотношения ^| = п, |В| = = т и N U В = {1,2,..., п + т}. Уравнения будут индексироваться элементами множества В, а переменные правых частей будут индексироваться элементами множества N. Как и в стандартной форме, мы используем bj, Cj и ay для обозначения констант и коэффициентов. Для обозначения необязательного постоянного члена в целевой функции используется v. Таким образом, можно кратко описать каноническую форму с помощью кортежа (N, В, А, Ь, с, и); она служит кратким обозначением следующей канонической формы:
(29.42)(29.43)(29.42)(29.43)z = и + 52 с?^
(29.42)
(29.43)
(29.42)
(29.43)
jGN
$i = bi — 52 ayXj, где ie В.jeN
При этом все переменные х подчиняются условиям неотрицательности. Поскольку сумма ^jeNQijXj в выражении (29.43) вычитается, значения элементов ау противоположны коэффициентам, входящим в каноническую форму.
Например, для канонической формы
ЖЗж52ж6
г = 28 —————
663
8+у + т
. 8жз 2ж5 , хе
хо = 4
2333
1« Х3 -LX5
Ж4-18-у + —
элементы шестерки имеют вид В = {1,2,4}, N = {3,5,6), и = 28,
' «13
«15
«16 \
/ -1/6
-1/6
1/3
А =
«23
«25
«26 I =
8/3
2/3
-1/3
\ «43
«45
«46 /
( 1/2
-1/2
0
/ \Т / \Т
с=1сз С5 се) = 1—1/6 —1/6 —2/3) , а индексы у А, b и с не обязательно являются множествами последовательных целых чисел; они зависят от того, какие индексы входят во множества В и N. В качестве примера противоположности элементов матрицы А коэффициентам канонической формы, заметим, что
в уравнение для xi входит слагаемое хз/6, так что коэффициент «13 равен -1/6, а не +1/6.
Упражнения
29.1 -1. Если записать задачу линейного программирования (29.24)-(29.28) в ком-пактной форме (29.19)-(29.21), чему будут равны п, т, А, b и с?
29.1-2. Укажите три допустимых решения задачи линейного программирования (29.24)-(29.28). Чему равно целевое значение для каждого решения?
29.1-3. Какими будут N, В, А, Ь, сии для канонической формы (29.38)-(29.41)?
29.1 -4. Приведите следующую задачу линейного программирования к стандартной форме:
Минимизировать 2xi + 7x2
при условиях
Ж1=7
3x1 + $224
xi> О
Ж2 О
29.1 -5. Преобразуйте следующую задачу линейного программирования в каноническую форму:
Максимизировать 2xi — 6x3
при условиях
Х1 + Х2 - Х3 7
3xi — Х2 >8
- Xi + 2х2 + 2хз > О
Ж1,Х2,Хз > О
Какие переменные являются базисными, а какие небазисными?
-6. Покажите, что следующая задача линейного программирования является неразрешимой:
Максимизировать 3xi — 2хг
при условиях
Х1 + Х2 2
— 2xi — 2x2 С — Ю
Xi, Х2 >0
7. Покажите, что следующая задача линейного программирования является неограниченной:
Максимизировать o?i — хг при условиях
— 2X1 + Ж2 ^ — 1
— xi — 2x2— 2
Х1,Х2^ О
8. Пусть имеется задача линейного программирования общего вида с п переменными и т ограничениями. Предположим, что мы преобразовали ее в стандартную форму. Укажите верхнюю границу числа переменных и ограничений в полученной задаче.
9. Приведите пример задачи линейного программирования, для которой допустимая область является неограниченной, но оптимальное целевое значение конечно.
29.2 Формулирование задач в виде задач линейного программирования
Хотя основное внимание в данной главе уделяется симплекс-алгоритму, важно также понимать, в каких случаях задачу можно сформулировать в виде задачи линейного программирования. После того как задача сформулирована в таком виде, ее можно решить за полиномиальное время с помощью эллипсоидного алгоритма, или алгоритма внутренней точки. Существует несколько пакетов прикладных программ, эффективно решающих задачи линейного программирования, а значит, если проблему удастся сформулировать в виде задачи линейного программирования, то ее можно решить на практике с помощью такого пакета.
Рассмотрим несколько конкретных примеров задач линейного программирования. Начнем с двух уже рассмотренных ранее задач: задачи поиска кратчайших путей из одной вершины (single source shortest parts problem) (см. главу 24) и задачи максимального потока (maximum-flow problem) (см. главу 26). После этого мы опишем задачу поиска потока с минимальными затратами (minimum-cost-flow). Для данной задачи существует алгоритм с полиномиальными затратами времени, не основанный на линейном программировании, однако мы не будем его рассматривать. И наконец, мы опишем задачу многопродуктового потока (multicomodity- flow problem), единственный известный полиномиальный по времени алгоритм решения которой базируется на линейном программировании.
Кратчайшие пути
Задачу поиска кратчайших путей из одной вершины-источника, описанную в главе 24, можно сформулировать в виде задачи линейного программирования. В данном разделе мы остановимся на формулировании задачи кратчайшего пути для одной пары источник-адресат, а более общий случай задачи поиска кратчайших путей из одного источника предлагается рассмотреть в качестве упражнения 29.2-3.
В задаче поиска кратчайшего пути для одной пары источник-адресат нам дан взвешенный ориентированный граф G = (V, Е), весовая функция w : Е —» R, ставящая в соответствие дугам графа действительные веса, исходная вершина s и конечная вершина t. Мы хотим вычислить значение d[t], которое является весом кратчайшего пути из s в t. Чтобы записать эту задачу в виде задачи линейного программирования, необходимо определить множество переменных и ограничения, которые позволят определить, какой путь из s в t является кратчайшим. К счастью, алгоритм Беллмана-Форда именно для этого и предназначен. Когда алгоритм Беллмана-Форда завершает свою работу, для каждой вершины v оказывается вычисленным значение d[v], такое что для каждой дуги (u, и) € Е выполняется условие d [v] ^ d [u] + w (и, и). Исходная вершина первоначально получает значение d [s] = 0, которое никотда не изменяется. Таким образом, мы получаем следующую задачу линейного программирования для вычисления веса кратчайшего пути из s в t:
Максимизировать d [t] (29.44) при условиях
d [v] ^ d [u] + w (и, и) для всех (и, v) 6 Е, (29.45) d[s]=0. (29.46)
В этой задаче | V| переменных d [и], по одной для каждой вершины v 6 Е, и |Е| + +1 ограничение, по одному для каждой дуги плюс дополнительное ограничение, состоящее в том, что исходной вершине всегда соответствует значение 0.
Максимальный поток
Задачу максимального потока также можно сформулировать в виде задачи линейного программирования. Напомним, что нам задан ориентированный граф G = (У, Е) в котором каждая дуга (и, и) 6 Е имеет неотрицательную пропускную способность с (и, и) 0, и две различные вершины, источник s и сток t. Согласно определению из раздела 26.1, поток — это действительная функция f : V х V —* R, обладающая тремя свойствами: она удовлетворяет ограничениям пропускной способности; меняет знак при изменении направления; обеспечивает сохранение потока. Максимальный поток —это поток, который удовлетворяет
данным ограничениям и максимизирует величину потока, представляющую собой суммарный поток, выходящий из источника. Таким образом, поток удовлетворяет линейным ограничениям, а величина потока является линейной функцией. Напомним также, что мы предполагаем, что с (и, и) = 0, если (и, и) ф Е. Теперь можно записать задачу максимизации потока в виде задачи линейного программирования:
Максимизироватьпри условияхМаксимизироватьпри условиях(29.47)(29.47)vevf (u, v) = -/ (v, u) 52 / (u, v) = ° vevvevf (u, v) = -/ (v, u) 52 / (u, v) = ° vevдля всех u, v € У,(29.48)для всех u, v € У,(29.49)для всех и € У —{s, t}.(29.50)для всех u, v € У,(29.48)для всех u, v € У,(29.49)для всех и € У —{s, t}.(29.50)
Максимизировать
при условиях
Максимизировать
при условиях
(29.47)
(29.47)
vev
f (u, v) = -/ (v, u) 52 / (u, v) = ° vev
vev
f (u, v) = -/ (v, u) 52 / (u, v) = ° vev
для всех u, v € У,(29.48)
для всех u, v € У,(29.49)
для всех и € У —{s, t}.(29.50)
для всех u, v € У,(29.48)
для всех u, v € У,(29.49)
для всех и € У —{s, t}.(29.50)
Эта задача линейного программирования содержит |У|2 переменных, соответствующих потоку между каждой парой вершин, и 2 |У|2 + |У| — 2 ограничений.
Обычно более удобно решать задачу линейного программирования меньшей размерности. Запись задачи (29.47)-(29.50), например, можно упростить, если учесть, что поток и пропускная способность каждой пары вершин и, v, таких что (u, v) ^ Е, равны 0. Но более эффективно было бы переписать задачу так, чтобы в ней содержалось О (У + Е) ограничений, что и предлагается сделать в упражнении 29.2-5.
Поиск потока с минимальными затратами
До сих пор в данном разделе мы использовали линейное программирование для решения задач, для которых нам уже известны эффективные алгоритмы. Фактически, хороший алгоритм, разработанный специально для некой задачи, как, например, алгоритм Дейкстры (Dijkstra) для задачи поиска кратчайшего пути из одной вершины или метод проталкивания для задачи максимального потока, обычно более эффективен, чем линейное программирование, — как в теории, так и на практике.
Истинная ценность линейного программирования состоит в возможности решения новых задач. Вспомним задачу выработки предвыборной политики, описанную в начале данной главы. Задача получения необходимого количества голосов при минимальных затратах не решается ни одним из алгоритмов, уже изученных нами в данной книге, однако ее можно решить с помощью линейного программирования. О реальных задачах, которые можно решить с помощью линейного программирования, написано множество книг. Линейное программирование также чрезвычайно полезно при решении разновидностей задач, для которых еще не известны эффективные алгоритмы.
Рассмотрим, например, следующее обобщение задачи максимального потока. Предположим, что каждой дуге (и, и), помимо пропускной способности с (и, и), соответствует некая стоимость а (и, и), принимающая действительные значения. По техническим причинам мы требуем, чтобы в случае а (и, и) > О выполнялось соотношение a(v, и) = 0. Если по дуге (и, и) послано f (и, и) единиц потока, это приводит к затратам а (и, и) • f (и, и). Нам также задано целевое значение потока d. Мы хотим переправить d единиц потока из s в t таким образом, чтобы общая стоимость, связанная с передачей потока, 53(UiV)es«(«, и) • /(u,v), была минимальной. Эта задача называется задачей поиска потока с минимальными затратами (minimum-cost-flow).
На рис. 29.2а представлен пример задачи поиска потока с минимальными затратами. Нам нужно переслать 4 единицы потока из s в t, минимизировав суммарные затраты (пропускная способность каждого ребра обозначена как с, а затраты передачи — как а). С любым допустимым потоком, т.е. функцией /, удовлетворяющей ограничениям (29.48)-(29.50), связаны затраты ^l^^e а (и, и) • / (u, и). Мы хотим найти такой поток, который минимизирует эти затраты. Оптимальное решение показано на рис. 29.26; ему соответствуют суммарные затраты
V а(«, «)•/(«, и) = (2-2)+ (5-2)+ (3-1)+ (7-1)+ (1-3) = 27.
Существуют алгоритмы с полиномиальными затратами времени, специально разработанные для задачи поиска потока с минимальными затратами, но в книге мы не будем их рассматривать. Запишем данную задачу в виде задачи линейного программирования. Эта задача линейного программирования напоминает задачу, записанную для максимизации потока, однако она содержит дополнительное ограничение, состоящее в том, что величина потока составляет ровно d единиц, и новую целевую функцию минимизации затрат:
Е ° («,и) / (“>у) (u,v)GE
(29.51)
/ (и, и) ^ с (и, и)
для всех и, и € V ,
(29.52)
/(«,«) = -/(",«)
для всех и, и € У ,
(29.53)
52 / (и, и) = 0
для всех и Е V — (s, t} ,
(29.54)
vev
^f^s^^d.
(29.55)
vEE
Минимизировать
при условиях
Многопродуктовый поток
В качестве последнего примера рассмотрим еще одну задачу поиска потоков. Предположим, что компания Lucky Puck из раздела 26.1 приняла решение о расширении ассортимента продукции и отгружает не только хоккейные шайбы, но
Рис. 29.2. Пример задачи поиска потока с минимальными затратами и ее решениеРис. 29.2. Пример задачи поиска потока с минимальными затратами и ее решение
Рис. 29.2. Пример задачи поиска потока с минимальными затратами и ее решение
Рис. 29.2. Пример задачи поиска потока с минимальными затратами и ее решение
также клюшки и шлемы. Каждый элемент снаряжения выпускается на отдельной фабрике, хранится на отдельном складе и должен ежедневно доставляться с фабрики на склад. Клюшки производятся в Ванкувере и доставляются в Саскатун, а шлемы производятся в Эдмонтоне и доставляются в Реджину. Пропускная способность сети доставки не изменилась, и различные элементы, или продукты, должны совместно использовать одну и ту же сеть.
Данный пример — образец задачи многопродуктового потока (multicommodity flow). В этой задаче снова задан ориентированный граф G = (У,Е), в котором каждая дуга (и, и) € Е имеет неотрицательную пропускную способность с (u, и) ^ 0. Как и в задаче максимального потока, неявно подразумевается, что с (u, и) = 0 для (и, v) ^ Е, а кроме того, требуется, чтобы из с (и, и) > 0 вытекало с (и, и) = 0. Кроме того, даны к различных продуктов Ki, К2, . • ., Кк, причем каждый г-й продукт характеризуется тройкой Ki = (si,ti,di), где Si — источник продукта г, ti — место назначения продукта г, a di — спрос, т.е. желаемая величина потока продукта г из Si в t,. По определению, поток продукта г, обозначаемый fi (так что fa (и, и) — поток продукта г из вершины и в вершину и), — это действительная функция, удовлетворяющая ограничениям сохранения потока, смены знака при изменении направления и пропускной способности. Определим совокупный поток (aggregate flow) / (u, v) как сумму потоков различных продуктов: / (и, и) = ^^=1 fi (и, и). Совокупный поток по дуге (и, и) не должен превышать пропускную способность дуги (и, и). При таком способе описания задачи нам не нужно ничего минимизировать; необходимо только определить, возможно ли найти такой поток. Поэтому мы записываем задачу линейного программирования с “пустой” целевой функцией:
Минимизировать
при условиях
0
к
52 /»(u’и) ^с (и>и)
1=1
fi (и, и) = -fi (v, и)
для всех и, v € V,
для всех г = 1,2,..
., к и и, -и Е V,
fi (и, и) ^ с (и, и)
для всех г = 1,2,..
. ,к и u,v EV,
52 ^ (и’v)=°
для всех г = 1,2,..
., к
VGV
и и Е V - {si.tj},
52 & tsi’u)=di t>ev
для всех г = 1,2,..
,,к.
Единственный известный алгоритм решения этой задачи с полиномиальным временем выполнения состоит в том, чтобы записать ее в виде задачи линейного программирования и затем решить с помощью полиномиального по времени алгоритма линейного программирования.
Упражнения
1. Приведите задачу линейного программирования поиска кратчайшего пути для одной пары вершин, заданную формулами (29.44)-(29.46), к стандартной форме.
2. Запишите в явном виде задачу линейного программирования, соответствующую задаче поиска кратчайшего пути из узла s в узел у на рис. 24.2а.
3. В задаче поиска кратчайшего пути из одной вершины мы хотим найти веса кратчайших путей из вершины s ко всем вершинам и eV. Запишите задачу линейного программирования для данного графа G, решение которой обладает тем свойством, что d [и] является весом кратчайшего пути из s в и для всех вершин -и eV.
4. Запишите задачу линейного программирования, соответствующую поиску максимального потока на рис. 26.1а.
5. Перепишите задачу линейного программирования для поиска максимального потока (29.47)-(29.50) так, чтобы в ней было толью О (V + Е) ограничений.
6. Сформулируйте задачу линейного программирования, которая для заданного двудольного графа G = (V,E) решает задачу о взвешенных паросочетаниях с максимальным весом (maximum-bipartite-matching).
7. В задаче поиска многопродуктового потока с минимальными затратами (minimum-cost multicommodity-flow problem) задан ориентированный граф G = (у, Е\ в котором каждой дуге (и, и) Е Е соответствуют неотрицательная пропускная способность с (u, и) ^ 0 и затраты а (и, и).
Как и в задаче многопродуктового потока, имеется к различных товаров Ki, К2,..., К к, при этом каждый продукт г характеризуется тройкой Kt = (si,ti,di). Поток fi для г-го продукта и совокупный поток / (и, и) вдоль дуги (u, v) определяются так же, как и в задаче многопродуктового потока. Допустимым является такой поток, для которого совокупный поток вдоль каждой дуги (и, и) не превышает ее пропускной способности. Затраты для определенного потока определяются как Su uev ° (u>v) / (u> v)> и йель состоит в том, чтобы найти допустимый поток с минимальными затратами. Запишите данную задачу в виде задачи линейного программирования.
Симплекс-алгоритм
Симплекс-алгоритм является классическим методом решения задач линейного программирования. В отличие от многих других приведенных в данной книге алгоритмов, время выполнения этого алгоритма в худшем случае не является полиномиальным. Однако он действительно выражает суть линейного программирования и на практике обычно бывает замечательно быстрым.
Симплекс-алгоритм имеет геометрическую интерпретацию, описанную ранее в данной главе, кроме того, можно провести определенные аналогии между ним и методом исключения Гаусса, рассмотренным в разделе 28.3. Метод исключения Гаусса применяется при поиске решения системы линейных уравнений. На каждой итерации система переписывается в эквивалентной форме, имеющей определенную структуру. После ряда итераций получается система, записанная в таком виде, что можно легко найти ее решение. Симплекс-алгоритм работает аналогичным образом, и его можно рассматривать как метод исключения Гаусса для неравенств.
Опишем основную идею, лежащую в основе итераций симплекс-алгоритма. С каждой итерацией связывается некое “базисное решение”, которое легко получить из канонической формы задачи линейного программирования: каждой небазисной переменной присваивается значение 0, и из ограничений-равенств вычисляются значения базисных переменных. Базисное решение всегда соответствует некой вершине симплекса. С алгебраической точки зрения каждая итерация преобразует одну каноническую форму в эквивалентную. Целевое значение, соответствующее новому базисному допустимому решению, должно быть не меньше (как правило, больше) целевого значения предыдущей итерации. Чтобы добиться этого увеличения, выбирается некоторая небазисная переменная, причем такая, что при увеличении ее значения целевое значение также увеличится. То, насколько можно увеличить данную переменную, определяется другими ограничениями; а именно: ее значение увеличивается до тех пор, пока какая-либо базисная переменная не станет равной 0. После этого каноническая форма переписывается так,
что эта базисная переменная и выбранная небазисная переменная меняются ролями. Хотя мы использовали определенные начальные значения переменных для описания алгоритма и будем использовать их в наших доказательствах, в алгоритме данное решение в явном виде не поддерживается. Он просто переписывает задачу линейного программирования до тех пор, пока оптимальное решение не станет “очевидным”.
Пример симплекс-алгоритма
Рассмотрим следующую задачу линейного программирования в стандартной форме:
Максимизировать
3X1 + Х2 + 2хз
(29.56)
при условиях
Х1 + Х2 + Зхз ^ 30
(29.57)
2xi + 2x2 + 5хз 24
(29.58)
4xi + $2 + 2хз ^ 36
(29.59)
Х1,х2,х3^ 0.
(29.60)
Чтобы можно было применить симплекс-алгоритм, необходимо преобразовать данную задачу в каноническую форму, как описано в разделе 29.1. Вспомогательные переменные — не просто элементы алгебраического преобразования, они являются содержательным алгоритмическим понятием. Напомним (см. раздел 29.1), что каждой переменной соответствует ограничение неотрицательности. Будем говорить, что ограничение-равенство является строгим (tight) при определенном наборе значений его небазисных переменных, если при этих значениях базисная переменная данного ограничения становится равной 0. Аналогично, набор значений небазисных переменных, который делает базисную переменную отрицательной, нарушает данное ограничение. Таким образом, вспомогательные переменные наглядно показывают, насколько каждое ограничение отличается от строгого, и тем самым помогают определить, насколько можно увеличить значения небазисных переменных, не нарушив ни одного ограничения.
Свяжем с ограничениями (29.57)-(29.59) вспомогательные переменные Х4, xs и $6 соответственно, и приведем задачу линейного программирования к канонической форме. В результате получится следующая задача:
z =3xi+
Х2 + 2хз
(29.61)
Х4 = 30 — Х1 —
Х2 — Зхз
(29.62)
Х5 = 24 — 2xi ~
2x2 — 5хз
(29.63)
хе = 36 — 4xi —
х2 - 2хз
(29.64)
Система ограничений (29.62)-(29.64) содержит 3 уравнения и 6 переменных. Любое задание значений переменных xi, хг и хз определяет значения переменных хд, Х5 и $6, следовательно, существует бесконечное число решений данной системы уравнений. Решение является допустимым, если все xi,Х2,..., хе неотрицательны. Число допустимых решений также может быть бесконечным. Свойство бесконечности числа возможных решений подобной системы понадобится нам в дальнейших доказательствах. Рассмотрим базисное решение (basic solution): установим все (небазисные) переменные правой части равными 0 и вычислим значения (базисных) переменных левой части. В данном примере базисным решением является (xi, Х2,..., хе) = (0,0,0,30,24,36) и ему соответствует целевое значение z = (3 • 0) + (1 • 0) + (2 • 0) = 0. Заметим, что в этом базисном решении Xj = bi для всех г 6 В. Итерация симплекс-алгоритма переписывает множество уравнений и целевую функцию так, что в правой части оказывается другое множество переменных. Таким образом, с переписанной задачей связано другое базисное решение. Мы подчеркиваем, что такая перезапись никоим образом не меняет лежащую в основе задачу линейного программирования; задача на каждой итерации имеет точно то же множество допустимых решений, что и задача на предыдущей итерации. Однако эта задача имеет базисное решение, отличное от базисного решения предыдущей итерации.
Если базисное решение является также допустимым, оно называется допустимым базисным решением. В процессе работы симплекс-алгоритма базисное решение практически всегда будет допустимым базисным решением. Однако в разделе 29.5 мы покажем, что в нескольких первых итерациях симплекс-алгоритма базисное решение может не быть допустимым.
На каждой итерации нашей целью является переформулирование задачи линейного программирования таким образом, чтобы новое базисное решение имело большее целевое значение. Мы выбираем некоторую небазисную переменную хе, коэффициент при которой в целевой функции положителен, и увеличиваем ее значение настолько, насколько это возможно без нарушения существующих ограничений. Переменная хе становится базисной, а некоторая другая переменная xi становится небазисной. Значения остальных базисных переменных и целевой функции также могут измениться.
Продолжая изучение примера, рассмотрим возможность увеличения значения Xi. При увеличении xi значения переменных хд, Х5 и хе уменьшаются. Поскольку на каждую переменную наложено ограничение неотрицательности, ни одна из этих переменных не должна стать отрицательной. Если xi увеличить более, чем на 30, то хд станет отрицательной, а Х5 и хе станут отрицательными при увеличении Xi на 12 и 9 соответственно. Третье ограничение (29.64) является самым строгим, именно оно определяет, на сколько можно увеличить xi. Следовательно, поменяем
ролями переменные $i и $6- Решим уравнение (29.64) относительно $i и получим п Х2 хз х6
=(29.65)
Чтобы записать другие уравнения с xq в правой части, подставим вместо xi выражение из (29.65). Для уравнения (29.62) получаем
Х4 = 30 — Xi — Х2 — З^з =Я2ИЗЯ6\Q_
- 30 --— -—-— j - х2 ~ Зх3 -(29.66)
_ 91Зж25ж3,х6
42+4‘
Аналогично поступаем с ограничением (29.63) и целевой функцией (29.61) и записываем нашу задачу линейного программирования в следующем виде:
z = 27 + ^
4
хз Зжб
(29.67)
_ Хз _Хб
24
(29.68)
х4 = 21-^
4
_ 5жз х6
2 + 4
(29.69)
R 3X2
15= 6-—
л, ж6
-4$з +у
(29.70)
Эта операция называется замещением. Как было показано выше, в процессе замещения выбираются небазисная переменная хе, называемая вводимой переменной (entering variable), и базисная переменная х/, называемая выводимой переменной (leaving variable), которые затем меняются ролями.
Задача, записанная уравнениями (29.67)-(29.70), эквивалентна задаче (29.61)(29.64). В процессе работы симплекс-алгоритма производятся только операции переноса переменных из левой части уравнения в правую и наоборот, а также подстановки одного уравнения в другое. Первая операция, очевидно, создает эквивалентную задачу, то же можно сказать и о второй операции.
Чтобы продемонстрировать эквивалентность указанных задач, убедимся, что исходное базисное решение (0,0,0,30,24,36) удовлетворяет новым уравнениям (29.67)-(29.70) и имеет целевое значение 27 + (1/4) • 0 + (1/2) • 0 — (3/4) • 36 = 0. В базисном решении, связанном с новой задачей, новые небазисные переменные равны 0. Таким образом, оно имеет вид (9,0,0,21,6,0), а соответствующее целевое значение z = 27. Простые арифметические действия позволяют убедиться, что данное решение удовлетворяет уравнениям (29.62)-(29.64) и при подстановке в целевую функцию (29.61) имеет целевое значение (3 • 9) + (1 • 0) + (2 • 0) = 27.
Продолжая рассмотрение примера, необходимо найти новую базисную переменную, значение которой можно увеличить. Нет смысла увеличивать х$, поскольку при ее увеличении целевое значение уменьшается. Можно попробовать
увеличить хг или хз; мы выберем хз. Насколько можно увеличить хз, чтобы не нарушить ни одно из ограничений? Ограничение (29.68) допускает увеличение, не превышающее 18, ограничение (29.69) — 42/5, а ограничение (29.70) — 3/2. Третье ограничение снова оказывается самым строгим, следовательно, мы переписываем его так, чтобы хз было в левой части, а Х5 — в правой части. Затем подставляем это новое уравнение в уравнения (29.67)-(29.69) и получаем новую эквивалентную задачу:
_ 111£2^5 И^б
(29.71)
4 + 16816
33Х2Х55X6
1416816
(29.72)
33X2Х5 , Хб
Жз - 28Т + Т
(29.73)
693X25X5 Хб
(29.74)
хд — —— —
4416816
С этой системой связано базисное решение (33/4,0,3/2,69/4,0,0) с целевым значением 111/4. Теперь единственная возможность увеличить целевое значение — увеличить хз. Имеющиеся ограничения задают верхние границы увеличения 132, 4 и оо соответственно (верхняя граница в ограничении (29.74) равна оо, поскольку при увеличении хг значение базисной переменной Х4 также увеличивается. Следовательно, данное уравнение не налагает никаких ограничений на величину возможного увеличения хг). Увеличиваем хг до 4 и делаем ее базисной. Затем решаем уравнение (29.73) относительно хг, подставляем полученное выражения в другие уравнения и получаем новую задачу:
. = 28-^
_ 3:5
6
_ 2^6
(29.75)
Х!= 8 + -
6
” з
(29.76)
, 8хз ^2 = 4 - —
2x5 Г
х^
+ 3
(29.77)
ю жз Х4 = 18 - —
(29.78)
В полученной задаче все коэффициенты целевой функции отрицательны. Как будет показано далее, такая ситуация возникает только тогда, когда базисное решение переписанной задачи линейного программирования является оптимальным ее решением. Таким образом, для данной задачи решение (8,4,0,18,0,0) с целевым значением 28 является оптимальным. Теперь можно вернуться к исходной задаче линейного программирования, заданной уравнениями (29.56)-(29.60). Исходная задача содержит только переменные Xi, хг и хз, поэтому оптимальное
решение имеет вид xi = 8, хз = 4, хз = 0, с целевым значением (3-8) + (1-4) + + (2 • 0) = 28. Заметим, что значения вспомогательных переменных в окончательном решении показывают, насколько велик резерв в каждом неравенстве. Вспомогательная переменная хд равна 18, а значение левой части в неравенстве (29.57) равно 8 + 4 + 0 = 12, что на 18 меньше, чем значение правой части этого неравенства — 30. Вспомогательные переменные Х5 и Хб равны 0, и действительно, в неравенствах (29.58) и (29.59) левые и правые части равны. Обратите внимание на то, что даже если коэффициенты исходной канонической формы являются целочисленными, коэффициенты последующих эквивалентных задач не обязательно целочисленны, и не обязательно целочисленны и промежуточные решения. Более того, окончательное решение задачи линейного программирования не обязательно будет целочисленным; в данном примере это просто совпадение.
Замещение
Формализуем процедуру замещения. Процедура Pivot получает на входе каноническую форму задачи линейного программирования, заданную кортежем (N, В, А, Ь, с, v), индекс I выводимой переменной х/ и индекс е вводимой переменной хе. Она возвращает кортеж ^N, В, A, b, с, v), описывающий новую каноническую форму. (Еще раз напомним, что элементы матриц А и А являются числами, обратными коэффициентам канонической формы.)
PlVOT(^ В, А, Ь, с, v, I, е)
> Вычисление коэффициентов уравнения для новой базисной переменной хе
ЬеЬ//О/е
for (для) всех j Е N — {е}
do aej * ^lj /^Ze
Og/ * l/(Z^g
> Вычисление коэффициентов остальных ограничений
for (для) всех г Е В — {/}
do bi ^ Ь^ Qiebe
for (для) всех j € N — {e}
do CLij ( Oij Clie^ej
Од < Q-iedel
> Вычисление целевой функции
v <— v + cebe
for (для) всех j E N — {e}
do cj ^ Cj Cgd^j
cj <ceaei
> Вычисление новых множеств базисных и небазисных переменных
^^^-{e}U{/}
В «—В — {/} U {е}
return (?/, В, А, b, с, и^
Процедура Pivot работает следующим образом. В строках 2-5 вычисляются коэффициенты нового уравнения для же; для этого уравнение, в левой части которого стоит $ь переписывается так, чтобы в левой части оказалась хе. В строках 7-11 оставшиеся уравнения обновляются путем подстановки правой части полученного нового уравнения вместо всех вхождений хе. В строках 13-16 такая же подстановка выполняется для целевой функции, а в строках 18 и 19 обновляются множества небазисных и базисных переменных. Строка 20 возвращает новую каноническую форму. Если а/е = 0, вызов процедуры Pivot приведет к ошибке (деление на 0), однако, как будет показано в ходе доказательства лемм 29.2 и 29.12, данная процедура вызывается только тогда, когда а\е + 0.
Рассмотрим, как процедура Pivot действует на значения переменных базисного решения.
Лемма 29.1. Рассмотрим вызов процедуры Pivot(7V, В, А,Ь, с, и,/,е) при а/е ^ / 0. Пусть в результате вызова возвращаются значения (.ZV, В, А, Ь, с, и), и пусть х обозначает базисное решение после выполнения вызова. Тогда
хj = 0 для всех з Е N.
хе — b^/o/g.
Xi = bi — atebe для всех г Е В — {е}.
Доказательство. Первое утверждение верно, поскольку в базисном решении все небазисные переменные задаются равными 0. Если мы приравняем 0 все небазисные переменные в ограничении
ж, = Z>i UijXj,jeN
то получим, что Xi = bi для всех j Е В. Поскольку е Е В, то, согласно строке 2 процедуры Pivot, получаем
же = Ье = bi/ttie,
что доказывает второе утверждение. Аналогично, используя строку 8 для всех г Е В — {е}, получаем
Xi “ bi = bi Gibbet
что доказывает третье утверждение.■
Формальный симплекс-алгоритм
Теперь мы готовы формализовать симплекс-алгоритм, который уже продемонстрировали на примере. Этот пример был очень удачным, однако нам еще необходимо ответить на следующие вопросы.
Как определить, что задача линейного программирования является разрешимой?
Что делать, если задача линейного программирования является разрешимой, однако начальное базисное решение не является допустимым?
Как определить, что задача линейного программирования является неограниченной?
Как выбирать вводимую и выводимую переменные?
В разделе 29.5 мы покажем, как определить, является ли задача разрешимой и, в случае положительного ответа, как найти каноническую форму, в которой начальное базисное решение является допустимым. На данном этапе предположим, что у нас есть процедура Initialize_Simplex(^, b, с), которая получает на входе задачу линейного программирования в стандартной форме, т.е. матрицу А = (а^) размером m х п, m-мерный вектор b = (6,) и n-мерный вектор с = (с,). Если задача неразрешима, процедура возвращает соответствующее сообщение и завершается. В противном случае она возвращает каноническую форму, начальное базисное решение которой является допустимым.
Процедура Simplex получает на входе задачу линейного программирования в стандартной форме, описанной выше. Она возвращает n-мерный вектор х = = (xj), который является оптимальным решением задачи линейного программирования, заданной формулами (29.19)-(29.21).
Simplex(A, 6, с)
(N, В, А, Ь, с, v) «- Initialize_Simplex(A, b, с)
while (пока) с, > 0 для некоторого индекса j € N
do выбрать индекс е € N, для которого се > О
for (для) каждого индекса гЕВ
do if Cie > О
then Aj «- bj/cie
else A, <— oo
Выбираем индекс I E В, который минимизирует Ai
if А/ = oo
then return “Задача неограниченна”
else (TV, B, A, b, c, v)«— Pivot(TV, B, A, b, c, v, I, e)
for г <— 1 to n
do if г 6 В
then Xi <— bi
else Xi «— 0
return (хг,Х2,...,хп)
Процедура Simplex работает следующим образом. В строке 1 выполняется вызов упомянутой выше процедуры Initialize_Simplex(A, b, с), которая или определяет, что предложенная задача неразрешима, или возвращает каноническую форму, базисное решение которой является допустимым. Главная часть алгоритма содержится в цикле while в строках 2-11. Если все коэффициенты целевой функции отрицательны, цикл while завершается. В противном случае в строке 3 мы выбираем в качестве вводимой переменной некоторую переменную хе, коэффициент при которой в целевой функции положителен. Хотя в качестве вводимой можно выбирать любую такую переменную, предполагается, что используется некое предварительно заданное детерминистическое правило. Затем, в строках 4-8, производится проверка каждого ограничения и выбирается то, которое более всего лимитирует величину увеличения хе, не приводящего к нарушению ограничений неотрицательности; базисная переменная, связанная с этим ограничением, выбирается в качестве хь Если таких переменных несколько, можно выбрать любую из них, однако предполагается, что и здесь мы используем некое предварительно заданное детерминистическое правило. Если ни одно из ограничений не лимитирует возможность увеличения вводимой переменной, алгоритм выдает сообщение “неограниченна” (строка 10). В противном случае, в строке 11 роли вводимой и выводимой переменных меняются путем вызова описанной выше процедуры Pivot(^ В, A, b, с, v, I, е). В строках 12-15 вычисляется решение для переменных xi,X2,... ,хп исходной задачи линейного программирования путем присваивания всем небазисным переменным значения 0, а всем базисным переменным Xi соответствующих значений bi. В теореме 29.10 мы покажем, что это решение является оптимальным решением задачи линейного программирования. Наконец, в строке 16 возвращаются эти вычисленные значения переменных исходной задачи линейного программирования.
Чтобы показать, что процедура Simplex работает корректно, сначала покажем, что если процедуре задано начальное допустимое значение и она завершилась, то при этом или возвращается допустимое решение, или сообщается, что данная задача является неограниченной. Затем покажем, что процедура Simplex завершается; и наконец, в разделе 29.4 покажем, что возвращенное решение является оптимальным.
Лемма 29.2. Пусть задана задача линейного программирования (А, Ь, с); предположим, что вызываемая в строке 1 процедура Initialize_Simplex возвращает каноническую форму, базисное решение которой является допустимым. Тогда процедура Simplex в строке 16 возвращает решение, которое является допустимым решением этой задачи линейного программирования. Если процедура Simplex
возвращает в строке 10 сообщение “неограниченна”, данная задача линейного программирования является неограниченной.
Доказательство. Докажем следующий тройной инвариант цикла. В начале каждой итерации цикла while в строках 2-11
имеющаяся каноническая форма эквивалентна канонической форме, полученной в результате вызова процедуры Initialize_Simplex,
bi > 0 для всех i Е В,
базисное решение, связанное с данной канонической формой, является допустимым.
Инициализация. Эквивалентность канонических форм для первой итерации очевидна. В формулировке леммы предполагается, что вызов процедуры INI- tializeJSimplex в строке 1 процедуры Simplex возвращает каноническую форму, базисное решение которой является допустимым. Следовательно, третье утверждение справедливо. Далее, поскольку в базисном решении каждой базисной переменной xt присваивается значение bi, а допустимость базисного решения предполагает неотрицательность всех базисных переменных xt, то bi > 0. Таким образом, второе утверждение инварианта также справедливо.
Сохранение. Покажем, что данный инвариант цикла сохраняется при условии, что в строке 10 не выполняется оператор return. Случай выполнения строки 10 мы рассмотрим при обсуждении завершения цикла.
Каждая итерация цикла while меняет ролями некоторую базисную и небазисную переменные. При этом выполняются только операции решения уравнений и подстановки одного уравнения в другое, следовательно, новая каноническая форма эквивалентна канонической форме предыдущей итерации, которая, согласно инварианту цикла, эквивалентна исходной канонической форме.
Теперь покажем, что сохраняется вторая часть инварианта цикла. Предположим, что в начале каждой итерации цикла while bi ^ 0 для всех г G В, и покажем, что эти неравенства остаются верными после вызова процедуры Pivot в строке 11. Поскольку изменения в переменные bi и множество В вносятся только в этой строке, достаточно показать, что она сохраняет данную часть инварианта. Пусть bi, atj и В обозначают значения перед вызовом процедуры Pivot, a bi — значения, возвращаемые процедурой Pivot.
Во-первых, заметим, что Ье > 0, поскольку bi ^ 0 согласно инварианту цикла, а^ > 0 согласно строке 5 процедуры Simplex, a be = bi/aie согласно строке 2 процедуры Pivot.
Для остальных индексов г Е В — {Z} мы имеем
bi — bi Giebe —bi — bi Giebe —(29.79)(29.79)(согласно строке 8 процедуры Pivot)
bi — bi Giebe —
bi — bi Giebe —
(29.79)
(29.79)
= bi — aie (bi/aie) (согласно строке 2 процедуры Pivot) .
Нам необходимо рассмотреть два случая: aie > 0 и aie ^ 0. Если aie > 0, то поскольку I выбирается так, что
(29.80)(29.80)bi/Gi^ ^ bi/G^ для всех i € В,
(29.80)
(29.80)
получаем
bi — biGie (bl/O-le) ^ bi Gie (bi/Gie) — bi bi — 0,
где первое равенство следует из уравнения (29.79), а неравенство — из неравенства (29.80). Таким образом, bi > 0. Если же Gie ^ 0, то поскольку все а^, bi и bi неотрицательны, из уравнения (29.79) следует, что bi также должно быть неотрицательным.
Теперь докажем, что это базисное решение является допустимым, т.е. что все переменные имеют неотрицательные значения. Небазисные переменные устанавливаются равными 0 и, следовательно, являются неотрицательными. Каждая базисная переменная задается уравнением
Xi — bi ^ ' ^ij Xj.jeN
В базисном решении Xi = bi. Используя вторую часть инварианта цикла, можно сделать вывод, что все базисные переменные Xi неотрицательны.
Завершение. Цикл while может завершиться одним из двух способов. Если его завершение связано с выполнением условия в строке 2, то текущее базисное решение является допустимым и это решение возвращается строкой 16. Второй способ завершения связан с возвращением сообщения “неограниченна” строкой 10. В этом случае в каждой итерации цикла for (строки 4-7) при выполнении строки 5 оказывается, что а,е ^ 0. Пусть х — базисное решение, связанное с канонической формой в начале итерации, на которой возвращается сообщение “неограниченна”. Рассмотрим решение х, определяемое как
Xi = <Xi = <если г = е, если г Е N — {е},
Xi = <
Xi = <
^bi ^ 'j^N GijXj если z Е В.
Покажем, что данное решение является допустимым, т.е. все переменные являются неотрицательными. Небазисные переменные, отличные от хе, равны
0, а значение хе положительно, следовательно, все небазисные переменные неотрицательны. Все базисные переменные вычисляются по формуле
Xi — bi 5 ^ dijXj = bi O-i^X^.j€N
В соответствии с инвариантом цикла bi > 0, кроме того, сце ^ 0 и хе = = оо > 0; следовательно, Xi > 0.
Теперь покажем, что целевое значение этого решения х является неограниченным. Целевое значение равно
Z = V + ^2 CjXj = и + сехе.jeN
Поскольку се > 0 (согласно строке 3) и хе = оо, целевое значение бесконечно, следовательно, задача линейного программирования неограниченна. ■
На каждой итерации процедура Simplex, помимо множеств N и В, поддерживает А, Ь, с и V. Хотя сохранение в явном виде значений А, Ь, сии существенно для эффективной реализации симплкекс-алгоритма, оно не является необходимым. Иными словами, каноническая форма уникальным образом определяется множествами базисных и небазисных переменных. Прежде чем доказывать это утверждение, докажем полезную алгебраическую лемму.
Лемма 29.3. Пусть I — множество индексов. Пусть для каждого i€l Qi и Д — действительные числа, a Xi — действительная переменная. Пусть также 7 — некоторое действительное число. Предположим, что для любых Xi выполняется следующее условие:
57 ct,Xi = 7 + 57 Pixi •(29.81)
teliei
Тогда сц = Pi для всех г € /, a 7 = 0.
Доказательство. Поскольку уравнение (29.81) выполняется для любых значений х^ можно выбрать для них определенные значения, чтобы сделать заключения об а, Р и 7. Выбрав Xi = 0 для всех г € I, можно сделать вывод, что 7 = 0. Теперь выберем произвольный индекс г е I и зададим Xi = 1 и Xk = 0 для всех к / / г. В таком случае должно выполняться равенство ai = Pi. Поскольку индекс г выбирался из множества I произвольным образом, можно заключить, что at = Pi для всех г € /.■
Теперь покажем, что каноническая форма любой задачи линейного программирования уникальным образом определяется множеством базисных переменных.
Лемма 29.4. Пусть (А, Ь, с) — задача линейного программирования в стандартной форме. Задание множества базисных переменных В однозначно определяет соответствующую каноническую форму.
Доказательство. Будем проводить доказательство от противного. Предположим, что существуют две канонические формы с одинаковым множеством базисных переменных В. Эти канонические формы должны также иметь одинаковые множества небазисных переменных N = {1,2,..., п + т} — В. Запишем первую каноническую форму как
z = v + У^ с^х^(29.82)
jEN
Xi = bi — aijXj для ie В,(29.83)
jEN
а вторую — как
z = v' + 52 с'эхз»<29-84)
jEN
xi = b,i- У^ a^Xj для г е В.(29.85)
jEN
Рассмотрим систему уравнений, образованную путем вычитания каждого уравнения строки (29.85) из соответствующего уравнения строки (29.83). Полученная система имеет вид
о = (^ - Ь') - 52 (aij - а'^ Xj для г 6 В,jEN
или, что эквивалентно,
52 aij$j = (bi — 6') + 52 aijx3 для G В. jeNjeN
Теперь для всех г € В применим лемму 29.3, где а, = tiy, 3i = ау и у = bi — b^. Поскольку at = Д, то а^ = а^ для всех j € N, и поскольку 7 = 0, то ^ = Ц. Таким образом, в этих двух канонических формах матрицы А и А* и векторы b и У идентичны. С помощью аналогичных рассуждений в упражнении 29.3-1 показывается, что в этом случае также с = с/ и и = и'; следовательно, рассматриваемые канонические формы идентичны.■
Осталось показать, что процедура Simplex заканчивается и, когда она завершается, возвращаемое решение является оптимальным. Вопрос оптимальности рассматривается в разделе 29.4. Обсудим завершение процедуры.
Завершение
В приведенном в начале данного раздела примере каждая итерация сим- плекс-алгоритма увеличивала целевое значение, связанное с базисным решением. В упражнении 29.3-2 предлагается показать, что ни одна итерация процедуры Simplex не может уменьшить целевое значение, связанное с базисным решением. К сожалению, может оказаться, что итерация оставляет целевое значение неизменным. Это явление называется вырожденностью (degeneracy), и мы сейчас рассмотрим его более подробно.
Целевое значение изменяется в строке 13 процедуры Pivot в результате присваивания v <— v + сеЬе. Поскольку вызов процедуры PIVOT в процедуре SIMPLEX происходит только при се > 0, целевое значение может остаться неизменным (т.е., и = v) только в том случае, когда Ье будет равно 0. Это значение вычисляется как Ье «— bi/aie в строке 2 процедуры P1VOT. Поскольку процедура PIVOT вызывается только при aie / 0, то для того, чтобы Ье было равно 0 и, как следствие, целевое значение осталось неизменным, должно выполняться условие Ь{ = 0.
Такая ситуация действительно может возникнуть. Рассмотрим следующую задачу линейного программирования:
Z = Ж1 + Т2 + Тз
Х4 = 8 — Х1 — Ж2
3^5 —^2^3
Предположим, что в качестве вводимой переменной выбрана переменная жь а в качестве выводимой 24. После замещения получим следующую задачу:
2 = 8+ £3 — £4
Х1 = 8 — #2— Х4
^5 =^2 ~ ^3
В данном случае единственная возможность замещения — когда вводимой переменной является хз, а выводимой переменной Х5. Поскольку 65 = 0, после замещения целевое значение 8 останется неизменным:
2 = 8 + Х2 — Х4 ~ Х5
Ж1 = 8 — Х2 ~ Х4
Хз = Х2 ~ Х5
Целевое значение осталось неизменным, но представление задачи изменилось. К счастью, если мы продолжим замещение, выбрав в качестве вводимой переменной Х2, а в качестве выводимой хь целевое значение увеличится и симплекс- алгоритм может продолжить свою работу.
Покажем, что вырожденность является единственным возможным препятствием для окончания симплекс-алгоритма. Вспомним о наших предположениях, что процедура Simplex выбирает индексы е и Z (в строках 3 и 8 соответственно) согласно некому детерминистическому правилу. Мы говорим, что процедура SIMPLEX зациклилась, если канонические формы на двух различных итерациях идентичны; в этом случае, поскольку данная процедура является детерминистическим алгоритмом, она бесконечно будет перебирать одну и ту же последовательность канонических форм.
Лемма 29.5. Если процедура SIMPLEX не может завершиться более чем за (п^п) итераций, она зацикливается.
Доказательство. Согласно лемме 29.4, множество базисных переменных В однозначным образом определяет каноническую форму. Всего имеется n + m переменных, а |В| = т, так что существует (п^п) способов выбрать В. Следовательно, всего имеется (п^п) различных канонических форм. Поэтому, если процедура Simplex совершает более чем (п^п) итераций, она должна зациклиться. и
Зацикливание теоретически возможно, но встречается чрезвычайно редко. Его можно избежать путем несколько более аккуратного выбора вводимых и выводимых переменных. Один из способов состоит в подаче на вход слабого возмущения, что приводит к невозможности получить два решения с одинаковым целевым значением. Второй способ состоит в лексикографическом разрыве связей, а третий — в разрыве связей путем выбора переменной с наименьшим индексом. Последняя стратегия известна как правило Бленда (Bland’s rule). Мы не будем приводить доказательств, что эти стратегии позволяют избежать зацикливания.
Лемма 29.6. Если в строках 3 и 8 процедуры Simplex выполняется выбор переменной с наименьшим индексом, процедура SIMPLEX должна завершиться. g
Данный раздел мы закончим следующей леммой.
Лемма 29.7. Если процедура Initialize_Simplex возвращает каноническую форму, базисное решение которой является допустимым, то процедура Simplex или выдает сообщение о неограниченности решения задачи линейного программирования, или завершается, предоставляя допустимое решение, не более чем за (n+m) итераций.
Доказательство. В леммах 29.2 и 29.6 показано, что если процедура Initial- ize_Simplex возвращает каноническую форму, базисное решение которой является допустимым, то процедура Simplex или выдает сообщение о неограниченности решения задачи линейного программирования, или завершается, предоставляя допустимое решение. Используя лемму 29.5, методом от противного приходим
к заключению, что если процедура Simplex завершается предоставлением допустимого решения, то это Происходит не более чем за (n+m) итераций.g
Упражнения
1. Завершите доказательство леммы 29.4, показав, что с = d и v = г/.
2. Покажите, что значение и никогда не уменьшается в результате вызова процедуры Pivot в строке 11 процедуры Simplex.
3. Предположим, что мы преобразовали задачу линейного программирования (А, Ь, с) из стандартной формы в каноническую. Покажите, что базисное решение является допустимым тогда и только тогда, когда bi>0 для г = 1,2,... ,т.
4. Решите следующую задачу линейного программирования, используя процедуру Simplex:
Максимизировать 18xi + 12.5хг при условиях
xi + хг ^ 20
xi^ 12
Х2 ^ 16
Х1,Х2> 0
5. Решите следующую задачу линейного программирования, используя процедуру Simplex:
Максимизировать — 5xi — 3x2 при условиях
Х1 — Х2 < 1
2xi + Х2 2
Х1,Х2 > 0
-6. Решите следующую задачу линейного программирования, используя процедуру Simplex:
Минимизировать xi + Х2 + хз при условиях
2xi + 7.5x2 + Зхз > 10000
20xi + 5x2 + Юхз > 30000
Я1,Х2,Х3>0
Двойственность
Мы доказали, что при определенных предположениях процедура Simplex завершается. Однако еще не доказано, что она действительно находит оптимальное решение задачи линейного программирования. Чтобы сделать это, введем новое мощное понятие — двойственность (дуальность) задач линейного программирования (linear-programming duality).
Двойственность — очень важное свойство. В задачах оптимизации определение двойственной задачи практически всегда сопровождается открытием алгоритма с полиномиальным временем выполнения. Двойственность также является очень мощным средством при доказательстве того, что решение действительно является оптимальным.
Предположим, например, что в некой задаче максимального потока мы нашли поток / величиной |/|. Как выяснить, является ли / максимальным потоком? Согласно теореме 26.7, если мы сможем найти разрез, значение которого также равно |/|, то / действительно является максимальным потоком. Это пример двойственности: для задачи максимизации определяется связанная с ней задача минимизации, причем такая, что эти две задачи имеют одно и то же оптимальное значение.
Опишем, как для заданной задачи линейного программирования, в которой требуется максимизировать целевую функцию, сформулировать двойственную (dual) задачу линейного программирования, в которой целевую функцию требуется минимизировать и оптимальное значение которой идентично оптимальному значению исходной задачи. При работе с двойственными задачами исходная задача называется прямой (primal).
Для задачи линейного программирования в стандартной форме, такой как (29.1б)-(29.18), определим двойственную задачу следующим образом:
т
Минимизировать при условияхМинимизировать при условиях(29.86)(29.87)(29.88)(29.86)(29.87)(29.88)У^ЬгУг
Минимизировать при условиях
Минимизировать при условиях
(29.86)
(29.87)
(29.88)
(29.86)
(29.87)
(29.88)
1=1 т
арУг > Cj для J = 1,2, i=i
Уг ^ о для г = 1,2, ...,т.
Чтобы получить двойственную задачу, мы изменили максимизацию на минимизацию, поменяли роли коэффициентов правых частей и целевой функции и заменили неравенства “меньше или равно” на “больше или равно”. С каждым из т ограничений прямой задачи в двойственной задаче связана переменная yi, а с каждым из п ограничений двойственной задачи связана переменная прямой задачи Xj. Например, рассмотрим задачу линейного программирования, задан-
ную уравнениями (29.56)-(29.60). Двойственная ей задача выглядит следующим образом:
Минимизировать
30yi +24у2 + З6у3
(29.89)
при условиях
У1 +
2у2 + 4у3 ;
5 3
(29.90)
У1 +
2уг + Уз 2
г 1
(29.91)
3yi +
5уг + 2у3 ;
г 2
(29.92)
У1,У2,УЗ ;
s0
(29.93)
В теореме 29.10 мы покажем, что оптимальное значение двойственной задачи линейного программирования всегда равно оптимальному значению прямой задачи. Более того, симплекс-алгоритм неявно решает одновременно обе задачи, прямую и двойственную, тем самым обеспечивая доказательство оптимальности.
Начнем с доказательства слабой двойственности (weak duality), которая состоит в утверждении, что любое допустимое решение прямой задачи линейного программирования имеет целевое значение, не превышающее целевого значения любого допустимого решения двойственной задачи линейного программирования.
Лемма 29.8 (Слабая двойственность задач линейного программирования).
Пусть х — некое допустимое решение прямой задачи линейного программирования (29.1б)-(29.18), а у — некое допустимое решение двойственной задачи (29.8б)-(29.88). Тогда пт
Ь^Уг-
3=1г=1
Доказательство.
пп / т\т { п\т
У^ Cj^j I ) ^3 = У^ I У^ aij%j I Уг У ^гУп
3=1з=1 \г=1/i=l \j=l)i=l
где первое неравенство следует из (29.87), а второе — из (29.17).■
Следствие 29.9. Пусть х — некоторое допустимое решение прямой задачи линейного программирования (А, 6, с), и пусть у — некоторое допустимое решение соответствующей двойственной задачи. Если
пт
У у с№ = У > ^гУг?
3=1г=1
то х и у являются оптимальными решениями прямой и двойственной задач соот
ветственно.
Доказательство. Согласно лемме 29.8, целевое значение допустимого решения прямой задачи не превышает целевого значения допустимого решения двойственной задачи. Прямая задача является задачей максимизации, а двойственная — задачей минимизации. Поэтому если допустимые решения х и у имеют одинаковое целевое значение, ни одно из них невозможно улучшить. ■
Прежде чем доказать, что всегда существует решение двойственной задачи, целевое значение которого равно целевому значению оптимального решения прямой задачи, покажем, как найти такое решение. При решении задачи линейного программирования (29.56)-(29.60) с помощью симплекс-алгоритма в результате последней итерации была получена каноническая форма (29.75)—(29.78), в которой В = {1,2,4}» N = {3,5,6}. Как будет показано ниже, базисное решение, связанное с этой последней канонической формой, является оптимальным решением задачи линейного программирования; таким образом, оптимальное решение задачи (29.5б)-(29.б0) — (xi, Й2, жз) = (8,4,0) с целевым значением 28. Мы также покажем, что можно легко получить оптимальное решение двойственной задачи: оптимальные значения двойственных переменных противоположны коэффициентам целевой функции прямой задачи. Более строго, предположим, что последняя каноническая форма прямой задачи имеет вид:
Z = и' + 52 с'зхзjEN
Xi = Ь^ — 52 aijx3 для ^ € В.
3&N
Тогда оптимальное решение двойственной задачи можно найти следующим
образом:
Уг = *Уг = *сп+г осп+г оесли (п + г) € N, в противном случае.если (п + г) € N, в противном случае.(29.94)(29.94)
Уг = *
Уг = *
сп+г о
сп+г о
если (п + г) € N, в противном случае.
если (п + г) € N, в противном случае.
(29.94)
(29.94)
Таким образом, оптимальным решением двойственной задачи линейного программирования (29.89)-(29.93) является yi = 0 (поскольку n+1 = 4 е В), уг = — <4 = = 1/6 и уз = —eg = 2/3. Вычисляя значение целевой функции двойственной задачи (29.89), получаем целевое значение (30 • 0) + (24 • (1/6))+ (36 • (2/3)) = 28; это подтверждает, что целевое значение прямой задачи действительно равно целевому значению двойственной задачи. Используя эти вычисления и лемму 29.8, получаем доказательство, что оптимальное целевое значение прямой задачи линейного программирования равно 28. Теперь покажем, что в общем случае оптимальное решение двойственной задачи и доказательство оптимальности решения прямой задачи можно получить таким способом.
Теорема 29.10 (Двойственность задач линейного программирования). Предположим, что процедура Simplex возвращает значения х = (з?1, я^ • • • , zn) для прямой задачи линейного программирования (А, Ь, с). Пусть N и В — множества небазисных и базисных переменных окончательной канонической формы, d — ее коэффициенты, а £ = (У1> ^2? • • • > Ут) определяется уравнением (29.94). Тогда х — оптимальное решение прямой задачи линейного программирования, у — оптимальное решение двойственной задачи и
У2 сзхз = 52 Ь^-(29.95)
3=1г=1
Доказательство. Согласно следствию 29.9, если нам удастся найти допустимые решения й и у, которые удовлетворяют уравнению (29.95), то й и у должны быть оптимальными решениями прямой и двойственной задач. Покажем, что решения х и у, описанные в формулировке теоремы, удовлетворяют уравнению (29.95).
Предположим, что мы решаем прямую задачу линейного программирования (29.16)-(29.18) с помощью процедуры Simplex. В ходе работы алгоритма строится последовательность канонических форм, пока он не завершится, предоставив окончательную каноническую форму с целевой функцией
z = г/ + У^ c'jXj.(29.96)
j€N
Поскольку процедура Simplex завершается с предоставлением решения, то, согласно условию в строке 2, мы знаем, что
сх 0 для всех j € N.(29.97)
Если мы определим
Cj = 0 для всех j € В,(29.98)
то уравнение (29.96) можно переписать так:
^ =и'+52 ^з = j£N
= Vх + У2 CjX3 + 52 С'зХ3 = (ПОСКОЛЬКУ cj = 0 для j € В) jeN jeB
= их + У^ cjxj(поскольку N U В = {1,2,..., n + т}) (29.99)
j=i
В базисном решении х, связанном с конечной канонической формой, Xj = 0 для всех j € N, и z = v'. Поскольку все канонические формы эквивалентны,
при вычислении значения исходной целевой функции для решения х мы должны получить то же самое целевое значение, т.е.
пп+тп
52 cjxj = и'+52 cj5J =<29-1 °°)
3=13=1
= у +' CjXj + 52 сзхз =
jeN зев
= ^ + ^^3-°) + ^(Q-^=(29101)
jENзев
Теперь мы покажем, что решение у, заданное формулой (29.94), является допустимым решением двойственной задачи и его целевое значение ^^i ЬгУг равно ^=1 CjXj. Из уравнения (29.100) следует, что значения целевых функций первой и последней канонических форм, вычисленные для х, равны. В общем случае, эквивалентность всех канонических форм подразумевает, что для любого набора значений х = (xi, Х2,..., х^ справедливо равенство
пП+?П
52^ = v'+ 52 с'зхз-
3=13=1
Следовательно, для любого набора значений х мы имеем:
п
3=1
п+?п
52 сзхз= 3=1
п
п+тп
53 С3х3 =
J=1п
j=n-H т
3=1п
1=1т
(в соответствии с (29.94))
j=l
п
1=1
т
3=1
1=1
п
2 ^гз ^з
3=1
(в соответствии с (29.32))
птт п
= у' + 52^зхз ~^Ь^ + ^П (°ijXj)Уг = 3=1г=1г=1 j=l
птпт
= у' + 52 ^3Х3 ~^Ь^ + ^У)2 ^зУ^ х3 =
3=1г=1з=1 1=1
(
т\п /т\
у1 - 52^)+ 52 (с'з+52а^) хз >г=1/з=1 \г=1/
так что
п/ т \ п / тп \
(29.102)(29.102)(29.103)(29.104)(29.103)(29.104)52 сзхз = (у' ~ 52ь^)+ 52 ( cj+52 “^) хз •
(29.102)
(29.102)
(29.103)
(29.104)
(29.103)
(29.104)
3=1\г=1/з=1\г=1/
Применяя лемму 29.3 к уравнению (29.102), получаем
т
у/ - 52^ = °-
г=1
т
c'j + 52 ^зУ! = С3 ДЛЯ j = 1,2,..., п.
г=1
Из уравнения (29.103) следует, что 52^11^^ = V, поэтому целевое значение двойственной задачи (Х}^ biyi) равно целевому значению прямой задачи (и')- Осталось показать, что у является допустимым решением двойственной задачи. Из (29.97) и (29.98) следует, что с' ^ 0 для всех j = 1,2,..., п + т. Поэтому для любого г = 1,2,..., т из (29.104) вытекает, что
тт
Cj = Cj +^ ^ij У г^О*гз У г)
г=1г=1
что удовлетворяет ограничениям (29.87) двойственной задачи. Наконец, поскольку o' ^ 0 для всех j е N U В, то, задав у в соответствии с уравнением (29.94), мы получим, что все yt ^ 0, так что ограничения неотрицательности также удовлетворены. #
Итак, мы показали, что если данная задача линейного программирования разрешима, процедура Initialize_Simplex возвращает допустимое решение и процедура Simplex завершается, не выдав сообщение “неограниченна”, то возвращенное решение является оптимальным. Мы также показали, как строится оптимальное решение двойственной задачи линейного программирования.
Упражнения
1. Сформулируйте двойственную задачу для задачи, приведенной в упражнении 29.3-4.
2. Предположим, у нас есть задача линейного программирования, не приведенная к стандартной форме. Можно получать двойственную задачу в два этапа: сначала привести исходную задачу к стандартной форме, а затем формулировать двойственную. Однако было бы удобно иметь возможность сразу формулировать двойственную задачу. Объясните, каким образом, имея произвольную задачу линейного программирования, можно получить двойственную задачу непосредственно.
3. Запишите двойственную задачу для задачи максимального потока, заданной уравнениями (29.47)-(29.50). Объясните, как эта формулировка интерпретируется в качестве задачи минимального разреза.
4. Запишите двойственную задачу для задачи потока с минимальными затратами, заданной уравнениями (29.51)-(29.55).Объясните, как интерпретировать полученную задачу с помощью графов и потоков.
5. Покажите, что задача, двойственная к двойственной задаче линейного программирования, является прямой задачей.
6. Какой результат из главы 26 можно интерпретировать как слабую двойственность для задачи максимального потока?
Начальное базисное допустимое решение
В данном разделе мы сначала покажем, как проверить, является ли задача линейного программирования разрешимой, и как в случае положительного ответа получить каноническую форму, базисное решение которой является допустимым. В заключение мы докажем основную теорему линейного программирования, в которой утверждается, что процедура Simplex всегда дает правильный результат.
Поиск начального решения
В разделе 29.3 предполагалось, что у нас есть некая процедура Initialize_ Simplex, которая определяет, имеет ли задача линейного программирования допустимые решения, и в случае положительного ответа возвращает каноническую форму, имеющую допустимое базисное решение. Опишем данную процедуру.
Даже если задача линейного программирования является разрешимой, начальное базисное решение может оказаться недопустимым. Рассмотрим, например,
следующую задачу:
Максимизировать
2Ж1 - Ж2
(29.105)
при условиях
2X1 - ^2 ^
; 2
(29.106)
Х1 — 5х2 ^
; -4
(29.107)
^1,^2 ^
: 0
(29.108)
Если преобразовать эту задачу в каноническую форму, базисным решением будет $1 = 0, жг = 0. Это решение нарушает ограничение (29.107) и, следовательно, не является допустимым. Таким образом, процедура Initialize_Simplex не может сразу возвратить эту очевидную каноническую форму. На первый взгляд, вообще неясно, имеет ли данная задача допустимые решения. Чтобы определить, существуют ли они, можно сформулировать вспомогательную задачу линейного программирования (auxiliary linear program). Для этой вспомогательной задачи мы сможем (причем достаточно легко) найти каноническую форму, базисное решение которой является допустимым. Более того, решение этой вспомогательной задачи линейного программирования позволит определить, является ли исходная задача разрешимой, и если да, то обеспечит допустимое решение, которым можно инициализировать процедуру Simplex.
Лемма 29.11. Пусть L — задача линейного программирования в стандартной форме, заданная уравнениями (29.16)-(29.18), a Laui — следующая задача линейного программирования с n +1 переменными:
Максимизировать — жо(29.109)
при условиях п
У^ aijXj — жо ^ biдля г = 1,2,..., т,(29.110)
j=i
Xj > 0для з = 0,1,..., п.(29.111)
Задача L разрешима тогда и только тогда, когда оптимальное целевое значение задачи Laui равно 0.
Доказательство. Предположим, что L имеет допустимое решение ж = (Ж1,Ж2, ..., жп). Тогда решение жо = 0 в комбинации с ж является допустимым решением задачи Laux с целевым значением, равным 0. Поскольку в Laux присутствует ограничение жо > 0, а цель состоит в максимизации —жо, это решение должно быть оптимальным решением Ьаих-
И обратно, предположим, что оптимальное целевое значение задачи Laux равно 0. Тогда жо = 0 и значения остальных переменных ж удовлетворяют ограничениям L.■
Теперь опишем стратегию поиска начального базисного допустимого решения задачи линейного программирования L, заданной в стандартной форме:
Initialize_Simplex(A, Ь, с)
Пусть к — индекс минимального коэффициента bi
if Ь& ^ О > Допустимо ли начальное базисное решение?
then return ({1,2,..., n}, {n 4-1, n + 2,..., n 4- m), A, b, c, 0)
Образуем Laux путем добавления —жо к левой части каждого уравнения и задаем целевую функцию равной —жо
Пусть (N, В,А,Ь, с, и) — результирующая каноническая форма задачи Zaux
I *— п + к
t> Laux содержит n + 1 небазисную переменную > и m базисных переменных
(N, В, А, Ь, с, и) «- PIVOT(^ В, А, Ь, с, v, I,0)
> Данное базисное решение является допустимым для Laux
Проводим итерации цикла while, описанного в строках 2-11 процедуры Simplex, пока не будет найдено оптимальное решение Laux
if в базисном решении жо = 0
then return конечную каноническую форму без переменной жо и с исходной целевой функцией 12 else return “задача неразрешима”
Процедура Initialize_S1MPLEX работает следующим образом. В строках 1-3 неявно проверяется базисное решение исходной канонической формы задачи L, в которой N = {1,2,..., п),В = {n + 1, п + 2,..., n + т}, ж, = bi для всех г G В и ж, = 0 для всех j Е N. (Создание данной канонической формы не требует дополнительных усилий, поскольку значения А, b и с в стандартной и канонической формах одинаковы.) Если это базисное решение допустимо, т.е. ж, ^ 0 для всех г е N U В, то возвращается данная каноническая форма. В противном случае в строке 4 формируется вспомогательная задача линейного программирования Laui так, как это описано в лемме 29.11. В строке 5 мы также присваиваем I индекс наибольшего по модулю отрицательного значения bi, но переиндексация выполняется после преобразования к каноническому виду. Поскольку начальное базисное решение задачи L недопустимо, начальное базисное решение канонической формы Ьашс также не будет допустимым. Поэтому в строке 7 выполняется вызов процедуры Pivot, в котором вводимой переменной является жо, а выводимой ж/. Немного позже мы покажем, что базисное решение, полученное в результате этого вызова процедуры Pivot, будет допустимым. Имея каноническую форму, базисное решение которой является допустимым, мы можем (строка 9) повторно вызывать процедуру Pivot до тех пор, пока не будет найдено окон-
нательное решение вспомогательной задачи линейного программирования. Если проверка в строке 10 показывает, что найдено оптимальное решение задачи LQUI с равным 0 целевым значением, тогда в строке И для задачи L создается каноническая форма, базисное решение которой является допустимым. Для этого из ограничений удаляются все члены с хо и восстанавливается исходная целевая функция задачи L. Исходная целевая функция может содержать как базисные, так и небазисные переменные. Поэтому все вхождения базисных переменных в целевой функции нужно заменить правыми частями соответствующих ограничений. Если же в строке 10 обнаруживается, что исходная задача линейного программирования неразрешима, то сообщение об этом возвращается в строке 12.
Теперь покажем, как работает процедура InitializeSimplex на примере задачи линейного программирования (29.105)-(29.108). Эта задача будет разрешимой, если нам удастся найти неотрицательные значения xi и Х2, удовлетворяющие неравенствам (29.106) и (29.107). Используя лемму 29.11, сформулируем вспомогательную задачу:
(29.112)(29.113)(29.114)(29.112)(29.113)(29.114)Максимизировать— хо
(29.112)
(29.113)
(29.114)
(29.112)
(29.113)
(29.114)
при условиях
2x1 — хг — хо ^2
xi — 5x2 — хо ^ — 4Х1,х2,х0>0
Согласно лемме 29.11, если оптимальное целевое значение этой вспомогательной задачи равно 0, то исходная задача имеет допустимое решение. Если же оптимальное целевое значение вспомогательной задачи отрицательно, то исходная задача не имеет допустимых решений.
z =z =Запишем вспомогательную задачу в канонической форме:
z =
z =
- Х0
хз =2 - 2xi + Х2 + хо
Х4 = — 4 — Х1 + 5X2 + Хо
Пока что базисное решение, в котором х< = —4, не является допустимым решением данной вспомогательной задачи. Однако с помощью единственного вызова процедуры Pivot мы можем превратить эту каноническую форму в такую, базисное решение которой будет допустимым. Согласно строке 7, мы выбираем в качестве вводимой переменной xq. Согласно строке 1, в качестве выводимой переменной выбирается Х4, базисная переменная, которая в базисном решении имеет наибольшее по абсолютной величине отрицательное значение. После заме-
щения получаем следующую каноническую форму:
2 = — 4 — Х1 + 5X2 — Х4
Xq =4+Х1—5X2+Х4
Хз =6—Х1—4X2+^4
Связанное с ней базисное решение (хо,Х1,Х2,хз,Х4) = (4,0,0,6,0) является допустимым. Теперь повторно вызываем процедуру P1VOT до тех пор, пока не получим оптимальное решение задачи LauI. В данном случае после одного вызова PIVOT с вводимой переменной хг и выводимой переменной хо получаем:
X =
4
- Х0
ж0
Х4
Х2 =
—
+ —
+ —
5
5
5
5
14
, 4х0
9xi
Х4
Х3 =
—
+ —
5
5
5
5
Эта каноническая форма является окончательным решением вспомогательной задачи. Поскольку в данном решении хо = 0, можно сделать вывод, что исходная задача разрешима. Более того, поскольку хо = 0, ее можно просто удалить из множества ограничений. Затем можно использовать исходную целевую функцию, в которой сделаны соответствующие подстановки, чтобы она содержала только небазисные переменные. В нашем примере целевая функция имеет вид
2xi — хг = 2xi ~2xi — хг = 2xi ~4545XQ Х1Х45 + 55XQ Х1Х45 + 55
2xi — хг = 2xi ~
2xi — хг = 2xi ~
4
5
4
5
XQ Х1Х4
5 + 55
XQ Х1Х4
5 + 55
После подстановки хо = 0 функцию, записанную какПосле подстановки хо = 0 функцию, записанную каки соответствующих упрощений получаем целевую
После подстановки хо = 0 функцию, записанную как
После подстановки хо = 0 функцию, записанную как
49xiХ4
-7 + ^-V’
555
и каноническую форму:
4
9xi
Х4
х =
—
+ -—
——.
5
5
5
4
х4
Х2 =
—
+ —
+ —
5
5
5
14
9xi
х4
^3 =
——
—
+ —
Эта каноническая форма имеет допустимое базисное решение, и ее можно возвратить процедуре Simplex.
Докажем формально корректность процедуры Initialize_Simplex.
Лемма 29.12. Если задача линейного программирования L не имеет допустимых решений, то процедура Initialize_S1MPLEX возвращает сообщение “неразрешима”. В противном случае процедура возвращает корректную каноническую форму базисное решение которой является допустимым.
Доказательство. Сначала предположим, что задача линейного программирования L не имеет допустимых решений. Тогда, согласно лемме 29.11, оптимальное целевое значение задачи Laux, заданной формулами (29.109)—(29.111), является ненулевым, а поскольку tq подчиняется ограничению неотрицательности, оптимальное решение должно иметь отрицательное целевое значение. Более того, это целевое значение должно быть конечным, так как решение, в котором Xi = 0 для г = 1,2,..., п и то = |min™ х {6^}|, является допустимым и имеет целевое значение — linin’^! {А}|- Следовательно, в строке 9 процедуры Initialize Simplex будет найдено решение с отрицательным целевым значением. Пусть х — базисное решение, связанное с окончательной канонической формой. Мы не можем получить то = 0, поскольку тогда задача Laux имела бы целевое значение 0, а это противоречит факту, что целевое значение отрицательно. Таким образом, проверка в строке 10 приведет к тому, что в строке 12 будет возвращено сообщение “неразрешима”.
Теперь предположим, что задача линейного программирования L имеет допустимое решение. Из упражнения 29.3-3 мы знаем, что если 6, ^ 0 для г = = 1,2,..., т, то базисное решение, связанное с начальной канонической формой, является допустимым. В этом случае в строках 2-3 будет возвращена каноническая форма, связанная с исходной задачей. (Для преобразования стандартной формы в каноническую не требуется много усилий, поскольку А, b и с одинаковы и в той, и в другой форме.)
Для завершения доказательства рассмотрим случай, когда задача разрешима, но в строке 3 каноническая форма не возвращается. Докажем, что в этом случае в строках 4-9 выполняется поиск допустимого решения задачи Laux с целевым значением, равным 0. Согласно строкам 1-2, в данном случае
bk < о,
bk ^ bi для всех гЕ В.bk ^ bi для всех гЕ В.(29.115)(29.115)
bk ^ bi для всех гЕ В.
bk ^ bi для всех гЕ В.
(29.115)
(29.115)
В строке 7 выполняется одна операция замещения, в процессе которой из базиса выводится переменная xi (вспомним, что I = п + к), стоящая в левой части уравнения с минимальным bi, и вводится дополнительная переменная xq. Покажем, что после такого замещения все элементы b являются неотрицательными, и, следовательно, данное базисное решение задачи Laux является допустимым.
Обозначим через х базисное решение после вызова процедуры Pivot, и пусть b и В — значения, возвращенные процедурой Pivot. Из леммы 29.1 следует, что
bi СЦеЬе bi/aiebi СЦеЬе bi/aieесли г € В — {е}, если г = е.если г € В — {е}, если г = е.(29.116)(29.116)
bi СЦеЬе bi/aie
bi СЦеЬе bi/aie
если г € В — {е}, если г = е.
если г € В — {е}, если г = е.
(29.116)
(29.116)
При вызове процедуры Pivot в строке 7 е = 0 и, в соответствии с (29.110),
«го = Ute = — 1 для всех г € В.(29.117)
(Заметим, что а,о — это коэффициент при хо в выражении (29.110), а не противоположное ему значение, поскольку задача Laux находится в стандартной, а не канонической форме.) Поскольку I € В, то aie = —1. Таким образом, bi/aie > О и, следовательно, хе > 0. Для остальных базисных переменных получаем:
Xi = bi — Oiebe =(согласно (29.116))
= bi — aie (bi/aie) = (в соответствии co строкой 2 процедуры Pivot) = bi - bi ^(из (29.117) и ale = -1)
^ 0(из неравенства (29.115)).
Это означает, что теперь все базисные переменные неотрицательны. Следовательно, базисное решение, полученное в результате вызова процедуры Pivot в строке 7, является допустимым. Следующей выполняется строка 9 и решается задача Laux- Поскольку мы предположили, что задача L имеет допустимое решение, согласно лемме 29.11, задача Laux имеет оптимальное решение с равным 0 целевым значением. Так как все канонические формы эквивалентны, в конечном базисном решении задачи Laux хо = 0, и после удаления из данной задачи переменной хо мы получим каноническую форму, базисное решение которой допустимо в задаче L. Эта каноническая форма возвращается в строке 10.■
Основная теорема линейного программирования
Мы завершим данную главу демонстрацией корректности работы процедуры Simplex. Произвольная задача линейного программирования или неразрешима, или неограниченна, или имеет оптимальное решение с конечным целевым значением, и в каждом случае процедура Simplex будет работать правильно.
Теорема 29.13 (Основная теорема линейного программирования). Для любой задачи линейного программирования L, заданной в стандартной форме, возможен только один из следующих вариантов:
задача имеет оптимальное решение с конечным целевым значением;
задача является неразрешимой;
задача является неограниченной.
Если задача L является неразрешимой, процедура Simplex возвращает сообщение “неразрешима”. Если задача L является неограниченной, процедура Simplex возвращает сообщение “неограниченна”. В противном случае процедура Simplex возвращает оптимальное решение с конечным целевым значением.
Доказательство. Согласно лемме 29.12, если задача линейного программирования L неразрешима, процедура Simplex возвращает сообщение “неразрешима”. Теперь предположим, что задача L разрешима. В соответствии с леммой 29.12, процедура Initializers implex возвращает каноническую форму, базисное решение которой допустимо. Тогда, согласно лемме 29.7, процедура Simplex или возвращает сообщение “неограниченна”, или завершается возвращением допустимого решения. Если она завершается и возвращает конечное решение, то это решение является оптимальным согласно теореме 29.10. Если же процедура Simplex возвращает сообщение “неограниченна”, то задача L является неограниченной согласно лемме 29.2. Поскольку процедура Simplex всегда завершается одним из перечисленных способов, доказательство завершено.Н
Упражнения
1. Напишите подробный псевдокод программы для реализации строк 5 и 11 процедуры lNITIALIZE_S IMPLEX.
2. Покажите, что при выполнении процедурой lNITIALIZE_SlMPLEX основного цикла процедуры SIMPLEX никогда не возвращается сообщение “неограниченна”.
3. Предположим, что нам дана задача линейного программирования в стандартной форме L, и для обеих задач, прямой и двойственной, базисные решения, связанные с начальными каноническими формами, являются допустимыми. Покажите, что оптимальное целевое значение задачи L равно 0.
4. Предположим, что в задачу линейного программирования разрешено включать строгие неравенства. Покажите, что в этом случае основная теорема линейного программирования не выполняется.
5. Решите следующую задачу линейного программирования с помощью процедуры Simplex:
Максимизировать х\ + Зхг при условиях
— Х1 + Х2 ^ - 1
— 2xi — 2x2 С — 6
— Xi + 4x2 ^2
Xi, Х2 >О
6. Решите задачу линейного программирования (29.6)-(29.10).
7. Рассмотрим задачу линейного программирования с одной переменной, которую назовем Р:
Максимизировать tx при условиях
тх ^ sх ^ О
где г, s, t — произвольные действительные числа. Пусть D — задача, двойственная Р. При каких значениях г, з, и t можно утверждать, что:
обе задачи Р и D имеют оптимальные решения с конечными целевыми значениями;
является разрешимой, a D — неразрешимой;
является разрешимой, а Р — неразрешимой;
ни одна из задач Р и D не является разрешимой.
Задачи
29-1. Разрешимость линейных неравенств
Пусть задано множество m линейных неравенств с п переменными xi, хг, ..., хп. В задаче о разрешимости линейных неравенств требуется ответить, существует ли набор значений переменных, удовлетворяющий одновременно всем неравенствам.
Покажите, что для решения задачи о разрешимости системы линейных неравенств можно использовать алгоритм решения задачи линейного программирования. Число переменных и ограничений, используемых в задаче линейного программирования, должно полиномиально зависеть от п и т.
Покажите, что алгоритм решения задачи о разрешимости системы линейных неравенств можно использовать для решения задачи линейного программирования. Число переменных и линейных неравенств, используемых в задаче о разрешимости системы линейных неравенств, должно полиномиально зависеть от числа переменных п и числа ограничений т задачи линейного программирования.
29-2. Дополняющая нежесткость (complementary slackness)
Дополняющая нежесткость характеризует связь между значениями переменных прямой задачи и ограничениями двойственной задачи, а также между значениями переменных двойственной задачи и ограничениями прямой задачи. Пусть х — допустимое решение прямой задачи линейного программирования (29.16)-(29.18), а у — допустимое решение двойственной задачи (29.86)-(29.88). Принцип дополняющей нежесткости гласит, что следующие условия являются необходимыми и достаточными условиями оптимальности х и у:
т
^2 ауш = Cj или Xj = 0 для з = 1,2,..., п г=1
и
п
У^ aijXj = bi или Уг = 0 для г = 1,2,..., т. 3=1
Убедитесь, что принцип дополняющей нежесткости справедлив для задачи линейного программирования (29.5б)-(29.б0).
Докажите, что принцип дополняющей нежесткости справедлив для любой прямой и соответствующей ей двойственной задачи.
Докажите, что допустимое решение х прямой задачи линейного программирования (29.1 б)-(29.18) является оптимальным тогда и только тогда, когда существуют значения у = (уь У2? • • •) Ут), такие что:
у является допустимым решением двойственной задачи линейного программирования (29.8б)-(29.88),
EXi агзШ = Cj, когда Xj > 0, и
Уг = 0, когда ^=1 aijXj < bi.
29-3. Целочисленное линейное программирование
Задача целочисленного линейного программирования — это задача линейного программирования с дополнительным ограничением, состоящим в том, что переменные х должны принимать целые значения. В упражнении 34.5-3 показывается, что даже определение того, имеет ли задача
целочисленного линейного программирования допустимые решения, является NP-полной задачей; это значит, что вряд ли существует полиномиальный по времени алгоритм решения данной задачи.
Покажите, что для задач целочисленного линейного программирования характерна слабая двойственность (лемма 29.8).
Покажите, что задачи целочисленного линейного программирования не всегда характеризуются двойственностью (описанной в теореме 29.10).
Пусть задана прямая задача линейного программирования в стандартной форме, и пусть Р — оптимальное целевое значение прямой задачи, D — оптимальное целевое значение ее двойственной задачи, IP —оптимальное целевое значение целочисленной версии прямой задачи (т.е. прямой задачи с тем дополнительным ограничением, что переменные принимают целые значения), a ID — оптимальное целевое значение целочисленной версии двойственной задачи. Исходя из предположения, что и прямая, и двойственная целочисленные задачи разрешимы и ограниченны, покажите, что IP ^ Р = D ^ ID.
29-4. Лемма Фаркаша
Пусть Л — матрица размером т х п, а с — n-мерный вектор. Лемма Фаркаша (Farkas) гласит, что разрешима только одна из систем
Ах ^ 0,стж > 0
и
Лту = с,
У 0,
где х — n-мерный вектор, а у — m-мерный вектор. Докажите эту лемму.
Заключительные замечания
В данной главе мы только приступили к изучению обширной области линейного программирования. Множество книг посвящено исключительно линейному программированию. Среди них Чватал (Chvatal) [62], Гасс (Gass) [111], Карлов (Karloff) [171], Шрайвер (Schrijver) [266] и Вандербей (Vanderbei) [304]. Во многих других книгах подробно линейное программирование рассматривается наряду с другими вопросами (см., например, Пападимитриу (Papadimitriou), Штейглиц (Steiglitz) [237] и Ахуя (Ahuja), Магнанти (Magnanti), Орлин (Orlin) [7]). Изложение в данной главе построено на подходе, предложенном Чваталом (Chvatal).
Симплекс-алгоритм для задач линейного программирования был открыт Данцигом (G. Dantzig) в 1947 году. Немного позже было обнаружено, что множество задач из различных областей деятельности можно сформулировать в виде задач линейного программирования и решить с помощью симплекс-алгоритма. Осознание этого факта привело к стремительному росту использования линейного программирования и его алгоритмов. Различные варианты симплекс-алгоритма остаются наиболее популярными методами решения задач линейного программирования. Эта история описана во многих работах, например, в примечаниях к [62] и [171].
Эллипсоидный алгоритм, предложенный Л. Г. Хачияном в 1979 году, явился первым алгоритмом решения задач линейного программирования с полиномиальным временем выполнения. Он был основан на более ранних работах Н.З. Шора, Д.Б. Юдина и А.С. Немировского. Использование эллипсоидного алгоритма для решения разнообразных задач комбинаторной оптимизации описано в работе Грётшеля (Grotschel), Ловаса (Lovasz) и Шрайвера [134]. Однако на сегодняшний день эллипсоидный алгоритм в практическом применении не может конкурировать с симплекс-алгоритмом.
В работе Кармаркара (Karmarkar) [172] содержится описание предложенного им алгоритма внутренней точки. Многие его последователи разработали свои алгоритмы внутренней точки. Хороший обзор этих алгоритмов можно найти в статье Гольдфарба (Goldfarb) и Тодда (Todd) [122] и в книге Е (Ye) [319].
Анализ симплекс-алгоритма относится к сфере активных исследований. Кли (Klee) и Минти (Minty) построили пример, в котором симплекс-алгоритм выполняет 2П — 1 итераций. На практике симплекс-алгоритм работает очень эффективно, и многие исследователи пытались найти теоретическое обоснование этому эмпирическому наблюдению. Исследования, начатые Боргвардтом (Borgwardt) и продолженные многими другими, показывают, что при определенных вероятностных предположениях об исходных данных симплекс-алгоритм сходится за ожидаемое полиномиальное время. Последних результатов в этой области добились Спил- мен (Spielman) и Тенг (Teng) [284], которые ввели понятие “сглаженного анализа алгоритмов” и применили его к симплекс-алгоритму.
Известно, что симплекс-алгоритм работает более эффективно в определенных специальных случаях. В частности, заслуживает внимания сетевой симплекс-алгоритм — разновидность симплекс-алгоритма, приспособленная для решения задач сетевых потоков. Для некоторых сетевых задач, включая задачи поиска кратчайшего пути, максимального потока и потока с минимальными затратами, варианты сетевого симплекс-алгоритма достигают результата за полиномиальное время. Обратитесь, например, к статье Орлина [234] и ее ссылкам.
ГЛАВА 30
Полиномы и быстроепреобразование Фурье
Для выполнения непосредственного сложения двух полиномов степени п требуется время 0 (п), однако для их непосредственного умножения требуется время 0 ^У В данной главе мы покажем, как с помощью быстрого преобразования Фурье (БПФ) (Fast Fourier Transform, FFT) можно сократить время умножения полиномов до 0 (n 1g п).
Наиболее часто преобразования Фурье (а следовательно, и БПФ) используются в обработке сигналов. Сигнал задается во временной области (time domain) как функция, отображающая время в амплитуду. Анализ Фурье позволяет выразить сигнал как взвешенную сумму сдвинутых по фазе синусоид различных частот. Веса и фазы связаны с частотными характеристиками сигнала в частотной области (frequency domain). Обработка сигналов — обширная область исследований, которой посвящено несколько отличных книг; в примечаниях к данной главе приводятся ссылки на некоторые из них.
Полиномы
Полиномом (polynomial) относительно переменной х над алгебраическим полем F называется представление функции А (ж) в виде суммы
п—1
л (*) = 52 ^ •
J=0
Значения «1,02,..., ап-1 называются коэффициентами данного полинома. Коэффициенты принадлежат некоторому полю F, как правило, это множество комплексных чисел С. Говорят, что полином А (ж) имеет степень к, если его старшим ненулевым коэффициентом является а^. Любое целое число, строго большее степени полинома, называется границей степени (degree-bound) данного полинома. Следовательно, степенью полинома с границей степени п может быть любое целое число от 0 до п — 1 включительно.
Для полиномов можно определить множество разнообразных операций. Например, сложение полиномов (polynomial addition): если А (ж) и В (ж) — полиномы степени не выше п, то их суммой (sum) является полином С (ж) степени не выше п, такой что С (ж) = А (ж) + В (ж) для всех ж из соответствующего поля. Таким образом, если
п—1 л (*) = 52 ^ 7=0
И
n—1в м = 52 ьзх3 -7=0
ТО
n—1 С (ж) = ^2 сзх^ 7=0
где cj = aj + bj для всех j = 0,1,..., n — 1. Например, если А (ж) = 6ж3 + 7ж2 — — Юж + 9 и В (ж) = —2ж3 + 4ж — 5, то С (ж) = 4ж3 + 7ж2 — 6ж + 4.
Умножение полиномов (polynomial multiplication): если А (ж) и В (ж) — полиномы степени не выше п, их произведением (product) С (ж) является полином степени не выше 2п — 1, такой что С (ж) = А (ж) В (ж) для всех ж из соответствующего поля. Вероятно, вам уже доводилось перемножать полиномы, умножая каждый член полинома А (ж) на каждый член полинома В (ж) и выполняя приведение членов с одинаковыми степенями. Например, умножение полиномов А (ж) = 6ж3 + 7ж2 —Юж+9 и В (ж) = — 2ж3+4ж—5 можно выполнить следующим образом:
6ж3 + 7ж2 — Юж + 9
2ж3+ 4ж — 5
ЗОж3 — 35ж2 + 50ж — 45 24ж4 + 28ж3 - 40ж2 + 36ж
12ж6 - 14ж5 + 20ж4 - 18ж3
12ж6 - 14ж5 + 44ж4 - 20ж3 - 75ж2 + 86ж - 45
По-другому произведение С (х) можно записать как
2п—2
С^ = £ с^ ,(30.1)
j=0
где
з
Cj = ^ 'a^bj—k .(30.2)
fc=0
Заметим, что degree (С) = degree (А) + degree (В), откуда вытекает, что если А — полином степени не выше пд, а В — полином степени не выше пв, то С — полином степени не выше пд + пв — 1. Тем не менее, поскольку полином степени не выше к является также полиномом степени не выше к +1, мы будем говорить, что произведение С является полиномом степени не выше пд + пв-
Краткое содержание главы
В разделе 30.1 описаны два способа представления полиномов: представление, основанное на коэффициентах, и представление, основанное на значениях в точках. Для непосредственного умножения полиномов — уравнения (30.1) и (30.2) — требуется время О (п2), если полиномы представлены при помощи коэффициентов, и только 0 (п), когда они представлены в форме, основанной на значениях в точках. Однако с помощью преобразования представлений можно умножить заданные с помощью коэффициентов полиномы за время 0 (nlgn). Чтобы понять, как это происходит, необходимо сначала изучить свойства комплексных корней из единицы, что и предлагается сделать в разделе 30.2. Затем также описанные в разделе 30.2 прямое и обратное быстрое преобразование Фурье используются для выполнения указанных преобразований представлений. В разделе 30.3 показано, как быстро реализовать БПФ в последовательных и параллельных моделях.
В данной главе широко используются комплексные числа, поэтому символ г будет использоваться исключительно для обозначения V—I.
Представление полиномов
Представления полиномов в форме коэффициентов и в форме значений в точках в определенном смысле эквивалентны: полиному, заданному в форме точек- значений, соответствует единственный полином в коэффициентной форме. В данном разделе мы познакомимся с обоими представлениями и покажем, как их можно скомбинировать, чтобы выполнить умножение двух полиномов степени не выше п за время 0 (nlgn).
Представление, основанное на коэффициентах
Основанным на коэффициентах представлением (coefficient representation) полинома А (х) = 52j=o ^^ степени не выше п является вектор коэффициентов а = (ао, ai,..., ап-1)- В матричных уравнениях данной главы мы будем считать векторы векторами-столбцами.
Основанное на коэффициентах представление удобно при выполнении определенных операций над полиномами. Например, операция вычисления (evaluating) полинома А (ж) в некой заданной точке х^ заключается в вычислении значения А (хо). Если использовать схему Горнера (Horner’s rule), вычисление требует 0 (п) времени:
А (ж0) = ((••• ((ап-1) ^о + о-п-^ ^о НН а2) ж0 + ai) ж0 + «о •
Аналогично, сложение двух полиномов, представленных векторами коэффициентов а = (ao,ai,... ,an-i) и Ь = (Ьо, Ьь • • •, bn-i), занимает время 0(п): мы просто создаем вектор коэффициентов с = (со, ci,..., Cn-i), где Cj = а^ + bj, j = 0,1,... , n - 1.
Рассмотрим теперь умножение двух полиномов степени не выше п, А (ж) и В (ж), представленных в коэффициентной форме. Если использовать метод, описанный уравнениями (30.1) и (30.2), умножение данных полиномов займет время 0 (п2), поскольку каждый коэффициент из вектора а необходимо умножить на каждый коэффициент из вектора Ь. Операция умножения полиномов в коэффициентной форме оказывается гораздо более сложной, чем операции вычисления полинома или сложения двух полиномов. Результирующий вектор коэффициентов с, заданный формулой (30.2), также называется сверткой (convolution) исходных векторов а и 6, и обозначается он как с = а ® Ь. Поскольку умножение полиномов и вычисление сверток являются фундаментальными вычислительными задачами, имеющими важное практическое значение, данная глава посвящена эффективным алгоритмам их решения.
Представление, основанное на значениях в точках
Основанным на значениях в точках представлением (point-value representation) полинома Л (ж) степени не выше п является множество, состоящее из п пар точка-значение (point-value pairs):
{(®0> Уо) ) (®1, У1) , • • •, (^п—1» Уп— 1)} ,
таких что все х^ различны и
Ук = А (хк)
(30.3)
для к = 0,1,...,п — 1. Каждый полином имеет множество различных представлений, основанных на значениях в точках, поскольку в качестве базиса такого представления можно использовать любое множество п различных точек З'О) ®1 > • • • > ^П—1*
Получить основанное на значениях в точках представление полинома, заданного с помощью коэффициентов, достаточно просто: для этого достаточно выбрать п различных точек Жо, Ж1,..., жп_1 и вычислить А (ж^) при к = 0,1,, п — 1. С помощью схемы Горнера такое вычисление можно выполнить за время 0 (п2). Далее мы покажем, что при разумном выборе ж^ данное вычисление можно ускорить, и оно будет выполняться за время 0 (nlgn).
Обратная процедура — определение коэффициентов полинома, заданного в форме значений в точках, — называется интерполяцией (interpolation). В следующей теореме утверждается, что интерполяция является вполне определенной, когда граница степени искомого интерполяционного полинома равна числу заданных пар точка-значение.
Теорема 30.1 (Единственность интерполяционного полинома). Для любого множества, состоящего из п пар точка-значение {(жо,уо), (^ь У1)> • • • > (^п-ъ уп-1)}, таких что все значения ж^ различны, существует единственный полином А (ж) с границей степени п, такой что ук = А (хк) для к = 0,1,..., п — 1.
Доказательство. Данное доказательство основано на существовании матрицы, обратной заданной. Уравнение (30.3) эквивалентно матричному уравнению
1 жо ж^
1 Ж1 ж2
1 ^п—1
хо
ао
«1
Уо
У1
(30.4)
—П—1 хп-1
Матрица в левой части обозначается V (жо, жг,..., жп_1) и называется матрицей Вандермонда (Vandermonde). Согласно упражнению 28.1-11, определитель данной матрицы равен
— xj) 1
O^j<k^n—1
следовательно, по теореме 28.5, она является обратимой (т.е. невырожденной), если все Хк различны. Таким образом, для заданного представления в виде значений в точках можно однозначно вычислить коэффициенты а/
а = У (ж0,Ж1,...,жп_1) ху .
В доказательстве теоремы 30.1 предлагается алгоритм интерполяции, основанный на решении системы линейных уравнений (30.4). Используя описанные в главе 28 алгоритмы LU-декомпозиции, эти уравнения можно решить за время О(п3).
Более быстрый алгоритм n-точечной интерполяции основан на формуле Лагранжа (Lagrange’s formula):
<30-5) к=о П^-^)
Можете самостоятельно убедиться, что правая часть уравнения (30.5) является полиномом степени не выше п, удовлетворяющим условию -ук = А (хк) для всех к. В упражнении 30.1-5 предлагается показать, как с помощью формулы Лагранжа вычислить коэффициенты полинома А за время 0 (п2).
Таким образом, вычисление и интерполяция по п точкам являются вполне определенными обратимыми операциями, которые позволяют преобразовать коэффициентное представление полинома в представление в виде точек-значений и наоборот1. Решение этих задач с помощью описанных выше алгоритмов занимает время 0 (п2).
Представление в виде значений в точках весьма удобно при выполнении многих операций над полиномами. При сложении, если С (х) = А (ж) + В (ж), то С (хк) = А (хк) + В (хк) для любой точки ж^. Говоря более строго, если у нас есть основанное на значениях в точках представление полиномов А
{(^0, УО) , (^1, У1) , • • • , (^п-Ь Уп—1)}
и В
{ (®0, Уо) , (^1, у'1) , . . . , (®п-1, Уп-1) }
(обратите внимание, что А и В вычисляются в одних и тех же п точках), то основанное на значениях в точках представление полинома С имеет вид
{(жо, Уо + Уо) , (^ь У1 + У1), • • •, (жп-ь Уп-i + Уп-1)} •
Таким образом, время, необходимое для сложения двух полиномов степени не выше п, заданных в форме значений в точках, составляет 0 (п).
’Известно, что интерполяция является сложной задачей с точки зрения численной устойчивости. Хотя описанные здесь подходы математически корректны, небольшие различия во вводимых величинах или ошибки округления в ходе вычислений могут привести к значительным различиям в результатах.
Аналогично, представление в виде точек-значений удобно при выполнении умножения полиномов. Если С (х) = А (х) В (х), то С (х^) = A (хь) В (хк) для любой точки Хк, и можно поточечно умножить представление А на соответствующее представление В и получить основанное на значениях в точках представление С. Однако возникает следующая проблема: degree (С) = degree (А) + degree (В); если А и В имеют границу степени п, то граница степени результирующего полинома составляет 2п. Стандартное представление каждого из полиномов А и В в виде значений в точках содержит п пар точка-значение. В результате их перемножения получится п пар точка-значение, однако для однозначной интерполяции полинома С с границей степени 2п требуется 2п пар (см. упражнение 30.1-4.) Следовательно, необходимо использовать “расширенные” представления полиномов А и В, которые содержат по 2п пар точка-значение каждое. Если задано расширенное представление точки-значения полинома А,
{(^0, Уо) ) (^ЬУ1) , • • , (^2п-1,У2п-1)}
и соответствующее расширенное представление точки-значения полинома В
{ (^0, Уо) ) (^l) У1) ) • • • ) (^2n—1, У2п—1) } J
то основанное на значениях в точках представление полинома С выглядит следующим образом:
{ (^0, УОУо) , (®b У1У'1) , . . . , (®2п-1,У2п-1У2п-1) } •
Если два исходных полинома заданы в расширенной форме точки-значения, то время их умножения для получения результата в той же форме составляет 0 (п), что значительно меньше, чем время, необходимое для умножения полиномов, заданных в коэффициентной форме.
Наконец, рассмотрим, как вычислить значение полинома, заданного в виде значений в точках, в некоторой новой точке. По-видимому, для этой задачи не существует более простого подхода, чем преобразовать полином в коэффициентную форму, а затем вычислить его значение в новой точке.
Быстрое умножение полиномов, заданных в коэффициентной форме
Можно ли использовать метод умножения полиномов, заданных в виде значений в точках, время выполнения которого линейно зависит от п, для ускорения умножения полиномов, заданных в коэффициентной форме? Ответ зависит от способности быстро выполнять преобразование полинома из коэффициентной формы в форму точки-значения (вычисление) и обратно (интерполяция).
ВычислениеВремя €)(я 1g и):Время О(л)4i<x);/)jwniВычислениеВремя €)(я 1g и):Время О(л)4i<x);/)jwni1 Представление | с коэффициентамиИнтерполяцияВремя 0{я 1gя)1 Представление | с коэффициентамиИнтерполяцияВремя 0{я 1gя)Сл^ом;1»Сл^ом;1»Представление “точка-значение”Представление “точка-значение”
Вычисление
Время €)(я 1g и)
:Время О(л)
4i<x);/)jwni
Вычисление
Время €)(я 1g и)
:Время О(л)
4i<x);/)jwni
1 Представление | с коэффициентами
Интерполяция
Время 0{я 1gя)
1 Представление | с коэффициентами
Интерполяция
Время 0{я 1gя)
Сл^
ом;1»
Сл^
ом;1»
Представление “точка-значение”
Представление “точка-значение”
Рис. ЗОЛ. Графическое представление эффективной процедуры умножения полиномов. Вверху приводится представление в коэффициентной форме, а внизу — в форме точек-значений. Идущие слева направо стрелки соответствуют операции умножения. Члены cd2n являются комплексными корнями степени 2п из единицы
В качестве точек вычисления можно использовать любые точки, однако тщательный выбор точек дает возможность выполнять переход от одного представления к другому за время 0 (n lg п). Как будет показано в разделе 30.2, если в качестве точек вычисления выбрать комплексные корни из единицы, то представление точки-значения можно получить с помощью дискретного преобразования Фурье (ДПФ) (Discrete Fourier Transform, DFT) вектора коэффициентов. Обратную операцию, интерполяцию, можно выполнить путем применения обратного дискретного преобразования Фурье к парам точки-значения, в результате чего получается вектор коэффициентов. В разделе 30.2 будет показано, что БПФ позволяет выполнять прямое и обратное ДПФ за время 0 (nlgn).
На рис. 30.1 данная стратегия представлена графически. Небольшая сложность связана с границами степеней. Произведение двух полиномов степени не выше п является полиномом степени не выше 2п. Поэтому прежде чем вычислять исходные полиномы Л и В, их границы степени удваиваются и доводятся до 2п путем добавления п старших коэффициентов, равных 0. Поскольку теперь вектора коэффициентов содержат по 2п элементов, мы используем “комплексные корни 2п-й степени из единицы”, которые обозначены на рис. 30.1 как
Можно предложить следующую основанную на БПФ процедуру умножения двух полиномов Л (ж) и В (ж) степени не выше п, в которой исходные полиномы и результат представлены в коэффициентной форме, а время выполнения составляет 0 (nlgn). Предполагается, что п является степенью 2; это требование всегда можно удовлетворить, добавив равные нулю старшие коэффициенты.
Удвоение границы степени. Создаются коэффициентные представления полиномов Л (ж) и В (я) в виде полиномов с границей степени 2п путем добавления п нулевых старших коэффициентов.
Вычисление. Определяются представления полиномов А (ж) и В (ж) в форме точки-значения длины 2п путем двукратного применения БПФ порядка 2п. Эти представления содержат значения двух заданных полиномов в точках, являющихся комплексными корнями степени 2п из единицы.
Поточечное умножение. Вычисляется представление точки-значения полинома С (ж) = А (ж) В (ж) путем поточечного умножения соответствующих значений. Это представление содержит значения полинома С (ж) в каждом корне степени 2п из единицы.
Интерполяция. Создается коэффициентное представление полинома С (х) с помощью однократного применения БПФ к 2п парам точка-значение для вычисления обратного ДПФ.
Этапы (1) и (3) занимают время 0 (п), а этапы (2) и (4) занимают время 0 (nlgn). Таким образом, показав, как использовать БПФ, мы докажем следующую теорему.
Теорема 30.2. Произведение двух полиномов степени не выше п в случае, когда исходные полиномы и результат находятся в коэффициентной форме, можно вычислить за время 0 (n 1g п).■
Упражнения
1. Выполните умножение полиномов А (ж) = 7ж3 — ж2 + х — 10 и В (ж) = = 8ж3 — 6ж + 3 с помощью уравнений (30.1) и (30.2).
2. Вычисление полинома А (ж) степени не выше п в заданной точке жо можно также производить путем деления А (ж) на полином (ж — жо), в результате чего получается полином-частное q (ж) степени не выше п -1 и остаток г, так что
А (ж) = q (ж) (ж - жо) + г .
Очевидно, что А (жо) = г. Покажите, как вычислить остаток г и коэффициенты q (ж) за время 0 (п), если заданы точка жо и коэффициенты полинома А.
-3. Найдите представление в виде точек-значений полинома Arev (ж) = = 53"=о ^-i-j^, если известно представление в виде точек-значений полинома А (ж) = 52"=о ajX^; предполагается, что все точки ненулевые.
-4. Докажите, что для однозначного определения полинома степени не выше п необходимо задать п различных пар точка-значение, т.е. задание меньшего количества различных пар точка-значение не позволит определить единственный полином с границей степени п. (.Указание: используя теорему 30.1, что можно сказать о множестве из п — 1 пары точка-значение,
к которому добавляется еще одна произвольно выбранная пара точка- значение?)
5. Покажите, как с помощью уравнения (30.5) выполнить интерполяцию за время О (п2). (Указание: сначала следует вычислить коэффициентное представление полинома Ц/ (х — Xj), а затем разделить на (ж — Xk) для получения числителя каждого члена; см. упражнение 30.1 -2. Каждый из п знаменателей можно вычислить за время О (п).)
-6. Объясните, что неправильно в “очевидном” подходе к делению представленных в виде значений в точках полиномов, когда значения у одного полинома делятся на соответствующие значения у второго полинома. Рассмотрите отдельно случаи, когда деление полиномов осуществляется без остатка и когда имеется остаток.
-7. Рассмотрим два множества Ан В, каждое из которых содержит п целых чисел, заключенных в пределах от 0 до 10п. Мы хотим вычислить декартову сумму (Cartesian sum) А и В, определенную следующим образом:
С=(х + у:х£АиубВ^ .
Заметим, что целые числа из множества С заключены в пределах от 0 до 20п. Требуется найти элементы С и указать, сколько раз каждый элемент С выступает в роли суммы элементов А и В. Покажите, что эту задачу можно решить за время О (nlgn). (Указание: представьте А и В в виде полиномов степени не выше 10п.)
ДПФиБПФ
В разделе 30.1 утверждалось, что используя в качестве точек комплексные корни из единицы, можно выполнять вычисление и интерполяцию полиномов за время 0 (nlgn). В данном разделе мы дадим определение комплексных корней из единицы и изучим их свойства, определим дискретное преобразование Фурье (ДПФ), а затем покажем, как с помощью БПФ можно вычислять ДПФ и обратное ему преобразование за время 0 (nlgn).
Комплексные корни из единицы
Комплексным корнем п-й степени из единицы (complex nth root of unity) является комплексное число ш, такое что шп = 1.
Существует ровно п комплексных корней n-й степени из единицы: е2тк/п, где к = 0,1,..., п — 1. Для интерпретации данной формулы воспользуемся следующим определением экспоненты комплексного числа:
е*“ = cos (и) + г sin (и) .
Рис. 30.2. Расположение значений Wg, Wg > • • • , w8 на комплексной плоскости, где wg = е2”1/8 — главное значение корня восьмой степени из единицы
На рис. 30.2 показано, что п комплексных корней из единицы равномерно распределены по окружности единичного радиуса с центром в начале координат комплексной плоскости. Значение
wn = e2Ti/n(30.6)
называется главным значением корня п-й степени из единицы (the principal nth root of unity); все остальные комплексные корни n-й степени из единицы являются
2 его степенями .
Указанные п комплексных корней n-й степени из единицы
образуют группу относительно операции умножения (см. раздел 31.1). Эта группа имеет ту же структуру, что и аддитивная группа (Zn, +) по модулю п, поскольку из u>" = w° = 1 следует, что ш^ш^ = a^+k^modn. Аналогично, w^1 = w„-1. Основные свойства комплексных корней n-й степени из единицы приведены в следующих леммах.
Лемма 30.3 (Лемма о сокращении). Для любых целых чисел п ^ 0, к > О и d > 0
= (30.7)
Доказательство. Доказательство непосредственно вытекает из уравнения (30.6),
посколькупоскольку
поскольку
поскольку
Следствие 30.4. Для любого четного целого п > 0
= и>2 = —1 .
Доказательство. Доказательство предлагается провести самостоятельно, выпол
нив упражнение 30.2-1.
Лемма 30.5 (Лемма о делении пополам). Если п > 0 четное, то квадраты п комплексных корней n-й степени из единицы представляют собой п/2 корней n/2-ой степени из единицы.
Доказательство. Согласно лемме о сокращении, для любого неотрицательного целого к справедливо (w„) = w„/2- Заметим, что если возвести в квадрат все комплексные корни n-й степени из единицы, то каждый корень n/2-й степени из единицы будет получен в точности дважды, поскольку
Г^+п/2У = ш2к*п = и£киД = иЛк = Lf)2 .
I П уПП 7272\ П I
Таким образом, квадраты lu^ и Шп^2 одинаковы. Это свойство можно также доказать с помощью следствия 30.4: из а)^2 = — 1 вытекает иь^'2 = — си^, следо- / k+n/2\2, да 2
вательно, I•■
Как мы увидим далее, лемма о делении пополам играет исключительно важную роль в применении декомпозиции для преобразования полиномов из коэффициентного представления в форму точки-значения и обратно, поскольку она гарантирует, что рекурсивные подзадачи имеют половинную размерность.
Лемма 30.6 (Лемма о суммировании). Для любого целого n > 1 и ненулевого целого к, не кратного п, 72-1.
\ п) = о ■
3=0
Доказательство. Уравнение (А.5) применимо как к действительным, так и к комплексным значениям, поэтому
v= М)‘ -1 _ т"-1 = о
Требование, что к не делится на п, гарантирует, что знаменатель не равен О, поскольку ш^ = 1 только тогда, когда к делится на п.■
Дискретное преобразование Фурье
Напомним, что мы хотим вычислить полином
п-1
’
3=0
степень которого не выше п, в точках ш^ш^,..., ш"-1 (которые представляют собой п комплексных корней n-й степени из единицы). Без потери общности можно предположить, что п является степенью 2, поскольку заданную границу степени всегда можно увеличить, добавив, если необходимо, старшие нулевые коэффициенты. Предположим, что полином А задан в коэффициентной форме: а = (ао, ах,..., an-i). Определим конечные результаты у^, к = 0,1,..., п - 1, с помощью формулы
П—1
Ук = а (ш^ = ^ азшп •(30-)
3=0
Вектор у = (уо,У1, • • •, Уп-1) представляет собой дискретное преобразование Фурье (ДПФ) (Discrete Fourier Transform, DFT) вектора коэффициентов а = = (ао, «г,---, ап-1)- Это можно также записать как у = DFTn (а).
Быстрое преобразование Фурье
С помощью метода быстрого преобразования Фурье (БПФ) (Fast Fourier Transform, FFT), основанного на использовании специальных свойств комплексных корней из единицы, DFTn (а) можно вычислять за время 0 (n 1g п), в отличие от метода непосредственного преобразования.
В методе БПФ применяется стратегия декомпозиции, в которой отдельно используются коэффициенты полинома А (ж) с четными и нечетными индексами,
чтобы определить два новых полинома Al0! (ж) и A^l (ж) степени не выше п/2:
Л1°1 (ж) = а0 + О2Ж + а4ж2 Нh ап_2Хп^-х ,
А^ (ж) = ci + а3ж + а3ж2 НИ ап_1Жп/2-1 .
Заметим, что Л^ содержит все коэффициенты А (ж) с четными индексами (двоичное представление этих индексов заканчивается цифрой 0), а А11! содержит все коэффициенты с нечетными индексами (двоичное представление которых заканчивается цифрой 1). Для определенных таким способом полиномов справедливо равенство
А (ж) = Д1°1 (ж2) + жА^1 (ж2) ,(30.9)
так что задача вычисления А (ж) в точках w°, ш^,..., ш"-1 сводится к следующим задачам:
вычислить два полинома At°J (ж) и АМ (ж) степени не выше п/2 в точках to2,^)2,...,^-1)2 ,(30.10)
а затем
объединить результаты с использованием формулы (30.9).
Согласно лемме о делении пополам, список значений (30.10) сдержит уже не п различных значений, а только п/2 комплексных корней степени (п/2) из единицы, причем каждый корень встречается в списке ровно два раза. Следовательно, полиномы А И и At1! с границей степени п/2 рекурсивно вычисляются в п/2 комплексных корнях п/2-й степени из единицы. Эти подзадачи имеют точно такой же вид, как и исходная задача, но их размерность вдвое меньше. Таким образом, мы свели вычисление n-элементного DFTn к вычислению двух n/2-элементных DFTn/2- Такая декомпозиция является основой следующего рекурсивного алгоритма БПФ, который вычисляет ДПФ n-элементного вектора а = (ао, oi,..., an-i), где п является степенью 2.
RECURSI VE_FFT (а)
1 n <— length^ > п является степенью 2
2 if n = 1
3 then return а
4 wn^-e2iri/n
5 LU <— 1
at°l «-(ao,a2,...,an-2)
al1! <-(ai,a3,...,an-i)
уИ «- RECURSIVE_FFT(al°l)
yl1! <-RECURSlVE-FFT^a!1!)
for к ♦— 0 to п/2 — 1
И do ук «- у[°* + шу^
ю[о][1]
Ук+(п/2)Ук- шУк
ш <— wn
return у>Предполагается,что у —вектор-столбец
Процедура Recursive_FFT работает следующим образом. Строки 2-3 описывают базис данной рекурсии: ДПФ одного элемента является самим этим элементом, следовательно, в данном случае
Уо = а^ш® = uq • 1 = во .
Строки 6-7 определяют векторы коэффициентов полиномов Д1°1 и ДШ. Строки 4, 5 и 13 гарантируют, что ш обновляется надлежащим образом, т.е. всякий раз, когда выполняются строки 11-12, ш = ш^. (Сохранение текущего значения ш от итерации к итерации позволяет экономить время по сравнению с многократным вычислением w£ с нуля с помощью цикла for.) В строках 8-9 выполняются рекурсивные вычисления DFTn/2, при этом получаются следующие значения (к = 0,1,...,п/2 -1):
(^/2) ,
или, поскольку согласно лемме о сокращении, ш^2 = ш^,
= ли ,
у!11 = Ай (^‘) .
В строках 11-12 комбинируются результаты рекурсивных вычислений DFTn/2. Для значений уо, yi,..., уп/2-1 строка 11 дает:
Ук = у!°] + ^у^ = ^[°! (^fc) + ч^[1! (ч^) = А (^) ,
где последнее равенство следует из уравнения (30.9).
Значения yn/2, yn/2+i, • • •, Уп-i вычисляются в строке 12. Для значений к = = 0,1,..., п/2 — 1 получаем:
Ук+(п/2) = уГ1 -^уР = У^ + ^п+(п/2)Ук' =
= ^°lfu,2fc)+^+(„/^^=
\ IV I\* I
= Д1°1 (ш'^Л + ш^п^А^ (ш^Л =
I IV1IV\ IV /
= а(^+(п/2>) ,
где второе равенство следует из ып — —си£, четвертое — поскольку и^н = = ш^, а последнее — из уравнения (30.9). Таким образом, возвращаемый процедурой RECURSIVE_FFT вектор у действительно является ДПФ исходного вектора а.
Внутри цикла for в строках 10-13 каждое значение у^ умножается на ш„ для всех к = 0,1,..., п/2 — 1. Полученное произведение прибавляется к у^ и вычитается из него. Поскольку каждый множитель ш^ используется как с положительным, так и с отрицательным знаком, множители ш„ называются поворачивающими множителями (twiddle factors).
Чтобы определить время работы процедуры Recursive_FFT, заметим, что, за исключением рекурсивных вызовов, каждый вызов занимает время 0 (п), где п — длина исходного вектора. Таким образом, рекуррентное соотношение для времени выполнения выглядит следующим образом:
T(n) = 2T(n/2) + 0(n) = O(nlgn) .
Итак, с помощью быстрого преобразования Фурье можно вычислить полином степени не выше п в точках, являющихся комплексными корнями n-й степени из единицы, за время 0 (nlgn).
Интерполяция в точках, являющихся комплексными корнями из единицы
Чтобы завершить рассмотрение схемы умножения полиномов, покажем, как выполняется интерполяция комплексных корней из единицы некоторым полиномом, что позволяет перейти от формы значений в точках обратно к коэффициентной форме. Для осуществления интерполяции ДПФ записывается в виде матричного уравнения, после чего выполняется поиск обратной матрицы.
Из уравнения (30.4) можно записать ДПФ как произведение матриц у = Vna, где Vn — матрица Вандермонда, содержащая соответствующие степени wn:
^ уо ^
/11111\
ао ^
У1
1Wnшп• • •
oi
У2
1, >2, ,4, ,6. .., ,2(п-1)
1 U)n
02
Уз
1/ >3, 16, >9. . ./ ,3(п-1)
1 Ю^U)n^пШп
03
\ Уп—1 /
1 n_i 2(^-1)3(п—1)(п-1)(п-1)
\ 1 ШпU)nО)п• • • О)п/
\ Оп—1 /
Для выполнения обратной операции, которая записывается как а = DFTn1 (у), необходимо умножить у на матрицу V^1, обратную Vn.
Теорема 30.7. Для j, к = 0,1,...,п — 1, (j, к)-п элемент матрицы Vn 1 равен /п.
Доказательство. Покажем, что V^-1V^ = Ли единичной матрице размера п х п. Рассмотрим (j,/)-й элемент матрицы V^*1^:
= 2 (^У/п) (-У) =.
к=0к=0
Согласно лемме о суммировании (лемма 30.6), данная сумма равна 1, если з* = j, и 0 в противном случае. Заметим, что поскольку — (п — 1) ^ jf — j ^n-l’j'-j не кратно п, так что лемма применима.■
Если дана обратная матрица V~\ обратное дискретное преобразование Фурье DFT"1 (у) вычисляется по формуле
- n—1
<Ч = -У>^(30.11)
П к=0
для j = 0,1, ...,п — 1. Сравнивая уравнения (30.8) и (30.11), мы видим, что если модифицировать алгоритм БПФ — поменять ролями а и у, заменить шп на ш”1 и разделить каждый элемент результата на п — получится обратное ДПФ (см. упражнение 30.2-4). Таким образом, DFT™1 также можно вычислить за время 0 (nlgn).
Таким образом, с помощью прямого и обратного БПФ можно преобразовывать полином степени не выше п из коэффициентной формы в форму значений в точках и обратно за время 0 (nlgn). Применительно к умножению полиномов, мы показали следующее.
Теорема 30.8 (Теорема о свертке). Для любых двух векторов а и b длины п, где п является степенью 2, справедливо соотношение
a®b = DFT^ (DFT2n (а) • DFT2n (6)) ,
где векторы а и Ь дополняются нулями до длины 2п, а “•” обозначает покомпонентное произведение двух 2п-элементных векторов.■
Упражнения
1. Докажите следствие 30.4.
2. Вычислите ДПФ вектора (0,1,2,3).
-3. Выполните упражнение 30.1-1, используя схему с временем выполнения 0 (nig п).
-4. Напишите псевдокод для вычисления DFT”1 за время 0 (nlgn).
-5. Опишите обобщение процедуры БПФ для случая, когда п является степенью 3. Приведите рекуррентное соотношение для времени выполнения и решите его.
* 30.2-6. Предположим, что вместо выполнения n-элементного БПФ над полем комплексных чисел (где п четно), мы используем кольцо Zm целых чисел по модулю т = 2tn/2+1, где t — произвольное положительное целое число. Используйте w = 2* вместо wn в качестве главного значения корня n-й степени из единицы по модулю т. Докажите, что прямое и обратное ДПФ в этой системе является вполне определенным.
-7. Покажите, как для заданного списка значений zq,zi,..., zn_i (возможно, с повторениями) найти коэффициенты полинома Р (ж) степени не выше n + 1, который имеет нули только в точках zq, zi, ..., zn_i (возможно, с повторениями). Процедура должна выполняться за время О (nlg2n). (Указание: полином Р (ж) имеет нулевое значение в точке Zj тогда и только тогда, когда Р (ж) кратен (ж — z,).)
* 30.2-8. Чирп-преобразованием (chirp transform) некоторого вектора а = (oq, ai, ..., an-i) является вектор у = (уо, У1, • • •, Уп-i), где yk = ^"“J ajzki, az — некоторое комплексное число. Таким образом, ДПФ является частным случаем чирп-преобразования, полученного для z = wn. Докажите, что для любого комплексного числа z чирп-преобразование можно вычислить за время О (nlgn). (Указание: воспользуйтесь уравнением
чтобы рассматривать чирп-преобразование как свертку.)
Эффективные реализации БПФ
Поскольку практические приложения ДПФ, такие как обработка сигналов, требуют максимальной скорости, в данном разделе мы рассмотрим две наиболее эффективные реализации БПФ. Сначала будет описана итеративная версия алгоритма БПФ, время выполнения которой составляет 0 (nig п), однако при этом в 0 скрыта меньшая константа, чем в случае рекурсивной реализации, предложенной в разделе 30.2. После этого мы вернемся к интуитивным соображениям, приведшим нас к итеративной реализации, для разработки эффективной параллельной схемы БПФ.
Итеративная реализация БПФ
Прежде всего заметим, что в цикле for в строках 10-13 процедуры Recur- S1VE_FFT значение u^y^ вычисляется дважды. В терминологии компиляторов такое значение называется общим подвыражением (common subexpression). Можно изменить цикл так, чтобы вычислять это значение только один раз, сохраняя его во временной переменной I;
for к <— 0 to п/2 — 1
do t ш у!11
Ук*~Ук
Ук+(п/2) *-Ук -t О) *~ LJUJn
Выполняемая в данном цикле операция (умножение и^у^\ сохранение произведения в переменной t, прибавление и вычитание t из у^)> известна как преобразование бабочки (butterfly operation), схематически представленное на рис. 30.3.
Теперь покажем, как сделать структуру алгоритма БПФ итеративной, а не рекурсивной. На рис. 30.4 мы организовали входные векторы рекурсивных вызовов в обращении к процедуре Recursive_FFT в древовидную структуру, в которой первый вызов производится для п = 8. Данное дерево содержит по одному узлу для каждого вызова процедуры, помеченному соответствующим входным вектором. Каждое обращение к процедуре Recursive_FFT производит два рекурсивных вызова, пока не получит 1-элементный вектор. Мы сделали первый вызов левым дочерним узлом, а второй вызов — правым.
Посмотрев на дерево, можно заметить, что если удастся организовать элементы исходного вектора а в том порядке, в котором они появляются в листьях дерева, то выполнение процедуры Recursive_FFT можно будет представить следующим образом. Берутся пары элементов, с помощью одного преобразования бабочки вычисляется ДПФ каждой пары, и пара заменяется своим ДПФ. В результате получается вектор, содержащий п/2 2-элементных ДПФ. Затем эти ДПФ
Рис. 30.3. Преобразование бабочки, а) Слева поступают два вводимых значения, о,£ умножается на у^, соответствующие сумма и разность выводятся справа, б) Упрощенная схема преобразования бабочки, используемая в параллельной схеме БПФРис. 30.3. Преобразование бабочки, а) Слева поступают два вводимых значения, о,£ умножается на у^, соответствующие сумма и разность выводятся справа, б) Упрощенная схема преобразования бабочки, используемая в параллельной схеме БПФб)б)
Рис. 30.3. Преобразование бабочки, а) Слева поступают два вводимых значения, о,£ умножается на у^, соответствующие сумма и разность выводятся справа, б) Упрощенная схема преобразования бабочки, используемая в параллельной схеме БПФ
Рис. 30.3. Преобразование бабочки, а) Слева поступают два вводимых значения, о,£ умножается на у^, соответствующие сумма и разность выводятся справа, б) Упрощенная схема преобразования бабочки, используемая в параллельной схеме БПФ
б)
б)
Рис. 30.4. Дерево входных векторов рекурсивных вызовов процедуры
Recursive_FFT. Начальный вызов производится для п = 8
объединяются в пары, с помощью двух преобразований бабочки вычисляются ДПФ для каждых четырех элементов вектора, объединенных в четверки, после чего два 2-элементных ДПФ заменяются одним 4-элементным ДПФ. Теперь вектор содержит п/4 4-элементных ДПФ. Процесс продолжается до тех пор, пока не получится два n/2-элементных ДПФ, которые с помощью п/2 преобразований бабочки можно объединить в конечное n-элементное ДПФ.
Чтобы превратить описанную последовательность действий в код, используем массив А [0..п — 1], который первоначально содержит элементы исходного вектора а в том порядке, в котором они перечислены в листовых узлах дерева на рис. 30.4. (Позже мы покажем, как определить этот порядок, который называется поразрядно обратной перестановкой (bit-reversal permutation).) Поскольку объединение в пары необходимо выполнять на каждом уровне дерева, введем в качестве счетчика уровней переменную s, которая изменяется от 1 (на нижнем уровне, где составляются пары для вычисления 2-элементных ДПФ) до 1g п (в вершине, где объединяются два n/2-элементных ДПФ для получения окончательного результата). Таким образом, алгоритм имеет следующую структуру:
for s <— 1 to 1g п
do for k <— 0 to n — 1 by 2s
do Объединяем два 2s-1-элементных ДПФ из
Л [Л:.. k + 2s"1 - 1] и Л [Л: + 2s"1.. к + 2s - 1] в одно 25-элементное ДПФ в А\к.. к + 2s — 1]
Тело цикла (строка 3) можно более точно описать с помощью псевдокода. Копируем цикл for из процедуры Recursive_FFT, отождествив yt°i с Д[к..А: + 2s-1 — — 1] и уШ с А [fc + 2s-1..к + 2s — 1]. Поворачивающий множитель, используемый в каждом преобразовании бабочки, зависит от значения s; это степень uzm, где т = 2s. (Мы ввели переменную т исключительно для того, чтобы формула была удобочитаемой.) Введем еще одну временную переменную и, которая позволит нам выполнять преобразование бабочки на месте, без привлечения до-
полнительной памяти. Заменив строку 3 в общей схеме телом цикла, получим следующий псевдокод, образующий базис параллельной реализации, которая будет представлена далее. В данном коде сначала вызывается вспомогательная процедура BlT_REVERSE_COPY(a, А), копирующая вектор а в массив А в том порядке, в котором нам нужны эти значения.
lTERATIVE_FFT(a)
BlT_REVERSE_COPY(a, А)
п*— Zenyt/i[a]> п является степенью 2.
345678910111213345678910111213for S 1 to 1g 71 do m *- 2s
3
4
5
6
7
8
9
10
11
12
13
3
4
5
6
7
8
9
10
11
12
13
for к «— 0 to n — 1 by m
do w <— 1
for j <— 0 to m/2 — 1
do t <— ш A[A: + / + m/2]
и «— A[fc + j]
A[fc + J] <— и +1
A[fc + J + m/2] <— u — t
и <— шшт
Каким образом процедура Bit_Reverse_Copy размещает элементы входного вектора а в массиве А в требуемом порядке? Порядок следования листов на рис. 30.4 является обратной перестановкой, или реверсом битов (bit-reversal permutation), т.е. если rev (fc) — тг-битовое целое число, образованное путем размещения битов исходного двоичного представления к в обратном порядке (“задом наперед”), то элемент а^ следует поместить в массиве на место A [rev (А;)]. На рис. 30.4, например, листовые узлы следуют в таком порядке: 0, 4, 2, 6, 1, 5, 3, 7; в двоичном представлении эта последовательность записывается как ООО, 100, 010, 110, 001, 101,011, 111; после записи битов каждого значения в обратном порядке получается обычная числовая последовательность: 000, 001, 010, 011, 100, 101, ПО, 111. Чтобы убедиться, что нам нужна именно обратная перестановка битов, заметим, что на верхнем уровне дерева индексы, младший бит которых равен 0, помещаются в левое поддерево, а индексы, младший бит которых равен 1, помещаются в правое поддерево. Исключая на каждом уровне младший бит, мы продолжаем процесс вниз по дереву, пока не получим в листовых узлах порядок, заданный обратной перестановкой битов.
Поскольку функция rev (fc) легко вычисляется, процедуру Bit_Reverse_Copy можно записать следующим образом:
BlT_REVERSE_COPY(a, А) 1 п <— length [a] 2 for fc <— 0 to п — 1 3 do A[rev(/u)] <— afc
Итеративная реализация БПФ выполняется за время 0(nlgn). Обращение к процедуре BlT_REVERSE_C0PY(a,A) выполняется за время О (nlgn), поскольку проводится п итераций, а целое число от 0 до п— 1, содержащее 1g п битов, можно преобразовать к обратному порядку за время О (lg п)5. (На практике мы обычно заранее знаем начальное значение п, поэтому можно составить таблицу, отображающую к в rev (к), в результате процедура B1T_Reverse_Copy будет выполняться за время 0 (п) с малой скрытой константой. В качестве альтернативного подхода можно использовать схему амортизированного обратного бинарного битового счетчика, описанную в задаче 17-1.) Чтобы завершить доказательство того факта, что процедура ITERATIVE_FFT выполняется за время 0(nlgn), покажем, что число L (п) выполнений тела самого внутреннего цикла (строки 8-13) составляет 0 (nlgn). Цикл for (строки 6-13) повторяется п/т = n/2s раз для каждого значения s, а внутренний цикл (строки 8-13) повторяется m/2 = 2s-1 раз. Отсюда
IgnIgn
ь^=т,т.'2'"'=1^=в№п) ■
S=1S=1
Параллельная схема БПФ
Чтобы получить эффективный параллельный алгоритм БПФ, можно использовать многие свойства, которые позволили нам реализовать эффективный итеративный алгоритм БПФ. Мы будем представлять параллельный алгоритм БПФ в виде схемы, которая похожа на схемы сравнения, описанные в главе 27. Вместо компараторов в схеме БПФ используются преобразования бабочки, показанные на рис. 30.36. В данном случае также применимо понятие глубины, введенное нами в главе 27. Схема процедуры Parallel_FFT, вычисляющей БПФ для п введенных значений при п = 8, показана на рис. 30.5. Она начинается с поразрядной обратной перестановки исходных значений, затем следует Ign этапов, на каждом из которых параллельно производится п/2 преобразований бабочки. Таким образом, глубина схемы составляет 0 (Ign).
На рисунке каждое преобразование бабочки получает в качестве исходных значения, поступающие по двум проводам, вместе с поворачивающим множителем, и передает полученные значения на два выходящих провода. Различные этапы каскада преобразований бабочки нумеруются в соответствии с итерациями
5Интересные реализации реверса битов рассматриваются в разделе 7.1 книги Г. Уоррен. Алгоритмические трюки для программистов. — М.: Издательский дом “Вильямс”, 2003. — Прим. ред.
Рис. 30.5. Схема процедуры PARALLEL_FFT, вычисляющей БПФ при п = 8.
самого внешнего цикла процедуры Iterative_FFT. Только верхний и нижний провода, проходя через “бабочку”, участвуют в вычислениях; провода, проходящие через середину “бабочки”, никак не взаимодействуют с ней, и их значения также не меняются данной “бабочкой”. Например, верхняя бабочка на этапе 2 ничего не делает с проводом 1 (которому соответствует переменная вывода, обозначенная У1); ее переменные ввода и вывода находятся на проводах 0 и 2 (обозначенных уо и уз, соответственно). Для вычисления БПФ для п переменных ввода требуется схема глубиной 0 (lg п), содержащая 0 (nlgn) преобразований бабочки.
Левая часть схемы PARALLEL_FFT выполняет поразрядно обратную перестановку, а остальная часть представляет собой итеративную процедуру ITERATIVE- FFT. Поскольку при каждом повторении внешнего цикла for выполняется п/2 независимых преобразований бабочки, в данной схеме они выполняются параллельно. Значение s в каждой итерации Iterative_FFT соответствует каскаду преобразований бабочки, показанному на рис. 30.5. В пределах этапа s = 1,2,..., Ign имеется n/2s групп преобразований бабочки (соответствующих различным значениям к процедуры lTERATIVE_FFT), в каждой группе выполняется 2s-1 операций (соответствующих различным значениям j процедуры Iterative_FFT). Преобразования бабочки, показанные на рис. 30.5, соответствуют преобразованиям во внутреннем цикле (строки 9-12 процедуры ITERATIVE_FFT). Заметим также, что используемые в “бабочках” поворачивающие множители соответствуют
поворачивающим множителям, используемым в процедуре IterativeFFT: на этапе s используются значения ш^ш^,... ^т^21, где т = 2s.
Упражнения
1. Покажите, как процедура Iterative_FFT вычисляет ДПФ исходного вектора (0,2,3,-1,4,5,7,9).
2. Покажите, как реализовать алгоритм БПФ, в котором обратная перестановка битов выполняется в конце, а не в начале процесса вычислений. (Указание: рассмотрите обратное ДПФ.)
3. Сколько раз процедура Iterative_FFT вычисляет поворачивающие множители на каждом этапе? Перепишите процедуру IterativeFFT так, чтобы поворачивающие множители на этапе s вычислялись только 2s"*1 раз.
* 30.3-4. Предположим, что сумматоры в преобразованиях бабочки схемы БПФ иногда дают сбои, приводящие к нулевому результату независимо от подаваемых на вход значений. Предположим, что сбой произошел в точности в одном сумматоре, однако не известно, в каком именно. Опишите, как можно быстро выявить неисправный сумматор путем тестирования всей БПФ-схемы с помощью различных вводов и изучения выводов. Насколько эффективен этот метод?
Задачи
30-1. Умножение посредством декомпозиции
Покажите, как умножить два линейных полинома ах + b и сх + + d, используя только три операции умножения. (Указание: одно из умножений (а + Ь) • (с + d).)
Приведите два алгоритма декомпозиции для умножения полиномов степени не выше п, время выполнения которых 0 (nlg3). В первом алгоритме следует разделить коэффициенты исходного полинома на старшие и младшие, а во втором — на четные и нечетные.
Покажите, что два n-битовых целых числа можно умножить за О (nlg3) шагов, где каждый шаг оперирует с однобитовыми значениями, количество которых не превышает некую константу.
30-2. Матрицы Теплица
Матрицей Теплица (Toeplitz matrix) называется матрица А = (а^ размером п х п, в которой а^ = Ct-ij-i для i,j = 2,3,..., п.
Всегда ли сумма двух матриц Теплица является матрицей Теплица? Что можно сказать об их произведении?
Каким должно быть представление матриц Теплица, чтобы сложение двух матриц Теплица размером п х п можно было выполнить за время О (п)?
Предложите алгоритм умножения матрицы Теплица размером п х х п на вектор длины п со временем работы O(nlgn). Воспользуйтесь представлением, полученным при решении предыдущего пункта данной задачи.
Предложите эффективный алгоритм умножения двух матриц Теплица размером п х п и оцените время его выполнения.
30-3. Многомерное быстрое преобразование Фурье
Можно обобщить одномерное дискретное преобразование Фурье, определенное уравнением (30.8), на d-мерный случай. Пусть на вход подается d-мерный массив А = (а*!,^,...,^), размерности ni,n2,..., пд которого удовлетворяют соотношению n^ni • • • пд = п. Определим d-мерное дискретное преобразование Фурье следующим образом:
П1—1П2 —1nj —1
Укт^г.^кд = У^ У2 * * ' Уу a3i* *^r^d31=0 32=0 jd=O
для 0 ^ ку < Hi, 0 < к2 < П2, ..., 0 ^ кд < п^
Покажите, что можно вычислить d-мерное дискретное преобразование Фурье путем поочередного вычисления одномерных ДПФ. Таким образом, сначала вычисляется n/ni отдельных одномерных ДПФ вдоль первого измерения. Затем, используя результат ДПФ вдоль первого измерения в качестве ввода, вычисляется п/п2 одномерных ДПФ вдоль второго измерения. Используя этот результат в качестве ввода, вычисляется п/пз отдельных ДПФ вдоль третьего измерения и т.д., до измерения d.
Покажите, что порядок следования измерений не имеет значения, т.е. можно вычислять d-мерное ДПФ путем вычисления одномерных ДПФ для каждого из d измерений в произвольном порядке.
Покажите, что если каждое одномерное ДПФ вычислять с помощью быстрого преобразования Фурье, то суммарное время вычисления d-мерного ДПФ составляет О (п lg п) независимо от d.
30-4. Вычисление всех производных полинома в определенной точке
Пусть задан полином А (ж) степени не выше п; t-я производная этого полинома определяется формулой
А^ (ж) =А^ (ж) ='Л (ж)* ^А^Ч®)к0'Л (ж)* ^А^Ч®)к0если t = 0,если t = 0,если 1 ^ t ^ п — 1,если 1 ^ t ^ п — 1,если t > п.если t > п.
А^ (ж) =
А^ (ж) =
'Л (ж)
* ^А^Ч®)
к0
'Л (ж)
* ^А^Ч®)
к0
если t = 0,
если t = 0,
если 1 ^ t ^ п — 1,
если 1 ^ t ^ п — 1,
если t > п.
если t > п.
Пусть заданы коэффициентное представление (ao,ai,..., ап-1) полинома А (ж) и некая точка жо. Требуется найти А^ (жо) для t = 0,1,... n— 1.
а) Пусть заданы коэффициенты &о, &i,..., ^n-ь такие что
п—1
(ж) = 52 ьз (т “ To)J •
3=0
Покажите, как вычислить А^ (жо) для t = 0,1,... п — 1 за время 0(4
Объясните, как найти bo, bi,..., bn_i за время О (nlgn), если даны значения А (жо + w£) для к = 0,1,... п — 1.
Докажите, что
п—1 / ^т п—1
т=0 у * j=0
где / (J) = а, • j\, а
(Xq1/(—I)'. если — (п — 1) ^ I ^ 0,0если 1 ^ I ^ (п — 1).
Объясните, как вычислить Л(жо+ш£) для к = 0,1,... n — 1 за время О(nlgn). Обоснуйте, что все нетривиальные производные полинома А (ж) в точке жо можно вычислить за время О (nlgn).
30-5. Вычисление полинома в нескольких точках
Как отмечалось, задачу вычисления полинома степени не выше п в единственной точке с помощью схемы Горнера можно решить за время О (п). Мы также показали, что с помощью БПФ такой полином можно вычислить во всех п комплексных корнях единицы за время О (nlgn). Теперь покажем, как вычислить полином степени не выше п в произвольных п точках за время О (п lg2 п).
Для этого мы воспользуемся тем фактом, что при делении одного такого полинома на другой остаток можно вычислить за время О (n lg п) (этот результат мы принимаем без доказательства). Например, остаток при делении Зж3 + ж2 — Зж + 1 на ж2 + ж + 2 равен
(Зж3 + ж2 — Зж + 1) mod (ж2 + ж + 2) = —7ж + 5 .
Пусть заданы коэффициентное представление полинома А (ж) = = 53fcZo акхк и п точек жо, Ж1,..., жп-1, и нам необходимо вычислить п значений А (жо), А (жх),..., А (жп-1). Для O^i^j^n—1 определим полиномы Ptj (ж) = Пк=г (ж — хк) и Qij = А (ж) mod Ру (ж). Заметим, что при этом Qy (ж) имеет степень не выше j — г.
Докажите, что А (х) mod (ж — г) = A (z) в любой точке z.
Докажите, что Qkk (ж) = А (хк), a Qo,n-i (ж) = А (ж).
Докажите, что для г ^ к ^ j справедливы соотношения Qik (ж) = = Qij (ж) mod Pik (ж) и Qkj (ж) = Qij (ж) mod Pkj (ж).
Предложите алгоритм вычисления А (жо), А (жх),..., А (жп_1) со временем работы О (n lg2 п).
30-6. БПФ с использованием модульной арифметики
Согласно определению, при вычислении дискретного преобразования Фурье требуется использовать комплексные числа, что может привести к потере точности из-за ошибок округления. Для некоторых задач известно, что ответы содержат только целые значения, поэтому желательно использовать вариант БПФ, основанный на модульной арифметике, чтобы гарантировать, что ответ вычисляется точно. Примером такой задачи является умножение двух полиномов с целыми коэффициентами. В упражнении 30.2-6 предлагался подход, в котором используются модули длиной Q (п) битов для вычисления ДПФ по п точкам. В данной задаче предлагается иной подход, в котором используются модули более подходящей длины O(lgn); для его понимания следует ознакомиться с материалами главы 31. Предполагается, что п является степенью 2.
Пусть требуется найти наименьшее значение к, такое что р = кп + + 1 является простым числом. Предложите простое эвристическое доказательство того, что к примерно равно 1g п. (Значение к может быть больше или меньше, но в среднем нам придется рассмотреть О (lg п) возможных значений к.) Как ожидаемая длина р соотносится с длиной п?
Предположим, что д является генератором Z*, и пусть w = дк mod р.
Докажите, что ДПФ и обратное ДПФ являются вполне определенными обратными операциями по модулю р, если в качестве w используется главное значение корня n-й степени из единицы.
Докажите, что БПФ и обратное ему преобразование по модулю р могут выполняться за время О (nlgn), если при этом операции со словами длиной О (lg п) выполняются за единичное время. (Значения р и w считаются заданными.)
Вычислите ДПФ по модулю р = 17 для вектора (0,5,3,7,7,2,1,6). Учтите, что генератором Zj7 является д = 3.
Заключительные замечания
Подробное рассмотрение быстрого преобразования Фурье содержится в книге Ван Лона (VanLoan) [303]. В работах Пресса (Press), Фланнери (Flannery), Ту- кольски (Teukolsky) и Веттерлинга (Vetterling) [248, 249] предлагается хорошее описание быстрого преобразования Фурье и его приложений. Прекрасное введение в обработку сигналов, область широкого применения БПФ, предлагается в работах Оппенгейма (Oppenheim) и Шафера (Schafer) [232], а также Оппенгейма и Уиллски (Willsky) [233]. В книге Оппенгейма и Шафера также описаны действия в случае, когда п не является целой степенью 2.
Анализ Фурье не ограничивается одномерными данными. Он широко используется в обработке изображений для анализа данных в двух и более измерениях. Многомерные преобразования Фурье и их применение в обработке изображений обсуждаются в книгах Гонзалеса (Gonzalez) и Вудса (Woods) [127] и Пратта (Pratt) [246], а в книгах Толимьери (Tolimieri), Эн (Ап) и Лу (Lu) [300] и Ван Лона (Van Loan) [303] обсуждаются математические аспекты многомерных быстрых преобразований Фурье.
Изобретение БПФ в середине 1960-х часто связывают с работой Кули (Coolet) и Таки (Tukey) [68]. На самом деле БПФ неоднократно изобреталось до этого, но важность его в полной мере не осознавалась до появления современных компьютеров. Хотя Пресс, Фланнери, Тукольски и Веттерлинг приписывают открытие данного метода Рунге (Runge) и Кёнигу (Konig) в 1924 году, Хейдеман (Heide- man), Джонсон (Johnson) и Баррус (Burrus) [141] в своей статье утверждают, что БПФ открыл еще Гаусс (Gauss) в 1805 г.
ГЛАВА 31
Теоретико-числовые алгоритмы
Раньше теория чисел рассматривалась как элегантная, но почти бесполезная область чистой математики. В наши дни теоретико-числовые алгоритмы нашли широкое применение. В определенной степени это произошло благодаря изобретению криптографических схем, основанных на больших простых числах. Применимость этих схем базируется на том, что имеется возможность легко находить большие простые числа, а их безопасность — на отсутствии простой возможности разложения на множители произведения больших простых чисел. В этой главе изложены некоторые вопросы теории чисел и связанные с ними алгоритмы, на которых основаны важные приложения.
В разделе 31.1 представлено введение в такие основные концепции теории чисел, как делимость, равенство по модулю и однозначность разложения на множители. В разделе 31.2 исследуется один из самых старых алгоритмов: алгоритм Евклида, предназначенный для вычисления наибольшего общего делителя двух целых чисел. В разделе 31.3 представлен обзор концепций модульной арифметики. Далее, в разделе 31.4 изучается множество чисел, которые являются кратными заданного числа а по модулю п, и показано, как с помощью алгоритма Евклида найти все решения уравнения ах = 6(modn). В разделе 31.5 представлена китайская теорема об остатках. В разделе 31.6 рассматриваются степени заданного числа а по модулю п, а также представлен алгоритм повторного возведения в квадрат (repeated-squaring algorithm) для эффективного вычисления величины a6 mod п для заданных а, b и п. Эта операция является стержневой при эффективном тестировании простых чисел и для многих современных криптографических схем. Далее, в разделе 31.7 описывается криптографическая система с открытым ключом RSA. В разделе 31.8 исследуется рандомизированный тест простоты
чисел, с помощью которого можно организовать эффективный поиск больших простых чисел, что является важной задачей при создании ключей для криптографической системы RSA. Наконец, в разделе 31.9 представлен обзор простого, но эффективного эвристического подхода к задаче о разложении небольших целых чисел на множители. Интересно, что задача факторизации — одна из тех, которой, возможно, лучше было бы оставаться трудноразрешимой, поскольку от того, до какой степени трудно раскладывать на множители большие целые числа, зависит надежность RSA-кодирования.
Размер входных наборов данных и стоимость арифметических вычислений
Поскольку нам предстоит работать с большими целыми числами, следует уточнить, что будет подразумеваться под размером входных данных и под стоимостью элементарных арифметических операций.
В этой главе “большой ввод” обычно обозначает ввод, содержащий “большие целые числа”, а не ввод, содержащий “большое количество целых чисел” (как это было в задаче сортировки). Таким образом, размер входных данных будет определяться количествам битов, необходимых для представления этих данных, а не просто количеством чисел в них. Время работы алгоритма, на вход которого подаются целые числа ui, аг,..., а^, является полиномиальным (polynomial), если он выполняется за время, которое выражается полиномиальной функцией от величин lg (ai), 1g (аг),..., 1g (ад,), т.е. если это время является полиномиальным по длине входных величин в бинарном представлении.
В большей части настоящей книги было удобно считать элементарные арифметические операции (умножение, деление или вычисление остатка) примитивными, т.е. такими, которые выполняются за единичный промежуток времени. При таком предположении в качестве основы для разумной оценки фактического времени работы алгоритма на компьютере может выступать количество перечисленных арифметических операций, выполняющихся в алгоритме. Однако если входные числа достаточно большие, то для выполнения элементарных операций может потребоваться значительное время, и удобнее измерять сложность теоретико-числового алгоритма через количество битовых операций (bit operation). В этой модели для перемножения двух /3-битовых целых чисел обычным методом необходимо 0 (/З2) битовых операций. Аналогично, операцию деления /3-битового целого числа на более короткое целое число или операцию вычисления остатка от деления /3-битового целого числа на более короткое целое число, с помощью простого алгоритма можно выполнить в течение времени 0 (/З2) (упражнение 31.1-11). Известны и более быстрые методы. Например, время перемножения двух /3-битовых целых чисел методом разбиения равно 0 (/3lg3), а время работы самого производительного из известных методов равно 0 (/3 1g/3 lglg/З). Однако на практике
зачастую наилучшим оказывается алгоритм со временем работы О (/З2), и наш анализ будет основываться именно на этой оценке.
В этой главе алгоритмы обычно анализируются и в терминах количества арифметических операций, и в терминах количества битовых операций, требуемых для их выполнения.
31.1 Элементарные обозначения, принятые в теории чисел
В этом разделе дается краткий обзор обозначений, которые используются в элементарной теории чисел, изучающей свойства множества целых чисел Z = = {..., —2, — 1,0,1,2,...} и множества натуральных1 чисел N = {0,1,2,...}.
Делимость и делители
Основным в теории чисел является обозначение того факта, что одно целое число делится на другое. Обозначение d | а (читается “d делит а”, или “а делится на d”) подразумевает, что для некоторого целого числа к выполняется равенство а = kd. Число 0 делится на все целые числа. Если а > 0 и d | а, то |d| ^ |а|. Если d | а, то говорят также, что а — кратное (multiple) d. Если а не делится на d, то пишут d { а.
Если d | а и d > 0, то говорят, что d — делитель (divisor) числа а. Заметим, что d | а тогда и только тогда, когда —d \ а, поэтому без потери общности делители можно определить как неотрицательные числа, подразумевая, что число, противоположное по знаку любому делителю числа а, также является делителем числа а. Делитель числа а, отличного от нуля, лежит в пределах от 1 до |а|. Например, делителями числа 24 являются числа 1, 2, 3, 4, б, 8, 12 и 24.
Каждое целое число а делится на тривиальные делители (trivial divisors) 1 и а. Нетривиальные делители числа а также называются множителями (factors) а. Например, множители числа 20 — 2, 4, 5 и 10.
Простые и составные числа
Целое число а > 1, единственными делителями которого являются тривиальные делители 1 и а, называют простым (prime) числом. Простые числа обладают многими особыми свойствами и играют важную роль в теории чисел. Ниже приведено 20 первых простых чисел в порядке возрастания:
’Определение натуральных чисел в американской литературе отличается от определения натуральных чисел в отечественной математике, где N = {1,2,...}. В данной главе мы будем использовать определение натуральных чисел из оригинального издания книги. — Прим. ред.
2, 3, 5, 7, 11, 13, 17, 19, 23, 29, 31, 37, 41, 43, 47, 53, 59, 61, 67, 71 .
В упражнении 31.1-1 предлагается доказать, что простых чисел бесконечно много. Целое число а > 1, которое не является простым, называется составным (composite). Например, число 39 — составное, поскольку 3 | 39. Целое число 1 называют единицей (unit), и оно не является ни простым, ни составным. Аналогично, целое число 0 и все отрицательные целые числа тоже не являются ни простыми, ни составными.
Теорема о делении, остатки и равенство по модулю
Относительно заданного числа тг, все целые числа можно разбить на те, которые являются кратными числу тг, и те, которые не являются кратными числу тг. Большая часть теории чисел основана на усовершенствовании этого деления, в котором последняя категория чисел классифицируется в соответствии с тем, чему равен остаток их деления на п. В основе этого усовершенствования лежит сформулированная ниже теорема (ее доказательство здесь не приводится, но его можно найти, например, в учебнике Найвена (Niven) и Цукермана (Zuckerman) [231]).
Теорема 31.1 (Теорема о делении). Для любого целого а и любого положительного целого п существует единственная пара целых чисел q и г, таких что 0 г < < 71 и а = qn + г. □
Величина q = [a/nj называется частным (quotient) деления. Величина г = = a mod 7i называется остатком (reminder или residue) деления. Таким образом, 711 а тогда и только тогда, когда a mod п = 0.
В соответствии с тем, чему равны остатки чисел по модулю тг, их можно разбить на тг классов эквивалентности. Класс эквивалентности по модулю п (equivalence class modulo тг), в котором содержится целое число а, имеет вид
[а]п = {а + Ы : k 6 Z} .
Например, [3]7 = {..., —11, —4,3,10,17,...}; другие обозначения этого множества — [—4]7 и [10]7. Используя обозначения из раздела 3.2, можно сказать, что запись а € [Ь]п — это то же самое, что и запись а = b(modn). Множество всех таких классов эквивалентности имеет вид
Zn = {[а]п : 0 ^ а ^ тг — 1} • (31.1)
Часто встречается определение
Zn— {0,1,..., тг 1} ,Zn— {0,1,..., тг 1} ,(31.2)(31.2)
Zn— {0,1,..., тг 1} ,
Zn— {0,1,..., тг 1} ,
(31.2)
(31.2)
которое эквивалентно уравнению (31.1) с учетом того, что 0 представляет класс [0]n, 1 — класс [1]п и т.д. Каждый класс в этом представлении определяется своим наименьшим неотрицательным элементом. Однако при этом следует иметь в виду именно соответствующие классы эквивалентности. Например, — 1 в качестве члена класса Zn обозначает [п — 1]п, поскольку — 1 = п — 1 (modn).
Общие делители и наибольшие общие делители
Если d — делитель числа а, а также делитель числа Ь, то d — общий делитель чисел а и Ь. Например, делители числа 30 — 1, 2, 3, 5, 6, 10, 15 и 30, а общие делители чисел 24 и 30 — 1, 2, 3 и 6. Заметим, что 1 — общий делитель двух любых целых чисел.
Важное свойство общих делителей заключается в том, что
из d | а и d | Ь следует d | (а + Ь) и d | (а — 6) .(31.3)
В более общем виде можно написать, что для всех целых хиу
из d | а и d | b следует d | (ах + by) .(31.4)
Кроме того, если а | Ь, то либо |а| ^ |Ь|, либо 6 = 0, так что
из а | b и b | а следует а = ±6 .(31.5)
Наибольший общий делитель (greatest common divisor) двух целых чисел а и Ь, отличных от нуля, — это самый большой из общих делителей чисел а и Ь; он обозначается как gcd (а, Ь). Например, gcd (24,30) = 6, gcd (5,7) = 1 и gcd (0,9) = 9. Если числа а и Ь отличны от нуля, то значение gcd (а, Ь) находится в интервале от 1 до min(|a|, |6|). Величину gcd (0,0) считаем равной нулю; это необходимо для универсальной применимости стандартных свойств функции gcd (пример одного из них выражается уравнением (31.9)).
Ниже перечислены элементарные свойства функции gcd:
gcd (a, b) = gcd (b, a) ,(31.6)
gcd (a, b) = gcd (—a, b),(31.7)
gcd (a, b) = gcd (|a|, |6|) ,(31.8)
gcd(a,0) = |a| ,(31.9)
gcd (a, ka) = |a| для всех к 6 Z .(31.10)
Сформулированная ниже теорема дает полезную альтернативную характеристику функции gcd (а, Ь).
Теорема 31.2. Если а и b — произвольные целые числа, отличные от нуля, то величина gcd (а, 6) равна наименьшему положительному элементу множества {аж + by : ж, у Е Z) линейных комбинаций чисел а и Ь.
Доказательство. Обозначим через s наименьшую положительную из таких линейных комбинаций чисел а и Ь, и пусть s = ах + by при некоторых ж, у 6 Z. Пусть также q = [a/sj. Тогда из равенства (3.8) следует
a mod s = a — qs = a — q (ах + by) = a (1 — qx) + b (—qy) ,
поэтому величина a mod s также является линейной комбинацией чисел а и Ь. Но поскольку 0 ^ a mod s < s, выполняется соотношение a mod s = О, так как s — наименьшая положительная из таких линейных комбинаций. Поэтому s | а; аналогично можно доказать, что s | Ь. Таким образом, s — общий делитель чисел а и Ь, поэтому справедливо неравенство gcd (a, b) ^ s. Из уравнения (31.4) следует, что gcd (a, b) | s, поскольку величина gcd (a, b) делит и а, и b, a s — линейная комбинация чисел а и Ь. Но из того, что gcd (a, 6) | s, и s > О следует соотношение gcd (a, b) ^ s. Совместное применение неравенств gcd (a, b) > s и gcd (a, b) ^ s доказывает справедливость равенства gcd (a, b) = s; следовательно, можно сделать вывод, что s — наибольший общий делитель чисел а и Ь.□
Следствие 31.3. Для любых целых чисел а и b из соотношений d | а и d | b следует d | gcd (a, b).
Доказательство. Это следствие является результатом уравнения (31.4), поскольку, согласно теореме 31.2, величина gcd (а, 6) является линейной комбинацией чисел а и Ь.□
Следствие 31.4. Для любых целых чисел а и b и произвольного неотрицательного целого числа п справедливо соотношение
gcd (an, bn) = п gcd (a, b) .
Доказательство. Если n = 0, то следствие доказывается тривиально. Если же п > 0, то gcd (an, bn) — наименьший положительный элемент множества {апх + + Ьпу), в п раз превышающий наименьший положительный элемент множества {аж + by}.□
Следствие 31.5. Для всех положительных целых чисел п, а и b из условий п | ab и gcd (а, п) = 1 следует соотношение п | Ь.
Доказательство. Доказательство этого следствия читателю предлагается выполнить самостоятельно в упражнении 31.1-4.j
Взаимно простые целые числа
Два числа аиЬ называются взаимно простыми (relatively prime), если единственный их общий делитель равен 1, т.е. если gcd (a,b^ = 1- Например, числа 8 и 15 взаимно простые, поскольку делители числа 8 равны 1, 2, 4 и 8, а делители числа 15 — 1, 3, 5 и 15. В сформулированной ниже теореме утверждается, что если два целых числа взаимно простые с целым числом р, то их произведение тоже является взаимно простым с числом р.
Теорема 31.6. Для любых целых чисел а, b и р из соотношений gcd(a,p) = 1 и gcd (6,р) = 1 следует соотношение gcd (a6,p) = 1.
Доказательство. Из теоремы 31.2 следует, что существуют такие целые числа X, у, х* и у', для которых
ах + ру = 1,bx' + ру' = 1.
Умножив эти уравнения друг на друга и перегруппировав слагаемые, получим:
ab (хх} + р (ybx' + у'ах + руу1^ = 1.
Поскольку положительная линейная комбинация чисел ab и р равна 1, применение теоремы 31.2 завершает доказательство.ц
Говорят, что целые числа ni, П2,. • •, п^ попарно взаимно простые (pairwise relatively prime), если при г / J выполняется соотношение gcd (п/, п^ = 1.
Единственность разложения на множители
Элементарный, но важный факт, касающийся делимости на простые числа, сформулирован в приведенной ниже теореме.
Теорема 31.7. Для любого простого числа р и всех целых чисел а и b из условия р | ab следуют либо соотношение р | а, либо соотношение р | Ь, либо они оба.
Доказательство. Проведем доказательство методом “от противного”. Предположим, что р | ab, но р { а и р { Ь. Таким образом, gcd (а, р) = 1 и gcd (6, р) = = 1, поскольку единственными делителями числа р являются 1 и р, и, согласно предположению, на р не делится ни а, ни Ь. Тогда из теоремы 31.6 следует, что gcd (ab, р) = 1, а это противоречит условию, что р | ab, поскольку из него следует, что gcd (ab, р) = р. Это противоречие и служит доказательством теоремы. □
Из теоремы 31.8 следует, что любое целое число единственным образом представляется в виде произведения простых чисел.
Теорема 31.8 (Единственность разложения на множители). Целое составное число а можно единственным образом представить как произведение вида а = = Pi^2 * * *Ргг> гДе Pi — простые числа, рх < р% << рг, а е^ — целые
положительные числа.
Доказательство. Доказательство этой теоремы в упражнении 31.1-10 читателю предлагается выполнить самостоятельно.□
Например, число 6000 можно единственным образом разложить на множители 24 • 3 • 53.
Упражнения
1. Докажите, что простых чисел бесконечно много. ^Указание: покажите, что ни одно из простых чисел Pi,P2, • • • ,Pfc не является делителем числа (PlP2"'"Pfc) + 1.)
2. Докажите, что если а | b и b | с, то а | с.
3. Докажите, что если р — простое число и 0 < к < р, то gcd (к, р) = 1.
4. Докажите следствие 31.5.
5. Докажите, что если р — простое число и 0 < к < р, то р | (£). Сделайте отсюда вывод, что для всех целых чисел а и b и простых р выполняется соотношение (а + Ь)р = ар + № (modp).
6. Докажите, что если а и b — положительные целые числа, такие что а | Ь, то для всех х выполняется соотношение
(х mod Ь) mod а = х mod а.
Докажите, что при тех же предположениях для всех целых чисел х и у из соотношения х = у (modb) следует соотношение х = у (moda).
7. Говорят, что для всех целых к > 0 целое число п — к-я степень (Zcth power), если существует целое число а, такое что ак = п. Число п > > 1 — нетривиальная степень (nontrivial power), если оно является к-й степенью для некоторого целого к > 1. Покажите, как определить, является ли заданное /3-битовое целое число п нетривиальной степенью, за время, которое выражается полиномиальной функцией от (3.
8. Докажите уравнения (31.6)-(31.10).
9. Покажите, что операция gcd обладает свойством ассоциативности, т.е. докажите, что для всех целых а, b и с справедливо соотношение
gcd (a, gcd (6, с)) = gcd (gcd (а, 6), с).
*31.1-10. Докажите теорему 31.8.
11. Разработайте эффективный алгоритм для операций деления /3-битового целого числа на более короткое целое число и вычисления остатка от деления /3-битового целого числа на более короткое целое число. Время работы алгоритма должно быть равно О (/З2).
-12. Разработайте эффективный алгоритм преобразования заданного /3-битового (двоичного) целого числа в десятичное. Докажите, что если умножение или деление целых чисел, длина которых не превышает /3, выполняется в течение времени М (0), то преобразование из двоичной в десятичную систему счисления можно выполнить за время О (М (/3) 1g/3). (Указание: воспользуйтесь стратегией “разделяй и властвуй”, при котором верхняя и нижняя половины результата получаются в результате отдельно выполненных рекурсивных процедур.)
Наибольший общий делитель
В этом разделе описан алгоритм Евклида, предназначенный для эффективного вычисления наибольшего общего делителя двух целых чисел. Анализ времени работы этого алгоритма выявляет удивительную связь с числами Фибоначчи, которые являются наихудшими входными данными для алгоритма Евклида.
Ограничимся в этом разделе неотрицательными целыми числами. Это ограничение обосновывается уравнением (31.8), согласно которому gcd(a, Ь) = = gcd(|a|,|b|).
В принципе, величину gcd (a, b) для положительных целых чисел а и Ь можно вычислить, пользуясь разложением чисел а и b на простые множители. В самом деле, если разложения чисел а и Ь имеют вид
а = р^...р=',(31.11)
Ь = РхР2 ---Р^(31.12)
где нулевые показатели экспоненты используются для того, чтобы в обоих разложениях были представлены одинаковые множества простых чисел pi,P2, • • • ,Рг> то можно показать, что
gcd (а, Ь) = p^-Mp^.f2) .. ,pmin(er,/r)(31 13)
В упражнении 31.2-1 предлагается показать, что это действительно так. Однако в разделе 31.9 будет показано, что время работы самых эффективных на сегодняшний день алгоритмов разложения на множители не выражается полиномиальной функцией; они работают менее производительно.
Алгоритм Евклида, предназначенный для вычисления наибольшего общего делителя, основан на сформулированной ниже теореме.
Теорема 31.9 (Рекурсивная теорема о НОД). Для любого неотрицательного целого числа а и любого положительного целого числа b справедливо соотношение gcd (а, 6) = gcd (6, a mod 6).
Доказательство. Покажем, что величины gcd (а, 6) и gcd (6, a mod 6) делятся друг на друга, поэтому они должны быть равны друг другу (поскольку оба они неотрицательны) согласно уравнению (31.5).
Сначала покажем, что gcd (а, 6) | gcd (6, a mod b). Если d = gcd (а, 6), то d | а и d | b. Согласно уравнению (3.8), (a mod b) = а — qb, где q = [а/bj. Поскольку величина (а mod 6) представляет собой линейную комбинацию чисел а и Ь, то из уравнения (31.4) следует, что d | (a mod 6). Таким образом, поскольку d | b и d | (a mod b), согласно следствию 31.3, d | gcd (6, a mod 6) или, что то же самое,
gcd (а, Ь) | gcd (b, a mod b).(31.14)
Соотношение gcd (6, a mod b) | gcd (а, Ь) доказывается почти так же. Если ввести обозначение d = gcd (6, a mod b), то d | b и d | (a mod Ь). Поскольку а = qb + (а mod b), где q = [а/bj, а представляет собой линейную комбинацию величин b и (a mod 6). Согласно уравнению (31.4), можно сделать вывод, что d | а. Поскольку d | b и d | а, то, согласно следствию 31.3, справедливо соотношение d | gcd (a, b) или эквивалентное ему
gcd (b, a mod b) | gcd (a, b).(31.15)
Использование уравнения (31.5) в комбинации с уравнениями (31.14) и (31.15) завершает доказательство.□
Алгоритм Евклида
В книге Евклида “Начала” (около 300 г. до н.э.) описывается приведенный ниже алгоритм вычисления gcd (хотя на самом деле он может иметь более раннее происхождение). Алгоритм Евклида выражается в виде рекурсивной программы и непосредственно основан на теореме 31.9. В качестве входных данных в нем выступают произвольные неотрицательные целые числа а и Ь.
EUGLlD(a, b) 1 if b = 0 2then return а
3else return Еисыо(Ь, a mod b)
В качестве примера работы процедуры Euclid рассмотрим вычисление величины gcd (30,21):
Euclid(30, 21) = Euclid(21,9)
= Euclid(9, 3) = Euclid(3, 0) = 3 .
В приведенных выше выкладках мы видим три рекурсивных вызова процедуры Euclid.
Корректность процедуры Euclid следует из теоремы 31.9, а также из того факта, что если алгоритм во второй строке возвращает значение а, то b = О, а из уравнения (31.9) следует, что gcd (а, 6) = gcd (а, 0) = а. Работа этого рекурсивного алгоритма не может продолжаться до бесконечности, поскольку второй аргумент процедуры всегда строго убывает при каждом рекурсивном вызове, и он всегда неотрицательный. Таким образом, алгоритм Euclid всегда завершается и дает правильный ответ.
Время работы алгоритма Евклида
Проанализируем наихудшее время работы алгоритма Euclid как функцию размера входных данных а и Ь. Без потери общности предположим, что а > b 0. Это предположение легко обосновать, если заметить, что если Ь > а > 0, то в процедуре Euclid(q, Ь) сразу же производится рекурсивный вызов процедуры Euclid(6, а). Другими словами, если первый аргумент меньше второго, то алгоритм Euclid затрачивает один дополнительный вызов на перестановку аргументов и продолжает свою работу. Аналогично, если b = а > 0, то процедура завершается после одного рекурсивного вызова, поскольку a mod b = 0.
Полное время работы алгоритма EUCLID пропорционально количеству выполняемых ею рекурсивных вызовов. В нашем анализе используются числа Фибоначчи Fk. определяемые рекуррентным соотношением (3.21).
Лемма 31.10. Если a > Ь ^ 1 и в результате вызова процедуры EuCLlD(a,6) выполняется к > 1 рекурсивных вызовов, то а ^ Р^+2 и b ^ Fk+i.
Доказательство. Докажем лемму путем индукции по к. В качестве базиса индукции примем к = 1. Тогда b ^ 1 = F2 и, поскольку а > Ь, автоматически выполняется соотношение a > 2 = F3. Поскольку b > (a mod Ь), при каждом рекурсивном вызове первый аргумент строго больше второго; таким образом, предположение а > b выполняется при каждом рекурсивном вызове процедуры.
Примем в качестве гипотезы индукции, что лемма справедлива, если произведено к — 1 рекурсивных вызовов; затем докажем, что она выполняется, если
произведено к рекурсивных вызовов. Поскольку к > 0, то и b > 0, и в процедуре Еисып(а, Ь) рекурсивно вызывается процедура Euclid(6, a mod 6), в которой, в свою очередь, выполняется к — 1 рекурсивных вызовов. Далее, согласно гипотезе индукции, выполняются неравенства b ^ Fk+x (что доказывает часть леммы) и (a mod Ь) > Fk. Мы имеем
b + (а mod 6) = 6 + (а — [а/bj b) ^ а, поскольку из а > b > 0 следует [а/bj > 1. Таким образом,
a > 6 + (a mod b) > Fk+1 + Fk = Fk+2.н
Из этой леммы непосредственно следует сформулированная ниже теорема.
Теорема 31.11 (Теорема Ламе (Lame)). Если для произвольного целого числа к "^ 1 выполняются условия a > b ^ 1 и 6 < Efc+i, то в вызове процедуры EUCLID(a, b) производится менее к рекурсивных вызовов.Н
Можно показать, что верхняя граница теоремы 31.11— лучшая из возможных. Последовательные числа Фибоначчи — наихудшие входные данные для процедуры EUCLID. Поскольку в процедуре Еисьго(Рз, F2) производится ровно один рекурсивный вызов и поскольку при к > 2 выполняется соотношение F^+i mod Fk = = Fk_i, мы имеем
gcd (Fk+1, Fk) = gcd (Fk, (Fk+1 mod Fk)) = gcd (Fk, Fk_x).
Таким образом, в процедуре EuCLID(Fk+1, Fk) рекурсия осуществляется в точности к — 1 раз, что совпадает с верхней границей теоремы 31.11.
Поскольку число Fk приблизительно равно фк / \/Ъ, где ф — золотое сечение (1 + х/5) /2, определенное уравнением (3.22), количество рекурсивных вызовов в процедуре EUCLID равно О (1g Ь). (Более точная оценка предлагается в упражнении 31.2-5.) Отсюда следует, что если с помощью алгоритма EUCLID обрабатывается два /5-битовых числа, то в нем производится О (0) арифметических операций и О (/З3) битовых операций (в предположении, что при умножении и делении /3-битовых чисел выполняется О (/З2) битовых операций. Справедливость этой оценки предлагается показать в задаче 31-2).
Развернутая форма алгоритма Евклида
Теперь перепишем алгоритм Евклида так, чтобы с его помощью можно было извлекать дополнительную полезную информацию, в частности, чтобы вычислять целые коэффициенты ж и у, для которых справедливо равенство
(31.16)(31.16)d = gcd (a, b) = аж + by.
(31.16)
(31.16)
Таблица 31.1. Пример работы алгоритма EXTENDEDJEUCLID с входными числами 99 и 78
а
b
La/6J
d
X
У
99
78
1
3
-11
14
78
21
3
3
3
-11
21
15
1
3
-2
3
15
6
2
3
1
-2
6
3
2
3
0
1
3
0
—
3
1
0
Заметим, что числа х и у могут быть равными нулю или отрицательными. Эти коэффициенты окажутся полезными позже при вычислении модульных мультипликативных обратных значений. В качестве ввода процедуры Extended_Euclid выступает пара неотрицательных целых чисел, а на выходе эта процедура возвращает тройку чисел (d, х, у), удовлетворяющих уравнению (31.16).
EXTENDED_EUCLID(a, 6)
if b = О
then return (a, 1,0)
(d', x', V)EXTENDED_EuCLID(6, a mod 6)
(d, x, y) «- (d', y', x' - [a/bj y')
return (d, x, y)
Работа алгоритма Extended_Euclid по вычислению величины gcd (99,78) проиллюстрирована в табл. 31.1. В каждой строке показан один уровень рекурсии: входные величины а и Ь, вычисленная величина [a/6j, а также возвращаемые величины d, х и у. Возвращаемая тройка значений (d, х, у) становится тройкой, которая используется в ходе вычислений на следующем, более высоком уровне рекурсии. В результате вызова процедуры Extended_Euclid(99, 78) возвращаются величины (3, —11,14), так что gcd (99,78) = 3 = 99 • (—11) + 78 • 14.
Процедура Extended_Euclid представляет собой разновидность процедуры Euclid. Строка 1 в ней эквивалентна проверке равенства значение b нулю в первой строке процедуры Euclid. Если Ь = 0, то процедура Extended_Euclid в строке 2 возвращает не только значение d = а, но и коэффициенты х = 1 и у = 0, так что а = ах + by. Если b / 0, то процедура Extended_Euclid сначала вычисляет набор величин (d', х', у'), таких что d' = gcd (6, a mod Ь) и
d' = bx' + (a mod 6) у*.d' = bx' + (a mod 6) у*.(31.17)(31.17)
d' = bx' + (a mod 6) у*.
d' = bx' + (a mod 6) у*.
(31.17)
(31.17)
Как и в процедуре Euclid, в этом случае мы имеем d = gcd (a, b) = d' = = gcd (6, a mod b). Чтобы получить значения x и у, для которых выполняется
равенство d = ах + by, сначала перепишем уравнение (31.17) с использованием равенств d = d' и (3.8):
d = Ьх' + (а — [a/bj b) у' = ay' + b(x' — [a/bj у').
Таким образом, при выборе величин х = у' и у = х' — \а/Ь\ у* удовлетворяется уравнение d = ах + by, что доказывает корректность процедуры Ех- tended_Euclid.
Поскольку количество рекурсивных вызовов в процедуре Euclid равно количеству рекурсивных вызовов в процедуре EXTENDED_EUCLID, время работы процедуры Euclid с точностью до постоянного множителя равно времени работы процедуры Extended_Euclid. Другими словами, при а > b > 0 количество рекурсивных вызовов равно О (lg b).
Упражнения
1. Докажите, что из уравнений (31.11) и (31.12) следует уравнение (31.13).
2. Вычислите величины (d, х, у), которые возвращаются при вызове процедуры Extended_Euclid(899,493).
3. Докажите, что для всех целых чисел а, к и п выполняется соотношение gcd (а, n) = gcd (а + кп, п).
4. Перепишите алгоритм Euclid в итеративном виде, с использованием памяти фиксированного объема (т.е. в ней должно храниться не более некоторого фиксированного количества целочисленных значений).
5. Покажите, что если а > b > 0, то при вызове процедуры Euclid(u, b) выполняется не более 1 + log^ b рекурсивных вызовов. Улучшите эту оценку до 1 + log^ (b/gcd (a, b)\
6. Какие значения возвращает процедура EXTENDED_EuCLID(Fk+1, F^)? Докажите верность вашего ответа.
7. Определим функцию gcd для более чем двух аргументов с помощью рекурсивного уравнения gcd (ao, ai,..., an) = gcd (ao, gcd (ai, a^,..., an)). Покажите, что значение этой функции не зависит от порядка ее аргументов. Покажите также, как найти целые числа хо,ху,... ,хп, такие что gcd (ao,ai,... ,an) = ао$о + ai®i + •••апхп. Покажите, что количество операций деления, которые производятся в алгоритме, равно О (п + lg (max {ao, аг,..., an})).
8. Определим наименьшее общее кратное (least common multiple) п целых чисел ai, аг,..., an, обозначаемое 1cm (ai, аг,..., an), как наименьшее неотрицательное целое число, кратное каждому из аргументов а,. Покажите, как эффективно вычислить величину lam (ai, аг,..., On), используя в качестве подпрограммы (двухаргументную) операцию gcd.
9. Докажите, что числа тц, П2, пз и пд попарно взаимно просты тогда и только тогда, когда
gcd (п1П2, П3П4) = gcd (П1П3, П2П4) = 1.
Покажите, что справедливо более общее утверждение, согласно которому числа ni, пз,... Пк попарно взаимно просты тогда и только тогда, когда множество [1g к"\ пар чисел, образованных из тц, взаимно простые.
Модульная арифметика
Неформально говоря, модульную арифметику можно считать обычной арифметикой, вычисления в которой производятся над целыми числами, за исключением того, что если что-то нужно вычислить по модулю числа п, то любой результат х заменяется элементом множества {0,1,..., п — 1}, равным числу х по модулю п (те. х заменяется величиной х mod п). Описанной выше неформальной модели достаточно, если ограничиться операциями сложения, вычитания и умножения. Более формализованная модель модульной арифметики, которая будет представлена ниже, лучше описывается в терминах теории групп.
Конечные группы
Группа (group) (S, ф) — это множество S, для элементов которого определена бинарная операция ф, обладающая перечисленными ниже свойствами.
Замкнутость: для всех элементов a, b Е S имеем а ф b Е S.
Существование единицы: существует элемент е Е 5, который называется единичным (identity) элементом группы; для этого элемента и любого элемента а Е S выполняется соотношение ефа = афе = а.
Ассоциативность: для всех a, b, с Е S выполняется соотношение (а ф Ь) ф Ф с = а ф (Ь ф с).
Существование обратного элемента: для каждого элемента а Е S существует единственный элемент bES (он называется обратным (inverse) к элементу а), такой что a®b = b®a = е.
В качестве примера рассмотрим уже знакомую нам группу (Z, +) целых чисел с операцией сложения: в ней единичный элемент — 0, а обратный элемент к любому числу а — число —а. Если группа (S, ф) обладает свойством коммутативности (commutative law) а ф b = b Ф а для всех a, b Е S, то это абелева группа (abelian group). Если группа (S, Ф) удовлетворяет условию |S| < 00, те. количество ее элементов конечно, то она называется конечной (finite group).
Группы, образованные сложением и умножением по модулю
С помощью операций сложения и умножения по модулю п, где п — положительное целое число, можно образовать две конечные абелевы группы. Эти группы основаны на классах эквивалентности целых чисел по модулю п, определенных в разделе 31.1.
Чтобы определить группу над множеством классов Zn, нужно задать подходящие бинарные операции, полученные путем переопределения обычных операций сложения и умножения. Операции сложения и умножения над Хп определить легко, поскольку классы эквивалентности двух целых чисел однозначно определяют класс эквивалентности их суммы или произведения. Другими словами, если а = a' (modn) и b = V (modn), то
а + b = а' + ^(modn),ab = a/6/(modn).
(31.18)(31.18)Таким образом, операций сложения и умножения по модулю п, которые мы обозначим как +п и -п, определяются следующим образом:
(31.18)
(31.18)
Нп +п [^71 - [° + Цп >
Ип -п Мп = Нп •
(Вычитание в Zn можно легко определить как [a]n — n Mn = [а — Ь]п, однако с делением, как мы сможем вскоре убедиться, дело обстоит сложнее.) Эти факты подтверждают удобную общепринятую практику использования наименьшего неотрицательного элемента каждого класса эквивалентности как представительного при вычислениях в Zn. Сложение, вычитание и умножение над представителями классов выполняется как обычно, но затем каждый результат ж заменяется соответствующим представителем класса эквивалентности (т.е. величиной х mod п).
На основе определения операции сложения по модулю п определяется аддитивная группа по модулю п (additive group modulo n) (Z„, +n). Размер аддитивной группы по модулю п равен |Zn| = п. В табл. 31.2 представлены результаты выполнения операций в группе (Ze, +е).
Теорема 31.12. Система (Zn, +п) образует конечную абелеву группу.
Доказательство. Из уравнения (31.18) следует замкнутость группы (Zn,+n). Ассоциативность и коммутативность операции +п следует из ассоциативности
и коммутативности операции +:
(Мп +п Мп) +п [с]„ = [а + 6]п +п [с]„ = = [(а + 6) + с]п = = [а + (6 + с)]п = = Мп+п[6 + с]п = = Мп +п (Мп +п Мп) ,
Мп +п Мп = (° + 9п = = [6 + Мп = = Мп +п Мп •
В роли единичного элемента (Zn,+n) выступает 0 (т.е. класс [0]п). Элемент, аддитивно обратный элементу а (т.е. классу Мп)’ представляет собой элемент —а (т.е. класс [-а]п или [п - а]п), поскольку [а]п +„ [-а]п = [а - а]п = [0]п. п
На основе операции умножения по модулю п определяется мультипликативная группа по модулю п (multiplicative group modulo n) (Z*, -n). Элементы этой группы образуют множество Z*, образованное из элементов множества Zn, взаимно простых с п:
zn = (Мп € zn : gcd (а, п) = 1}.
Чтобы убедиться, что группа Z* вполне определена, заметим, что для 0 < а < п при всех целых к выполняется соотношение а = (а + кп) (modn). Поэтому из gcd(a, n) = 1, согласно результатам упражнения 31.2-3, для всех целых к следует, что gcd (a + пк, п) = 1. Поскольку [a]n = {a + кп : к € Z}, множество Z* вполне определено. Примером такой группы является множество
Z{5 = {1,2,4,7,8,11,13,14} ,
в качестве групповой операции в которой выступает операция умножения по модулю 15. (Здесь элемент [о]15 обозначается как а; например, элемент [7] 15 обозначается как 7.) В табл. 31.3 показаны результаты выполнения операции для данной группы. Например, 8 • 11 = 13 (mod 15). Единичным элементом в этой группе является 1.
Теорема 31.13. Система (Z*, -п) образует конечную абелеву группу.
Доказательство. Замкнутость (Z*,-n) следует из теоремы 31.6. Ассоциативность и коммутативность для операции -п можно доказать аналогично доказательству этих свойств для операции +п в теореме 31.12. В роли единичного здесь
Таблица 31.2. Группа (Ze, +б)
+6
0
1
2
3
4
5
0
0
1
2
3
4
5
1
1
2
3
4
5
0
2
2
3
4
5
0
1
3
3
4
5
0
1
2
4
4
5
0
1
2
3
5
5
0
1
2
3
4
Таблица 31.3. Группа (Z*5, -15)
45
1
2
4
7
8
11
13
14
1
1
2
4
7
8
11
13
14
2
2
4
8
14
1
7
11
13
4
4
8
1
13
2
14
7
11
7
7
14
13
4
11
2
1
8
8
8
1
2
11
4
13
14
7
11
11
7
14
2
13
1
8
4
13
13
11
7
1
14
8
4
2
14
14
13
11
8
7
4
2
1
выступает элемент [1]п. Чтобы показать наличие обратных элементов, предположим, что а — элемент множества Z*, а набор чисел (d, ж, у) — выходные данные процедуры EXTENDED_EuCLto(a, п). Тогда d = 1, поскольку a € Z* и справедливо равенство
ах + пу = 1,
или, что то же самое, ах = 1 (modn).
Таким образом, класс [ж]п — обратный классу [a]n относительно операции умножения по модулю п. Доказательство того, что обратные элементы определяются однозначно, отложим до рассмотрения следствия 31.26. ■
В качестве примера вычисления мультипликативных обратных элементов рассмотрим случай а = 5ип = 11. Процедура ExTENDED_EuCLlD(a, п) возвращает тройку чисел (d, ж, у) = (1, —2,1), так что 1 = 5- (—2) + 11-1. Таким образом, число —2 (т.е. 9 mod 11) — мультипликативное обратное по модулю 11 к числу 5.
Далее в оставшейся части этой главы, когда речь будет идти о группах (Zn, +п) и (Z*, •„), мы будем обозначать классы эквивалентности представляющими их элементами, а операции +п и п — знаками обычных арифметических операций + и • (последний знак может опускаться) соответственно. Кроме того, эквивалентность по модулю п можно интерпретировать как равенство в Zn. Например, оба выражения, приведенные ниже, обозначают одно и то же:
ах = Ь (modn),
Мп -п Ип = Мп '
Для дальнейшего удобства иногда группа (S, ф) будет обозначаться просто как S, а из контекста будет понятно, какая именно операция подразумевается. Таким образом, группы (Zn, +п) и (Z*, -п) будут обозначаться как Zn и Z* соответственно.
Элемент, обратный (относительно умножения) к элементу а, будет обозначаться как (a-1 mod п). Операция деления в множестве Z* определяется уравнением a/b = ab-1 (modn). Например, в множестве Zj5 7-1 = 13 (modl5), поскольку 7 • 13 = 91 = 1 (modl5), поэтому 4/7 = 4 • 13 = 7 (modl5).
Обозначим размер множества Z* как ф (п). Эта функция, известная под названием ф-функции Эйлера (Euler’s phi function), удовлетворяет уравнению
ф(п) = пП fl--Y(31.19)
р\п
где индекс р пробегает значения всех простых делителей числа п (включая само п, если оно простое). Здесь мы не станем доказывать эту формулу, а попробуем дать для нее интуитивное пояснение. Выпишем все возможные остатки от деления на п — {0,1,..., п — 1}, а затем для каждого простого делителя р числа п вычеркнем из этого списка все элементы, кратные р. Например, простые делители числа 45 — числа 3 и 5, поэтому
*(45) = 45 (1 - 1) (1 - 1) =45(|) (0=24.
Если р — простое число, то Z* = {1,2,... ,р — 1} и
ф^=р-1.(31.20)
Если же п — составное, то ф (n) < п — 1.
Подгруппы
Если (S, Ф) — группа, S' С 5 и (S', ф) — тоже группа, то (S', Ф) называется подгруппой (subgroup) группы (S, ф). Например, четные числа образуют подгруппу группы целых чисел с операцией сложения. Полезным инструментом для распознавания подгрупп является сформулированная ниже теорема.
Теорема 31.14. (Непустое замкнутое подмножество конечной группы является подгруппой). Если (5, ф) — конечная группа, aS' — любое непустое подмножество множества S, такое что а ф b 6 S' для всех а, 6 € S', то (S', ф) — подгруппа группы (S, ф).
Доказательство. Доказать эту теорему читателю предлагается самостоятельно в упражнении 31.3-2.а
Например, множество (0,2,4,6} образует подгруппу группы Zg, поскольку оно непустое и замкнутое относительно операции + (т.е. оно замкнуто относительно операции +g).
Сформулированная ниже теорема крайне полезна для оценки размера подгруппы; доказательство этой теоремы опущено.
Теорема 31.15 (Теорема Лагранжа). Если (S, ф) — конечная группа, и (S', ф) — ее подгруппа, то IS'| — делитель числа |S|.■
Подгруппу S' группы S называют истинной (proper) подгруппой, если S' / S. Приведенное ниже следствие из этой теоремы окажется полезным при анализе теста простых чисел Миллера-Рабина (Miller-Rabin), описанного в разделе 31.8.
Следствие 31.16. Если S' — истинная подгруппа конечной группы S, то |S'| < < 1^1/2.*
Подгруппы, сгенерированные элементом группы
Теорема 31.14 обеспечивает интересный способ, позволяющий сформировать подгруппу конечной группы (S, Ф). Для этого следует выбрать какой-нибудь элемент группы а и выделить все элементы, которые можно сгенерировать с помощью элемента а и групповой операции. Точнее говоря, определим элемент а^ для k > 1 как к
а^ = а = а ф а ф • • • ф а .
i=1к
Например, если в группе Ze задать элемент а = 2, то последовательность а^1), а^\... имеет вид 2,4,0,2,4,0,2,4,0,....
В группе Zn справедливо соотношение а^ = ка mod п, а в группе Z* — соотношение а^ = ак mod п. Подгруппа, сгенерированная элементом а (subgroup generated by а) обозначается как (а) или ((а), ф) и определяется следующим образом:
(а) = («^ : к > 1} .
Говорят, что элемент а генерирует (generates) подгруппу (а) или что а — генератор (generator) подгруппы (а). Поскольку множество S конечное, то (а) — конечное подмножество множества S, которое может содержать все элементы множества S. Поскольку из ассоциативности операции ф следует соотношение
а^ ф а^ =
то подмножество (а) — замкнутое и, согласно теореме 31.14, (а) — подгруппа группы S. Например, в группе Ze справедливы соотношения
(0) = {0},
= {0,1,2,3,4,5},
= {0,2,4}.
Аналогично, в группе Z?
W = {1},
= {1,2,4},
= {1,2,3,4,5,6}.
Порядок (order) элемента а (в группе S) обозначается как ord (а) и определяется как наименьшее положительное целое число t, для которого выполняется соотношение а^ = е.
Теорема 31.17. Для любой конечной группы (S, ф) и любого ее элемента а Е S порядок элемента равен размеру генерируемой им подгруппы, т.е. ord (а) = |(а)|.
Доказательство. Пусть t = ord (а). Поскольку для k > 1 справедливы соотношения а^ = е и a^t+k^ = а^ Ф а^ = а^кХ то при г > t для некоторого j < г выполняется равенство а^ = аМХ Таким образом, после элемента а^ не появляется никаких новых элементов, так что (а) = {а^^а^,...,а^} и |(а)| < t. Докажем неравенство | (а) | > t методом “от противного”. Предположим, что при некоторых г и j, удовлетворяющих неравенству 1 ^ г < j ^ t, выполняется равенство aW = а^Х Тогда при к > 0 а^г+к^ = а^+кХ Однако из этого следует, что а^*^1-^ = aU+^-i)) = е. Так мы приходим к противоречию, поскольку г+(t — j) < t, но t — наименьшее положительное значение такое, что а^ = е. Поэтому все элементы последовательности a^\ а^2\ ..., а^ различны, и |(a)| > L Таким образом, мы приходим к заключению, что ord (a) = | (a) |.■
Следствие 31.18. Последовательность а^\ а^2\ ... является периодической с периодом t = ord (а); т.е. а^ = а^ тогда и только тогда, когда г = j (modt). ■
С приведенным следствием согласуется определение а^ как е, а а^ для всех целых г как а^г mod *\ где t = ord (а).
Следствие 31.19. Если (5, ф) — конечная группа с единичным элементом е, то для всех а € S выполняется соотношение
«(Is!) = е.
Доказательство. Из теоремы Лагранжа следует, что ord (а) | |S|, так что |5| = = 0 (modt), где t = ord (а). Следовательно, а^5^ = а^ = е.■
Упражнения
1. Составьте таблицу операций для групп (Z4,+4) и (Z^-s). Покажите, что эти группы изоморфны. Для этого обоснуйте взаимное однозначное соответствие а между элементами этих групп, такое что a-\-b=c (mod4) тогда и только тогда, когда а (а) • а (6) = а (с) (mod5).
2. Докажите теорему 31.14.
3. Покажите, что если р — простое число, а е — положительное целое число, то справедливо соотношение
Ф (ре) = Р®"1 (Р - 1) •
4. Покажите, что для любого числа n > 1 и для любого а € Z* функция /а : Z* —► Z*, определяемая соотношением /о (ж) = ах mod п, представляет собой перестановку Z*.
5. Перечислите все подгруппы групп Zg и ZJ3.
Решение модульных линейных уравнений
Теперь рассмотрим задачу о решении уравнений вида
ax = 6(modn),(31.21)
где а > 0 и п > 0. Эта задача имеет несколько приложений. Например, она используется как часть процедуры, предназначенной для поиска ключей для криптографической схемы RSA с открытым ключом, описанной в разделе 31.7. Предположим, что для заданных чисел а, b и п нужно найти все значения переменной х, которые удовлетворяют уравнению (31.21). Количество решений может быть равным нулю, единице, или быть больше единицы.
Обозначим через (а) подгруппу группы Zn, сгенерированную элементом а. Поскольку (а) = {а^ : х > 0} = {ах mod п : х > 0}, уравнение (31.21) имеет
решение тогда и только тогда, когда 6 € (а). В теореме Лагранжа (теорема 31.15) утверждается, что величина | (а) | должна быть делителем числа п. Сформулированная ниже теорема дает точную характеристику подгруппы (а).
Теорема 31.20. Для всех положительных целых чисел а и п из соотношения d = gcd (а, п) следует, что
(а) = (d) = {0, d, 2d,..., ((n/d) - 1) d} (31.22)
в Zn, так что | (а) | = n/d.
Доказательство. Для начала покажем, что d € (а). Напомним, что процедура EXTENDED_EuCLiD(a, п) выдает целые числа х' и у', удовлетворяющие уравнению ах* + пу' = d. Таким образом, выполняется соотношение ах' = d (modn), так что d е (а).
Поскольку d € (а), можно сделать вывод, что подгруппе (а) принадлежат все числа, кратные d, так как любое число, кратное числу, кратному а, является кратным числу а. Таким образом, подгруппа (а) содержит все элементы множества {0, d, 2d,..., ((n/d) — 1) d}, т.е. (d) С (а).
Теперь покажем, что (а) С (d). Если те (а), то для некоторого целого числа х выполняется равенство т = ах mod п, так что т = ах 4- пу для некоторого целого у. Однако d | а и d | п, поэтому d | т согласно уравнению (31.4). Таким образом, т е (d).
Объединяя эти результаты, получаем (а) = (d). Чтобы убедиться, что |(а)| = = n/d, заметим, что между числами 0 и п — 1 включительно, имеется ровно n/d чисел, кратных d. ■
Следствие 31.21. Уравнение ax=b (modn) разрешимо относительно неизвестной величины х тогда и только тогда, когда gcd (а, п) | Ь. I
Следствие 31.22. Уравнение ах = b (modn) либо имеет d = gcd (а, п) различных решений по модулю п, либо не имеет решений вовсе.
Доказательство. Если уравнение ах = b (modn) имеет решение, то b е (а). Согласно теореме 31.17, ord (а) = |(а)|, поэтому из следствия 31.18 и теоремы 31.20 вытекает, что последовательность аг mod п при г = 0,1,...,п — 1 периодична с периодом |(а)| = n/d. Если b е (а) то b появляется в последовательности аг mod п (г = 0,1,..., п — 1) ровно d раз, поскольку при возрастании индекса г от 0 до п — 1 блок элементов подгруппы (а) длиной n/d повторяется ровно d раз. Индексы х тех d позиций, для которых ах mod п = Ь, и являются решениями уравнения ах = b (modn). и
Теорема 31.23. Пусть d = gcd (а, п), и предположим, что равенство d = ах' + + by' выполняется для некоторых значений х* и у* (эти значения можно получить, например, с помощью процедуры EXTENDED_EUCLID). Если d | Ь, то одно из решений уравнения ах = b (modn) — значение жо = ж' (b/d) mod п.
Доказательство. Справедлива цепочка равенств
ахо = ах* (b/d) (modn) = d (b/d) (modn) = b (modn),
где второе тождество следует из того, что ах* = d (modn), так что xq является решением уравнения ах = b (modn).■
Теорема 31.24. Предположим, что уравнение ах = b (modn) имеет решение (т.е. d | b, где d = gcd (а, п)), и что жо — некоторое решение этого уравнения. Тогда это уравнение имеет ровно d различных решений по модулю п, и эти решения выражаются соотношением Хг = хо + г (n/d) при г = 0,1,..., d — 1.
Доказательство. Поскольку n/d > 0, и 0 ^ г (n/d) < п при г = 0,1,..., d — 1, все значения последовательности жо, Ж1,..., жа-i по модулю п различны. Поскольку жо — решение уравнения аж = b (modn), справедливо соотношение ажо mod п = Ь. Таким образом, при г = 0,1,..., d — 1 выполняются соотношения
аж, mod п = а (жо + гп/d) mod n =
= (ажо + агп/d) mod n =
= ажо mod n =
= b,
где третье равенство следует из того, что d | а, поэтому все ж, тоже являются решениями данного уравнения. В соответствии со следствием 31.22, всего имеется d различных решений, так что все рассматриваемые значения жо,жх,... ,ж^_1 должны быть таковыми.■
Теперь у нас имеется математический аппарат, необходимый для решения уравнения вида ах = b (modn), а ниже приведен алгоритм, который выводит все его решения. На вход алгоритма подаются произвольные положительные целые числа а и п, и произвольное целое число Ь.
Modular_Linear_Equation_Solver(u, b, п)
(d, X*, У*) «- EXTENDED_EUCLID(a, п)
if d | b
then жо ♦— x*(b/d) mod n
for z <— 0 to d — 1
do print (жо + г (n/d)) mod n
else print “Решений нет”
В качестве примера работы этой процедуры рассмотрим уравнение 14ж = = 30 (mod 100) (здесь а = 14, b = 30 и п = 100). Взывав в строке 1 процедуру Extended_Euclid, получаем набор выходных данных (d, ж, у) = (2, —7,1). Поскольку 2 | 30, выполняются строки 3-5. В строке 3 вычисляется значение жо = (—7) (15) mod 100 = 95. В цикле в строках 4-5 выводятся два решения уравнения, равные 95 и 45.
Опишем работу процедуры Modular_Linear_Equation_Solver. В строке 1 вычисляется величина d = gcd (а, п), а также величины ж' и г/, такие что d = аж'+ + пл/, что свидетельствует о том, что ж' удовлетворяет исходному уравнению. Если d не является делителем числа Ь, то уравнение решений не имеет согласно следствию 31.21. В строке 2 проверяется, делится ли b на d; если нет, то в строке 6 выводится сообщение об отсутствии решений заданного уравнения. В противном случае в строке 3, в соответствии с теоремой 31.23, вычисляется решение жо уравнения ax=b (modn). Если найдено одно решение, то, согласно теореме 31.24, остальные d — 1 решений можно получить путем добавления величин, кратных (n/d) по модулю п. Это и делается в цикле for в строках 4-5, где с шагом (n/d) по модулю п выводятся все d решений, начиная с жо-
В процедуре Modular_Linear_Equation_Solver выполняется O(lgn + + gcd(a, п)) арифметических операций, поскольку в процедуре Extended_Euclid выполняется О (lg п) арифметических операций, и при каждой итерации цикла for в строках 4-5 производится фиксированное количество арифметических операций.
Сформулированные ниже следствия теоремы 31.24 позволяют сделать уточнения, представляющие особый интерес.
Следствие 31.25. Пусть n > 1. Если gcd (a, n) = 1, то уравнение ax = b (modn) имеет единственное решение по модулю п. в
Значительный интерес представляет весьма распространенный случай b = 1. При этом искомое число ж является мультипликативным обратным (multiplicative inverse) к числу а по модулю п.
Следствие 31.26. Пусть n > 1. Если gcd (a, n) = 1, то уравнение ах = 1 (modn) обладает единственным решением по модулю п. В противном случае оно не имеет решений. ■
Следствие 31.26 позволяет использовать запись (a-1 mod п) для мультипликативных обратных чисел модулю п, где а и п — взаимно простые. Если gcd (a, n) = 1, то единственное решение уравнения ах = 1 (modn) — целое число ж, возвращаемое процедурой Extended_Euclid, поскольку из уравнения
gcd (a, n) = 1 = ах + пу
следует, что аж = 1 (modn). Таким образом, можно эффективно вычислить величину (a-1 mod п) с помощью процедуры Extended_Euclid.
Упражнения
1. Найдите все решения уравнения 35т = 10 (mod50).
2. Докажите, что из уравнения ах = oy(modn) следует соотношение х = у (modn), если gcd (a, n) = 1. Покажите, что условие gcd (a, n) = 1 является необходимым, приведя контрпример при gcd (a, n) > 1.
3. Рассмотрим приведенную ниже модификацию строки 3 в процедуре Modular_Linear_Equation_Solver:
3 then то x\b(d^ mod (n/d)
Будет ли работать такая видоизмененная процедура? Обоснуйте ответ.
* 31.4-4. Пусть / (т)=/о+/1Т-|F/t^ (modp) —полином степени t с коэффициентами ft, которые являются элементами множества Zp, где р — простое число. Говорят, что a€Zp — нуль (zero) полинома /, если / (a)=0 (modp). Докажите, что если а — нуль полинома /, то / (т) = (т — о) д (т) (modp) для некоторого полинома д (т) степени t — 1. Докажите методом математической индукции по t, что полином / (х) степени t может иметь не более t различных нулей по модулю простого числа р.
31.5 Китайская теорема об остатках
Приблизительно в 100 г. н.э. китайский математик Сунь-Цзы (Sun-Tsii) решил задачу поиска целых чисел х, которые при делении на 3, 5 и 7 дают остатки 2, 3 и 2 соответственно. Одно из таких решений — х = 23, а общее решение имеет вид 23 + 105А:, где к — произвольное целое число. “Китайская теорема об остатках” устанавливает соответствие между системой уравнений по взаимно простым модулям (например, 3, 5 и 7) и уравнением по модулю произведения этих чисел (в данном примере, 105).
Китайская теорема об остатках имеет два основных применения. Пусть целое число п раскладывается на попарно взаимно простые множители п = П1П2... пк. Во-первых, эта теорема играет роль описательной “структурной теоремы”. Согласно ей, структура Zn представляет собой декартово произведение Zni х Zn2 х х • • • х Znfc с покомпонентным сложением и умножением по модулю п, в г-м компоненте. Во-вторых, с помощью этого описания во многих случаях можно получить эффективные алгоритмы, поскольку работа с каждой из систем Zn< может оказаться эффективнее (в терминах битовых операций), чем работа по модулю п.
Теорема 31.27 (Китайская теорема об остатках). Пусть п = пуп^-•-rib где п^ — попарно взаимно простые числа. Рассмотрим соответствие
(31.23)(31.23)а *~* (oi, 02> • • •) Ofc),
(31.23)
(31.23)
где а € Zn, а, € Zn. и а, = а mod п< при г = 1,2,..., к. Тогда отображение (31.23) является взаимно однозначным соответствием (биекцией) между множеством Zn и декартовым произведением Zni х Zn2 х • • • х Znfc. Операции, которые выполняются над элементами множества Zn, можно эквивалентно выполнять над соответствующими кортежами из к величин путем независимого выполнения операций над каждым компонентом. Таким образом, если
а <-> (ai,a2,... ,Ufc) и b *-* (61,6г> • • • ^к),
то справедливы соотношения
(а + 6) mod п «-» ((ai + bi) mod ni,..., (а^ + bk) mod Пк),(31.24)
(a — b) mod n «-» ((ai — bi) mod ni,..., (a^ — bk) mod nfc),(31.25)
(ab) mod n <-> ((aibi) mod ni,..., (akbk) mod nk).(31.26)
Доказательство. Преобразование от одного представления к другому осуществляется довольно просто. Переход от а к (ai,a2... ,afc) очень простой, и для него требуется выполнить всего к операций деления. Вычислить элемент а по заданным входным элементам (ai, аг..., ак) несколько сложнее, и это делается следующим образом. Сначала определим величины mi = п/nt для г = 1,2,..., к. Другими словами, mi — произведение всех значений пу, отличных от п,: mi = = П1П2 • • • nj-iTii+i • • • Пк- Затем определим
Ci = mi ^т~х mod n,)(31.27)
для г = 1,2,..., к. Уравнение (31.27) всегда вполне определено: поскольку числа т, и тц взаимно простые (согласно теореме 31.6), следствие 31.26 гарантирует существование величины (т”х mod п^). Наконец, величину а можно вычислить как функцию величин (aj, аг..., а^ по формуле
а = (aiQ + агсг -IН акСк) (modn).(31.28)
Теперь покажем, что уравнение (31.28) обеспечивает справедливость соотношения а=сц (modn<) при г = 1,2,..., к. Заметим, что если j / г, то ту=0 (modn,), откуда следует, что су = ту = 0 (modn,). Заметим также, что из уравнения (31.27) следует ci = 1 (modn,). Таким образом, получаем красивое и полезное соответствие
<Х (0,0,...,0,1,0,...,0),
где все компоненты равны нулю, кроме г-го, который равен 1. Векторы с, в определенном смысле образуют базис представления. Поэтому для каждого г можно
записать
а = а^Сг (mod nJ =
= а^т^ (m”1 mod nJ (modnj = = at (modnj,
что и требовалось показать: представленный метод вычисления величины а по заданным значениям at дает результат, удовлетворяющий условию а = сц (modnj для г = 1,2,..., к. Это соответствие взаимно однозначное, поскольку преобразования можно производить в обоих направлениях. Наконец, уравнения (31.24)(31.26) непосредственно следуют из результатов упражнения 31.1-6, поскольку соотношение х mod гц = (ж mod n) mod nt справедливо при любом х и г = = 1,2,..., к.д
Сформулируем следствия, которые понадобятся нам в последующих разделах.
Следствие 31.28. Если ni, П2,..., п^ — попарно взаимно простые числа и п == 7ii7i2 • • • Пк, то для любого набора целых чисел ai, аг,... ак система уравненийх = сц (modnj
при г = 1,2,..., к имеет единственное решение по модулю п относительно неизвестной величины х.I
Следствие 31.29. Если ni, 712,..., rtk — попарно взаимно простые числа и п = = 711712 • • • пь то для любых целых чисел х и а соотношение
х = a (modnj
для г = 1,2,..., к выполняется тогда и только тогда, когда
:r = a(modn).и
В качестве примера применения китайской теоремы об остатках рассмотрим систему уравнений
а = 2 (mod5),а = 3 (modl3),
так что ai = 2, пу = m2 = 5, а2 = 3 и П2 = 7П1 = 13. Нам нужно вычислить величину a mod 65, так как п = 65. Поскольку 13—1 =2 (mod5) и 5-1=8 (mod!3), получаем
d = 13 (2 mod 5) = 26,
С2 = 5 (8 mod 13) = 40,
Таблица 31.4. Иллюстрация китайской теоремы об остатках при nj = 5 и пг = 13
0
1
2
3
4
5
6
7
8
9
10
11
12
0
0
40
15
55
30
5
45
20
60
35
10
50
25
1
26
1
41
16
56
31
6
46
21
61
36
11
51
2
52
27
2
42
17
57
32
7
47
22
62
37
12
3
13
53
28
3
43
18
58
33
8
48
23
63
38
4
39
14
54
29
4
44
19
59
34
9
49
24
64
и
а = (2 • 26 + 3 • 40) (mod65) = = (52 + 120) (mod65) = = 42 (mod65).
Данный пример проиллюстрирован в табл. 31.4. На пересечении строки г и столбца з приведено значение а по модулю 65, удовлетворяющее уравнениям (a mod 5) = г и (а mod 13) = j. Обратите внимание, что в ячейке на пересечении строки 0 и столбца 0 содержится значение 0. Поскольку с* = 26, сдвиг вниз вдоль столбца приводит к увеличению значения а на 26. Аналогично, то, что С2 = 40, означает, что сдвиг вправо вдоль строки приводит к увеличению значения а на 40. Увеличение значения а на 1 соответствует сдвигу по диагонали вниз и вправо.
Таким образом, операции по модулю п можно выполнять непосредственно, а можно перейти к представлению, в котором вычисления производятся отдельно по модулям п^ Эти вычисления полностью эквивалентны, и есть возможность выбирать более удобный способ.
Упражнения
1. Найдите все решения уравнений х = 4 (mod5) и х = 5 (modll).
2. Найдите все целые числа х, которые при делении на 9, 8 и 7 дают остатки 1, 2 и 3 соответственно.
3. Докажите, что при выполнении условий теоремы 31.27, если gcd (а, п) = = 1, то
(а-1 mod п) <-» ((aj"1 mod n*) , (а^1 mod ni),..., (а^1 mod n*;)).
4. Докажите, что при выполнении условий теоремы 31.27 количество корней уравнения / (ж) = 0 (modn), где / — произвольный полином, равно произведению количества корней уравнений / (ж) = 0 (modn*), / (ж) = = 0 (modn2),..., / (ж) = 0 (modn*;).
Степени элемента
Рассматривать последовательность
(31.29)(31.29)а0, а1, а2, а3
(31.29)
(31.29)
степеней числа а по модулю п, где а € Z*, так же естественно, как и последовательность чисел, кратных а по модулю п. Индексация начинается от нуля; нулевой член последовательности равен a0 mod n = 1, а г-й член — аг mod n = 1. Ниже в качестве примера приведены степени чисел 3 и 2 по модулю 7:
г0 1 2 3 4 5 6 7 8 91011•••
3* mod7132645132645•••
2* mod71 2 4 1 2 4 1 2 4 124•••
В этом разделе при помощи (а) будет обозначаться подгруппа группы Z*, сгенерированная элементом а путем повторного умножения, a ordn (а) (порядок а по модулю п) будет обозначать порядок элемента а в группе Z*. Например, в группе Zy (2) = (1,2,4), a ord7(2) = 3. Используя определение функции Эйлера ^>(п) в качестве размера группы Z* (см. упражнение 31.3), преобразуем следствие 31.19 с использованием обозначений Z*, чтобы получить теорему Эйлера и сформулировать ее для частного случая группы Z*, где р — простое число, что даст нам теорему Ферма.
Теорема 31.30 (Теорема Эйлера). При любом целом значении п > 1 для всех а € Z*
а^") = 1 (modn).-
Теорема 31.31 (Теорема Ферма). Если р — простое число, то для всех а 6 Z* ар-1 = 1 (modp).
Доказательство. Согласно уравнению (31.20), для простых чисел р функция Эйлера равна ф (р) = р — 1. ■
Это следствие применимо к каждому элементу группы Zp за исключением нуля, поскольку 0 ^ Z*. Однако для всех а€ Zp, если р — простое число, справедливо соотношение ар = a (modp).
Если ordn (д) = |Z* |, то каждый элемент группы Z* является степенью элемента д по модулю п, и говорят, что д — первообразный корень (primitive root), или генератор (generator) группы Z*. Например, 3 — первообразный корень по модулю 7, но 2 таковым не является. Если в группе Z* существует первообразный корень, то говорят, что она циклическая (cyclic). Доказательство сформулированной ниже теоремы, доказанной Нивеном (Niven) и Цукерманом (Zuckerman) [231], опускается.
Теорема 31.32. Значения n > 1, для которых группа Z* является циклической, равны 2, 4, ре и 2ре для всех простых чисел р > 2 и всех положительных целых показателях степени е. I
Если д — первообразный корень группы Z*, а а — произвольный элемент этой группы, то существует такой элемент z, что gz = a (modn). Это значение z называется дискретным логарифмом (discrete logarithm) или индексом (index) элемента а по модулю п по основанию д, и обозначается как indn,g (а).
Теорема 31.33 (Теорема о дискретном логарифме). Если д — первообразный корень группы Z*, то уравнение д1 = ду (modn) справедливо тогда и только тогда, когда выполняется соотношение х = у (mod</> (п)).
Доказательство. Сначала предположим, что х = у (mod</> (п)). Тогда существует такое целое значение к, для которого выполняется равенство х = у + кф (п). Таким образом получаем
д1 = дУ+кф(п) (modn) =
= 9й " {д^п^ (modn) =
= ду • lfc (modn) = = ду (modn),
где предпоследнее тождество следует из теоремы Эйлера. Теперь предположим, что дх = ду (modn). Поскольку последовательность степеней д генерирует все элементы подгруппы (д), и |(д)| = </>(п), то из следствия 31.18 вытекает, что последовательность степеней элемента д периодична с периодом ф(п\ Таким образом, если дх = ду (modn), то справедливо соотношение х = у (mod</> (п)). ।
Вычисление дискретных логарифмов иногда позволяет упростить рассуждения, касающиеся модульных уравнений. Это иллюстрирует доказательство приведенной ниже теоремы.
Теорема 31.34. Если р — нечетное простое число и е > 1, то уравнение
х2 = 1 (modpe) (31.30)
имеет всего два решения, а именно х = ±1.
Доказательство. Пусть п = ре. Из теоремы 31.32 следует, что группа Z* имеет первообразный корень д. Уравнение (31.30) можно переписать следующим образом:
(д^п,д(х)\ yindn.gtl) (mOdn) . (31.31)
С учетом того, что indni9 (1) = 0, из теоремы 31.33 следует, что уравнение (31.31) эквивалентно следующему:
2 • indnj9 (х) = 0 (mod</> (п)). (31.32)
Чтобы решить это уравнение относительно неизвестной величины indn,g (х), воспользуемся методами, изложенными в разделе 31.4. Согласно уравнению (31.19), имеем ф (n) = ре (1 — 1/р) = (р — 1)ре-1. Введя обозначение d = gcd (2, ф (п)) = = gcd (2, (р — 1)ре-1) = 2 и заметив, что d | 0, согласно теореме 31.24 выясняем, что уравнение (31.32) имеет ровно d = 2 решений. Итак, уравнение (31.32) имеет ровно 2 решения, которые, как и ожидалось, равны х = 1 и х = — 1. g
Число х называется нетривиальным квадратным корнем из 1 по модулю п (nontrivial square root of 1, modulo n), если справедливо уравнение x2 = 1 (modn), но x не эквивалентно ни одному из “тривиальных” квадратных корней по модулю п, — ни 1, ни —1. Например, 6 — нетривиальный квадратный корень 1 по модулю 35. Приведенное ниже следствие теоремы 31.34 будет использовано в разделе 31.8 при доказательстве корректности процедуры Миллера-Рабина (Miller-Rabin), в которой производится проверка простоты чисел.
Следствие 31.35. Если существует нетривиальный квадратный корень 1 по модулю п, то число п — составное.
Доказательство. Используем теорему, обратную теореме 31.34: если существует нетривиальный квадратный корень 1 по модулю п, то п не может быть нечетным простым числом или его степенью. Если х2 = 1 (mod2), то х = 1 (mod2), поэтому все квадратные корни 1 по модулю 2 тривиальны. Таким образом, п не может быть простым. Наконец, чтобы существовал нетривиальный квадратный корень 1, п должно удовлетворять неравенству n > 1. Поэтому число п должно быть составным. q
Возведение в степень путем последовательного возведения в квадрат
В теоретико-числовых вычислениях часто встречается операция возведения одного числа в степень по модулю другого числа, известная под названием модульное возведение в степень (modular exponentiation). Другими словами, нам нужно найти эффективный способ вычисления величины ab mod п, где а и b — неотрицательные целые числа, ап — положительное целое число. Операция модульного возведения в степень играет важную роль во многих подпрограммах, производящих проверку простоты чисел, а также в криптографической системе с открытым ключом RSA. Метод эффективного решения этой задачи, в котором
используется бинарное представление числа Ь, называется методом повторного возведения в квадрат (repeated squaring).
Пусть (Ьд,, bk-i,..., bi, bo) — бинарное представление числа b. (Длина бинарного представления равна k + 1, старший бит — Ьк, младший — Ьо.) Приведенная ниже процедура вычисляет ас mod п, где индекс с в ходе работы процедуры удваивается и увеличивается на 1, возрастая от 0 до Ь.
MODULAR_EXPONENTIATION(a, Ь, п)
с<- О
d«— 1•
Пусть (bk, bk~i,..., Ьо) — бинарное представление числа Ь
for г <— к downto О
do с <— 2с
d <— (d • d) mod n
if bj = 1
then c c + 1
d <— (d • a) mod n
return d
Важной частью процедуры, объясняющей ее название (“повторное возведение в степень”), является возведение в квадрат в строке 6, которое производится в каждой итерации. В качестве иллюстрации работы алгоритма рассмотрим пример а = 7, Ь = 560 и п = 561. В этом случае алгоритм вычисляет последовательность величин по модулю 561, приведенную в табл. 31.5. Использованная в алгоритме последовательность показателей степени содержится в строке таблицы с меткой с.
Значения переменной с на самом деле не нужны; они включены только для пояснения. В алгоритме поддерживается сформулированный ниже инвариант цикла, состоящий их двух частей.
Непосредственно перед каждой итерацией цикла for в строках 4-9 выполняются следующие условия.
Значение величины с совпадает с префиксной частью (bk,bk-i, ..., bi+i) бинарного представления числа Ь.
d = ас mod п.
Таблица 31.5. 7560 (mod561)
Работа процедуры
Modular_Exponentiation ПО
вычислению
г
9
8
7
6
5
4
3
2
1
0
bi
1
0
0
0
1
1
0
0
0
0
с
1
2
4
8
17
35
70
140
280
560
d
7
49
157
526
160
241
298
166
67
1
Используем этот инвариант цикла следующим образом.
Инициализация. Изначально г = к, поэтому префикс (&ь,1>£-1, • • • А-н) пуст, что соответствует значению с = 0. Кроме того, d = 1 = a0 mod п.
Сохранение. Обозначим через d nd' значения переменных с и d в конце итерации цикла for, которые в то же время являются значениями перед следующей итерацией. В каждой итерации эти значения обновляются с помощью операции d <— 2с (если Ьг = 0) или с' <— 2с + 1 (если 6, = 1), так что перед следующей итерацией значение с оказывается корректным. Если bi = 0, то
d* = d2 mod n = (ac)2 mod n = a2c mod n = ac mod n.
Если же bi = 1, то
d' = dPa mod n = (ac)2 a mod n = a2c+1 mod n = ac' mod n.
В каждом случае перед очередной итерацией выполняется равенство d = = ас mod п.
Завершение. В момент завершения г = — 1. Таким образом, с = Ь, поскольку значение этой переменной равно префиксу {bk,bk-i,..., bi,t>o) бинарного представления Ь. Следовательно, d = ас mod п = ab mod п.
Если входные числа а, b и п являются /3-битовыми, то общее количество необходимых арифметических операций равно О ((3), а общее количество необходимых битовых операций — О (/З3).
Упражнения
1. Составьте таблицу, в которой был бы показан порядок каждого элемента группы Z*P Выберите наименьший первообразный корень д и вычислите таблицу значений indniP (ж) для всех ж 6 Z^.
2. Разработайте алгоритм модульного возведения в степень, в котором биты числа b проверяются не слева направо, а справа налево.
3. Считая величину ф (п) известной, объясните, как с помощью процедуры Modular_Exponentiation вычислить величину a"*1 mod п для любого о € Z^.
Криптосистема с открытым ключом RSA
Криптографическую систему с открытым ключом можно использовать для шифровки сообщений, которыми обмениваются два партнера, чтобы посторонний, перехвативший зашифрованное сообщение, не смог его расшифровать. Кроме того, криптографическая система с открытым ключом позволяет партнерам
добавлять в конце электронных сообщений “цифровые подписи”. Такая подпись представляет собой электронную версию подписи, поставленной от руки на бумажном документе. Любой без труда сможет ее проверить, но подделать не сможет никто. Кроме того, при изменении хотя бы одного бита в электронном сообщении оно теряет свою достоверность. Таким образом, цифровая подпись не только позволяет идентифицировать автора сообщения, но и обеспечивает целостность его содержимого. Она является прекрасным инструментом для подписанных с помощью электронных средств деловых контрактов, электронных чеков, оформляемых в электронном виде заказов на поставку и других электронных документов, которые необходимо идентифицировать.
Криптографическая система с открытым ключом RSA основана на драматическом различии в том, насколько легко находить большие простые числа и насколько сложно раскладывать на множители произведение двух больших простых чисел. В разделе 31.8 описана эффективная процедура поиска больших простых чисел, а в разделе 31.9 обсуждается проблема разложения больших целых чисел на множители.
Криптографические системы с открытым ключом
В криптографической системе с открытым ключом каждый участник располагает как открытым ключом (public key), так и секретным ключом (secret key). Каждый ключ — это часть информации. Например, в криптографической системе RSA каждый ключ состоит из пары целых чисел. Пусть в процессе обмена сообщениями принимают участие “Алиса” и “Борис”. Обозначим открытый и секретный ключи Алисы через Рд и 5д, а Бориса — через Рв и 8 в-
Каждый участник создает свой открытый и секретный ключ самостоятельно. Секретный ключ каждый из них держит в секрете, а открытые ключи можно сообщать кому угодно или даже публиковать их. Фактически, часто удобно предполагать, что открытый ключ каждого пользователя доступен в каталоге общего пользования, поэтому любой участник общения может легко получить открытый ключ любого другого участника.
Открытый и секретный ключи задают функции, применимые к любому сообщению. Обозначим через Р множество допустимых сообщений. Например, Р может быть множеством битовых последовательностей конечной длины. В простейшей первоначальной формулировке криптографии с открытым ключом требуется, чтобы открытый и секретный ключи задавали взаимно однозначную функцию, отображающую множество Р само на себя. Обозначим функцию, соответствующую открытому ключу Алисы Рд, через Рд (), а функцию, соответствующую ее секретному ключу 8д — через 8д (). Таким образом, функции Рд () и 8д () являются перестановками множества Р. Предполагается, что существует эффек-
тивный алгоритм вычисления функций Рд () и 8д () по заданным ключам Рд и 8д.
Открытый и секретный ключи каждого участника обмена сообщениями образуют “согласованную пару” в том смысле, что они являются взаимно обратными. Другими словами, для любого сообщения М € Т> выполняются соотношения
М = 5а1Ра№(31.33)
М = Рл(5л(М)).(31.34)
Произведя последовательное преобразование сообщения М с помощью ключей Ра и Sa (в любом порядке), снова получим сообщение М.
В криптографической системе с открытым ключом существенное обстоятельство заключается в том, чтобы никто, кроме Алисы, не мог вычислить функцию Sa () за приемлемое с практической точки зрения время. Секретность сообщений электронной почты, зашифрованных и отправленных Алисе, а также подлинность цифровых подписей Алисы основывается на предположении о том, что только Алиса способна вычислить функцию Sa 0- Это требование является причиной, по которой Алиса должна держать в секрете ключ Sa- Если бы она этого не делала, то ее ключ потерял бы секретность и криптографическая система не смогла бы предоставить Алисе упомянутые выше возможности. Предположение о том, что только Алиса может вычислить функцию Sa (), должно соблюдаться даже несмотря на то, что каждому известен ключ Ра и каждый может эффективно вычислить функцию Ра (), обратную к функции Sa ()• Основная сложность, возникающая при разработке работоспособной криптографической системы с открытым ключом, заключается в создании системы, в которой можно легко найти преобразование Ра (), но невозможно (или очень сложно) вычислить соответствующее обратное преобразование Sa ()•
В криптографической системе с открытым ключом кодирование производится так, как показано на рис. 31.1. Предположим, Борис хочет отправить Алисе сообщение М, зашифрованное таким образом, чтобы для постороннего оно выглядело как бессмысленный набор символов. Сценарий отправки сообщения можно представить следующим образом.
Борис получает открытый ключ Алисы Ра (из каталога общего пользования или каталога Алисы).
Борис производит вычисления С = Ра (М), результатом которых является зашифрованный текст (ciphertext), соответствующий сообщению М, и отправляет Алисе сообщение С.
Получив зашифрованное сообщение С, Алиса применяет свой секретный ключ Sa, чтобы преобразовать его в исходное сообщение: М = Sa (С\ Поскольку функции Sa () и Ра () являются обратными по отношению друг к другу, Алиса имеет возможность получить сообщение М, располагая сообщением С.
БорисШифрованиеБорисШифрованиеКоммуникационный каналКоммуникационный каналПерехват сообщенияПерехват сообщенияАлиса.Алиса.ДеошфровкаДеошфровкаММ
Борис
Шифрование
Борис
Шифрование
Коммуникационный канал
Коммуникационный канал
Перехват сообщения
Перехват сообщения
Алиса.
Алиса.
Деошфровка
Деошфровка
М
М
Рис. 31.1. Процесс шифрования в схеме с открытым ключом
Поскольку только Алиса может вычислять функцию Sa (), она — единственная, кто способен расшифровать сообщение С. Шифрование сообщения М с помощью функции Рд () защищает его содержимое от всех, кроме Алисы.
Реализовать цифровые подписи в сформулированной модели криптографической системы с открытым ключом так же просто. (Заметим, что существуют другие подходы к проблеме создания цифровых подписей, которые здесь не рассматриваются.) Предположим, что Алисе нужно отправить Борису ответ М', подтвержденный цифровой подписью. Сценарий создания цифровой подписи проиллюстрирован на рис. 31.2.
Алиса создает цифровую подпись (digital signature) о для сообщения М* с помощью своего цифрового ключа Sa и уравнения а = Sa (М').
Алиса отправляет Борису пару (М', ст), состоящую из сообщения и подписи.
Получив пару (М',ст), Борис с помощью открытого ключа Алисы может проверить, что автор сообщения М* — действительно Алиса. (Сообщение М' может содержать имя Алисы, чтобы Борис знал, чей открытый ключ использовать.) Для проверки используется уравнение М' = Ра (ст). Если уравнение выполняется, можно смело делать вывод, что сообщение М' действительно подписано Алисой. В противном случае Борис с полным основанием сможет заподозрить, что сообщение М' или цифровая подпись ст были искажены в процессе передачи, либо что пара (М', ст) — попытка подлога.
Поскольку цифровая подпись обеспечивает как аутентификацию автора сообщения, так и подтверждение целостности содержимого подписанного сообщения, она служит аналогом подписи, сделанной от руки в конце рукописного документа. Важное свойство цифровой подписи заключается в том, что ее может проверить каждый, кто имеет доступ к открытому ключу ее автора. Один из участников обмена сообщениями после проверки подлинности цифровой подписи может передать подписанное сообщение еще кому-то, кто тоже в состоянии проверить эту подпись. Например, Алиса может переслать Борису в сообщении электронный чек. После того как Борис проверит подпись Алисы на чеке, он может передать
АлисаАлисаБорисБорисПодписьПодписьПроверкаПроверкаКоммуникационный каналКоммуникационный каналРис. 31.2. Цифровые подписи в системе с открытым ключомРис. 31.2. Цифровые подписи в системе с открытым ключом
Алиса
Алиса
Борис
Борис
Подпись
Подпись
Проверка
Проверка
Коммуникационный канал
Коммуникационный канал
Рис. 31.2. Цифровые подписи в системе с открытым ключом
Рис. 31.2. Цифровые подписи в системе с открытым ключом
его в свой банк, служащие которого также имеют возможность проверить подпись и осуществить соответствующую денежную операцию.
Заметим, что подписанное сообщение не зашифровано; оно пересылается в исходном виде и его содержимое не защищено. Путем совместного применения приведенных выше схем можно создавать сообщения, которые будут и зашифрованы, и содержать цифровую подпись. Для этого автор сначала должен добавить к сообщению свою цифровую подпись, а затем — зашифровать получившуюся в результате пару (состоящую из самого сообщения и подписи к нему) с помощью открытого ключа, принадлежащего получателю. Получатель расшифровывает полученное сообщение с помощью своего секретного ключа. Таким образом он получит исходное сообщение и цифровую подпись отправителя, которую он затем сможет проверить с помощью соответствующего открытого ключа. Если проводить аналогию с пересылкой обычных бумажных документов, то этот процесс похож на то, как если бы автор документа поставил под ним свою подпись, а затем положил его в бумажный конверт и запечатал, с тем чтобы конверт был распечатан только тем человеком, кому адресовано сообщение.
Криптографическая система RSA
В криптографической системе с открытым ключом RSA (RSA public-key cryptosystem) участники обмена сообщениями создают свои открытые и секретные ключи в соответствии с описанной ниже процедурой.
Случайным образом выбираются два больших (скажем, длиной 512 битов) простых числа р и q, причем р / q.
Вычисляется число п = pq.
Выбирается маленькое нечетное целое число е, взаимно простое со значением функции ф(п) (которое, согласно уравнению (31.19), равно (р — 1) х х (9 - 1))
Вычисляется число d, мультипликативное обратное по модулю ф(п) к е. (В соответствии со следствием 31.26, такое число существует и является
единственным. Чтобы вычислить d по заданным ф (п) и е, можно воспользоваться методом, описанным в разделе 31.4.)
Пара Р = (е, п) публикуется в качестве открытого ключа RSA (RSA pubic key).
Пара S = (d, п), играющая роль секретного ключа RSA (RSA secret key), сохраняется в секрете.
В этой схеме в роли области D выступает множество Zn. Преобразование сообщения М, связанное с открытым ключом Р = (е, п), имеет вид
Р (М) = Ме (modn),(31.35)
а преобразование зашифрованного текста С, связанное с секретным ключом 5 = = (d, п), выполняется как
S (С) = Cd (modn).(31.36)
Эти уравнения можно использовать для создания как зашифрованных сообщений, так и цифровых подписей. Чтобы создать подпись, ее автор применяет свой секретный ключ не к зашифрованному, а к подписываемому сообщению. Для проверки подписи открытый ключ подписавшегося применяется именно к подписи, а не для шифровки сообщения.
Операции с открытым и секретным ключами можно реализовать с помощью процедуры MODULAR_EXPONENTIATION, описанной в разделе 31.6. Чтобы проанализировать время выполнения этих операций, предположим, что открытый ключ (е, п) и секретный ключ (d, п) удовлетворяют соотношениям 1g е = О (1), lg d ^ ^ и lg п ^ 0. Тогда в процессе применения открытого ключа выполняется 0(1) умножений по модулю и используется О (Д2) битовых операций. В ходе применения секретного ключа выполняется О (/3) умножений по модулю и используется О (/З3) битовых операций.
Теорема 31.36 (Корректность схемы RSA). Уравнения (31.35) и (31.36), на которых основана схема RSA, определяют взаимно обратные преобразования множества Zn, удовлетворяющие уравнениям (31.33) и (31.34).
Доказательство. Из уравнений (31.35) и (31.36) для любого М Е Zn получаем, что
Р (8 (М)) = 5 (Р (М)) = Med (modn).
Поскольку числа end являются взаимно обратные относительно умножения по модулю ф (п) = (р - 1) (q - 1),
ed = 1 + k (р — 1) (q — 1)
при некотором целом к. Тогда, если М^О (modp), можно записать
Med = М ^-^^ (modp) == M(l)fc(9“1} (modp) == М (modp),
где второе тождество следует из теоремы 31.31. Если же М = 0 (modp), то Med = = М (modp). Таким образом, при всех М выполняется равенство
М^ = М (modp).
Аналогично можно показать, что для всех М
Med = М (modg).
Таким образом, согласно следствию 31.29 из Китайской теоремы об остатках, для всех М выполняется равенство
Med = М (modn).—
Безопасность криптографической системы RSA в значительной мере основана на сложностях, связанных с разложением больших целых чисел на множители. Если бы кто-нибудь посторонний мог разложить на множители элемент открытого ключа п, то он смог бы использовать множители р и q точно так же, как это сделал создатель открытого ключа, и получить таким образом секретный ключ из открытого. Поэтому если бы разложение больших целых чисел было простой задачей, то так же легко было бы взломать криптографическую систему RSA. Обратное утверждение, которое состоит в том, что сложность взлома схемы RSA обусловлена сложностью разложения больших целых чисел на множители, не доказано. Однако на протяжении двадцатилетних исследований не удалось найти более простой способ взлома, чем тот, при котором необходимо разложить на множители число п. В разделе 31.9 будет показано, что задача разложения больших целых чисел на множители оказалась на удивление сложной. Путем случайного выбора и перемножения друг на друга двух 512-битовых простых чисел можно создать открытый ключ, который не удается “разбить” за приемлемое время с помощью имеющихся в наличии технологий. Если в разработке теоретикочисловых алгоритмов не произойдет фундаментального прорыва, и если реализовывать криптографическую схему RSA, придерживаясь сформулированных ниже рекомендаций, то эта схема способна обеспечить высокую степень надежности.
Однако для достижения безопасности в криптографической схеме RSA желательно работать с целыми числами, длина которых достигает нескольких сотен битов. Это позволит уберечься от возможных достижений в искусстве разложения
чисел на множители. Во время написания этой книги (2001 год) в RSA-модулях обычно использовались числа, длина которых находилась в пределах от 768 до 2048 битов. Для создания таких модулей необходимо иметь возможность эффективно находить большие простые числа. Этой задаче посвящен раздел 31.8.
Для повышения эффективности схема RSA часто используется в “гибридном”, или “управляемом ключом” режиме совместно с криптографическими системами, не обладающими открытым ключом. В такой системе ключи, предназначенные для зашифровки и расшифровки, идентичны. Если Алисе нужно в приватном порядке отправить Борису длинное сообщение М, она выбирает случайный ключ К, предназначенный для производительной криптографической системы без открытого ключа, и шифрует с его помощью сообщение М. В результате получается зашифрованное сообщение С, длина которого совпадает с длиной сообщения М. При этом ключ К довольно короткий. Затем Алиса шифрует ключ К с помощью открытого RSA-ключа Бориса. Поскольку ключ К короткий, величина Рв (К) вычисляется быстро (намного быстрее, чем величина Рв (М)У После этого Алиса пересылает пару (С, Рв (К)) Борису, который расшифровывает часть Рв ^К\ получая в результате ключ К, позволяющий расшифровать сообщение С. В результате этой процедуры Борис получит исходное сообщение М.
Аналогичный гибридный подход часто используется для эффективной генерации цифровых подписей. В этом подходе схема RSA применяется совместно с открытой устойчивой к коллизиям хзш-функцией h (collision-resistant hash function h) — функцией, которую легко вычислить, но для которой нельзя вычислительными средствами найти пару сообщений М и М', удовлетворяющих условию h(M) = h^M'Y Величина h(M) представляет собой короткий (скажем, 160-битовый) “отпечаток” сообщения М. Если Алиса захочет подписать сообщение М, то она сначала применяет функцию h к сообщению М, получив в результате отпечаток h (М), который она затем шифрует с помощью своего секретного ключа. После этого она отправляет Борису пару (М, 5д (h(M))) в качестве подписанной версии сообщения М. Чтобы проверить подпись, Борис может вычислить величину h (М) и убедиться, что она совпадает с величиной, полученной в результате применения ключа Рд к полученной компоненте 5д (h (М)). Поскольку никто не может создать двух сообщений с одинаковыми отпечатками, невозможно вычислительными средствами изменить подписанное сообщение и в то же время сохранить достоверность подписи.
Наконец, заметим, что распространение открытых ключей значительно облегчается благодаря сертификатам (certificates). Например, предположим, что существует “авторитетный источник” Т, чей открытый ключ широко известен. Алиса может получить от Т подписанное сообщение (свой сертификат), в котором утверждается, что Рд — открытый ключ Алисы. Этот сертификат является “самоаутентифицируемым”, поскольку ключ Ру известен всем. В свое подписанное сообщение Алиса может включить свой сертификат, чтобы получатель сразу
имел в распоряжении ее открытый ключ и смог проверить ее подпись. Поскольку ключ Алисы подписан источником Г, получатель убеждается, что ключ Алисы действительно принадлежит ей.
Упражнения
1. Рассмотрим набор значений р = 11, q = 29, п = 312 и е = 3, образующих ключи в системе RSA. Какое значение d следует использовать в секретном ключе? Как выглядит результат шифровки сообщения М = = 100?
2. Докажите, что если показатель степени е в открытом ключе Алисы ра
вен 3, и если постороннему известен показатель степени d секретного ключа Алисы, где 0 < d < ф (п), то он может разложить на множители входящее в состав ключа число п в течение времени, которое выражается полиномиальной функцией от количества битов в числе п. (Читателю может быть интересен тот факт (хотя в упражнении не требуется его доказать), что этот результат остается истинным даже без условия е = 3. Дополнительные сведения можно почерпнуть из статьи Миллера (Miller)
[221].)
*31.7-3. Докажите, что схема RSA является мультипликативной в том смысле,
что
Ра (Mi) РА (М2) = РА (MiM2) (modn).
Докажите с помощью этого факта, что если злоумышленник располагает процедурой, способной эффективно расшифровать 1 процент зашифрованных с помощью ключа Ра сообщений из Zn, то он может воспользоваться вероятностным алгоритмом, чтобы с высокой степенью вероятности расшифровывать все сообщения, зашифрованные с помощью ключа Ра-
*31.8*31.8Проверка простотыПроверка простоты
*31.8
*31.8
Проверка простоты
Проверка простоты
В этом разделе рассматривается задача поиска больших простых чисел. Начнем с того, что обсудим плотность распределения простых чисел на числовой оси, после чего перейдем к исследованию правдоподобного (но неполного) подхода к проверке простоты чисел. Затем будет представлен эффективный рандомизированный тест простоты, предложенный Миллером (Miller) и Рабином (Rabin).
Плотность распределения простых чисел
Во многих приложениях (например, в криптографии) возникает необходимость поиска больших “случайных” простых чисел. К счастью, большие простые числа встречаются достаточно часто, поэтому для поиска простого числа путем проверки случайных целых чисел соответствующего размера потребуется не так уж много времени. Функция распределения простых чисел (prime distribution function) 7г(п) определяется как количество простых чисел, не превышающих числа п. Например, тг (10) = 4, поскольку количество простых чисел, не превышающих 10, равно 4 (это числа 2, 3, 5 и 7). В теореме о распределении простых чисел приводится полезное приближение функции тг (п).
Теорема 31.37 (Теорема о простых числах).
п—>ооп/1пп В
Приближенная оценка n/lnn дает достаточно точную оценку функции тг(п) даже при малых п. Например, при п = 109, когда тг (п) = 50 847 534, a n/lnn to to 48 254 942, отклонение не превышает 6%. (Для специалиста в области теории чисел 109 — число небольшое.)
С помощью теоремы о простых числах вероятность того, что случайным образом выбранное число п окажется простым, можно оценить как 1/1пп. Таким образом, чтобы найти простое число, длина которого совпадает с длиной числа п, понадобится проверить приблизительно Inn целых чисел, выбрав их случайным образом в окрестности числа п. Например, чтобы найти 512-битовое простое число, понадобится перебрать приблизительно In 2512 to 355 случайным образом выбранных 512-битовых чисел, проверяя их простоту. (Ограничившись только нечетными числами, это количество можно уменьшить в два раза.)
В оставшейся части этого раздела рассматривается задача по определению того, является ли простым большое целое число п. Для удобства обозначений предположим, что разложение числа п на простые множители имеет вид
п = (31.37)
где г ^ 1, р^рг,... ,рг — простые множители числа n, a ei, в2,..., еТ — положительные целые числа. Конечно же, число п является простым тогда и только тогда, когда г = 1 и ei = 1.
Одним из элементарных подходов к задаче проверки на простоту является пробное деление (trial division). При этом предпринимается попытка нацело разделить п на все целые числа 2,3,..., |_V^J- (Здесь также можно опустить четные числа, большие 2.) Легко понять, что число п простое тогда и только тогда, когда оно не делится ни на один из пробных множителей. Если предположить, что
для обработки каждого пробного делителя требуется фиксированное время, то в худшем случае время решения задачи при таком подходе будет равно 0 (V™), а это означает, что оно выражается экспоненциальной функцией от длины числа п. (Напомним, что если бинарное представление числа п имеет длину 0, то 0 = fig (n + 1)"], поэтому Vn = 0 (2^/2).) Таким образом, пробное деление хорошо работает только при условии, что число п очень мало, или если окажется, что у него есть маленький простой делитель. Преимущество этого метода заключается в том, что он не только позволяет определить, является ли число п простым, но и находит один из его простых делителей, если оно составное.
В этом разделе нас будет интересовать только тот факт, является ли заданное число п простым; если оно составное, мы не станем искать его простые множители. Как будет показано в разделе 31.9, разложение чисел на простые множители вычислительными средствами — дорогостоящая операция. Возможно, может показаться странным, что намного легче определить, является ли заданное число п простым, чем разложить на простые множители составное число.
Проверка псевдопростых чисел
Рассмотрим “почти работающий” метод проверки простых чисел, который оказывается вполне пригодным для многих практических приложений. Позже будет представлена усовершенствованная версия этого метода, устраняющая его небольшой дефект. Обозначим через Z+ ненулевые элементы множества Zn;
Z+ = {l,2,...,n-l).
Если п — простое, то Z+ = Z*.
Говорят, что число п псевдопростое по основанию а (base-а pseudoprime), если оно составное и
a^^Hmodn). (31.38)
Из теоремы Ферма (теорема 31.31) следует, что если п — простое, то оно удовлетворяет уравнению (31.38) для каждого элемента а множества Z+. Таким образом, если удается найти какой-нибудь элемент а 6 Z+, при котором п не удовлетворят уравнению (31.38), то п — определенно составное. Удивительно, что почти справедливо обратное утверждение, поэтому этот критерий является почти идеальным тестом на простоту. Мы проверяем, удовлетворяет ли число п уравнению (31.38) при а = 2. Если это не так, то делается вывод, что п — составное. В противном случае можно выдвинуть гипотезу, что п — простое (в то время как фактически известно лишь то, что оно либо простое, либо псевдопростое по основанию 2).
Приведенная ниже процедура проверяет число п на простоту описанным способом. В ней используется процедура Modular_Exponentiation, описанная в разделе 31.6. Предполагается, что входное значение п — нечетное целое число, большее 2.
PSEUDOPRIME(n)
1 if Modular_Exponentiation(2, п - 1, n) ^1 (mod n)
2323> Определенноt> Предположительно> Определенноt> Предположительноthen return Составное else return Простое
2
3
2
3
> Определенно
t> Предположительно
> Определенно
t> Предположительно
Эта процедура может допускать ошибки, но только одного типа. Если процедура говорит, что п — составное, то это всегда верно. Если же она утверждает, что п — простое, то это заключение ошибочно только тогда, когда п — псевдопростое по основанию 2.
Как часто процедура допускает ошибки? На удивление редко. Всего имеется лишь 22 значения п, меньших 10000, для которых ответ будет неправильным. Первые четыре таких значения равны 341, 561, 654 и 1105. Можно показать, что вероятность того, что в этой процедуре будет допущена ошибка для случайно выбранного /3-битового числа, стремится к нулю при /3 —»■ оо. Воспользовавшись результатами статьи Померанца (Pomerance) [244], содержащей более точную оценку количества псевдопростых чисел фиксированного размера по основанию 2, можно заключить, что случайным образом выбранное 512-битовое число, названное приведенной выше процедурой простым, окажется псевдопро- стым по основанию 2 в менее чем одном случае из 1020, а случайным образом выбранное 1024-битовое число, названное простым, окажется псевдопростым по основанию 2 в менее чем одном случае из 1041. Поэтому если достаточно найти большое простое число для каких-то приложений, то для всех практических целей почти никогда не возникнет ошибки, если большие числа подбираются случайным образом до тех пор, пока для одного из них процедура Pseudoprime выдаст результат Простое. Но если числа, которые проверяются на простоту, подбираются не случайным образом, необходим более качественный тест. Как станет ясно через некоторое время, немного сообразительности и рандомизация позволят создать программу проверки простых чисел, которая будет хорошо работать для любых входных данных.
К сожалению, путем проверки уравнения (31.38) не удается полностью исключить все ошибки, возникающие из-за псевдопростых чисел по другим основаниям, например, при а = 3, поскольку существуют составные числа п, удовлетворяющие уравнению (31.38) при всех a€Z*. Эти числа известны как числа Кармайкла (Carmichael numbers). Первые три числа Кармайкла — 561, 1105 и 1729. Числа Кармайкла встречаются крайне редко, например, имеется всего 255 таких чисел, меньших 100 000 000. Понять, почему эти числа так редко встречаются, поможет упражнение 31.8-2.
В следующем подразделе будет показано, как улучшить тест простоты таким образом, чтобы в нем не возникали ошибки из-за чисел Кармайкла.
Рандомизированный тест простоты Миллера-Рабина
Тест простоты Миллера-Рабина позволяет решить проблемы, возникающие в простом тесте Pseudoprime. Этого удается достичь за счет двух модификаций, описанных ниже.
В этом тесте производится проверка не одного, а нескольких случайным образом выбранных значений а.
В процессе вычисления каждой степени по модулю в тесте проверяется, обнаружен ли нетривиальный квадратный корень из 1 по модулю п в ходе последней серии возведений в квадрат. Если это так, то процедура останавливает свою работу и выдает сообщение СОСТАВНОЕ. Правильность выявления составных чисел таким способом подтверждается следствием 31.35.
Ниже приведен псевдокод теста простоты Миллера-Рабина. На его вход подается проверяемое нечетное число п > 2 и значение s, — количество случайным образом выбранных значений из множества Z+, относительно которых проверяется простота. В этом коде используется генератор случайных чисел Random, описанный в главе 5: процедура RANDOM(l,n — 1) возвращает случайное целое число, удовлетворяющее неравенству 1 ^ а ^ п — 1. В коде используется вспомогательная процедура Witness. Процедура Witness(c, п) выдает значение true тогда и только тогда, когда значение а “свидетельствует” о том, что число п составное, т.е. если с помощью а можно доказать (способом, который станет понятен через некоторое время), что п — составное. Тест Witness(c, п) — это более эффективное обобщение теста Pseudoprime, основанного на проверке соотношения
Qn-i (modn)
при a = 2. Сначала представим и обоснуем схему работы процедуры Witness, а затем покажем, как она используется в тесте простоты Миллера-Рабина. Пусть п — 1 = 2*«, где t ^ 1, а и — нечетное; т.е. бинарное представление значения п — 1 имеет вид бинарного представления нечетного числа и, после которого следует ровно t нулей. Таким образом, выполняется соотношение an-1 = (au)2‘ (modn), поэтому чтобы вычислить величину a”-1 mod п, можно сначала вычислить величину аи mod п, а затем последовательно возвести ее в квадрат t раз.
WlTNESS(a, п)
Пусть п — 1 = 21и, где t > 1 и и- нечетное
Жо *- MODULAR_EXPONENTIATION(a, 'LL, п)
for г <— 1 to t
do Xi «— х^_г mod n
if Xi = 1 и Xi-i / 1 и Xi-i / n — 1
then return true
ifxt/l
then return TRUE
return FALSE
В псевдокоде процедуры Witness вычисляется величина a”"1 mod п. Для этого сначала в строке 2 вычисляется значение жо = «“ mod п, а затем результат последовательно t раз возводится в квадрат в цикле for в строках 3-6. Применив индукцию по г, можно сделать вывод, что последовательность вычисленных значений жо, ti, • • •, Ж( удовлетворяет уравнению ж,=aYu (modn) при г = 0,1,..., t. В частности, ж<=ап-1 (modn). Однако этот цикл может закончиться раньше, если после очередного возведения в квадрат в строке 4 в строках 5-6 будет обнаружен нетривиальный квадратный корень 1. В этом случае работа алгоритма завершается, и он возвращает значение true. Это же значение возвращается и в строках 7-8, если значение, вычисленное из соотношения Ж( = an-1 (modn), не равно 1. Это именно тот случай, когда процедура Pseudoprime выдает сообщение Составное. Если в строках 6 или 8 не возвращается значение true, в строке 9 возвращается значение false.
Теперь покажем, что если процедура Witness(u, п) возвращает значение TRUE, то с помощью величины а можно доказать, что число п — составное.
Если процедура WlTNESS(a,n) возвращает значение TRUE в строке 8, то она обнаружила, что справедливо соотношение ж( = an-1 mod n / 1. Однако если число п — простое, то для всех a € Z+ выполняется равенство а”"1 = 1 (modn) согласно теореме Эйлера (теорема 31.31). Поэтому п не может быть простым, и неравенство an-1 mod n / 1 служит доказательством этого факта.
Если процедура WiTNESS(a, п) возвращает значение true в строке 6, то она обнаружила, что значение ж^-! является нетривиальным квадратным корнем ж, = = 1 по модулю п, поскольку выполняется соотношение ж,-1 ^ ± 1 (modn), но Xi = х^_г = 1 (modn). В следствии 31.35 утверждается, что нетривиальный квадратный корень из 1 по модулю п может существовать лишь тогда, когда п — составное. Таким образом, тот факт, что Жг-i — нетривиальный квадратный корень из 1 по модулю п, доказывает, что п — составное.
На этом доказательство корректности процедуры Witness завершено. Если при вызове процедуры WiTNESS(a, п) выдается значение true, то п — гарантированно составное; доказательство этого факта легко провести, пользуясь значениями а и п.
Сейчас будет представлено краткое альтернативное описание поведения алгоритма Witness как функции от последовательности X = (жо,Ж1,..., ж(). Это описание окажется полезным впоследствии при анализе эффективности работы проверки простоты Миллера-Рабина. Заметим, что если при некоторых значениях 0 ^ г < t выполняется равенство Xi = 1, то остальная часть последовательности в процедуре Witness может не вычисляться. В таком случае все значения
х<+1,Хг4-2,... ,$t равны 1, и мы считаем, что в последовательности X на этих позициях находятся единицы. Имеем четыре различных случая.
X = (...,d), где d / 1: последовательность X не заканчивается единицей. В этом случае возвращается значение TRUE; о том, что п — составное, свидетельствует значение а (согласно теореме Ферма).
X = (1,1,..., 1): последовательность X состоит из одних единиц. В этом случае возвращается значение false; значение а не свидетельствует о том, что п — составное.
X = (..., — 1,1,..., 1): последовательность X оканчивается единицей, и последнее отличное от единицы значение равно — 1. В этом случае возвращается значение false; значение а не свидетельствует о том, что п — составное.
X = (..., d, 1,..., 1), где d / ±1: последовательность X оканчивается единицей, но последнее отличное от единицы значение не равно — 1. В этом случае возвращается значение TRUE; значение а свидетельствует о том, что п — составное, поскольку d — нетривиальный квадратный корень 1.
Теперь рассмотрим тест Миллера-Рабина на простоту, основанный на применении процедуры Witness. Как и раньше, предполагается, что п — нечетное целое число, большее 2.
MlLLER_RABIN(n, S)
for j «— 1 to s
do a <- Random(1, n - 1)
if WiTNESS(a, n)
then return Составное > Наверняка.
return Простое> Почти наверняка.
В процедуре Miller_Rabin реализован вероятностный поиск доказательства того факта, что число п — составное. В основном цикле (который начинается в строке 1) выбирается s случайных значений величины а из множества Z+ (строка 2). Если одно из этих значений свидетельствует о том, что число п — составное, то процедура Miller_Rabin в строке 4 выдает значение Составное. Такой вывод всегда верный, согласно корректности процедуры Witness для этого случая. Если в ходе s попыток не было таких свидетельств, то в процедуре Miller_Rabin предполагается, что нет причин считать число п составным, так что оно считается простым. Скоро можно будет убедиться, что при достаточно больших значениях s этот вывод правильный с высокой вероятностью, но тем не менее существует небольшая вероятность, что в процедуре могут неудачно выбираться значения а, и что существуют свидетельства того, что п — составное, хотя ни одно из них не было найдено.
Чтобы проиллюстрировать работу процедуры Miller_Rabin, предположим, что п равно числу Кармайкла 561, так что п — 1 = 560 = 24 • 35. Из табл. 31.4
видно, что если выбрано значение а = 7, то в процедуре WITNESS будет найдено значение то = а35 = 241 (mod561), что даст нам последовательность X = = (241,289,166,67,1). Таким образом, при последнем возведении в квадрат обнаружен нетривиальный корень из 1, поскольку а280 = 67 (modn) и а560 = 1 (modn). Таким образом, значение а = 7 свидетельствует о том, что число п — составное, процедура Witness(7, п) возвращает значение true, а процедура Miller_Rabin — значение Составное.
Если длина числа п равна 0 битов, то для выполнения процедуры Miller_ Rabin требуется О (s /3) арифметических операций и О (s /З3) битовых операций, поскольку в асимптотическом пределе требуется выполнять не более s возведений в степень по модулю.
Частота ошибок в тесте Миллера-Рабина
Если процедура Miller_Rabin выводит значение Простое, то с небольшой вероятностью в ней может быть допущена ошибка. Однако, в отличие от процедуры Pseudoprime, эта вероятность не зависит от п; другими словами, для этой процедуры не существует неблагоприятных входных данных. Зато вероятность ошибки в процедуре Miller_Rabin зависит от s и от того, насколько удачно выбирались значения а. Кроме того, поскольку каждая проверка является более строгой, чем обычная проверка уравнения (31.38); исходя из общих принципов можно ожидать, что для случайно выбранных целых значений п частота ошибок должна быть очень небольшой. Более точное обоснование представлено в сформулированной ниже теореме.
Теорема 31.38. Если п — нечетное составное число, то количество свидетельств того, что п — составное, не меньше (п — 1)/2.
Доказательство. В ходе доказательства теоремы будет показано, что количество значений, не являющихся свидетельствами, не превышает (п — 1)/2, из чего следует справедливость теоремы.
Начнем с утверждения, что любое значение, которое не является свидетельством, должно быть элементом множества Z*. Почему? Рассмотрим такое значение а, не являющееся свидетельством. Оно должно удовлетворять соотношению ап-1 = 1 (modn) или эквивалентному соотношению а • ап~2 = 1 (modn). Таким образом, а”-2 является решением уравнения ах = 1 (modn). Согласно следствию 31.21, gcd (a, n) | 1, из чего в свою очередь следует, что gcd (а, n) = 1. Поэтому а является элементом множества Z*; этому множеству принадлежат все значения оснований, не свидетельствующие о том, что число п — составное.
Чтобы завершить доказательство, покажем, что все значения оснований, не свидетельствующие о том, что число п — составное, не просто содержатся в множестве Z*, но и находятся в истинной подгруппе В группы Z*. (Напомним, что В
называется истинной подгруппой группы Z*, если она является подгруппой Z*, но не равна Z*.) Согласно свойству 31.16, выполняется неравенство |В| ^ |Z* |/2. Поскольку |Z*| ^ п — 1, мы получаем неравенство |В| ^ (п — 1)/2. Поэтому количество значений оснований, не являющихся свидетельствами, не превышает (п — 1)/2, следовательно, количество свидетельств не меньше (п — 1)/2.
Теперь покажем, как найти истинную подгруппу В группы Z*, которая содержит все значения оснований, не являющиеся свидетельствами. Выделим два случая.
Случай 1: существует значение ж € Z*, такое что жп-1 ^1 (modn).
Другими словами, п не является числом Кармайкла. Поскольку, как мы уже знаем, числа Кармайкла встречаются крайне редко, то случай 1 — основной случай, который встречается “на практике” (т.е. тогда, когда число п выбрано случайным образом и производится проверка его простоты).
Пусть В = {&€ Z* : Ьп-1 = 1 (modn)}. Очевидно, что множество В непустое, так как 1 е В. Поскольку группа В замкнута относительно операции умножения по модулю п, то из теоремы 31.14 следует, что В — подгруппа группы Z*. Заметим, что каждое значение а, которое не является свидетельством, принадлежит множеству В, поскольку такое а удовлетворяет соотношению ап-1 = = 1 (modn). Поскольку х € Z* — В, то В — истинная подгруппа группы Z*.
Случай 2: для каждого х € Z* выполняется соотношение
жп-1 = 1 (modn) (31.39)
Другими словами, п — число Кармайкла. На практике этот случай встречается крайне редко. Однако тест Miller_Rabin (в отличие от теста на псевдопростоту), как сейчас будет показано, в состоянии эффективно определить, что число Кармайкла — составное.
В этом случае число п не может быть степенью простого числа. Чтобы понять, почему это так, предположим обратное, т.е. что п = ре, где р — простое, а е > 1. Противоречие мы получим следующим образом. Поскольку предполагается, что п — нечетное, то число р также должно быть нечетным. Из теоремы 31.32 следует, что Z* — циклическая группа: она содержит генератор д, такой что
ordn (s) = |Z* | = ф (n) = pe (1 - 1/p) = (p - l)pe-1.
Согласно уравнению (31.39), gn-1 = 1 (modn). Тогда из теоремы о дискретном логарифме (теорема 31.33 при у = 0) следует, что п — 1 = 0 (mod^> (п)) или
(р-1)ре-1 | ре — 1.
При е > 1 мы получаем противоречие, поскольку (р — 1)ре-1 делится на простое число р, а ре — 1 — нет. Таким образом, число п не является степенью простого числа.
Поскольку нечетное составное число п не является степенью простого, оно раскладывается на множители П1П2, где ni и п.2 — взаимно простые нечетные числа, большие 1. (Таких разложений может быть несколько; в этом случае не играет роли, какое из них выбирается. Например, если п = р®1^2 • • • Ргг,то можно выбрать ni = р®1 и П2 = р^Рз3 '' "Ргг-)
Напомним, что значения t и и связаны соотношением п — 1 = 2(и, тде t > 1, а и — нечетно, и что в процедуре Witness для входного значения а вычисляется последовательность
У — /ли л2и л^и п^и\
(все вычисления производятся по модулю п).
Назовем пару (v, j) целых чисел приемлемой (acceptable), если v € Z*, j€ {0,!,...,<} и
и2,“ = —1 (modn).
Для нечетных значений и приемлемые пары точно существуют; если выбрать v = п — 1 и j = 0, то такая пара будет приемлемой. Теперь выберем наибольшее из возможных значений j, для которого существует приемлемая пара (j),3), и зафиксируем значение и. Пусть
В = |ж Е Z* : х23и = ±1 (modn)} .
Поскольку множество В замкнуто относительно операции умножения по модулю п, то оно является подгруппой группы Z*. Поэтому, согласно следствию 31.16, |В| является делителем |Z* |. Каждое значение, которое не является свидетельством, должно быть элементом множества В, поскольку последовательность X, образованная такими значениями, должна либо полностью состоять из единиц, либо содержать -1 в позиции, расположенной не позже j-й, в соответствии с условием максимальности значения j. (Если пара (а,/) приемлемая, а значение а не является свидетельством, то из способа выбора значения j должно следовать неравенство / j.)
Теперь воспользуемся фактом существования значения и, чтобы продемонстрировать, что существует элемент w Е Z* — В. Поскольку v2Ju = — 1 (modn), из следствия 31.29 из китайской теоремы об остатках вытекает, что иУп = =—l(modni). Согласно следствию 31.28, существует значение w, которое одновременно удовлетворяет таким уравнениям:
w = v (modni),w = 1 (modn2).
Поэтому
w2,“ = — 1 (modni),wyu = । (товпг) •
Согласно следствию 31.29, из соотношения w2,u ^1 (modni) следует, что w2J“ ^ ^1 (modn), а из соотношения w2,“ ^ — 1 (modn2) — что w2J“ ^ — 1 (modn). Таким образом, w2,u ^ ± 1 (modn), поэтому w ^ В.
Остается показать, что w € Z*. Для этого построим рассуждения отдельно по модулю ni и по модулю П2. Что касается операций по модулю ni, заметим, что поскольку v € Z*, справедливо равенство gcd (v, n) = 1, так что и gcd (v, nJ = 1; если у числа и нет общих делителей с п, то у него также нет общих делителей с ni. Поскольку w = v (modni), можно сделать вывод, что gcd (w, nJ = 1. Что же касается операций по модулю пг, заметим, что из соотношения w = 1 (modn2) следует, что gcd (w, пг) = 1. Для того чтобы объединить эти результаты, воспользуемся теоремой 31.6, из которой следует, что gcd(w, П1П2) = gcd (w,n) = 1, т.е. w € Z*.
Следовательно, w€Z* — В, и мы приходим к выводу, что в случае 2 В является истинной подгруппой Z*.
Итак, мы убедились, что в обоих случаях количество свидетельств того, что число п — составное, не меньше (п — 1)/2. ■
Теорема 31.39. При любом нечетном п > 2 и положительном целом s вероятность того, что процедура MlLLER_RABlN(n, s) выдаст неправильный результат, не превышает 2-s.
Доказательство. Из теоремы 31.38 следует, что если п — составное, то при каждом выполнении цикла for в строках 1-4, вероятность обнаружить свидетельство х того, что п — составное, не меньше 1/2. Процедура Miller Rabin допускает ошибку только в том случае, когда ей не удалось обнаружить такое свидетельство в каждой из s итераций основного цикла. Вероятность подобной последовательности неудач не превышает 2~s. ц
Таким образом, если выбрать s = 50, то этого должно хватить почти для любого приложения, какое только можно себе представить. Если поиск больших простых чисел производится путем применения процедуры Miller_Rabin к случайно выбранным большим целым числам, то можно показать (хотя мы не станем здесь этого делать), что выбор небольшого значения s (скажем, 3) с очень малой вероятностью приведет к ошибочным результатам. Другими словами, для случайным образом выбранного нечетного составного целого числа п математическое ожидание количества значений оснований, не являющихся свидетельствами того,
что п — составное, с большой вероятностью намного меньше (п — 1)/2. Однако если число п выбирается не случайным образом, самое лучшее, что можно доказать с помощью улучшенной версии теоремы 31.38, — что количество значений оснований, не являющихся свидетельствами, не превышает (п — 1)/4. Более того, существуют такие целые числа п, для которых это количество равно (п —1)/4.
Упражнения
1. Докажите, что если целое нечетное число п > 1 не является простым числом или степенью простого числа, то существует нетривиальный квадратный корень из 1 по модулю п.
* 31.8-2. Теорему Эйлера можно слегка усилить, придав ей такой вид:
аЛ(п) = 1 (modn) для всех а 6 Z*,
где n = Pi*P22 “•РтТ1а функция А (п) определена как
A (n) = 1cm (ф (pt1),... ,ф (ре/)).(31.40)
Докажите, что А(п) | ф(,п). Составное число п является числом Кармайкла, если А (п) | п — 1. Наименьшее из чисел Кармайкла равно 561 = = 3 • 11 • 17; при этом A (n) = 1cm (2,10,16) = 80, а это делитель 560. Докажите, что числа Кармайкла должны быть “свободными от квадратов” (т.е. не делиться на квадрат ни одного простого числа) и в то же время представлять собой произведение не менее трех простых чисел. По этой причине они встречаются не очень часто.
3. Докажите, что если х — нетривиальный квадратный корень из единицы по модулю п, то и gcd (ж — 1, п), и gcd (ж +1, п) являются нетривиальными делителями п.
*31.9 Целочисленное разложение
Предположим, задано целое число п, которое нужно разложить (factor) на простые множители. Тест простоты, представленный в предыдущем разделе, может дать информацию о том, что число п — составное, однако он обычно не выводит его простых множителей. Разложение больших целых чисел п представляется намного более сложной задачей, чем определение того, является ли число п простым или составным. Располагая суперкомпьютерами и наилучшими на сегодняшний день алгоритмами, нереально разложить произвольное 1024-битовое число.
Эвристический p-метод Полларда
Пробное деление на каждое целое число вплоть до В гарантирует, что будет полностью разложено любое число вплоть до В2. Представленная ниже процедура позволяет разложить любое число вплоть до В4 (если мы не окажемся неудачниками), выполнив тот же объем работы. Поскольку эта процедура носит лишь эвристический характер, ничего нельзя утверждать наверняка ни о времени ее работы, ни о том, что она действительно достигнет успеха. Несмотря на это, данная процедура оказывается очень эффективной на практике. Другое преимущество процедуры POLLARD_RHO состоит в том, что в ней используется лишь фиксированное количество памяти. (Для небольших чисел ее легко реализовать даже на программируемом калькуляторе.)
POLLARD_RHO(n)
г <- 1
Ж1 <— Random(0, П - 1)
У Ж1
А:^2
while TRUE
do г«— г + 1
Ж1 <— (ж<_1 — 1) mod п
d«— gcd(y - Xi, п)
ifd/lnd/n
then print d
if г = к
then у <— Xi
к «- 2k
Опишем работу этой процедуры. В строках 1-2 переменной г присваивается начальное значение 1, а переменной xi — случайное значение из Zn. Итерации цикла while, который начинается в строке 5, продолжаются до бесконечности в поисках множителей числа п. При каждой итерации этого цикла в строке 7 используется рекуррентное соотношение
Xi <— (х^_г — 1) mod п,Xi <— (х^_г — 1) mod п,(31.41)(31.41)
Xi <— (х^_г — 1) mod п,
Xi <— (х^_г — 1) mod п,
(31.41)
(31.41)
позволяющее получить очередное значение Xi бесконечной последовательности
^1) ^2, ^3,^1) ^2, ^3,(31.42)
^1) ^2, ^3,
^1) ^2, ^3,
а соответствующее значение индекса г увеличивается в строке 6. Несмотря на то, что для простоты восприятия в коде используются значения переменных с индексами Xi, программа работает точно так же, если мы опустим все индексы,
поскольку при каждой итерации необходимо поддерживать только одно последнее значение Хг. С учетом этой модификации в процедуре используется лишь фиксированное количество ячеек памяти.
Время от времени программа сохраняет самые последние из сгенерированных значений xt в переменной у. Сохраняются те значения, индексы которых равны степени двойки:
•^1, ^2, ^4, ^8, *^16) • • • •
В строке 3 сохраняется величина xi, а в строке 12 — величины хь когда г становится равным к. В строке 4 переменной к присваивается начальное значение 2, а строке 13 эта переменная удваивается при каждом обновлении значения переменной у. Поэтому переменная к пробегает значения 1,2,4,8,..., каждое из которых используется в качестве индекса очередной величины Хк, сохраняемой в переменной у.
В строках 8-10 предпринимается попытка разложить число п с помощью сохраненного значения у и текущего значения х^. В частности, в строке 8 вычисляется наибольший общий делитель d = gcd (у — Xi, п). Если значение переменной d — нетривиальный делитель числа п (это проверяется в строке 9), то оно выводится в строке 10.
Возможно, эта процедура поиска делителей на первый взгляд может показаться несколько загадочной. Однако заметим, что она никогда не выдает неверного ответа; все числа, которые выводит процедура Pollard_Rho, являются нетривиальными делителями п. Тем не менее, эта процедура может вообще не выводить никаких данных; совершенно нет уверенности в том, что она даст хоть какой-то результат. Тем не менее, как мы сможем убедиться, есть веская причина ожидать, что процедура Pollard_Rho выведет множитель р числа п после 0 (v^) ите“ раций цикла while. Таким образом, если п — составное число, то эта процедура после приблизительно п1/4 обновлений обнаружит достаточное количество делителей, чтобы можно было полностью разложить число п, поскольку все простые множители р числа п, кроме, возможно, последнего, меньше Vn.
Начнем анализ поведения представленной выше процедуры с того, что исследуем, сколько времени должно пройти, пока в случайной последовательности по модулю п не повторится значение. Поскольку множество Zn конечное, и поскольку каждое значение последовательности (31.42) зависит только от предыдущего, то эта последовательность в конце концов начнет повторяться. Достигнув некоторого значения xt, такого что при некотором j < г выполняется равенство Xi = Xj, последовательность зациклится, поскольку х^+х = xj+i, х^+2 = х^2 и т.д. Понять, почему этот метод был назван “эвристическим р-методом”, помогает рис. 31.3. Часть последовательности xi, хг,..., Xj-i можно изобразить в виде “хвоста” греческой буквы р, а цикл Xj, xj+i,..., х^ — в виде “тела” этой буквы. На рис. 31.3а приведены значения, полученные из рекуррентного соотношения
.996 -* 310.996 -* 310а)б)а)б)Рис. 31.3. Эвристический p-метод ПоллардаРис. 31.3. Эвристический p-метод Полларда
.996 -* 310
.996 -* 310
а)б)
а)б)
Рис. 31.3. Эвристический p-метод Полларда
Рис. 31.3. Эвристический p-метод Полларда
х,+1 <~ (зч — 1) mod 1387, начиная с Ж1 = 2. Разложение на простые множители числа 1387 имеет вид 19 • 73. Жирными стрелками показаны шаги итерации, которые выполняются перед обнаружением множителя 19. Стрелки, изображенные тонкими линиями, указывают на те значения в итерации, которые так и не достигаются. С их помощью иллюстрируется форма буквы р. Серым фоном выделены те значения, которые сохраняются процедурой POLLARD_RHO в переменной у. Множитель 19 обнаруживается при достижении значения ху = 177, когда вычисляется величина gcd (63 — 177,1387) = 19. Первое значение х, которое впоследствии повторится, равно 1186, однако множитель 19 обнаруживается еще до повтора. На рис. 31.36 приведены значения, полученные из того же рекуррентного соотношения, что и значения на рис. 31 За, но по модулю 19. Каждое значение Xi из рис. 31.3а эквивалентно приведенному здесь значению х' по модулю 19. Например, значения Х4 = 63 и хч = 177 эквивалентны 6 по модулю 19. Значения, приведенные на рис. 31.Зе, получены из того же рекуррентного соотношения, но по модулю 73. Каждое значение х^ из рис. 31.3а эквивалентно приведенному в этой части значению х" по модулю 73. Согласно китайской теореме об остатках, каждый узел на рис. 31.3а соответствует паре узлов, — одному на рис. 31.36, и второму — на рис. 31.Зе.
Рассмотрим вопрос о том, сколько времени понадобится последовательности значений х^ чтобы она начала повторяться. Это не совсем то, что нам нужно, но вскоре станет понятно, как модифицировать этот параметр.
Чтобы оценить это время, будем считать, что функция
/п (я) = (я2 ” 1) mod тг
ведет себя как “случайная” функция. Конечно, на самом деле она не случайная, но это предположение согласуется с наблюдаемым поведением процедуры Pollard_Rho. Далее, предположим, что каждое значение xt извлекается независимым образом из множества Zn, и что все они распределены в этом множестве равномерно. В соответствии с анализом парадокса о днях рождения, проведенном в разделе 5.4.1, математическое ожидание количества шагов, предпринятых перед зацикливанием последовательности, равно 0 (V^).
Теперь перейдем к требуемой модификации. Пусть р — нетривиальный множитель числа тг, для которого справедливо уравнение gcd (р, тг/р) = 1. Например, если разложение числа тг имеет вид тг = р^р^ • • -р^, то в качестве множителя р можно выбрать величину р^1. (Если ei = 1, то толь р будет играть наименьший простой множитель числа тг; это полезно взять на заметку.)
Последовательность (ж^) порождает соответствующую последовательность (а^) по модулю р, где х^ = xt mod р для всех г.
Кроме того, поскольку в определении функции /п содержатся только арифметические операции (возведение в квадрат и вычитание) по модулю тг, нетрудно показать, что величину х^ можно вычислить на основании величины х^. Рассмотрение последовательности “по модулю р” — уменьшенная версия того, что происходит по модулю тг:
^+1 = xw mod р =
= /п (Жг) mod р =
= ^х^ — 1) mod тг) mod р =
= (ж2 — 1) mod р =
= ^(жг mod р)2 — 1) mod р =
= ^(^)2 — 1) modp =
= /р (^г) >
где четвертое равенство следует из упражнения 31.1-6. Таким образом, хотя мы и не вычислили явным образом последовательность (х^, эта последовательность вполне определена и подчиняется тому же рекуррентному соотношению, что и последовательность (Xi).
Рассуждая так, как и ранее, можно прийти к выводу, что математическое ожидание количества шагов, выполненных перед зацикливанием последовательности ^х1^, равно 0 (\/р). Если значение р мало по сравнению с п, то последовательность (х^ может начать повторяться намного быстрее, чем последовательность (х^. В самом деле, последовательность (х^ начнет повторяться, как только два элемента последовательности (xi) окажутся эквивалентными по модулю р, а не по модулю п. Вышесказанное проиллюстрировано на рис. 31.36 и в.
Обозначим через t индекс первого повторившегося значения последовательности (х^, а через и > 0 — длину цикла, полученного таким образом. Другими словами, t и и > 0 — наименьшие значения, для которых при всех г > 0 выполняется равенство х^ = х^^. Согласно приведенным выше рассуждениям, математическое ожидание величин t и и равно 0 ^Vp\ Заметим, что если х^ = = ^t+u+P то Р I (жн-и+г ~ xw\ Таким образом, gcd (хг+гЖ - xt^ n) > 1.
Поэтому после того как в процедуре Pollard_Rho в переменной у будет сохранено любое значение х^ у которого к ^ t, величина у mod р всегда будет находиться в цикле по модулю р. (Если в переменной у будет сохранено новое значение, оно также окажется в цикле по модулю р.) В конце концов переменной к будет присвоено значение, превышающее и, после чего в процедуре будет пройден полный цикл по модулю р, не сопровождающийся изменением значения у. Множитель числа п будет обнаружен тогда, когда xt “натолкнется” на ранее сохраненное значение у по модулю р, те. когда Xi = у (modp).
Скорее всего, найденный множитель будет равен р, хотя это случайно может оказаться число, кратное р. Поскольку математическое ожидание величин t и и равно 0 (Vp^ математическое ожидание количества шагов, необходимых для получения множителя р, равно 0 (Vp\
Есть две причины, по которым этот алгоритм может оказаться не таким эффективным, как ожидается. Во-первых, проведенный выше эвристический анализ времени работы нестрогий, и цикл значений по модулю р может оказаться намного длиннее, чем ^/р. В этом случае алгоритм работает правильно, но намного медленнее, чем хотелось бы. Практически же это представляется сомнительным. Во-вторых, среди делителей числа п, которые выдаются этим алгоритмом, всегда может оказаться один из тривиальных множителей 1 или п. Например, предположим, что п = pq, где р и q — простые числа. Может оказаться, что значения t и и для множителя р идентичны значениям t и и для множителя q, и поэтому множитель р будет всегда обнаруживаться в результате выполнения той же операции gcd, в которой обнаруживается множитель q. Поскольку оба множителя находятся одновременно, процедура выдает тривиальный множитель pq = п, который бесполезен. На практике и эта проблема кажется несущественной. При необходимости нашу эвристическую процедуру можно перезапустить с другим рекуррентным соотношением, которое имеет вид Zi+i <— ^ — с) (modn). (Значений параметра
с, равных 0 и 2, следует избегать по причинам, вникать в которые мы здесь не станем; другие значения вполне подходят.)
Конечно же, этот анализ нестрогий и эвристический, поскольку рекуррентное соотношение на самом деле не является “случайным”. Тем не менее, на практике процедура работает хорошо, и, по-видимому, ее эффективность совпадает с полученной в ходе эвристического анализа. Она представляет собой вероятностный метод поиска небольших простых множителей, на которые раскладывается большое число. Все, что нужно для полного разложения /3-битового составного числа п, — найти все его простые множители, меньшие [n1/2 j, поэтому можно ожидать, что процедуре Pollard_Rho понадобится не более п1/4 = 2^/4 арифметических операций и не более п1/4^2 = 2^/4/32 битовых операций. Зачастую наиболее привлекательной особенностью этой процедуры оказывается ее способность находить небольшой множитель р числа п, выполнив при этом операции, математическое ожидание количества которых равно 0 ^VpY
Упражнения
1. Когда процедура Pollard_Rho выведет множитель 73 числа 1387, если история вычислений в ней имеет вид, показанный на рис. 31.3а?
2. Пусть задана функция / : Zn —* Zn и начальное значение xq Е Zn. Определим рекуррентное соотношение xt = f (xi-i) для г = 1,2,.... Пусть t и и > 0 — наименьшие значения, для которых выполняется уравнение xt^t = ^t-vu-vt для г = 1,2,... (в терминах р-алгоритма Полларда, t — это длина хвоста, а и — длина цикла р). Сформулируйте эффективный алгоритм, позволяющий точно определить значения t и и, и проанализируйте время его работы.
3. Чему равно математическое ожидание количества шагов, которые понадобится выполнить процедуре Pollard_Rho, чтобы обнаружить множитель вида ре, где р — простое число, а е > 1?
★ 31.9-4. Как уже упоминалось, одним из недостатков процедуры Pollard_Rho является то, что на каждом шаге рекурсии в ней необходимо выполнять операцию gcd. Было высказано предположение, что вычисления gcd можно объединить, накопив произведение нескольких величин х^ и используя это произведение при вычислении gcd вместо величины Хг. Приведите подробное описание того, как можно было бы реализовать эту идею, почему она работает и какой размер группы можно было бы выбрать для достижения максимального эффекта при обработке /3-битового числа п.
Задачи
31-1. Бинарный алгоритм gcd
На большинстве компьютеров операции вычитания, проверки четности (нечетное или четное) и деления пополам выполняется быстрее, чем вычисление остатка. В этой задаче исследуется бинарный алгоритм gcd (binary gcd algorithm), позволяющий избежать вычисления остатков, которые используются в алгоритме Евклида.
Докажите, что если числа а и Ь — четные, то справедливо уравнение gcd (а, Ь) = 2 gcd {а/2, Ь/2).
Докажите, что если а — нечетное, а b — четное, то справедливо уравнение gcd (u, 6) = gcd (а, 6/2).
Докажите, что если числа а и b — нечетные, то справедливо уравнение gcd (а, в) = gcd ((а — 6)/2, 6).
Разработайте эффективный бинарный алгоритм поиска gcd для целых чисел а и Ь, где а > Ь, время работы которого равно О (Iga). Предполагается, что на каждое вычитание, проверку на четность и деление пополам затрачивается единичный интервал времени.
31-2. Анализ битовых операций в алгоритме Евклида
Рассмотрим обычный алгоритм деления “на бумаге” а на Ь, в результате которого получается частное q и остаток г. Покажите, что в этом методе требуется выполнить О ((1 + 1g д) 1g 6) битовых операций.
Определим функцию ^(a, 6) = (1 + Iga) (1 + Igb). Покажите, что количество битовых операций, которые выполняются в алгоритме Euclid при сведении задачи вычисления величины gcd (а, 6) к вычислению величины gcd (b, a mod 6), не превышает с(ц (а,^- —р (6, a mod 6)) для некоторой достаточно большой константы с > 0.
Покажите, что выполнение алгоритма EuCLlD(a, 6) требует в общем случае О(р(а, Ь)) битовых операций, и О (Д2) битовых операций, если оба входных значения являются /3-битовыми числами.
31-3. Три алгоритма вычисления чисел Фибоначчи
В этой задаче производится сравнение производительности работы трех методов вычисления n-го числа Фибоначчи Fn при заданном п. Считаем, что стоимость сложения, вычитания или умножения двух чисел независимо от их размера равна О (1).
Покажите, что время работы прямого рекурсивного метода вычисления числа Fn на основе рекуррентного соотношения (3.21) увеличивается экспоненциально с ростом п.
Покажите, как с помощью запоминания вычислить число Fu за время О (п).
Покажите, как вычислить число Fn за время O(lgn), используя только сложения и умножения целых чисел. (Указание: рассмотрите матрицу
/О Л
V V
и ее степени.)
Теперь предположим, что для сложения двух /3-битовых чисел требуется время 0 (/3), а для их умножения — время 0 (/З2). Чему равно время работы перечисленных выше алгоритмов с учетом такой стоимости выполнения элементарных арифметических операций?
31-4. Квадратичные вычеты
Пусть р — нечетное целое число. Число а Е Z* является квадратичным вычетом (quadratic residue), если уравнение ж2 = a(modp) имеет решение относительно неизвестного х.
Покажите, что существует ровно (р — 1)/2 квадратичных вычета по модулю р.
Если число р — простое, то определим символ Лежандра (Legendre symbol) ^^ для aEZ*, как равный 1, если а — квадратичный вычет по модулю р, и — 1 в противном случае. Докажите, что если aEZ*, то
^—^ = a^-1^2 (modp).
Разработайте эффективный алгоритм, позволяющий определить, является ли заданное число а квадратичным вычетом по модулю р. Проанализируйте время работы этого алгоритма.
Докажите, что если р — простое число вида 4k + 3, а а — квадратичный вычет в Z*, то величина afc+1 mod р равна квадратному корню а по модулю р. Сколько времени понадобится для поиска квадратного корня квадратичного вычета а по модулю р?
Разработайте эффективный рандомизированный алгоритм поиска неквадратичного вычета по модулю, равному произвольному простому числу р. Другими словами, нужно найти элемент Z*, который
не является квадратичным вычетом. Сколько в среднем операций понадобится выполнить этому алгоритму?
Заключительные замечания
Книга Нивена (Niven) и Цукермана (Zuckerman) [231] содержит прекрасное введение в элементарную теорию чисел. У Кнута (Knuth) [183] приведено подробное обсуждение алгоритмов, предназначенных для поиска наибольших общих делителей, а также других основных теоретико-числовых алгоритмов. Бэтч (Batch) [28] и Ризель (Riesel) [258] представили более современный обзор вычислительных приложений теории чисел. В статье Диксона (Dixon) [78] приведен обзор методов разложения и проверки простоты чисел. В трудах конференции под редакцией Померанца (Pomerance) [245] содержится несколько превосходных обзорных статей. Позже Бэтч и Шаллит (Shallit) [29] представили прекрасный обзор основных вычислительных приложений теории чисел.
В книге Кнута [183] обсуждается история возникновения алгоритма Евклида. Он встречается в трактате “Начала” греческого математика Евклида, опубликованном в 300 году до н.э., в седьмой книге в теоремах 1 и 2. Описанный Евклидом алгоритм мог быть получен из алгоритма, предложенного Евдоксом около 375 года до н.э. Не исключено, что алгоритм Евклида является старейшим нетривиальным алгоритмом; соперничать с ним может только алгоритм умножения, известный еще древним египтянам. В статье Шаллита [274] описана история анализа алгоритма Евклида.
Авторство частного случая китайской теоремы об остатках (теорема 31.27) Кнут приписывает китайскому математику Сунь-Цзы, который жил приблизительно между 200 г. до н.э. и 200 г. н.э., — дата довольно неопределенная. Тот же частный случай сформулирован греческим математиком Никомахусом (Nichomachus) около 100 г. н.э. В 1247 году он был обобщен Чином Чиу-Шао (Chhin Chiu-Shao). Наконец, в 1734 году Л. Эйлер (L. Euler) сформулировал и доказал китайскую теорему об остатках в общем виде.
Представленный в этой книге рандомизированный алгоритм проверки простоты чисел взят из статей Миллера (Miller) [221] и Рабина (Rabin) [254]; это самый быстрый (с точностью до постоянного множителя) из известных рандомизированных алгоритмов проверки простоты. Доказательство теоремы 31.39 слегка адаптировано по сравнению с тем, что было предложено Монье (Monier) [224, 225]. Рандомизация представляется необходимой для того, чтобы получить алгоритм проверки простоты, время работы которого выражалось бы полиномиальной функцией. Самый быстрый из известных детерминистических алгоритмов этого вида — версия Кохена-Ленстры (Cohen-Lenstra) [65] теста на простоту, предложенного Адлеманом (Adleman), Померанцом и Раминли (Rumenly) [3]. Проверяя простоту
числа п длиной fig (п + 1)1, он затрачивает время (lgn)°(lglglgn\ лишь немного превышающее полиномиальное.
Обстоятельное обсуждение задачи поиска больших “случайных” простых чисел содержится в статье Бьючимина (Beauchemin), Брассарда (Brassard), Крипо (Crepeau), Готье (Goutier) и Померанца [33].
Концепция криптографической системы с открытым ключом сформулирована Диффи (Diffie) и Хеллманом (Hellman) [74]. Криптографическая система RSA была предложена в 1977 году Ривестом (Rivest), Шамиром (Shamir) и Адлеманом (Adleman) [259]. С тех пор в области криптографии были достигнуты большие успехи. Углубилось понимание криптографической системы RSA, и в ее современных реализациях представленные здесь основные методы существенно улучшены. Кроме того, разработаны многие новые методы доказательства безопасности криптографических систем. Например, Голдвассер (Goldwasser) и Микали (Micali) [123] показали, что рандомизация может выступать в роли эффективного инструмента при разработке безопасных схем кодирования с открытым ключом. Гольдвассер, Микали и Ривест [124] представили схему цифровой подписи, для которой доказана трудность ее подделки. В книге Менезеса (Menezes) и др. [220] представлен обзор прикладной криптографии.
Эвристический p-подход, предназначенный для разложения целых чисел на множители, был изобретен Поллардом (Pollard) [242]. Представленный в этой книге вариант является версией, предложенной Брентом (Brent) [48].
Время работы наилучшего из алгоритмов, предназначенных для разложения больших чисел, приближенно выражается экспоненциальной функцией от кубического корня из п, где п — длина подлежащего разложению числа. Общий теоретико-числовой алгоритм разложения по принципу решета, разработанный Бахлером (Buhler) и др. [51] как обобщение идей, заложенных в теоретико-числовой алгоритм разложения по принципу решета Полларда [243] и Ленстры и др. [201] и усовершенствованный Копперсмитом (Coppersmith) [69], — по-видимо- му, наиболее эффективный среди подобных алгоритмов для обработки больших входных чисел. Несмотря на то, что строгий анализ этого алгоритма провести сложно, при разумных предположениях можно оценить время его работы как L (1/3, п)1902^1), где L (a, n) = eannHininn)1-1
Метод эллиптических кривых, предложенный Ленстрой (Lenstra) [202], может оказаться эффективнее для некоторых входных данных, чем теоретико-числовой метод решета, поскольку, как и p-метод Полларда, он достаточно быстро позволяет найти небольшой простой множитель р. Время его работы при поиске множителя р оценивается как L (1/2, р)^+о^\
ГЛАВА 32
Поиск подстрок
В программах, предназначенных для редактирования текста, часто возникает задача поиска всех фрагментов текста, которые совпадают с заданным образцом. Обычно текст — это редактируемый документ, а образец — искомое слово, введенное пользователем. Эффективные алгоритмы решения этой задачи могут повышать способность текстовых редакторов к реагированию. Кроме того, алгоритмы поиска подстрок используются, например, для поиска заданных образцов в молекулах ДНК.
Приведем формальную постановку задачи поиска подстрок (string-matching problem). Предполагается, что текст задан в виде массива Т [1..п] длины п, а образец — в виде массива Р [l..m] длины т ^п. Далее, предполагается, что элементы массивов Р и Т — символы из конечного алфавита S. Например, алфавит может иметь вид £ = {0,1} или Е = {а,6, ...,z}. Символы массивов РиТ часто называют строками (strings) или символами.
Говорят, что образец Р встречается в тексте Т со сдвигом s (occurs with shift s), если 0 ^ s ^ n — m и T [s + l..s + m] = P [l..m] (другими словами, если при 1 ^ J ^ m Т [s + j] = Р[}]). (Можно также сказать, что образец Р встречается в тексте Т, начиная оппозиции s + 1.) Если образец Р встречается в тексте Т со сдвигом s, то величину s называют допустимым сдвигом (valid shift); в противном случае ее называют недопустимым сдвигом (invalid shift). Задача поиска подстрок — это задача поиска всех допустимых сдвигов, с которыми заданный образец Р встречается в тексте Т. Эти определения проиллюстрированы на рис. 32.1. В представленном на этом рисунке примере предлагается найти все вхождения образца Р = abaa в текст Т = abcabaabcabac. Образец встречается в тексте только один раз, со сдвигом s = 3. Говорят, что сдвиг s = 3
Рис. 32.1. Задача поиска подстрок
является допустимым. Каждый символ образца соединен вертикальной линией с соответствующим символом в тексте, и все совпадающие символы выделены серым фоном.
Все представленные в этой главе алгоритмы, кроме описанного в разделе 32.1 обычного алгоритма решения задачи “в лоб”, производят определенную предварительную обработку представленного образца, а затем находят все допустимые сдвиги; последняя фаза будет называться поиском. В табл. 32.1 приведены времена предварительной обработки и сравнения для каждого из представленных в этой главе алгоритмов. Полное время работы каждого алгоритма равно сумме времени предварительной обработки и времени сравнения. В разделе 32.2 описан интересный алгоритм поиска подстрок, предложенный Рабином (Rabin) и Карпом (Karp). Несмотря на то, что время работы этого алгоритма в наихудшем случае (равное 0 ((n — m + 1) т)) не лучше, чем время работы простейшего метода “в лоб”, на практике в среднем он работает намного лучше. Он также легко обобщается на случаи других подобных задач. Затем в разделе 32.3 описывается алгоритм поиска подстрок, работа которого начинается с конструирования конечного автомата, специально предназначенного для поиска совпадений заданного образца Р с фрагментами текста. Время предварительной обработки в этом алгоритме равно 0(m|S|), зато время сравнения в нем равно всего лишь 0(п). Аналогичный, но более совершенный алгоритм Кнута-Морриса-Пратта (Knuth-Morris-Pratt, или КМР) представлен в разделе 32.4; время сравнения в этом алгоритме остается тем же, т.е. оно равно 0 (п), но время предварительной обработки в нем уменьшается до величины О (тп).
Таблица 32.1. Алгоритмы поиска подстрок и время их предварительной обработки и сравнения
Алгоритм
Время предварительной обработки
Время сравнения
Простейший
0
О ((п — т + 1) т)
Рабина-Карпа
0 (тп)
О ((п — т + 1) т)
Конечный автомат
9W
0(п)
Кнута-Морриса-Пратта
0 (т)
0(п)
Обозначения и терминология
Обозначим через Е* множество всех строк конечной длины, образованных с помощью символов алфавита Е. В этой главе рассматриваются только строки конечной длины. Пустая строка (empty string) конечной длины, которая обозначается £, также принадлежит множеству Е*. Длина строки х обозначается |ж|. Конкатенация (concatenation) двух строк х и у, которая обозначается жу, имеет длину |ж| + |у| и состоит из символов строки х, после которых следуют символы строки у.
Говорят, что строка ш — префикс (prefix) строки х (обозначается w С ж), если существует такая строка у € Е*, что х = wy. Заметим, что если w Г I, то jw| ^ |ж|. Аналогично, строку w называют суффиксом (suffix) строки х (обозначается как w □ ж), если существует такая строка у € Е*, что х = yw. Из соотношения ш □ х также следует неравенство |ш| ^ |ж|. Пустая строка е является одновременно и суффиксом, и префиксом любой строки. В качестве примеров префикса и суффикса можно привести ab С abcca и сса □ abcca. Следует иметь в виду, что для произвольных строк ж и у и для любого символа а соотношение ж 3 у выполняется тогда и только тогда, когда ха □ уа. Кроме того, заметим, что отношения Сиз являются транзитивными. Впоследствии окажется полезной сформулированная ниже лемма.
Лемма 32.1 (Лемма о перекрывающихся суффиксах). Предположим, что ж, у иг — строки, для которых выполняются соотношения ж з г и у з г. Если |ж| ^ |у|> то ж 23 у. Если |ж| ^ |у|, то у 31 ж. Если |ж| = |у|, то ж = у.
Доказательство. Графическое доказательство представлено на рис. 32.2. На каждой из трех частей рисунка проиллюстрированы три случая леммы. Вертикальными линиями соединены совпадающие области строк (выделенные серым фоном). В части а показан случай, когда |ж| ^ |у|; при этом ж з у. В части б показан случай, когда |ж| > |у|, и у □ ж. Из части в видно, что если |ж| = |у|, то ж = у. □
Обозначим для краткости fc-символьный префикс Р [1..А:] образца Р [l..m] через Рк- Таким образом, Ро = е и Рт = Р = Р [1..т]. Аналогично, ^-символьный префикс текста Т обозначим Т^. С помощью этих обозначений задачу поиска подстрок можно сформулировать как задачу о выявлении всех сдвигов s в интервале 0 < s < п — т, таких что Р □ Ts+m.
В псевдокоде предполагается, что сравнение двух строк одинаковой длины является примитивной операцией. Если строки сравниваются слева направо, и процесс сравнения прерывается, когда обнаружено несовпадение, то считается, что время, которое требуется для подобного теста, выражается линейной функцией от количества совпавших символов. Точнее говоря, считается, что тест “ж = у” выполняется за время 0 (t +1), где t — длина самой длинной строки z, такой
Рис. 32.2. Графическое доказательство леммы 32.1
что z С .т и z С у. (Чтобы учесть случай, когда 4 = 0, вместо О (4) мы пишем 0 (4 +1). В этой ситуации не совпадает первый же сравниваемый символ, но для проверки этого требуется некоторое положительное время.)
2.1 Простейший алгоритм поиска подстрок
В простейшем алгоритме поиск всех допустимых сдвигов производится с помощью цикла, в котором проверяется условие P[l..m] = T[s + l..s + m] для каждого из п — т + 1 возможных значений s.
Naive_String_Matcher(T, Р)
n <— length,\T\
т <— length\P\
for s 0 to п — т
do if Р[1.. т] = T[s + 1.. s + т]
then print “Образец обнаружен при сдвиге” s
Простейшую процедуру поиска подстрок можно интерпретировать графически как скольжение “шаблона” с образцом по тексту, в процессе которого отмечается, для каких сдвигов все символы шаблона равны соответствующим символам текста. В частях а-г рис. 32.3, который иллюстрирует эту интерпретацию, показаны четыре последовательных положения, проверяемых в простейшем алгоритме поиска подстрок. В каждой части рисунка вертикальные линии соединяют соответствующие области, для которых обнаружено совпадение (эти области выделены серым цветом), а ломаные линии — первые не совпавшие символы (если такие имеются). В части в показано одно обнаруженное вхождение образца со сдвигом
Рис. 32.3. Принцип работы простейшего алгоритма поиска подстрок для образца Р = aab и текста Т = acaabcРис. 32.3. Принцип работы простейшего алгоритма поиска подстрок для образца Р = aab и текста Т = acaabc
Рис. 32.3. Принцип работы простейшего алгоритма поиска подстрок для образца Р = aab и текста Т = acaabc
Рис. 32.3. Принцип работы простейшего алгоритма поиска подстрок для образца Р = aab и текста Т = acaabc
s = 2. В цикле for, который начинается в строке 3, явным образом рассматриваются все возможные сдвиги. В строке 4 проверяется, действителен ли текущий сдвиг; в этот тест неявно включен цикл для проверки символов, которые находятся в соответствующих позициях, до тех пор, пока не совпадут все символы или не будет обнаружено несовпадение. В строке 5 выводится каждый допустимый сдвиг s.
Время работы процедуры Naive_String_Matcher равно О ((п — m +1) m), и эта оценка достаточно точна в наихудшем случае. Например, рассмотрим текстовую строку ап (строку, состоящую из п символов а) и образец ат. Для каждого из п — т + 1 возможных значений сдвига s неявный цикл в строке 4 для проверки совпадения соответствующих символов должен произвести т итераций, чтобы подтвердить допустимость сдвига. Таким образом, время работы в наихудшем случае равно О ((n — m + 1) т), так что в случае т = [n/2J оно становится равным 0(п2). Время работы процедуры Naive_String_Matcher равно времени сравнения, так как фаза предварительной обработки отсутствует.
Вскоре вы увидите, что процедура Naive_String_Matcher не является оптимальной для этой задачи. В этой главе будет приведен алгоритм, время предварительной обработки в котором в наихудшем случае равно 0 (т), а время сравнения в наихудшем случае — О (п). Простейший алгоритм поиска подстрок оказывается неэффективным, поскольку информация о тексте, полученная для одного значения s, полностью игнорируется при рассмотрении других значений s. Однако эта информация может стать очень полезной. Например, если образец имеет вид Р = = aaab, а значение одного из допустимых сдвигов равно нулю, то ни один из сдвигов, равных 1, 2 или 3, не могут быть допустимыми, поскольку Т[4] = Ь. В последующих разделах исследуется несколько способов эффективного использования информации такого рода.
Упражнения
1. Покажите, какие сравнения производятся простейшим алгоритмом поиска подстрок, если образец имеет вид Р = 0001, а текст — Т = = 000010001010001.
2. Предположим, что в образце Р все символы различны. Покажите, как ускорить процедуру Naive_String_Matcher, чтобы время ее выполнения при обработке n-символьного текста Т было равно О (п).
3. Предположим, что образец Р и текст Т — строки длиной m и п соответственно, случайно выбранные из d-символьного алфавита Ед = = {0,1,..., d — 1}, где d ^ 2. Покажите, что математическое ожидание количества сравнений одного символа с другим, производимых в неявном цикле в строке 4 простейшего алгоритма, во всех итерациях этого цикла равно
- d~m (п - т + 1) —г ^ 2 (п - т + 1).
— а 1
(Предполагается, что в простейшем алгоритме сравнение символов для данного сдвига прекращается, как только будет обнаружено несовпадение или совпадет весь образец.) Таким образом, для случайных строк простейший алгоритм вполне эффективен.
-4. Предположим, в образце Р может содержаться символ пробела (gap character) О, который может соответствовать произвольной строке (даже нулевой длины). Например, образец ab<>baX>c встречается в тексте cabccbacbacab как
ab <> Ьа <> с и как
с 2^> ccbac ^Ьа^ab.
ab <> Ьа О с
Заметим, что в образце символ пробела может встречаться произвольное количество раз, но предполагается, что в тексте он не встречается вообще. Сформулируйте алгоритм с полиномиальным временем работы, определяющий, встречается ли заданный образец Р в тексте Т, и проведите анализ времени его работы.
Алгоритм Рабина-Карпа
Рабин (Rabin) и Карп (Karp) предложили алгоритм поиска подстрок, показывающий на практике хорошую производительность, а также допускающий обобщения на другие родственные задачи, такие как задача о сопоставлении двумерного образца. В алгоритме Рабина-Карпа время 0 (т) затрачивается на предварительную обработку, а время его работы в наихудшем случае равно 0 ((n — m + 1) т). Однако с учетом определенных предположений удается показать, что среднее время работы этого алгоритма оказывается существенно лучше.
В этом алгоритме используются обозначения из элементарной теории чисел, такие как эквивалентность двух чисел по модулю третьего числа. Соответствующие определения можно найти в разделе 31.1.
Для простоты предположим, что Е = {0,1,..., 9}, т.е. каждый символ — это десятичная цифра. (В общем случае можно предположить, что каждый символ — это цифра в системе счисления с основанием d, где d = |S|.) После этого строку из к последовательных символов можно рассматривать как число длиной к. Таким образом, символьная строка 31415 соответствует числу 31415. При такой двойной интерпретации входных символов и как графических знаков, и как десятичных чисел, в этом разделе удобнее подразумевать под ними цифры, входящие в стандартный текстовый шрифт.
Для заданного образца Р[1..тп] обозначим через р соответствующее ему десятичное значение. Аналогично, для заданного текста Т [1..п] обозначим через ts десятичное значение подстроки Т [s + l..s + m] длиной тп при s = 0,1,..., п — — тп. Очевидно, что ts = р тогда и только тогда, когда Т [s + l..s + тп] = Р [1..тп]; таким образом, s — допустимый сдвиг тогда и только тогда, когда ts = р. Если бы значение р можно было вычислить за время 0 (тп), а все значения ts — за суммарное время 0 (п — тп + I)1, то значения всех допустимых сдвигов можно было бы определить за время 0 (тп) + 0 (п — т + 1) = 0 (п) путем сравнения значения р с каждым из значений ts. (Пока что мы не станем беспокоиться по поводу того, что величины р и ts могут оказаться очень большими числами.)
С помощью правила Горнера (см. раздел 30.1) величину р можно вычислить за время О (тп):
р = Р [тп] + 10 (Р [тп - 1] + 10 (Р [тп - 2] + • • • + 10 (Р [2] + ЮР [1]) •••)).
Значение to можно вычислить из массива Т[1..тп] за время 0(тп) аналогичным способом. Чтобы вычислить остальные значения ti, t2,... ,tn-m за время 0 (п — тп), достаточно заметить, что величину ts-n можно вычислить из величины ts за фиксированное время, так как
ts+i = 10 (ts - Ю7"-^ [s + 1]) + T [s + m + 1]. (32.1)
Например, если m = 5 и ts = 31415, то нужно удалить цифру в старшем разряде Т [s + 1] = 3 и добавить новую цифру в младший разряд (предположим, это цифра Т [s + 5 + 1] = 2). В результате мы получаем ts+i = 10 (31415 — 10000 • 3) + 2 = = 14152.
!Мы используем запись 0 (n — m + 1) вместо 0 (п — т), поскольку всего имеется п — т + 1 различных значений, которые может принимать величина s. Слагаемое “4-1” важно в асимптотическом смысле, поскольку при т = п для вычисления единственного значения ts требуется время 0 (1), а не 0 (0).
Чтобы удалить из числа ts цифру старшего разряда, из него вычитается значение 10m_1T [s + 1]; путем умножения на 10 число сдвигается на одну позицию влево, а в результате добавления элемента Т [s + m + 1] в его младшем разряде появляется нужная цифра. Если предварительно вычислить константу Ю”*"1 (с помощью методов, описанных в разделе 31.6, это можно сделать в течение времени O(lgm), хотя для данного приложения вполне подойдет обычный метод, требующий времени О (т)), то для каждого вычисления результатов выражения (32.1) потребуется фиксированное количество арифметических операций. Таким образом, число р можно вычислить за время 0 (т), величины to,ti,... Лп-т — за время 0(п —т + 1), а все вхождения образца Р[1..т] в текст TfL.n] можно найти, затратив на фазу предварительной обработки время 0 (т), а на фазу сравнения — время 0 (п — т + 1).
Единственная сложность, возникающая в этой процедуре, может быть связана с тем, что значения р и ts могут оказаться слишком большими и с ними будет неудобно работать. Если образец Р содержит т символов, то предположение о том, что каждая арифметическая операция с числом р (в которое входит т цифр) занимает “фиксированное время”, не отвечает действительности. К счастью, эта проблема имеет простое решение (рис. 32.4): вычислять значения р и ts по модулю некоторого числа q. Поскольку вычисление величин р, to и рекуррентного соотношения (32.1) можно производить по модулю q, получается, что величина р по модулю q вычисляется за время 0 (т), а вычисление всех величин ts по модулю q — за время 0 (п — т + 1). В качестве модуля q обычно выбирается такое простое число, для которого длина величины 10<7 не превышает длины компьютерного слова. Это позволяет производить все необходимые вычисления с помощью арифметических операций с одинарной точностью. В общем случае, если имеется d-символьный алфавит {0,1,..., d — 1}, значение q выбирается таким образом, чтобы длина величины dq не превышала длины компьютерного слова, и чтобы с рекуррентным соотношением (32.1) было удобно работать по модулю q. После этого рассматриваемое соотношение принимает вид
ts+i = (d (ts - Т [s + 1] h) + T [s + m + 1]) mod q, (32.2) где h = dm-1 (mody) —значение, которое приобретает цифра “1”, помещенная в старший разряд m-цифрового текстового окна. Работа алгоритма Рабина-Карпа проиллюстрирована на рис. 32.4. Каждый символ здесь представлен десятичной цифрой, а вычисления производятся по модулю 13. В части а приведена строка текста. Подстрока длиной 5 символов выделена серым цветом. Находится численное значение выделенной подстроки по модулю 13, в результате чего получается значение 7. В части б изображена та же текстовая строка, в которой для всех возможных 5-символьных подстрок вычислены соответствующие им значения по модулю 13. Если предположить, что образец имеет вид Р = 31415, то нужно найти подстроки, которым соответствуют значения 7 по модулю 13, поскольку
.4 ч Ч 'Ч ’И 1 ' ч 1 ' Ч Ч Ч Ч <4 Ы Ч 'Ч4 I н
10 П 12 13 14 15 16 17 18 19
mod 13
Ложное совпадение
Истинное совпадение
Старый Новый Старый Новый старший младший старший младший разряд разряд разряд Смещение разряд
s14152 = (змн.1 ' mmd 13)
= (7-3-3)40 + 2 (mod 13)
1 1= 8 (mod 13)
7 | 8 ]
в)
Рис. 32.4. Алгоритм Рабина-Карпа
31415 = 7 (mod 13). Найдены две такие подстроки; они выделены серым цветом. Первая подстрока, которая начинается в тексте на позиции 7, действительно совпадает с образцом, в то время как вторая, которая начинается на позиции 13, представляет собой т.н. ложное совпадение. В части в показано, как в течение фиксированного времени вычислить значение, соответствующее данной подстроке, по значению предыдущей подстроки. Значение, соответствующее первой подстроке, равно 31415. Если отбросить цифру 3 в старшем разряде, произвести сдвиг числа влево (умножение на 10), а затем добавить к полученному результату цифру 2 в младшем разряде, то получим новое значение 14152. Однако все вычисления производятся по модулю 13, поэтому для первой подстроки получится значение 7, а для второй — значение 8.
Итак, как видим, идея работы по модулю q не лишена недостатков, поскольку из ta = р (modg) не следует, что ta = р. С другой стороны, если ta ^р (modg), то обязательно выполняется соотношение ts / р и можно сделать вывод, что сдвиг s недопустимый. Таким образом, соотношение ts =р (modg) можно использовать в качестве быстрого эвристического теста, позволяющего исключить недопустимые сдвиги s. Все сдвиги, для которых справедливо соотношение ts = р (modq), необходимо подвергнуть дополнительному тестированию, чтобы проверить, что действительно ли сдвиг s является допустимым, или это просто ложное совпадение (spurious hit). Такое тестирование можно осуществить путем явной проверки условия Р [l..m] = Т [s + l..s + т]. Если значение q достаточно большое, то можно надеяться, что ложные совпадения встречаются довольно редко и стоимость дополнительной проверки окажется низкой.
Сформулированная ниже процедура поясняет описанные выше идеи. В роли входных значений для нее выступает текст Т, образец Р, разряд d (в качестве значения которого обычно выбирается |S|) и простое число q.
Rabin_Karp_Matcher(T, Р, d, q)
n <— length,^
m«— length,^
h*— dP-1 mod q
p *— 0
t0 *— 0
for i <— 1 to m> Предварительная обработка
do p «— (dp + P[i]) mod q
to <— (dto + T[i]) mod q
for s <— 0 to n — mi> Проверка
do if p = ta
then if P[1.. m] = T[s + 1.. s + m]
then print “Образец обнаружен при сдвиге” s
if s < n — m
then ts+i <— (d(ts — T[s + l]/i) + T[s + m + 1]) mod q
Опишем работу процедуры Rabin_Karp_Matcher. Все символы интерпретируются как цифры в системе счисления по основанию d. Индексы переменной t приведены для ясности; программа будет правильно работать и без них. В строке 3 переменной h присваивается начальное значение, равное цифре, расположенной в старшем разряде m-цифрового текстового окна. В строках 4-8 вычисляется значение р, равное Р [l..m] mod q, и значение to, равное Т [l..m] mod q. В цикле for в строках 9-14 производятся итерации по всем возможным сдвигам s. При этом сохраняется сформулированный ниже инвариант.
При каждом выполнении строки 10 справедливо соотношение t8 = = T[s + 1.. s + m] .mod q.
Если в строке 10 выполняется условие р = ts (“совпадение”), то в строке 11 проверяется справедливость равенства Р [l..m] = Т [s + l..s + m], чтобы исключить ложные совпадения. Все обнаруженные допустимые сдвиги выводятся в строке 12. Если s < п — m (это неравенство проверяется в строке 13), то цикл for нужно будет выполнить хотя бы еще один раз, поэтому сначала выполняется строка 14, чтобы гарантировать соблюдение инварианта цикла, когда мы снова перейдем к строке 10. В строке 14 на основании значения ts mod q с использованием уравнения (32.2) в течение фиксированного интервала времени вычисляется величина ts+i mod q.
В процедуре Rabin_Karp_Matcher на предварительную обработку затрачивается время 0 (ш), а время сравнения в нем в наихудшем случае равно 0 ((n — m + 1) т), поскольку в алгоритме Рабина-Карпа (как и в простейшем алгоритме поиска подстрок) явно проверяется допустимость каждого сдвига. Если Р = ат и Т = ап, то проверка займет время 0 ((n — m + 1) т), поскольку все п — т + 1 возможных сдвигов являются допустимыми.
Во многих приложениях ожидается небольшое количество допустимых сдвигов (возможно, выражающееся некоторой константой с); в таких приложениях математическое ожидание времени работы алгоритма равно сумме величины О ((п — m + 1) + cm) = О (n + m) и времени, необходимого для обработки ложных совпадений. В основу эвристического анализа можно положить предположение, что приведение значений по модулю q действует как случайное отображение множества S* на множество Z9. (См. в разделе 11.3.1 обсуждение вопроса об использовании операции деления для хеширования. Сделанное предположение трудно формализовать и доказать, хотя один из многообещающих подходов заключается в предположении о случайном выборе числа q среди целых чисел подходящего размера. В этой книге такая формализация не применяется.) В таком случае можно ожидать, что число ложных совпадений равно О (n/q), потому что вероятность того, что произвольное число t8 будет эквивалентно р по модулю q, можно оценить как 1/q. Поскольку имеется всего О(п) позиций, в которых проверка в строке 10 дает отрицательный результат, а на обработку каждого совпадения затрачивается время О (т), математическое ожидание времени сравнения в алгоритме Рабина-Карпа равно
О (п) + О (m (и + n/q)),
где v — количество допустимых сдвигов. Если v = О (1), a q выбрано так, что q > т, то приведенное выше время выполнения равно О (п). Другими словами, если математическое ожидание количества допустимых сдвигов мало (О (1)), а выбранное простое число q превышает длину образца, то можно ожидать,
что для выполнения фазы сравнения процедуре Рабина-Карпа потребуется время О (п + ш). Поскольку т ^ п, то математическое ожидание времени сравнения равно О (п).
Упражнения
1. Сколько ложных совпадений произойдет в процедуре Рабина-Карпа в случае текста Т = 3141592653589793, образца поиска Р = 26, а в качестве модуля q выбрано значение 11 ?
2. Как можно было бы обобщить метод Рабина-Карпа для задачи поиска в текстовой строке одного из к заданных образцов? Начните с предположения, что все к образцов имеют одинаковую длину. Затем обобщите решение таким образом, чтобы в нем учитывалась возможность того, что образцы могут быть разной длины.
3. Покажите, как обобщить метод Рабина-Крапа, чтобы он позволял решать задачу поиска заданного образца размерами тпхтпв символьном массиве размером п х п. (Образец можно сдвигать по вертикали и по горизонтали, но его нельзя вращать.)
4. Алиса располагает копией длинного n-битового файла А = (an-i,an_2, ..., ao), а Борис — копией n-битового файла В = (bn-h Ъп-2,..., boY Алиса и Борис захотели узнать, идентичны ли их файлы. Чтобы не передавать весь файл А или файл В, они используют описанную ниже быструю вероятностную проверку. Совместными усилиями они выбирают простое число q > ЮООп, а затем случайным образом выбирают целое число х из множества {0,1,..., q — 1}. После этого Алиса вычисляет значение (п—1\
atx1 J mod q,г=0)
а Борис — соответствующее значение В (ж). Докажите, что если А 4 / В, то имеется не более одного шанса из 1000, что А(х) = B(xY а если файлы одинаковы, то величины А (ж) и В (ж) также обязательно совпадут. (Указание: см. упражнение 31.4-4.)
Поиск подстрок с помощью конечных автоматов
Многие алгоритмы поиска подстрок начинают с того, что строят конечный автомат, который сканирует строку текста Т, отыскивая все вхождения в нее образца Р. В этом разделе представлен метод построения такого автомата. Подобные
автоматы для поиска подстрок очень эффективны: они проверяют каждый символ текста ровно по одному разу, затрачивая на каждый символ фиксированное количество времени. Поэтому после предварительной обработки образца для построения автомата, время, необходимое для поиска, равно 0 (п). Однако время построения автомата может оказаться значительным, если алфавит Е большой. В разделе 32.4 описан остроумный способ решения этой задачи.
В начале этого раздела дадим определение конечного автомата. Затем ознакомимся со специальными автоматами, предназначенными для поиска подстрок, и покажем, как с их помощью можно найти все вхождения образца в текст. Материал включает детальное описание имитации поведения автомата поиска подстрок при обработке текста. Наконец, будет показано, как сконструировать автомат поиска подстрок для заданного входного образца.
Конечные автоматы
Конечный автомат (finite automaton) М — это пятерка (Q, qo, A, S, 5), где
Q — конечное множество состояний (states),
?о € Q — начальное состояние (start state),
А С Q — конечное множество допустимых состояний (accepting states),
S — конечный входной алфавит (input alphabet),
* 6 — функция, которая отображает множество Q х Е на множество Q и называется функцией переходов (transition function) автомата М.
Вначале конечный автомат находится в состоянии qo и считывает символы входной строки один за другим. Если автомат находится в состоянии q и считал входной символ а, то автомат переходит из состояния q в состояние 5 (q, а). Если текущее состояние q является членом множества А, то говорят, что машина М допускает (accepted) считанную строку. Если же q ^ А, то входные данные называют отвергнутыми (rejected). Эти определения проиллюстрированы на рис. 32.5 на простом примере автомата с двумя состояниями. В части а этого рисунка приведено табличное представление функции переходов 8. В части б изображена эквивалентная диаграмма состояний. Состояние 1 — единственное допустимое состояние (оно показано черным цветом). Переходы представлены ориентированными ребрами. Например, ребро, ведущее из состояния 1 в состояние 0, которое обозначено меткой Ь, указывает, что 8 (1, Ь) = 0. Рассматриваемый автомат допускает те строки, которые оканчиваются нечетным количеством символов а. Точнее говоря, строка х воспринимается тогда и толью тогда, когда х = yz, где у = е или строка у оканчивается символом Ь, и z = ak, где к — нечетное. Например, последовательность состояний, которые проходит этот автомат для входной строки abaaa (включая начальное состояние), имеет вид (0,1,0,1,0,1), так что входная
Вход Состояние а bВход Состояние а b10001000а)а)Рис. 32.5. Простой автомат с двумя состояниями: Q = {0,1}, до = 0, Е = {а, 6}Рис. 32.5. Простой автомат с двумя состояниями: Q = {0,1}, до = 0, Е = {а, 6}
Вход Состояние а b
Вход Состояние а b
1
0
0
0
1
0
0
0
а)
а)
Рис. 32.5. Простой автомат с двумя состояниями: Q = {0,1}, до = 0, Е = {а, 6}
Рис. 32.5. Простой автомат с двумя состояниями: Q = {0,1}, до = 0, Е = {а, 6}
строка воспринимается. Если входная строка имеет вид abbaa, то автомат проходит последовательность состояний (0,1,0,0,1,0), поэтому такая входная строка отвергается.
С конечным автоматом М связана функция ф, которая называется функцией конечного состояния (final state function) и которая отображает множество Е* на множество Q. Значение ф (w) представляет собой состояние, в котором оказывается автомат М после прочтения строки w. Таким образом, М допускает строку w тогда и только тогда, когда ф^и)) 6 А. Функция ф определяется следующим рекуррентным соотношением:
Ф 00 = 9о,
ф (wa) = б^Ф (w) > °) Д™ w € Е*, а € Е.
Автоматы поиска подстрок
Для каждого образца Р существует свой автомат поиска подстрок; его необходимо сконструировать по образцу на этапе предварительной обработки, чтобы впоследствии его можно было использовать для поиска текстовой строки. Процесс такого конструирования для образца Р = ababaca проиллюстрирован на рис. 32.6. С этого момента предполагается, что образец Р — это заданная фиксированная строка: для краткости мы будем опускать в обозначениях зависимость от Р.
Чтобы создать автомат поиска подстрок, соответствующий заданному образцу Р [l..m], сначала определим вспомогательную функцию ст, которая называется суффиксной функцией (suffix function), отвечающей образцу Р. Функция ст является отображением множества Е* на множество {0,1,..., ш}, таким что величина ст (ж) равна длине максимального префикса Р, который является суффиксом строки х;
ст (ж) = max {А:: Р^ □ ж) .
Суффиксная функция ст вполне определена, поскольку пустая строка Ро = е является суффиксом любой строки. В качестве примера рассмотрим образец вида
ВходСостояние о Ь сО234567ВходСостояние о Ь сО2345671001203001405о04h700141001203001405о04h70014В а Ь а b а с аВ а Ь а b а с а/12^4^67'89К)11
Вход
Состояние о Ь с
О
2
3
4
5
6
7
Вход
Состояние о Ь с
О
2
3
4
5
6
7
1
0
0
1
2
0
3
0
0
1
4
0
5
о
0
4
h
7
0
0
1
4
1
0
0
1
2
0
3
0
0
1
4
0
5
о
0
4
h
7
0
0
1
4
В а Ь а b а с а
В а Ь а b а с а
Г|/]-a b а b а Ьасаbа
Состояние ф(7})ОI 2 3 4 5 456Щ23
б)в)
автомата для образца Р =автомата для образца Р =Рис. 32.6. Процесс конструирования конечного
автомата для образца Р =
автомата для образца Р =
= ababaca
Р = ab; тогда а (е) = 0, а (ссаса) = 1 и ст (ccab) = 2. Для образца Р длиной т равенство а (х) = т выполняется тогда и только тогда, когда Р □ х. Из определения суффиксной функции следует, что если х □ у, то а (ж) ^ а (у).
Определим автомат поиска подстрок, соответствующий образцу Р [l..m], следующим образом.
Множество состояний Q имеет вид {0,1,... т}. В роли начального состояния до выступает состояние 0, а единственным допустимым является состояние т.
Функция переходов 6 определена для любого состояния q и символа а уравнением
6 (q, а) = a (Pqa).(32.3)
Поясним, откуда берется соотношение 6 (q, а) = a ^PqaY В качестве инварианта цикла этот автомат поддерживает соотношение
ф^ = а^У.(32.4)
этот результат доказывается в сформулированной ниже теореме 32.4. На словах это означает, что после сканирования первых г символов текстовой строки Т автомат переходит в состояние ф (Ti) = q, где q = a (Ti) — длина самого длинного
суффикса Tt, который одновременно является префиксом образца Р. Если следующим сканируемым символом является символ Т [г + 1] = а, то машина должна осуществить переход в состояние <т(Т^+1) = сг(Т^а). Из доказательства этой теоремы видно, что о (Т^а) = a (Pqa\ Другими словами, чтобы вычислить количество символов в самом длинном суффиксе Т^а, который является префиксом образца Р, можно найти самый длинный суффикс Pqa, который является префиксом Р. На каждом этапе машине нужна информация о длине самого длинного префикса Р, который является суффиксом считанной до сих пор строки. Таким образом, если положить 8 (q, а) = ст ^Pqa\ то будет поддерживаться нужный инвариант (32.4). Вскоре это неформальное пояснение будет изложено в более строгой форме.
Например, в автомате поиска подстрок, представленном на рис. 32.6, 8 (5, Ь) = = 4. Этот переход осуществляется потому, что если автомат считывает символ Ь, находясь в состоянии q = 5, то Pqb = ababab, и самый длинный префикс образца Р, совпадающий с суффиксом строки ababab — Р4 = abab.
Рассмотрим рис. 32.6 подробнее. В части а приведена диаграмма состояний для автомата поиска подстрок, который воспринимает все строки, оканчивающиеся строкой ababaca. Состояние 0 — начальное, а состояние 7 (оно выделено черным цветом) — единственное допустимое состояние. Ориентированные ребра, направленные от состояния г в состояние j и обозначенные меткой а, представляют значение функции 8 (г, а) = j. Ребра, направленные вправо, которые образуют “хребет” автомата и выделены на рисунке жирными линиями, соответствуют точным совпадениям образца и входных символов. Ребра, направленные влево, соответствуют несовпадениям. Некоторые ребра, соответствующие несовпадениям, не показаны; в соответствии с соглашением, если для некоторого символа а € S у состояния г отсутствуют исходящие ребра с меткой а, то 8 (г, а) = 0. В части б представлена соответствующая функция переходов <5, а также строка образца Р = ababaca. Элементы, соответствующие совпадениям между образцом и входными символами, выделены серым цветом. В части в проиллюстрирована обработка автоматом текста Т = abababacaba. Под каждым символом текста Т [г] указано состояние ф (Ti), в котором находится автомат после обработки префикса Ti. Образец встречается в тексте один раз, причем совпадающая подстрока оканчивается на девятой позиции.
Чтобы пояснить работу автомата, предназначенного для поиска подстрок, приведем простую, но эффективную программу для моделирования поведения такого автомата (представленного функцией переходов <$) при поиске образца Р длиной m во входном тексте Т [1..п]. Как и в любом другом автомате поиска подстрок, предназначенном для образца длиной т, множество состояний Q имеет вид {0,1,..., т), начальное состояние имеет индекс 0, а единственным допустимым является состояние т.
Finite_Automaton_Matcher(T, 5, m)
п <— length (Т]
q *—0
for г 1 to n
do 9 <-<5(д,Т[г])
if q = m
then print “Образец обнаружен при сдвиге” г — т
Поскольку структура процедуры Finite_Automaton_Matcher представляет собой простой цикл, время поиска совпадений с его помощью в тексте длиной п равна О (п). Однако сюда не входит время предварительной обработки, которое необходимо для вычисления функции переходов 6. К этой задаче мы обратимся позже, после доказательства корректности работы процедуры Fi- nite_Automaton_Matcher.
Рассмотрим, как автомат обрабатывает входной текст ТЦ-п]. Докажем, что после сканирования символа Т [г] автомат окажется в состоянии ст (р). Поскольку соотношение ст (р) = т справедливо тогда и только тогда, когда Р □ р, машина окажется в допустимом состоянии тогда и только тогда, когда она только что считала образец Р. Чтобы доказать этот результат, воспользуемся двумя приведенными ниже леммами, в которых идет речь о суффиксной функции о.
Лемма 32.2 (Неравенство суффиксной функции). Для любой строки ж и символа а выполняется неравенство о (ха) ^ а (х) + 1.
Доказательство. Введем обозначение г = а (ха) (рис. 32.7). Если г = 0, то неравенство а (ха) = г ^ а (х) + 1 тривиальным образом следует из того, что величина а (х) неотрицательна. Теперь предположим, что г > 0. Тогда РТ □ ха согласно определению функции а. Если в конце строк Рт и ха отбросить по символу а, то мы получим Pr-i □ х. Следовательно, справедливо неравенство г — 1 ^ а (х), так как о (х) — максимальное значение к, при котором выполняется соотношение Рк □ х, и ст (ха) = г ^ ст (х) + 1.□
Рис. 32.7. Иллюстрация к доказательству леммы 32.2; из рисунка видно, что выполняется неравенство г ^ а (х) + + 1, где г = о (ха)
Рис. 32.8. Иллюстрация к доказательству леммы 32.3; из рисунка видно, что выполняется соотношение т = ст (Рча), где g = ст (х) и г = ст (ха)
Лемма 32.3 (Лемма о рекурсии суффиксной функции). Если для произвольных строки х и символа a q = а (х), то ст (ха) = ст (Рда).
Доказательство. Согласно определению функции ст, Pq □ х. Как видно из рис. 32.8, наряду с ним выполняется соотношение Pqa □ ха. Если ввести обозначение г = а (ха), то, согласно лемме 32.2, справедливо неравенство г ^ q + 1. Поскольку Pqa □ ха, РТ □ ха и |Pr| ^ |Pg<z|, из леммы 32.1 следует, что Рт □ Pqa. Поэтому справедливо неравенство г < a YPqa\ т-е- а (XQ) ^ °" (PqaY Но, кроме того, ст (Pqa) ^ ст (ха), поскольку Pqa □ ха. Таким образом, ст (ха) = ст (Pqa). ■
Теперь все готово для доказательства основной теоремы, характеризующей поведение автомата поиска подстрок при обработке входного текста. Как уже упоминалось, в этой теореме показано, что автомат на каждом шагу просто отслеживает, какой самый длинный префикс образца совпадает с суффиксом части текста, считанной до сих пор. Другими словами, в автомате поддерживается инвариант (32.4).
Теорема 32.4. Если ф — функция конечного состояния, соответствующая автомату поиска подстрок с заданным образцом Р, а Т [1..п] — входной текст этого автомата, то ф^ = а^
для г = 0,1,... ,п.
Доказательство. Докажем теорему по индукции по г. Если г = 0, то справедливость теоремы очевидна, поскольку То = е. Таким образом, ф (То) = 0 = ст (То).
Теперь предположим, что выполняется равенство ф(Д^ = о(Д\\ и докажем, что ф (Т<+1) = ст (Т,+1). Обозначим величину ф (Ti) как q, а величину Т [г + 1] —
через а. Тогда можно написать цепочку следующих соотношений:
ф (Ti+i) = ф (Да) = (по определению величин 7}+1 и а)
= б (ф (Д), а) = (по определению ф)
= б (q, а) =(по определению д)
= a (Pqa) =(по определению <5 (32.3))
= ст (Да) = (согласно лемме 32.3 и гипотезе индукции)
= ст (Д+Д (по определению Т^У
В соответствии с теоремой 32.4, если автомат попадает в состояние q в строке 4, то q — наибольшее значение, такое что Pq □ Д. Таким образом, в строке 5 равенство q = m выполняется тогда и только тогда, когда только что был считан образец Р. Итак, мы приходим к выводу, что процедура Finite_Automaton_ Matcher работает корректно.
Вычисление функции переходов
Приведенная ниже процедура вычисляет функцию переходов б по заданному образцу Р [1..т].
Compute_Transition_Function(P, Е)
m *— length^
for q «— 0 to m
do for (для) каждого символа a € E
do к «— min(m + 1, q + 2)
repeat к «— к — 1
until Pk □ Pqa
5(g, a) +— к
return 6
В этой процедуре функция 5 (q, а) вычисляется непосредственно, исходя из ее определения. Во вложенных циклах, которые начинаются в строках 2 и 3, рассматриваются все состояния q и символы а, а в строках 4-7 функции 6(q, a) присваиваются максимальные значения к, при которых справедливо соотношение Рк □ Pqa.
Время работы процедуры Finite_Automaton_Matcher равно О (т3 |Е|), поскольку внешние циклы дают вклад, соответствующий умножению на m |Е|, внутренний цикл repeat может повториться не более m + 1 раз, а для выполнения проверки в строке 6 может понадобиться сравнить вплоть до m символов. Существуют процедуры, работающие намного быстрее; время, необходимое для вычисления функции 6 по заданному образцу Р, путем применения некоторых величин.
остроумно вычисленных для этого образца (см. упражнение 32.4-6), можно улучшить до величины О (т |S|). С помощью такой усовершенствованной процедуры вычисления функции 5 можно найти все вхождения образца длиной т в текст длиной п для алфавита S, затратив на предварительную обработку время О (т |Е|), а на сравнение — время 0 (п).
Упражнения
1. Сконструируйте автомат поиска подстрок для образца Р = ааЬаЬ и проиллюстрируйте его работу при обработке текста Т = aaababaabaababaab.
2. Изобразите диаграмму состояний для автомата поиска подстрок, если образец имеет вид ababbabbababbababbabb, а алфавит — S = {а, Ь^.
3. Образец Р называют строкой с уникальными префиксами (nonoverlap- pable), если из соотношения Р^ □ Pq следует, что к = 0 или к = q. Как выглядит диаграмма переходов автомата для поиска подстроки с уникальными префиксами?
* 32.3-4. Заданы два образца Р и Р*. Опишите процесс построения конечного автомата, позволяющего найти все вхождения любого из образцов. Попытайтесь свести к минимуму количество состояний такого автомата.
5. Задан образец Р, содержащий пробельные символы (см. упражнение 32.1-4). Опишите процесс построения конечного автомата, позволяющего найти все вхождения образца Р в текст Т, затратив при этом на сравнение время О (п), где п = \Т\.
* 32.4 Алгоритм Кнута-Морриса-Пратта
Теперь представим алгоритм сравнения строк, который был предложен Кнутом (Knuth), Моррисом (Morris) и Праттом (Pratt), и время работы которого линейно зависит от объема входных данных. В этом алгоритме удается избежать вычисления функции переходов 8, а благодаря использованию вспомогательной функции тг[1..т], которая вычисляется по заданному образцу за время 0(т), время сравнения в этом алгоритме равно 0 (п). Массив тг позволяет эффективно (в амортизированном смысле) вычислять функцию 8 “на лету”, т.е. по мере необходимости. Грубо говоря, для любого состояния q = 0,1,..., m и любого символа а 6 S величина тг [д] содержит информацию, которая не зависит от символа а и необходима для вычисления величины <5 (д, а) (пояснения по поводу этого замечания будут даны ниже). Поскольку массив тг содержит только m элементов (в то время как в массиве 8 их 0(m|S|)), вычисляя на этапе предварительной обработки функцию тг вместо функции 8, удается уменьшить время предварительной обработки образца в |S| раз.
Префиксная функция для образца
Префиксная функция тг, предназначенная для какого-нибудь образца, инкапсулирует сведения о том, в какой мере образец совпадает сам с собой после сдвигов. Эта информация позволяет избежать ненужных проверок в простейшем алгоритме поиска подстрок или предвычисления функции 6 при использовании конечных автоматов.
Рассмотрим работу обычного алгоритма сопоставления. На рис. 32.9а показан некоторый сдвиг s шаблона с образцом Р = ababaca вдоль текста Т. В этом примере q = 5 символов успешно совпали (они выделены серым цветом и соединены вертикальными линиями), а 6-й символ образца отличается от соответствующего символа текста. Сведения о количестве совпавших символов q позволяют сделать вывод о том, какие символы содержатся в соответствующих местах текста. Эти знания позволяют сразу же определить, что некоторые сдвиги будут недопустимыми. В представленном на рисунке примере сдвиг s + 1 точно недопустим, поскольку первый символ образца (а) находился бы напротив символа текста, для которого известно, что он совпадает со вторым символом образца (6). Однако из части б рисунка, на которой показан сдвиг s' = s 4- 2, видно, что первые три символа образца совпадают с тремя последними просмотренными символами текста, так что такой сдвиг априори нельзя отбросить как недопустимый. Полезную информацию, позволяющую сделать такой вывод, можно получить путем сравнения образца с самим собой. В части в рисунка изображен самый длинный префикс образца Р, который также является собственным суффиксом строк Р^ и Р^. Эти данные предварительно вычисляются и заносятся в массив тг, так что тг [5] = 3. Если первые q символов совпали при сдвиге s, то следующий сдвиг, который может оказаться допустимым, равен s' = s 4- (q — тг [9]).
Словом, в общем случае полезно знать ответ на сформулированный ниже вопрос.
Пусть символы Р [1..9] образца совпадают с символами текста T[s +
4- l..s 4- 9]. Чему равен наименьший сдвиг s' > s, такой что
Р[1..А:] =T[s' + l..s' + A:] ,(32.5)
где s' + к = s + 9?
Такой сдвиг s' — первый после сдвига s, недопустимость которого не обязательно следует из наших знаний о подстроке Т [s 4- l..s 4- 9]. В лучшем случае s' = s + 9, и все сдвиги s +1, s + 2,..., s + 9 — 1 немедленно отбрасываются. В любом случае для нового сдвига s' нет необходимости сравнивать первые к символов образца Р и соответствующие символы текста Т, поскольку их совпадение гарантированно благодаря уравнению (32.5).
а)
в)
Рис. 32.9. Префиксная функция тг
Необходимую информацию об образце можно получить, сдвигая его вдоль самого себя (см. рис.32.9с). Поскольку Т [s' + l..s' + А:] — известная часть текста, она является суффиксом строки Pq. Поэтому уравнение (32.5) можно рассматривать как запрос о максимальном значении к < q, таком что Рк □ Pq. Тогда следующий потенциально допустимый сдвиг равен s' = s + (q — к). Оказывается, что удобнее хранить количество к совпадающих при новом сдвиге s' символов, чем, например, величину s' — s. С помощью этой информации можно ускорить и простейший алгоритм поиска подстроки, и работу конечного автомата.
Теперь дадим формальное определение. Префиксной функцией (prefix function) заданного образца Р [l..m] называется функция тг: {1,2,..., т) —» {0,1,..., т — 1}, такая что
тг [g] = max }k : k < q и Pk □ Pq} .
Другими словами, тг [g] равно длине наибольшего префикса образца Р, который является истинным суффиксом строки Рд. В качестве другого примера на рис. 32.10а приведена полная префиксная функция тг для образца ababababca.
Алгоритм поиска подстрок Кнута-Морриса-Пратта приведен ниже в виде псевдокода процедуры KMP_Matcher. В процедуре KMP_Matcher вызывается вспомогательная процедура Compute_Prefix_Function, в которой вычисляется функция тг.
/1 2 3 4 5 6 7 8 9 10
Р[/] ababababca
ж[/1 | 0 1 0 | 1 | 2 | 3 |4 |5 |б |о | 1
а)
Р8a I b a b a bl а Ь с а
Рбababababca^[8] = 6
Р4| a [ а ] b 1 a b а b с а^[6] = 4
Р1ababababcaя[4] = 2
Ро({ababababca л[2] = 0
б)
Рис. 32.10. Иллюстрация к лемме 32.5 для образца Р = ababababca и q = 8
KMP_Matcher(T, Р)
1
2
3
4
5
6
7
8
9
10
11
12
п ♦— length,\T\
т <— length[P]
тг <— Compute_Prefix_Function(P)
q «— 0> Число совпавших символов
for г «— 1 to п> Сканирование текста слева направо
do while q > 0 и P[q + 1] ^ Т[г]
do q 7r[q]> Следующий символ не совпадает
if P[q+l] = T[i]
then q <— q + 1> Следующий символ совпадает
if q = m> Совпали ли все символы образца Р?
then print “Образец обнаружен при сдвиге” г — m
q <— 7r[q]▻ Поиск следующего совпадения
Compute_Prefix_Function(F)
1 т «— length [Р]
2 7г[1]«-0
3 fc <—0
for q «— 2 to m
do while к > 0 и P[fc + 1] / P[?]
do к <— тг[А:]
if P\k + 1] = P[9]
then к <— к + 1
?r[q] <— к
return тг
Сначала проанализируем время работы этой процедуры. Доказательство ее корректности окажется более сложным.
Анализ времени работы
С помощью метода потенциалов амортизационного анализа (см. раздел 17.3) можно показать, что время работы процедуры Compute_Prefix_Function равно 0 (т). Потенциал величины к связывается с текущим ее значением в алгоритме. Как видно из строки 3, начальное значение этого потенциала равно 0. В строке 6 значение величины к уменьшается при каждом его вычислении, поскольку тг [fc] < к. Однако в силу неравенства тг [fc] > 0, которое справедливо при всех к, значение этой переменной никогда не бывает отрицательным. Единственная другая строка, которая тоже оказывает влияние на значение переменной к, — строка 8. Благодаря ее наличию при каждом выполнении тела цикла for значение переменной к увеличивается не более чем на 1. Поскольку перед входом в цикл выполняется неравенство к < q и поскольку значение переменной q увеличивается в каждой итерации цикла for, справедливость неравенства к < q сохраняется (подтверждая тот факт, что соблюдается также неравенство тг [q] < q в строке 9). Каждое выполнение тела цикла while в строке 6 можно оплатить соответствующим уменьшением потенциальной функции, поскольку тг [fc] < к. В строке 8 потенциальная функция возрастает не более чем на 1, поэтому амортизированная стоимость тела цикла в строках 5-9 равна О (1). Так как количество итераций внешнего цикла равно 0 (т), и поскольку конечное значение потенциальной функции по величине не меньше, чем ее начальное значение, полное фактическое время работы процедуры Compute_Prefix_Function в наихудшем случае равно 0 (т).
Аналогичный амортизационный анализ, в котором в качестве потенциальной функции используется значение величины q, показывает, что время выполнения сравнений в процедуре KMP_Matcher равно 0 (п).
Благодаря использованию функции тг вместо функции 8, которая используется в процедуре Finite_Automaton_Matcher, время предварительной обработки образца уменьшается от 0(m|S|) до 0(т), в то время как оценка реального времени поиска остается равной 0 (п).
Корректность вычисления префиксной функции
Начнем с рассмотрения важной леммы, в которой показано, что путем итерации префиксной функции тг можно перечислить все префиксы Р^, которые являются истинными суффиксами заданного префикса Рд. Введем обозначение тг* [д] = {тг [д], тг(2) [у], тг(3) [д],..., тг^ [д] } ,
где величина тг^ [д] обозначает г-ю итерацию префиксной функции, т.е. тг(°) [д] = = q и при г ^ 1 тг^ [д] = тг [тг^-1) [д]]. Кроме того, понятно, что последовательность тг* [у] обрывается, когда в ней будет достигнуто значение тг^ [д] = 0. Приведенная ниже лемма, проиллюстрированная на рис. 32.10, характеризует последовательность тг* [д].
Лемма 32.5 (Лемма об итерации префиксной функции). Пусть Р — образец длиной т с префиксной функцией тг. Тогда для всех q = 1,2,..., т имеем тг* [у] = = ^к : к < q и Рк □ Рд}.
Доказательство. Сначала докажем, что
из г € тг* [д] следует Pt □ Pq.(32.6)
Если г€тг* [g], то г = тг^ [д] для некоторого и > 0. Докажем (32.6) по индукции по и. При u = 1 г = тг [д] и сформулированное выше утверждение следует из того, что г < q и Р^д] □ Pg. Воспользовавшись соотношениями тг [г] < г и Р^] □ Р,, а также транзитивностью операций < и и, можно установить справедливость нашего утверждения для всех г из тг* [д]. Следовательно, тг* [g] С ^к : к < д и Р^. □ PqY
То, что ^к : к < д и Рк □ Pq^ С тг* [д], мы докажем методом “от противного”. Предположим, что в множестве {к : к < g и Рк □ Рд) — тг* [д] содержатся целые числа и что j — наибольшее из них. Поскольку тг [д] — наибольшее значение множества ^к : к < q и Рк ТЗ Pq^, и в силу того, что тг [д] € тг* [д], должно выполняться неравенство j < тг [д]. Обозначим через j' наименьший целый элемент множества тг* [д], превышающий j. (Если в множестве тг* [д] не содержится других значений, превышающих j, можно выбрать j' = тг [д].) В силу того, что j € {к : к < д и Рк □ Рд}, Pj □ Рд, а кроме того, Р} □ Рд, поскольку j' е тг* [д]. Таким образом, согласно лемме 32.1, справедливо соотношение Pj □ Pj и j — наибольшее из значений, меньших значения j' и обладающих этим свойством. Поэтому должно выполняться равенство тг [/] = j и, поскольку j' € тг* [д], должно выполняться соотношение j € тг* [д]. Это противоречие и доказывает лемму. □
На рис. 32.10 лемма 32.5 проиллюстрирована для шаблона Р = ababababca и q = 8. Поскольку тг [8] = 6, тг [6] = 4, тг [4] = 2 и тг [2] = 0, путем итерации функции тг получим тг* [8] = {6,4,2,0}. В части б рис. 32.10 показаны последовательные сдвиги шаблона с образцом Р вправо. Обратите внимание, как после каждого сдвига некоторый префикс Рк образца Р совпадает с некоторым собственным суффиксом строки Pg; это происходит при к = 6,4,2,0. На этом рисунке в первой строке приведен образец Р, а пунктирная вертикальная линия обозначает конец строки Pg. В последовательных строках изображены все сдвиги образца Р, при которых некоторый префикс Рк образца Р совпадает с некоторым суффиксом строки Pg. Совпадающие символы выделены серым цветом. Вертикальные линии соединяют совпадающие символы. Таким образом, {А:: к < q и Рк □ /,} = {6,4,2,0}. В лемме утверждается, что для всех q тг* [q] = ^к : к < q и Рк □ PqY
Алгоритм Compute_PREFIX_FuncTION по порядку вычисляет тг [q] для q = = 1,2,..., m. Корректность вычисления значения тг [1] = 0 во второй строке этой процедуры не вызывает сомнений, поскольку при всех q выполняется неравенство тг к] < 9- Приведенная ниже лемма и следствие из нее будут использованы для доказательства того факта, что в процедуре Compute_Prefix_Function функция тг [q] вычисляется корректно при всех q > 1.
Лемма 32.6. Пусть Р — образец длиной тп, а тг — префиксная функция этого образца. Тогда тг [q] — 1Е тг* [q — 1] для всех q = 1,2,..., m, для которых тг [q] > 0.
Доказательство. Если г = тг [q] > 0, то г < q и РТ □ Pq; таким образом, г - — 1 < q — 1 и Pr-i □ Pq-i (отбрасывая последний символ в строках Рт и Pq). Поэтому, согласно лемме 32.5, тг [q] — 1 = г — 1 Е тг* [q — 1]. [3
Для q = 2,3,..., m определим подмножество Eq_\ С тг* [q — 1] следующим образом:
Eq-т = {к Е тг* [q - 1] : Р [А: + 1] = Р [q]} =
= {А: : к < q - 1 и РкЗ Pq-i и Р [А: + 1] = Р [q]} = = ^к : к < q — 1 и Pk+i □ Pq^ ,
где предпоследнее равенство следует из леммы 32.5. Итак, множество Eq_\ состоит из таких значений к < q — 1, что Рк □ Pq-x и Рк+х □ Pq (последнее следует из того, что Р [А: +1] = Р [q]). Таким образом, множество Eq-i состоит из тех значений к Е тг* [q — 1], для которых строку Рк можно расширить до строки Рк+х, получив в результате истинный суффикс строки Pq.
Следствие 32.7. Пусть Р — образец длиной т, а тг — префиксная функция этого образца. Тогда при q = 2,3,..., т
. . (оесли Ед-1 = 0,
тг g = <
[ 1 + max {А: Е ^g-i} если Eq_i / 0.
Доказательство. Если множество Eq-i пустое, то не существует значений k Е Е тг* [д — 1] (включая к = 0), для которых строку Рк можно расширить до строки Рк-н и получить собственный суффикс Pq. Следовательно, тг [д] = 0.
Если множество Eq_i не пустое, то для каждого значения к Е Дд-i справедливы соотношения к + 1 < q и Рк-ц □ Pq. Следовательно, из определения тг [д] мы имеем
тг [g] > 1 + max ^к Е Eq-V^ .(32.7)
Заметим, что тг [д] > 0. Обозначим г = тг [g] — 1, так что г + 1 = тг [д]. Поскольку г +1 > 0, имеем Р [г + 1] = Р [д]. Кроме того, согласно лемме 32.6, г Е тг* [д — 1]. Таким образом, г Е Eq-i, так что г ^ max ^к Е Рд-i} или, что эквивалентно,
тг [д]1 +maxfA: Е 5д-1} .(32.8)
Объединение уравнений (32.7) и (32.8) завершает доказательство.□
Теперь завершим доказательство того, что процедура COMPUTE_PREF1X_ Function корректно вычисляет функцию тг. В этой процедуре в начале каждой итерации цикла for в строках 4-9 выполняется равенство к = тг [д — 1]. Это условие обеспечивается строками 2 и 3 во время первого вхождения в цикл и остается справедливым в каждой успешной итерации благодаря строке 9. В строках 5-8 значение переменной к изменяется таким образом, что становится корректным значение тг [д]. В цикле в строках 5-6 выполняется поиск по всем значениям к 6 Е тг* [д — 1], пока не будет найдено такое значение, для которого Р [А; + 1] = Р [д]. В этот момент к является наибольшим значением в множестве Eq_i, поэтому, согласно следствию 32.7, величину тг [д] можно положить равной к + 1. Если же искомое значение к не найдено, в строке 7 выполняется присваивание к = = 0. Если Р [1] = Р [д], то мы должны присвоить значение 1 как к, так и тг [д]; в противном случае переменную к следует оставить неизменной, а величине тг [д] присвоить значение 0. В любом случае в строках 7-9 величинам к и тг [д] присваиваются правильные значения. На этом доказательство корректности процедуры Compute_Prefix_Function можно считать завершенным.
Корректность алгоритма Кнута-Морриса-Пратта
Процедуру KMP_Matcher можно рассматривать как видоизмененную реализацию процедуры Finite_Automaton_Matcher. В частности, мы докажем,
что код в строках 6-9 процедуры KMP_Matcher эквивалентен строке 4 процедуры Finite_AUTOMATON_MatCHER, в которой переменной q присваивается значение 8(q, Т[г]). Однако вместо того, чтобы использовать сохраненную величину 8(q, Т [г]), она вычисляется по мере необходимости с помощью функции тг. Поскольку ранее было показано, что процедура KMP_Matcher имитирует поведение процедуры Finite_Automaton_Matcher, корректность процедуры KMP_MATCHER следует из корректности процедуры Finite_Automaton_Matcher (и вскоре станет понятно, почему в процедуре KMP_MATCHER необходима строка 12).
Корректность процедуры KMP_Matcher следует из утверждения, что должно выполняться либо соотношение 5 (g, Т [г]) = 0, либо соотношение <5 (q, Т [г]) — 1 € G тг* [д]. Чтобы проверить это утверждение, обозначим к = 8 (q, Т[г]). Тогда из определений функций 8 и а следует, что Рк □ PqT [г]. Следовательно, либо к = = 0, либо fc ^ 1 и (отбрасывая последний символ из Рк и PqT [г]) Рк-1 □ Pq (в этом случае к — 1 € тг* [д]). Таким образом, либо к = 0, либо к — 1 € тг* [д], что и доказывает сформулированное выше утверждение.
Доказанное утверждение используется следующим образом. Обозначим через д' значение, которое принимает величина д в строке 6, и воспользуемся уравнением тг* [д] = ^к : к < д и Рк □ Pq^ из леммы 32.5 для обоснования итерации д «— тг [д], перечисляющей элементы множества ^к : Рк □ PqY В строках 6-9 путем проверки элементов множества тг* [д'] в убывающем порядке определяется величина <$ (д', Т [г]). Указанное утверждение используется в коде для того, чтобы начать работу с g = 0(Tj_i) = s(7)_i) и выполнять итерации q <— тг [g] до тех пор, пока не будет найдено значение д, такое что д = 0 или Р [д +1] = = Т [г]. В первом случае 8 (q',T [г] = 0), а во втором — значение переменной д равно максимальному элементу множества E’q, так что 8 (q', Т [г]) = д+1 согласно следствию 32.7.
Строка 12 в процедуре KMP_Matcher необходима для того, чтобы избежать возможного обращения к элементу Р [m +1] в строке 6 после того, как будет обнаружено вхождение образца Р. (Согласно указанию, приведенному в упражнении 32.4-6, аргумент, что g = cr(Ti-i), остается справедливым во время следующего выполнения строки 6: для любого а € S 8 (тп, а) = 8 (тг [т], а) или, что эквивалентно, ст (Ра) = ст (Р^^а).) Остальная часть обоснования корректности алгоритма Кнута-Морриса-Пратта следует из корректности процедуры Finite_Automaton_Matcher, поскольку теперь должно быть понятно, что процедура KMP_MaTCHER просто имитирует ее поведение.
Упражнения
1. Вычислите префиксную функцию для образца ababbabbabbababbabb (алфавит имеет вид S = (а, Ь}).
2. Найдите верхнюю границу размера тг* [q] как функцию от величины q. Приведите пример, показывающий, что ваша оценка не может быть улучшена.
3. Объясните, как найти вхождения образца Р в текст Т, зная функцию тг для РТ (те. строки длиной m+n, полученной в результате конкатенации строк Р и Т).
4. Покажите, как улучшить процедуру KMP_Matcher, заменив функцию тг в строке 7 (но не в строке 12) функцией тг', рекурсивно определяемой для q = 1,2,..., m следующим образом:
(о(отг' М = тг' [тг [q]]тг' М = тг' [тг [q]]Л [9]Л [9]если тг [д] = 0,если тг [д] / 0 и F [тг [g] + 1] = Р [д + 1], если тг [д] / 0 и Р [тг [g] + 1] / Р [д + 1].если тг [д] = 0,если тг [д] / 0 и F [тг [g] + 1] = Р [д + 1], если тг [д] / 0 и Р [тг [g] + 1] / Р [д + 1].
(о
(о
тг' М = тг' [тг [q]]
тг' М = тг' [тг [q]]
Л [9]
Л [9]
если тг [д] = 0,
если тг [д] / 0 и F [тг [g] + 1] = Р [д + 1], если тг [д] / 0 и Р [тг [g] + 1] / Р [д + 1].
если тг [д] = 0,
если тг [д] / 0 и F [тг [g] + 1] = Р [д + 1], если тг [д] / 0 и Р [тг [g] + 1] / Р [д + 1].
Объясните, почему модифицированный алгоритм работает корректно, а также в чем состоит смысл этого улучшения.
5. Разработайте алгоритм, который бы позволил в течение линейного времени определить, является ли текстовая строка Т циклической перестановкой другой строки Т'. Например, строки arc и саг являются циклическими перестановками друг друга.
★ 32.4-6. Разработайте эффективный алгоритм вычисления функции переходов 5 для конечного автомата поиска заданного образца Р. Время работы алгоритма должно быть равно О (m |S|). ^Указание: докажите, что 5 (д, а) = = 5 (тг [д], а), если д = m или Р [д + 1] / а.)
Задачи
32-1. Поиск подстрок на основе коэффициентов повторения
Обозначим как у1 строку, полученную в результате г-кратной конкатенации строки у с самой собой. Например, (ab)3 = ababab. Говорят, что коэффициент повторения (repetition factor) строки ж 6 S* равен г, если х = уг для некоторой строки у G Е* и значения г > 0. Через р (ж) обозначим наибольший из коэффициентов повторения х.
Разработайте эффективный алгоритм, принимающий в качестве входных данных образец Р[1..т] и вычисляющий значение р^Р^ для г = 1,2,..., т. Чему равно время работы этого алгоритма?
Определим для произвольного образца Р [l..m] величину р* (Р) как maxi^i^mp (Р,). Докажите, что если образец Р выбирается случайным образом из множества всех бинарных строк длиной т, то математическое ожидание р* (Р) равно О (1).
Покажите, что приведенный ниже алгоритм поиска подстрок корректно находит все вхождения образца Р в текст Т [1..п] в течение времени О (р* (Р) п + т).
Repetition_Matcher(P, Т)
т <— length[P^
n <— length [Т]
з к ■*—1 + р* (Р)
g«— 0
s«-0
while s < п — m
do if T[s + q + 1] = P[g + 1]
then q <— q + 1
if q = m
then print “Образец обнаружен при сдвиге” s
if q = m или T[s + q + 1] / P[g + 1]
then s ♦—s + max(l, [g/fc])
q *—0
Этот алгоритм был предложен Галилом (Galil) и Сейферасом (Seife- ras). Развивая эти идеи, они получили алгоритм поиска подстрок с линейным временем работы, использующий всего 0(1) памяти, кроме необходимой для хранения строк Р и Т.
Заключительные замечания
Связь поиска подстрок с теорией конечных автоматов обсуждается в книге Ахо (Aho), Хопкрофта (Hopcroft) и Ульмана (Ullman) [5]. Алгоритм Кнута-Морриса- Пратга [187] разработан Кнутом (Knuth) и Праттом (Pratt) и независимо Моррисом (Morris); результаты своих исследований они опубликовали совместно. Алгоритм Рабина-Карпа был предложен Рабином (Rabin) и Карпом (Karp) [175]. Галил (Galil) и Сейферас (Seiferas) [107] разработали интересный детерминистический алгоритм поиска подстрок с линейным временем работы, в котором используется лишь О (1) памяти сверх необходимой для хранения образца и текста.
ГЛАВА 33
Вычислительная геометрия
Вычислительная геометрия — это раздел теории вычислительных систем, изучающий алгоритмы, предназначенные для решения геометрических задач. В современных инженерных и математических расчетах вычислительная геометрия, в числе других областей знаний, применяется в машинной графике, в робототехнике, при разработке СБИС, при автоматизированном проектировании и в статистике. Роль входных данных в задачах вычислительной геометрии обычно играет описание множества таких геометрических объектов, как точки, отрезки или вершины многоугольника в порядке обхода против часовой стрелки. На выходе часто дается ответ на такие запросы об этих объектах, как наличие пересекающихся линий. Могут также выводиться параметры новых геометрических объектов, например, выпуклой оболочки множества точек (это минимальный выпуклый многоугольник, содержащий данное множество).
В этой главе мы ознакомимся с несколькими алгоритмами вычислительной геометрии в двух измерениях, т.е. на плоскости. Каждый входной объект представлен множеством точек {pi,P2,...}, где каждая точка pt = (жг> Pi) образована парой действительных чисел Xi,yi € R. Например, n-угольник Р представлен последовательностью вершин (ро,рг, • • • ,Pn-i) в порядке обхода границы многоугольника. Вычислительная геометрия может работать в трех измерениях, и даже в большем их числе, но визуализация подобных задач и их решений может оказаться очень трудной. Однако даже в двух измерениях можно ознакомиться с хорошими примерами применения методов вычислительной геометрии.
В разделе 33.1 показано, как быстро и точно ответить на такие основные вопросы о расположении отрезков: если два отрезка имеют общую конечную точку, то как следует перемещаться при переходе от одного из них к другому — по часовой стрелке или против часовой стрелки, в каком направлении следует сво-
рачивать при переходе от одного такого отрезка к другому, а также пересекаются ли два отрезка. В разделе 33.2 представлен метод, известный под названием “выметание”, или “метод движущейся прямой”. Он используется при разработке алгоритма со временем работы О (nlgn), определяющего, имеются ли пересечения среди п отрезков. В разделе 33.3 приведены два алгоритма “выметания по кругу”, предназначенные для вычисления выпуклой оболочки множества п точек (наименьшего содержащего их выпуклого многоугольника): сканирование по Грэхему (Graham’s scan), время работы которого равно О(nlgn), и обход по Джарвису (Jarvis’s march), время выполнения которого равно О (nh), где h — количество вершин в оболочке. Наконец, в разделе 33.4 приводится алгоритм декомпозиции со временем работы О(nlgn), предназначенный для поиска пары ближайших точек в заданном на плоскости множестве из п точек.
Свойства отрезков
В некоторых представленных в этой главе алгоритмах требуется ответить на вопросы о свойствах отрезков. Выпуклой комбинацией (convex combination) двух различных точек pi = (ж1,у1) и рг = (ж2,Уг) называется любая точка рз = = (жз, уз), такая что для некоторого значения а, принадлежащего интервалу 0 ^ ^ а ^ 1, выполняются равенства жз = аж1 + (1 — а) жг и уз = ayi + (1 — а) уг. Также пишут, что рз = api + (1 — а)рг. Интуитивно понятно, что в роли рз может выступать любая точка, которая принадлежит прямой, соединяющей точки pi и р2, и находится между этими точками. Если заданы две различные точки pi и р2, то отрезком прямой (line segment) ртрг называется множество выпуклых комбинаций pi и р2- Точки pi и рг называются конечными точками (endpoints) отрезка pips- Иногда играет роль порядок следования точек pi и рг, и тогда говорят о направленном отрезке (directed segment) pip2. Если точка pi совпадает с началом координат (origin), т.е. имеет координаты (0,0), то направленный отрезок Р1Р2 можно рассматривать как вектор (vector) рг.
В этом разделе исследуются перечисленные ниже вопросы.
Если заданы два направленных отрезка poPi и рорг, то находится ли отрезок pop! в направлении по часовой стрелке от отрезка Р0Р2 относительно их общей точки ро?
Если заданы два направленных отрезка pop? и pjp2, то в какую сторону следует свернуть в точке pi при переходе от отрезка рбрГ к отрезку Р1Р2?
Пересекаются ли отрезки pip? и рзр5?
На рассматриваемые точки не накладывается никаких ограничений.
На каждый из этих вопросов можно ответить в течение времени 0(1), что не должно вызывать удивления, поскольку объем входных данных, которыми выражается каждый из этих вопросов, равен 0(1). Кроме того, в наших методах
используются только операции сложения, вычитания, умножения и сравнения. Не понадобится ни деление, ни вычисление тригонометрических функций, а ведь обе эти операции могут оказаться дорогостоящими и приводить к проблемам, связанным с ошибками округления. Например, метод “в лоб” при определении того, пересекаются ли два отрезка, — найти для каждого из них уравнение прямой в виде у = тх + b (где т — угловой коэффициент, а b — координата пересечения с осью у), вычислить точку пересечения этих прямых и проверить, принадлежит ли эта точка обоим отрезкам. В таком методе при вычислении координат точки пересечения используется деление. Если отрезки почти параллельны, этот метод очень чувствителен к точности операции деления на реальных компьютерах. Изложенный в данном разделе метод, в котором удается избежать операции деления, намного точнее.
Векторное произведение
Вычисление векторного произведения составляет основу методов работы с отрезками. Рассмотрим векторы pi и р2, показанные на рис. 33.1а. Векторное произведение (cross product) pi х р2 можно интерпретировать как значение (со знаком) площади параллелограмма, образованного точками (0,0), pi, Р2 и pi + р2 = = (xi + Х2,У1 + У2\ Эквивалентное, но более полезное определение векторного произведения — определитель матрицы1:
, ( Х1 х2\
Р1 х р2 = det = Х1У2 - Х2У1 = —Р2 X Р1.
\ У1 У2 /
Если величина pi х р2 положительна, то вектор pi находится по часовой стрелке от вектора р2 относительно начала координат (0,0); если же векторное произведение отрицательно, то вектор pi находится в направлении против часовой стрелки от вектора р2. (См. упражнение 33.1-1.) На рис. 33.16 показаны области, расположенные по и против часовой стрелки относительно вектора р. Граничный случай возникает, когда векторное произведение равно нулю. В этом случае векторы коллинеарны (collinear), т.е. они направлены в одном и том же или в противоположных направлениях.
Чтобы определить, находится ли направленный отрезок pop! по часовой стрелке от направленного отрезка роР2 относительно их общей точки ро, достаточно использовать ее как начало координат. Сначала обозначим величину pi — ро как вектор pi = (^i,yi), где х\ = xi — xq и у^ = yi — у^ и введем аналогичные
Фактически векторное произведение — трехмерная концепция. Это вектор, перпендикулярный обоим векторам pi и рг, направление которого определяется “правилом правой руки”, а величина равна |xip2 — Х2У11. Однако в этой главе удобнее трактовать векторное произведение как величину Л1Р2 — Л2Р1.
Рис. 33.1. Геометрический смысл векторного произведенияРис. 33.1. Геометрический смысл векторного произведения
Рис. 33.1. Геометрический смысл векторного произведения
Рис. 33.1. Геометрический смысл векторного произведения
обозначения для величины Р2— Pi- Затем вычислим векторное произведение
(Pl - Ро) X (Р2 - Ро) = (®1 - жо) (У2 - Уо) - (^2 - ®о) (У1 - Уо) .
Если это векторное произведение положительно, то переход от направленного отрезка роР1 к отрезку роР2 осуществляется против часовой стрелки; в противном случае он осуществляется по часовой стрелке.
Поворот последовательных отрезков
Следующий вопрос заключается в том, куца сворачивают два последовательных отрезка р5Ж и ЖЖ в точке pi — влево или вправо. Можно привести эквивалентную формулировку этого вопроса —определить знак угла ZpoPiP2- Векторное произведение позволяет ответить на этот вопрос, не вычисляя величину угла. Как видно из рис. 33.2, производится проверка, находится ли направленный отрезок роР2 по часовой стрелке или против часовой стрелки относительно направленного отрезкаpopj. Для этого вычисляется векторное произведение (рг — Ро)х (pi ~ Ро)- Если эта величина отрицательная, то переход от направленного отрезка popi к направленному отрезку рорг осуществляется против часовой стрелки, и в точке pi образуется левый поворот. Положительное значение векторного произведения указывает на ориентацию по часовой стрелке и на правый поворот. Обе эти ситуа-
Рис. 33.2. Использование векторного произведения для определения направления поворота последовательных отрезков
ции проиллюстрированы на рис. 33.2. В части а показан случай, соответствующий левому повороту, а в части б — случай, соответствующий правому повороту. Нулевое векторное произведение означает, что точки ро, pi и рг коллинеарны.
Определение того, пересекаются ли два отрезка
Чтобы определить, пересекаются ли два отрезка, следует проверить, пресекает ли каждый из них прямую, содержащую другой отрезок. Отрезок pip2 пересекает (straddles) прямую, если конечные точки отрезка принадлежат разным полуплоскостям, на которые прямая разбивает плоскость. В граничном случае точка pi или точка рг (или обе эти точки) лежит на прямой. Два отрезка пересекаются тогда и только тогда, когда выполняется одно из сформулированных ниже условий (или оба эти условия).
Каждый отрезок пересекает прямую, на которой лежит другой отрезок.
Конечная точка одного из отрезков лежит на другом отрезке (граничный случай).
Идея метода реализована в приведенных ниже процедурах. Процедура Seg- ments_Intersect возвращает значение true, если отрезки pip2 и рзрХ пересекаются, и значение FALSE в противном случае. В этой процедуре вызываются вспомогательные процедуры DIRECTION и On_Segment. В первой из них с помощью описанного выше векторного произведения определяется относительное расположение отрезков, а во второй — лежит ли на отрезке точка, если известно, что она коллинеарна этому отрезку.
SEGMENTS_lNTERSECT(pi, рг, РЗ, Р4)
di «— Direction (рз, р4, pi)
d2<- DlRECTION(p3, р4, р2)
d3 «- Direction(pi , Р2, рз )
d4 <—DIRECTION(pi,p2,P4)
if ((dj > 0 и d2 < 0) или (di < 0 и d2 > 0)) и ((ds > 0 и d4 < 0) или (ds < 0 и d4 > 0))
then return true
elseif di = 0 и On_Segment(p3 , p4, pi)
then return TRUE
elseif d2 = 0 и ON_SEGMENT(p3, p4, p2)
then return TRUE
elseif ds = 0 и On_Segment(pi , p2, p3)
then return TRUE
elseif d4 = 0 и On_Segment(pi, рг, P4)
then return true
else return false
Direction^, pj.pfc)
return (рк - pi) х (pj - p^
ON_SEGMEm(pi,Pj,pk)
if min(Ti, Xj) <xk< max(xi, Xj) и min(yj, yj) <yk< max(y,, yj)
then return TRUE
else return false
Процедура Segments_Intersect работает следующим образом. В строках 1-4 вычисляется относительное расположение di каждой конечной точки pi относительно другого отрезка. Если все величины, характеризующие относительное расположение, отличны от нуля, то легко определить, пересекаются ли отрезки р]рг и РзР4- Это выполняется следующим образом. Отрезок pip2 пересекает прямую, содержащую отрезок рзрд, если направленные отрезки рэрт и рзрг имеют противоположные направления относительно рзР4. В этом случае знаки величин dy и di разные. Аналогично, отрезок рзрд пересекает прямую, содержащую отрезок Р1Р2, если знаки величин ds и d4 разные. Если проверка в строке 5 подтверждается, то отрезки пересекаются, и процедура Segments_Intersect возвращает значение true. Этот случай показан на рис. 33.3а. В противном случае отрезки не пересекают прямые друг друга, хотя и возможны граничные случаи. Если ни одна из величин, характеризующих взаимную ориентацию отрезков, не равна нулю, то это не граничный случай. При этом не выполняется ни одно из условий на равенство нулю в строках 7-13, и процедура Segments_Intersect возвращает в строке 15 значение false. Этот случай проиллюстрирован на рис. 33.36. Здесь отрезок рзр4 пересекает прямую, содержащую отрезок pypi, но отрезок pypi не пересекает прямую, содержащую отрезок рзР4. При этом знаки векторных произведений (pi - рз) х (р4 - рз) и (р2 - Рз) X (р4 - Рз) совпадают.
Граничный случай возникает, если какая-либо относительная ориентация dk равна 0. Это говорит о том, что точка рк коллинеарна с другим отрезком. Данная точка принадлежит другому отрезку тогда и только тогда, когда она находится между его конечными точками. Процедура On_Segment позволяет определить, расположена ли точка рк между конечными точками другого отрезка pipj- Эта процедура вызывается в строках 7-13, и в ней предполагается, что точка рк коллинеарна отрезку pipj. В частях виг рисунка 33.3 проиллюстрирован случай, когда один из отрезков коллинеарен с конечной точкой другого отрезка. В части в точка рз коллинеарна с отрезком pypi и находится между его конечными точками. В этом случае процедура Segments_Intersect возвращает в строке 12 значение true. В части г точка рз коллинеарна с отрезком pypi, но не лежит между его конечными точками. Процедура SEGMENTS_lNTERSECT возвращает в строке 15 значение false (отрезки не пересекаются).
^Х"Р3^ х ^РА"Р3^ < ^Рх ^Х"Р3^ х ^РА"Р3^ < ^Рх ^ РаM>A-P\VkPl-Px^<^^ РаM>A-P\VkPl-Px^<^^Х-РЗ^^А-РЗ^^^Х-РЗ^^А-РЗ^^^ РаVPa-PxWPtPx^^ РаVPa-PxWPtPx^(Р2"Рз^ х (Р4"^з) < О(Р2"Рз^ х (Р4"^з) < О(Рз~Рх^х (Р2"Рд >0(Рз~Рх^х (Р2"Рд >0S Р2^РгРз^х ^Ра-Рз^^S Р2^РгРз^х ^Ра-Рз^^(РЗ"^)) х (^2ПР1> >0(РЗ"^)) х (^2ПР1> >0Рис. 33.3. Частные случаи в процедуре SegmentsJntersect
^Х"Р3^ х ^РА"Р3^ < ^
Рх
^Х"Р3^ х ^РА"Р3^ < ^
Рх
^ Ра
M>A-P\VkPl-Px^<^
^ Ра
M>A-P\VkPl-Px^<^
^Х-РЗ^^А-РЗ^^
^Х-РЗ^^А-РЗ^^
^ Ра
VPa-PxWPtPx^
^ Ра
VPa-PxWPtPx^
(Р2"Рз^ х (Р4"^з) < О
(Р2"Рз^ х (Р4"^з) < О
(Рз~Рх^х (Р2"Рд >0
(Рз~Рх^х (Р2"Рд >0
S Р2
^РгРз^х ^Ра-Рз^^
S Р2
^РгРз^х ^Ра-Рз^^
(РЗ"^)) х (^2ПР1> >0
(РЗ"^)) х (^2ПР1> >0
Другие применения векторного произведения
В последующих разделах этой главы описаны другие приложения векторного произведения. В разделе 33.3 ставится задача сортировки множества точек по характеризующему их расположение полярным углам относительно заданного начала координат. В упражнении 33.1-3 предлагается показать, что с помощью векторного произведения можно осуществить сравнение в процедуре сортировки. В разделе 33.2 с помощью красно-черных деревьев поддерживается упорядочение отрезков по вертикали. Вместо того, чтобы явным образом поддерживать ключевые значения, в коде, реализующем красно-черное дерево, их сравнение будет заменено векторным произведением. Это позволит определить, какой из двух отрезков, пересекающих заданную прямую, находится над другим.
Упражнения
1. Докажите, что если произведение pi х рг положительно, то переход от вектора рг к вектору pi относительно начала координат (0,0) осуществляется по часовой стрелке, а если это векторное произведение отрицательно, то переход осуществляется против часовой стрелки.
2. Профессор предположил, что в строке 1 процедуры On_Segment достаточно протестировать только измерение х. Покажите, что профессор ошибается.
3. Полярным углом (polar angle) точки pi относительно начала координат ро называется угол между вектором pi — ро и полярной осью. Например,
полярный угол точки (3,5) относительно точки (2,4) — это угол вектора (1,1), составляющий 45е или тг/4 радиан. Полярный угол точки (3,3) относительно точки (2,4) — это угол вектора (1, —1), составляющий угол 315’ или 7тг/4 радиан. Напишите псевдокод, сортирующий последовательность п точек (pi,p2, • • • >Рп) по их полярному углу относительно заданной точки ро. Процедура должна выполняться в течение времени О (nlgn), и сравнение углов в ней следует выполнять с помощью векторного произведения.
4. Покажите, как за время О (n2lgn) определить, содержатся ли в множестве п три коллинеарные точки.
5. Многоугольник (polygon) — это кусочно-линейная замкнутая кривая на плоскости. Другими словами, это образованная последовательностью отрезков кривая, начало которой совпадает с ее концом. Эти отрезки называются сторонами (sides) многоугольника. Точка, соединяющая две последовательных стороны, называется вершиной (vertex) многоугольника. Если многоугольник простой (simple), в нем нет самопересечений. (В общем случае предполагается, что мы имеем дело с простыми многоугольниками.) Множество точек плоскости, ограниченное простым многоугольником, образует внутреннюю область (interior) многоугольника, множество точек, принадлежащих самому многоугольнику, образует его границу (boundary), а множество точек, окружающих" многоугольник, образует его внешнюю область (exterior). Простой многоугольник называется выпуклым (convex), если отрезок, соединяющий любые две его граничные или внутренние точки, лежат на границе или во внутренней части этого многоугольника.
Профессор предложил метод, позволяющий определить, являются ли п точек (ро,Р1, • • • ,рп) последовательными вершинами выпуклого многоугольника. Предложенный алгоритм выводит положительный ответ, если в множестве ^/.pipi+ipi+i : г = 0,1,..., п — 1}, где увеличение индексов выполняется по модулю п, не содержатся одновременно и левые, и правые повороты. В противном случае выводится отрицательный ответ. Покажите, что несмотря на то, что время работы этой процедуры выражается линейной функцией, она не всегда дает правильный ответ. Модифицируйте предложенный профессором метод, чтобы он всегда давал правильный ответ в течение линейного времени.
6. Пусть задана точка ро = (жо, Ро)- Правым горизонтальным лучом (right horizontal ray) точки ро называется множество точек {р, = (ж,, у,) : ж, > > жо и у, = уо}, т.е. множество точек, расположенных строго справа от точки ро, вместе с самой этой точкой. Покажите, как в течение времени 0(1) определить, пересекает ли данный правый горизонтальный
луч из точки ро отрезок рхрг- Сведите эту задачу к другой, в которой определяется, пересекаются ли два отрезка.
7. Один из методов, позволяющих определить, находится ли заданная точка во внутренней области простого, но не обязательного выпуклого многоугольника Р, заключается в следующем. Из точки ро проводится произвольный луч и определяется, сколько раз он пересекает границу многоугольника Р. Если количество пересечений нечетно и сама точка ро не лежит на границе многоугольника Р, то она лежит во внутренней его части. Покажите, как в течение времени 0 (п) определить, находится ли точка ро во внутренней части п-угольника Р. (Указание: воспользуйтесь результатами упражнения 33.1-6. Убедитесь в правильности этого алгоритма в том случае, когда луч пересекает границу многоугольника в его вершине, и если луч перекрывается его стороной.)
8. Покажите, как в течение времени 0 (п) найти площадь простого, но не обязательно выпуклого n-угольника. (Определения, которые относятся к многоугольникам, можно найти в упражнении 33.1-5.)
Определение наличия пересекающихся отрезков
В этом разделе представлен алгоритм, позволяющий определить, пересекаются ли какие-нибудь два из отрезков некоторого множества. В этом алгоритме используется метод, известный под названием “выметание”, который часто встречается в алгоритмах вычислительной геометрии. Кроме того, как показано в упражнениях, приведенных в конце этого раздела, с помощью данного алгоритма или его вариации можно решать и другие задачи вычислительной геометрии.
Время работы этого алгоритма равно O(nlgn), где п — количество заданных отрезков. В нем лишь определяется, существуют пересечения или нет, но не выводятся данные обо всех этих пересечениях. (Согласно результатам упражнения 33.2-1, для поиска всех пересечений в множестве, состоящем из п отрезков, в наихудшем случае понадобится время Q (п2).)
В методе выметания (sweeping) по заданному множеству геометрических объектов проводится воображаемая вертикальная выметающая прямая (sweep line), которая обычно движется слева направо. Измерение, вдоль которого двигается выметающая прямая (в данном случае это измерение ж), трактуется как время. Выметание — это способ упорядочения геометрических объектов путем размещения их параметров в динамической структуре данных, что позволяет воспользоваться взаимоотношениями между этими объектами. В приведенном в этом разделе алгоритме, устанавливающем наличие пересечений отрезков, рассматриваются
все конечные точки отрезков в порядке их расположения слева направо, и для каждой новой точки проверяется наличие пересечений.
Чтобы описать алгоритм и доказать его способность корректно определить, пересекаются ли какие-либо из п отрезков, сделаем два упрощающих предположения. Во-первых, предположим, что ни один из входных отрезков не является вертикальным. Во-вторых, — что никакие три входных отрезка не пересекаются в одной точке. В упражнениях 33.2-8 и 33.2-9 предлагается показать, что алгоритм достаточно надежен для того, чтобы после небольших изменений работать даже в тех случаях, когда сделанные предположения не выполняются. Часто оказывается, что отказ от подобных упрощений и учет граничных условий становится самым сложным этапом программирования алгоритмов вычислительной геометрии и доказательства их корректности.
Упорядочение отрезков
Поскольку предполагается, что вертикальные отрезки отсутствуют, каждый входной отрезок пересекает данную вертикальную выметающую прямую в одной точке. Таким образом, отрезки, пересекающие вертикальную выметающую прямую, можно упорядочить по координате у точки пересечения.
Рассмотрим это подробнее. Пусть имеется два отрезка si и S2- Говорят, что они сравнимы (comparable) в координате ж, если вертикальная выметающая прямая с координатой х пересекает оба этих отрезка. Говорят также, что отрезок si расположен над (above) отрезком S2 в х (записывается si >х S2), если отрезки si и S2 сравнимы в координате х и точка пересечения отрезка si с выметающей прямой в координате х находится выше, чем точка пересечения отрезка S2 с этой выметающей прямой. Например, в ситуации, проиллюстрированной на рис. 33.4а, выполняются соотношения а >т с, a >t b, b >t с, a >t с и b >и с. Отрезок d не сравним ни с каким другим отрезком.
Для произвольной заданной координаты х отношение “>х” полностью упорядочивает (см. раздел Б.2) отрезки, пересекающие выметающую прямую в ко-
Рис. 33.4. Упорядочение отрезков с помощью разных вертикальных выметающих прямых
ординате х. Однако порядок может зависеть от ж, а отрезки по мере изменения х могут попадать в число сравнимых или выходить из него. Отрезок попадает в число сравнимых, если выметающая прямая проходит его левую конечную точку, и выходит из него, когда выметающая прямая проходит его правую конечную точку.
Что происходит, если выметающая прямая проходит через точку пересечения двух отрезков? Как видно из рис. 33.46, меняется порядок этих отрезков. В показанной на рисунке ситуации выметающие прямые и и w находятся слева и справа, соответственно, от точки пересечения отрезков е и /, и справедливы соотношения е >v f и / >w е. В силу предположения о том, что никакие три отрезка не пересекаются в одной и той же точке, должна существовать некоторая вертикальная выметающая прямая х, для которой пересекающиеся отрезки ей f являются последовательными (т.е. между ними нет других отрезков) в полном упорядочении и связаны между собой соотношением >х. Для любой выметающей прямой, проходящей через затененную область на рис. 33.46, например, для прямой z отрезки ей / являются последовательными.
Перемещение выметающей прямой
В выметающих алгоритмах обычно обрабатываются два набора данных.
Состояние относительно выметающей прямой (sweep-line status) описывает соотношения между объектами, пересекаемыми выметающей прямой.
Таблица точек-событий (event-point schedule) — это последовательность координат х, упорядоченных слева направо, в которой определяются точки останова выметающей прямой. Каждая такая точка останова называется точкой-событием (event point). Состояние относительно выметающей прямой определяется только в точках-событиях.
В некоторых алгоритмах (например, в том, который предлагается разработать в упражнении 33.2-7) таблица точек-событий строится динамически, в ходе работы алгоритма. Однако в алгоритме, о котором сейчас пойдет речь, точки-события определяются статически, исходя исключительно из простых свойств входных данных. В частности, в роли точки-события выступает каждая конечная точка отрезка. Конечные точки отрезков сортируются в порядке возрастания координат х (т.е. слева направо). (Если две или более точек ковертикальны (covertical), т.е. их координаты х совпадают, этот узел можно “разрубить”, поместив все ко- вертикальные левые конечные точки перед ковертикальными правыми конечными точками. Если в множестве ковертикальных левых точек есть несколько левых, первыми среди них будут те, которые имеют меньшее значение координаты у, и то же самое выполняется в множестве ковертикальных правых конечных точек.) Отрезок помещается в набор состояний относительно выметающей прямой,
когда пересекается его левая конечная точка; этот отрезок удаляется из набора состояний относительно выметающей прямой, когда пересекается его правая конечная точка. Если два отрезка впервые становятся последовательными в полном упорядочении, выполняется проверка, пересекаются ли они.
Состояние относительно выметающей прямой является полностью упорядоченным множеством Т, в котором необходимо реализовать такие операции:
Insert(T, s): вставка отрезка s в множество Т;
Delete(T, s): удаление отрезка s из множества Т;
Above(T, s): возвращает отрезок, расположенный непосредственно над отрезком s множества Т;
Below(T, s): возвращает отрезок, расположенный непосредственно под отрезком s множества Т.
Если всего имеется п входных отрезков, каждую из перечисленных выше операций с помощью красно-черных деревьев можно выполнить в течение времени O(lgn). Напомним, что операции над красно-черными деревьями, описанные в главе 13, включают в себя сравнение ключей. Однако в нашем случае сравнение ключей можно заменить векторным произведением, позволяющем определить относительный порядок двух отрезков (см. упражнение 33.2-2).
Псевдокод, выявляющий пересечение отрезков
В приведенном ниже алгоритме в качестве входных данных выступает множество S, состоящее из п отрезков. На выходе возвращается булево значение true, если любая пара отрезков из множества S пересекается, и значение FALSE в противном случае. Полное упорядочение Т реализуется с помощью красно-черного дерева.
Any_Segments_Intersect(5)
Т^О
Сортировка конечных точек отрезков из множества S слева направо, разрешение совпадений путем помещения левых конечных точек перед правыми и путем помещения точек с меньшими координатами у перед теми, у которых координата у больше
for каждой точки р из отсортированного списка конечных точек
do if р — левая конечная точка отрезка s
then Insert(T, s)
if (Above(T, s) существует и пересекает отрезок s)
или (Below(T, s) существует и пересекает отрезок s)
then return TRUE
if р — правая конечная точка отрезка s
then if существуют Above(T, s) и Below(T, s),
и Above(T, s) пересекает Below(T, s)
then return TRUE
Delete(T,s)
return FALSE
Работа этого алгоритма проиллюстрирована на рис. 33.5. Каждая пунктирная линия является выметающей прямой, проходящей через одну из точек-событий. Под каждой из них приведено полностью упорядоченное множество Т в момент окончания итерации цикла for, соответствующей данному событию. В момент удаления отрезка с обнаружено пересечение отрезков d и Ь. В строке 1 инициализируется пустое множество полностью упорядоченных отрезков. В строке 2 путем сортировки 2п конечных точек отрезков слева направо создается таблица точек-событий, а ковертикальные точки обрабатываются так, как описано выше. Заметим, что строку 2 можно выполнить путем лексикографической сортировки конечных точек (ж, е, у), где х и у — обычные координаты, а значение переменной е принимает значение 0 для левых конечных точек и значение 1 — для правых конечных точек.
При каждой итерации цикла for в строках 3-11 обрабатывается одно событие р. Если р — левая конечная точка отрезка s, то этот отрезок добавляется в строке 5 в полностью упорядоченное множество. В строках 6-7 возвращается значение TRUE, если отрезок s пересекает какой-нибудь из соседних отрезков полностью упорядоченного множества, определенного выметающей прямой, которая проходит через точку р. (Если точка р находится на другом отрезке s', то имеет место граничный случай. При этом лишь требуется, чтобы отрезки s и s' были после-
Время
Рис. 33.5. Выполнение процедуры Any_Segments_Intersect
довательными в множестве Т.) Если р — правая конечная точка отрезка s, то этот отрезок подлежит удалению из полностью упорядоченного множества. В строках 9-10 возвращается значение TRUE, если пересекаются ближайшие к отрезку s отрезки из полностью упорядоченного множества, определенного с помощью выметающей прямой, которая проходит через точку р. После удаления из полностью упорядоченного множества отрезка s ближайшие к нему отрезки становятся последовательными в этом множестве. Если эти отрезки не пересекаются, отрезок s в строке 11 удаляется из полностью упорядоченного множества. Наконец, если во всех 2п точках-событиях не обнаружено никаких пересечений, в строке 12 возвращается значение false.
Корректность
Чтобы показать, что процедура Any_Segments_Intersect работает корректно, докажем, что при вызове Any_Segments_Intersect(S) значение true возвращается тогда и только тогда, когда какие-либо отрезки из S пересекаются.
Очевидно, что процедура Any_Segments_Intersect возвращает значение TRUE (в строках 7 и 10) только в том случае, когда в ней будет обнаружено пересечение между двумя входными отрезками. Таким образом, если возвращается значение TRUE, то пересечение существует.
Следует также показать обратное: если пересечение существует, то процедура Any_Segments_Intersect возвращает значение true. Предположим, что существует по крайней мере одно пересечение. Пусть р — самая левая точка пересечения (если таких точек несколько, то взбирается та из них, у которой наименьшая координата у), а а и b — отрезки, пересекающиеся в этой точке. Поскольку слева от точки р нет никаких пересечений, порядок, заданный в множестве Т, остается правильным во всех точках, которые находятся слева от точки р. Так как никакие три отрезка не пересекаются в одной и той же точке, существует выметающая прямая z, относительно которой отрезки аиЬ расположены последовательно в полностью упорядоченном множестве. Более того, прямая z проходит через точку р или слева от нее. На выметающей прямой z находится конечная точка q какого-нибудь отрезка, которая выступает в роли события, при котором отрезки а и b становятся последовательными в полностью упорядоченном множестве. Если на этой выметающей прямой лежит точка р, то q = р. Если же точка р не принадлежит выметающей прямой z, то точка q находится слева от точки р. В любом случае порядок, установленный в множестве Т, является
правильным непосредственно перед точкой q. (Вот где используется лексикографический порядок, в котором алгоритм обрабатывает конечные точки. Поскольку р — нижайшая из самых левых точек пересечения, то даже если она лежит на выметающей прямой z и на этой прямой есть еще одна точка пересечения р/, точка-событие q = р обрабатывается перед тем, как эта другая точка пересечения сможет повлиять на порядок отрезков в упорядоченном множестве Т. Кроме того, если р — левая конечная точка одного отрезка (скажем, отрезка а) и правая конечная точка другого отрезка (скажем, отрезка 6), то в силу того, что левые точки- события расположены перед правыми, отрезок b уже будет находиться в множестве Т, когда в это множество попадет отрезок а.) Каждая точка-событие q либо обрабатывается процедурой Any_Segments_Intersect, либо нет.
Если точка q обрабатывается процедурой ANY_SEGMENTS_lNTERSECT, возможны всего два варианта выполняемых действий.
Отрезок а либо отрезок b помещается в множество Т, и в этом множестве один из них расположен над или под другим. То, какой из этих случаев имеет место, определяется в строках 4-7.
Отрезки а и Ь уже содержатся в множестве Т, а расположенный между ними отрезок удаляется из этого множества, в результате чего отрезки а и b становятся последовательными. Этот случай выявляется в строках 8-11.
При реализации любой из перечисленных выше возможностей выявляется точка пересечения р, и процедура Any_Segments_Intersect возвращает значение TRUE.
Если точка q не обрабатывается процедурой ANY_Segments_Intersect, это означает, что произошел выход из процедуры до обработки всех точек-событий. Это может произойти только в том случае, когда в этой процедуре уже была обнаружена точка пересечения и процедурой возвращено значение true.
Таким образом, если отрезки пересекаются, то процедура Any_Segments_ Intersect возвращает значение true. Как мы уже убедились, если процедура Any_Segments_Intersect возвращает значение true, отрезки пересекаются. Поэтому рассматриваемая процедура всегда выдает правильный ответ.
Время работы
Если в множестве S содержится п отрезков, то процедура Any_Segments_ Intersect выполняется в течение времени О (nlgn). Выполнение строки 1 занимает время 0(1). Строка 2 с помощью сортировки слиянием или пирамидальной сортировки выполняется в течение времени О (nlgn). Поскольку всего имеется 2п точек-событий, цикл for в строках 3-11 повторяется не более 2п раз. На каждую итерацию требуется время О (1g п), поскольку выполнение каждой операции в красно-черном дереве занимает время О (lg п), и с помощью метода, описанного
в разделе 33.1, каждый тест на пересечение удается выполнить за время 0(1). Таким образом, полное время равно О (nlgn).
Упражнения
1. Покажите, что в множестве, состоящем из п отрезков, может быть 0 (п2) пересечений.
2. Пусть отрезки а и b сравнимы в координате ж. Покажите, как за время 0(1) определить, какое из соотношений выполняется — а >х b или b >х а. Предполагается, что вертикальные отрезки отсутствуют. (Указание: если отрезки а и b не пересекаются, достаточно просто воспользоваться векторным произведением. Если же эти отрезки пересекаются, что выявляется путем вычисления векторных произведений, то и в этом случае можно ограничиться только операциями сложения, вычитания и умножения, и избежать деления. Если отрезки а и b пересекаются, достаточно просто вывести сообщение, что обнаружено пересечение.)
3. Профессор предложил модифицировать процедуру Any_Segments_ Intersect таким образом, чтобы она не прекращала работу после того, как будет обнаружено пересечение, а выводила пересекающиеся отрезки и переходила к выполнению следующей итерации цикла for. Профессор назвал получившуюся в результате процедуру Print_Intersecting_ Segments и заявил, что она выводит все пересечения, следующие слева направо в том порядке, в котором они располагаются в множестве отрезков. Покажите, что профессор ошибается в двух аспектах. Для этого приведите пример множества отрезков, для которых первая точка пересечения, обнаруженная процедурой Print_Intersecting_Segments, не является самой левой, а также пример множества отрезков, для которых эта процедура выявляет не все пересечения.
4. Разработайте алгоритм, позволяющий в течение времени О (nlgn) определить, является ли n-угольник простым.
5. Разработайте алгоритм, позволяющий в течение времени О (n lg п) определить, пересекаются ли два простых многоугольника, суммарное количество вершин в которых равно п.
6. Круг (disk) состоит из окружности и ее внутренней области, и его можно представить при помощи центра и радиуса. Два круга пересекаются, если у них есть хоть одна общая точка. Приведите алгоритм, позволяющий в течение времени О (n lg п) определить, пересекаются ли какие-либо два круга из множества, состоящего из п кругов.
7. Пусть задано множество, состоящее из п отрезков, между которыми имеется к пересечений. Покажите, как вывести данные по всем пересечениям в течение времени О ((п + к) 1g п).
8. Покажите, что процедура Any_Segments_INTERSECT работает корректно даже в том случае, если в одной и той же точке пересекается три или больше отрезков.
9. Покажите, что процедура Any_Segments_Intersect работает корректно даже в том случае, если в числе ее входных отрезков есть вертикальные. При этом нижние конечные точки вертикальных отрезков обрабатываются как левые конечные точки, а верхние — как правые конечные точки. Как изменится ответ в упражнении 33.2-2, если допускается наличие вертикальных отрезков?
Построение выпуклой оболочки
Выпуклой оболочкой (convex hull) множества точек Q называется наименьший выпуклый многоугольник Р, такой что каждая точка из Q находится либо на границе многоугольника Р, либо в его внутренней области. (Точное определение выпуклого многоугольника можно найти в упражнении 33.1-5.) Обозначим выпуклую оболочку множества Q как CH (QY Интуитивно можно представлять каждую точку множества Q в виде торчащего из доски гвоздя; тогда выпуклая оболочка будет иметь форму, полученную в результате наматывания на гвозди тугой резиновой нити. Пример множества точек и их выпуклой оболочки приведен на рис. 33.6.
В этом разделе представлены два алгоритма, позволяющие построить выпуклую оболочку множества, состоящего из п точек. Оба алгоритма выводят верши-
Рис. 33.6. Множество точек Q = {po.Pi,. •. ,Р12} и их выпуклая оболочка CH (Q)
ны выпуклой оболочки в порядке обхода против часовой стрелки. Время работы первого из них, известного как сканирование по Грэхему, равно О (nlgn). Второй алгоритм, который называется обходом по Джарвису, выполняется в течение времени О (nh\ где h — количество вершин выпуклой оболочки. Как видно из рис. 33.6, каждая вершина CH (Q) — это точка из множества Q. Это свойство используется в обоих алгоритмах. В них принимается решение, какие точки из множества Q выступают в роли вершин выпуклой оболочки, а какие следует отбросить.
Фактически имеется несколько методов построения выпуклой оболочки в течение времени О (nigп). И при сканировании по Грэхему, и при обходе по Джарвису используется метод, который называется “выметанием по кругу”. Вершины обрабатываются в порядке возрастания их полярных углов, которые они образуют с некоторой базисной вершиной. В число других методов входят те, что перечислены ниже.
В методе последовательного счета (incremental method) точки сортируются слева направо, в результате чего получается последовательность (pi,P2> ... ,рп). На г-м этапе выпуклая оболочка г— 1 самых левых точек CH({pi,p2, ... 5pi—1}) обновляется в соответствии с положением г-й слева точки, после чего формируется оболочка CH ({pi,P2, • • • >Рг})- В упражнении 33.3-6 предлагается показать, что этот метод можно реализовать так, чтобы время его работы было равно О (nlgn).
В методе декомпозиции (devide-and-conque method) множество п точек за время 0 (п) разбивается на два подмножества, в одном из которых содержится fn/2"| самых левых точек, а во втором — |n/2j самых правых точек. Затем рекурсивно строятся выпуклые оболочки этих подмножеств, которые затем объединяются с помощью одного остроумного метода в течение времени О (п). Время работы этого метода описывается уже знакомым рекуррентным соотношением Т(п) = 2Т(п/2) + О(п), решение которого равно О (nlgn).
Метод отсечения и поиска (prune-and-search method) подобен алгоритму, описанному в разделе 9.3, время работы которого в наихудшем случае ведет себя линейно. В нем строится верхняя часть (или “верхняя цепь”) выпуклой оболочки путем повторного отбрасывания фиксированной части оставшихся точек до тех пор, пока не останется только верхняя цепь выпуклой оболочки. Затем то же самое выполняется с нижней цепью. В асимптотическом пределе этот метод самый быстрый: если выпуклая оболочка содержит h вершин, время его работы равно О (nig/а).
Построение выпуклой оболочки множества точек — задача, интересная сама по себе. Кроме того, алгоритмы, предназначенные для решения некоторых других
задач вычислительной геометрии, начинают работу с построения выпуклой оболочки. Например, рассмотрим двумерную задачу о поиске пары самых дальних точек (farthest-pair problem): в заданном на плоскости множестве п точек требуется найти две, расстояние между которыми является максимальным. В упражнении 33.3-3 предлагается доказать, что обе эти точки должны быть вершинами выпуклой оболочки. Пару самых дальних вершин выпуклого n-угольника можно найти в течение времени О (п), хотя здесь мы не станем доказывать это утверждение. Таким образом, путем построения выпуклой оболочки п входных точек за время О (n lg п) и последующего поиска пары самых дальних точек среди вершин полученного в результате выпуклого многоугольника, можно найти пару самых дальних точек из произвольного множества п точек за время О (nlgn).
Сканирование по Грэхему
В методе сканирования по Грэхему (Graham’s scan) задача о выпуклой оболочке решается с помощью стека S, сформированного из точек-кандидатов. Все точки входного множества Q заносятся в стек, а потом точки, не являющиеся вершинами CH (Q), со временем удаляются из него. По завершении работы алгоритма в стеке S остаются только вершины оболочки CH (Q) в порядке их обхода против часовой стрелки.
В качестве входных данных процедуры Graham_Scan выступает множество точек Q, где |Q| > 3. В ней вызывается функция Top(S), которая возвращает точку, находящуюся на вершине стека S, не изменяя при этом его содержимое. Кроме того, используется также функция Next_To_Top(S), которая возвращает точку, расположенную в стеке S на одну позицию ниже от верхней точки; стек 5 при этом не изменяется. Вскоре будет показано, что стек S, возвращаемый процедурой Graham_Scan, содержит только вершины CH (Q), причем расположенные в порядке обхода против часовой стрелки, если просматривать их в стеке снизу вверх.
Graham_Scan(Q)
Пусть ро — точка из множества Q с минимальной координатой у или самая левая из таких точек при наличии совпадений
Пусть (pi,p2, • • • , Pm) — остальные точки множества Q, отсортированные в порядке возрастания полярного угла, измеряемого против часовой стрелки относительно точки ро (если полярные углы нескольких точек совпадают, то из множества удаляются все эти точки, кроме одной, самой дальней от точки ро)
PuSH(p0, S)
PUSH(pi,S)
PuSH(p2, S)
for г <— 3 to m
do while (пока) угол, образованный точками Next_To_Top(S), Top(S) и pt, образует не левый поворот (при движении по ломаной, образованной этими точками, мы движемся прямо или вправо)
do Pop(S)
PUSH(pi, 5)
return S
Работа процедуры Graham_Scan проиллюстрирована на рис. 33.7. Выпуклая оболочка, содержащаяся на данный момент в стеке S, на каждом этапе показана серым цветом. В строке 1 процедуры выбирается точка ро с минимальной координатой у; при наличии нескольких таких точек выбирается крайняя левая. Поскольку в множестве Q отсутствуют точки, расположенные ниже точки ро, и все другие точки с такой же координатой у расположены справа от точки ро, ро — вершина оболочки CH (Q). В строке 2 остальные точки множества Q сортируются в порядке возрастания их полярных углов относительно точки ро. При этом используется тот же метод, что и в упражнении 33.1-3, т.е. сравнение векторных произведений. Если полярные углы двух или нескольких точек относительно точки ро совпадают, все такие точки, кроме самой удаленной от точки ро, являются выпуклыми комбинациями точки ро и самой удаленной от нее из числа таких точек, поэтому все они исключаются из рассмотрения. Обозначим через т количество оставшихся точек, отличных от точки ро. Величина полярного угла каждой из точек множества Q, измеряемого в радианах относительно точки ро, принадлежит полуоткрытому интервалу [0, тг). Поскольку точки отсортированы по величине возрастания их полярных углов, они расположены относительно точки ро в порядке обхода против часовой стрелки. Обозначим эту упорядоченную последовательность точек как (pi,P2, • • • ,Рт). Заметим, ЧТО ТОЧКИ Р1 и рт являются вершинами оболочки CH(Q) (см. упражнение 33.3-1). На рис. 33.7а изображены точки из рис. 33.6, последовательно пронумерованные в порядке возрастания полярных углов относительно точки ро.
В остальной части процедуры используется стек S. В строках 3-5 стек инициализируется, и в него заносятся снизу вверх три точки ро, pi и рг. На рис. 33.7а показано начальное состояние стека S. В каждой итерации цикла for в строках 6-9 обрабатывается очередная точка подпоследовательности (рз,Р4, • • • ^РтУ Цель этой обработки — сделать так, чтобы в результате в стеке S в порядке размещения снизу вверх содержались вершины оболочки CH ({ро,Р1, • • • , Pi}) в порядке обхода против часовой стрелки. В описанном в строках 7-8 цикле while точки удаляются из стека, если будет обнаружено, что они не являются вершинами выпуклой оболочки. При обходе выпуклой оболочки против часовой стрелки в каждой вершине должен производиться поворот влево. Каждый раз, когда в цикле
while встречается вершина, в которой не производится поворот влево, такая вершина снимается со стека. (Выполняется именно проверка того, что поворот — не левый, а не проверка того, что поворот правый. Такая проверка исключает наличие развернутого угла в полученной в результате выпуклой оболочке. Развернутых углов быть не должно, поскольку ни одна из вершин выпуклого многоугольника не может быть выпуклой комбинацией других вершин этого многоугольника.) После снятия со стека всех вершин, в которых при переходе к точке р, не производится левый поворот, в стек заносится точка р». На рис. 33.76-л показано состояние стека 5 после каждой итерации цикла for. По окончании работы в строке 10 процедуры Graham_Scan возвращается стек S. На рис. 33.7л< показана полученная выпуклая оболочка.
В сформулированной ниже теореме формально доказывается корректность процедуры Graham_Scan.
Теорема 33.1 (Корректность сканирования по Грэхему). Если процедура Gra- ham_Scan обрабатывает множество точек Q, где |Q| ^ 3, то по завершении этой процедуры стек S будет содержать (в направлении снизу вверх) только вершины оболочки CH (Q) в порядке обхода против часовой стрелки.
Доказательство. После выполнения строки 2 в нашем распоряжении имеется последовательность точек (pi,P2, • • • >Рт)- Определим подмножество точек Qi = = {po,Pi, • • • >Рг} ПРИ i = 2,3,...,m. Множество точек Q — Qm образуют те из них, что были удалены из-за того, что их полярный угол относительно точки ро совпадает с полярным углом некоторой точки из множества Qm. Эти точки не принадлежат выпуклой оболочке CH (Q), так что CH (Qm) = CH (Q). Таким образом, достаточно показать, что по завершении процедуры Graham_Scan стек S состоит из вершин оболочки CH (Qm) в порядке обхода против часовой стрелки, если эти точки просматриваются в стеке снизу вверх. Заметим, что точно так же, как точки po,pi,pm являются вершинами оболочки CH(Q), точки po,Pi,Pi являются вершинами оболочки CH (Qi).
В доказательстве используется сформулированный ниже инвариант цикла.
В начале каждой итерации цикла for в строках 6-9 стек S состоит (снизу вверх) только из вершин оболочки CH (Qi-i) в порядке их обхода против часовой стрелки.
Инициализация. При первом выполнении строки 6 инвариант поддерживается, поскольку в этот момент стек S состоит только из вершин Q2 = Qi-i, и это множество трех вершин формирует свою собственную выпуклую оболочку. Кроме того, если просматривать точки снизу вверх, то они будут расположены в порядке обхода против часовой стрелки.
Сохранение. При входе в новую итерацию цикла for вверху стека 5 находится точка pi-i, помещенная туда в конце предыдущей итерации (или перед
Рю*Рю*Р\о •Р\о •Рис. 33.7. Обработка процедурой GrahamScan множества точек Q, показанного на рис. 33.6Рис. 33.7. Обработка процедурой GrahamScan множества точек Q, показанного на рис. 33.6
Рю*
Рю*
Р\о •
Р\о •
Рис. 33.7. Обработка процедурой GrahamScan множества точек Q, показанного на рис. 33.6
Рис. 33.7. Обработка процедурой GrahamScan множества точек Q, показанного на рис. 33.6
первой итерацией, когда г = 3). Пусть pj — верхняя точка стека S после выполнения строк 7-8 цикла while, но перед тем, как в строке 9 в стек будет помещена точка р^ Пусть также р^ — точка, расположенная в стеке S непосредственно под точкой pj. В тот момент, когда точка pj находится наверху стека S, а точка р^ еще туда не добавлена, стек содержит те же точки, что и после j-й итерации цикла for. Поэтому, согласно инварианту
Рю
Рю
Ри*
цикла, в этот момент стек S содержит только вершины CH (Qt) в порядке их обхода против часовой стрелки, если просматривать их снизу вверх.
Продолжим размышлять о состоянии стека S непосредственно перед тем, как в него будет добавлена точка pt. Обратимся к рис. 33.8п. Поскольку полярный угол точки pt относительно точки ро больше, чем полярный угол точки pj, и поскольку угол Z-PkPjPt сворачивает влево (в противном случае точка pj была бы снята со стека), после добавления в стек S точки рг (до этого там были только вершины CH (Qj)) в нем будут содержаться вершины
Рис. 33.8. Доказательство корректности процедуры Graham_Scan
CH (Qj U {pt}). При этом они будут расположены в порядке обхода против часовой стрелки, если просматривать их снизу вверх.
Теперь покажем, что множество вершин CH (Qj U {pi}) совпадает с множеством точек CH (Qi). Рассмотрим произвольную точку pt, снятую со стека во время выполнения г-й итерации цикла for, и пусть рГ — точка, расположенная в стеке S непосредственно под точкой pt перед снятием со стека последней (этой точкой рт может быть точка pj). Угол Z.pTptPi не сворачивает влево, и полярный угол точки pt относительно точки ро больше полярного угла точки рт. Как видно из рис. 33.86, точка pt должна располагаться либо внутри треугольника, образованного точками ро, рг и р,, либо на стороне этого треугольника (но не совпадать с его вершиной). Очевидно, что поскольку точка р< находится внутри треугольника, образованного тремя другими точками множества Qi, она не может быть вершиной CH (Qi). Так как р< не является вершиной CH (Qi), можно записать соотношение
CH(Qi-{pt}) = CH(Qi)- (33.1)
Пусть Pt — множество точек, снятых со стека во время выполнения г-й итерации цикла for. Поскольку равенство (33.1) применимо ко всем точкам множества Р^, в результате его многократного применения можно показать, что выполняется равенство CH (Qi — Pi) = CH (Qi). Однако Qi — Pi = = Qj U {pi}, поэтому мы приходим к заключению, что CH (Qj U {р,}) = = СН(^-Л) = СН(^).
Мы показали, что сразу после вытеснения из стека S точки pi в нем содержатся только вершины CH (Qi) в порядке их обхода против часовой стрелки, если просматривать их в стеке снизу вверх. Последующее увеличение на единицу значения переменной г приведет к сохранению инварианта цикла в очередной итерации.
Завершение. По завершении цикла выполняется равенство г = m+1, поэтому из инварианта цикла следует, что стек S состоит только из вершин CH (Qm), т.е. из вершин CH (QY Эти вершины расположены в порядке обхода против часовой стрелки, если они просматриваются в стеке снизу вверх. На этом доказательство завершается.g
Теперь покажем, что время работы процедуры Graham_Scan равно О (n 1g п), где п = |Q|. Выполнение строки 1 занимает время 0 (п). Для сортировки полярных углов методом слияния или пирамидальной сортировки, а также сравнения углов с помощью векторного произведения, как описано в разделе 33.1, в строке 2 требуется время О (п lg п). (Все точки с одним и тем же значением полярного угла, кроме самой удаленной, можно удалить в течение времени О (п).) Выполнение строк 3-5 занимает время 0(1). В силу неравенства m ^ п — 1 цикл for в строках 6-9 выполняется не более п — 3 раз. Так как выполнение процедуры PUSH занимает время 0(1), на выполнение каждой итерации требуется время 0(1), если не принимать во внимание время, затраченное на выполнение цикла while в строках 7-8. Таким образом, общее время выполнения цикла for равно О (п), за исключением времени выполнения вложенного в него цикла while.
Покажем с помощью группового анализа, что для выполнения всего цикла while потребуется время 0(п). При г = 0,1,...,т каждая точка р, попадает в стек S ровно по одному разу. Как и при анализе процедуры Multipop в разделе 17.1, нетрудно заметить, что каждой операции Push соответствует не более одной операции Pop. По крайней мере три точки (ро, Pi и рт) никогда не снимаются со стека, поэтому всего выполняется не более m — 2 операций Pop. В каждой итерации цикла while выполняется одна операция Pop, следовательно, всего этих итераций не более m — 2. Так как проверка в строке 7 занимает время О (1), каждый вызов POP также требует 0(1) времени, и в силу неравенства т ^ п — 1, полное время, которое требуется для выполнения цикла while, равно О (п). Таким образом, время выполнения процедуры Graham_Scan составляет О (nlgn).
Обход по Джарвису
При построении выпуклой оболочки множества точек Q путем обхода по Джарвису (Jarvis’s march) используется метод, известный как упаковка пакета (package wrapping) или упаковка подарка (gift wrapping). Время выполнения алгоритма равно О (nh), где h — количество вершин CH (Q). В том случае, когда h равно о (lg п), обход по Джарвису работает быстрее, чем сканирование по Грэхему.
Интуитивно обход по Джарвису моделирует обертывание плотного куска бумаги вокруг множества Q. Начнем с того, что прикрепим конец бумаги к нижайшей точке множества, т.е. к той же точке ро, с которой начинается сканирование по Грэхему. Эта точка является вершиной выпуклой оболочки. Натянем бумагу вправо,
Рис. 33.9. Работа алгоритма обхода по Джарвису
чтобы она не провисала, после чего переместим ее вверх до тех пор, пока она не коснется какой-то точки. Эта точка также должна быть вершиной выпуклой оболочки. Сохраняя бумагу натянутой, продолжим наматывать ее на множество вершин, пока не вернемся к исходной точке ро.
Если говорить более формально, то при обходе по Джарвису строится последовательность Н = (ро,Р1, • • • ? Рл—1) вершин CH (Q). Начнем с точки ро- Как видно из рис. 33.9, следующая вершина выпуклой оболочки pi имеет наименьший полярный угол относительно точки ро. (При наличии совпадений выбирается точка, самая удаленная от точки ро.) Аналогично, точка р2 имеет наименьший полярный угол относительно точки pi и т.д. По достижении самой высокой вершины, скажем, рк (совпадения разрешаются путем выбора самой удаленной из таких вершин), оказывается построенной (рис. 33.9) правая цепь (right chain) оболочки CH (Q). Чтобы сконструировать левую цепь (left chain), начнем с точки рк и выберем в качестве р^_ц точку с наименьшим полярным углом относительно точки Рк, но относительно отрицательного направления оси х. Продолжаем выполнять эту процедуру, отсчитывая полярный угол от отрицательного направления оси ж, пока не вернемся к исходной точке ро.
Обход по Джарвису можно было бы реализовать путем единообразного обхода вокруг выпуклой оболочки, т.е. не прибегая к отдельному построению правой и левой цепей. В такой реализации обычно отслеживается угол последней стороны выпуклой оболочки и накладывается требование, чтобы последовательность
углов, образованных сторонами оболочки с положительным направлением оси ж строго возрастала (в интервале от 0 до 2я радиан). Преимущество конструирования отдельных цепей заключается в том, что исключается необходимость явно вычислять углы; для сравнения углов достаточно методов, описанных в разделе 33.1.
При надлежащей реализации время выполнения обхода по Джарвису равно О (nh\ Для каждой из h вершин оболочки CH (Q) находится вершина с минимальным полярным углом. Каждое сравнение полярных углов длится в течение времени О (1), если используются методы, описанные в разделе 33.1. Как показано в разделе 9.1, если каждая операция сравнения выполняется в течение времени О (1), то выбор минимального из п значений занимает время О (п). Таким образом, обход по Джарвису длится в течение времени О (n/i).
Упражнения
1. Докажите, что в процедуре Graham_Scan точки pi и рт должны быть вершинами CH (Q).
2. Рассмотрим модель вычислений, которая поддерживает сложение, сравнение и умножение и в которой существует нижняя граница времени сортировки п чисел, равная Q(nlgn). Докажите, что в такой модели Q (nlgn) — нижняя граница времени вычисления вершин выпуклой оболочки множества п точек в порядке их обхода.
3. Докажите, что в заданном множестве точек Q две самые удаленные друг от друга точки должны быть вершинами CH (Q).
4. Для заданного многоугольника Р и точки q на его границе тенью (shadow) точки q называется множество точек г, для которых отрезок qf полностью находится на границе или во внутренней области многоугольника Р. Многоугольник Р называется звездообразным (star-shaped), если в его внутренней области существует точка р, которая находится в тени любой точки, лежащей на границе этого многоугольника. Множество всех таких точек называется ядром (kernel) многоугольника Р. На рис. 33.10 приведены примеры двух многоугольников. В части а показан звездообразный многоугольник. Отрезок, соединяющий точку р с любой из принадлежащих границе многоугольника точек q пересекает эту границу только в точке q. В части б рисунка приведен многоугольник, не являющийся звездообразным. Выделенная серым цветом левая область является тенью точки q, а выделенная правая область — тенью точки q'. Поскольку эти области не перекрываются, ядро является пустым. Пусть звездообразный n-угольник Р задан своими вершинами, перечисленными в порядке обхода против часовой стрелки. Покажите, как построить CH (Р) за время О (п).
Рис. 33.10. Определение звездообразного многоугольника, о котором идет речь в упражнении 33.3-4
5. В оперативной задаче о выпуклой оболочке (on-line convex-hull problem) параметры каждой из п точек из заданного множества Q становятся известны по одной точке за раз. После получения сведений об очередной точке строится выпуклая оболочка тех точек, о которых стало известно к настоящему времени. Очевидно, можно было бы применять сканирование по Грэхему к каждой из точек, затратив при этом полное время, равное О (п2 lg п). Покажите, как решить оперативную задачу о выпуклой оболочке за время О (п2)
* 33.3-6. Покажите, как реализовать инкрементный метод построения выпуклой оболочки таким образом, чтобы время его работы было равно О (nlgn).
Поиск пары ближайших точек
Теперь рассмотрим задачу о поиске в множестве Q, состоящем из п ^ 2 точек, пары ближайших друг к другу точек. Термин “ближайший” относится к обычному евклидову расстоянию: расстояние между точками pi = (xi,yi) и рг = (ж2,У2) равно ^(жх — жг)2 + (У1 ~ Уз)2- Две точки в множестве Q могут совпадать; в этом случае расстояние между ними равно нулю. Эта задача находит применение, например, в системах управления транспортом. В системе управления воздушным или морским транспортом может понадобиться узнать, какие из двух транспортных средств находятся друг к другу ближе всего, чтобы предотвратить возможное столкновение между ними.
В алгоритме, который работает “в лоб”, просто перебираются все (2) = О (п2) пар точек. В данном разделе описывается решение этой задачи с помощью алгоритма разбиения. Время решения этим методом определяется знакомым рекуррентным соотношением Т (n) = 2Т (п/2) + О (п). Таким образом, время работы этого алгоритма равно О (n 1g п).
Алгоритм декомпозиции
В каждом рекурсивном вызове описываемого алгоритма в качестве входных данных используется подмножество PCQ и массивы X и У, в каждом из которых содержатся все точки входного подмножества Р. Точки в массиве X отсортированы в порядке монотонного возрастания их координаты х. Аналогично, массив У отсортирован в порядке монотонного возрастания координаты у. Заметим, что достигнуть границы О (п lg п) не удастся, если сортировка будет производиться в каждом рекурсивном вызове; если бы мы поступали таким образом, то время работы такого метода определялось бы рекуррентным соотношением Т (п) = = 2Т (п/2) + О (п 1g п), решение которого равно Т (п) = О (n lg2 п). (Это можно показать с помощью версии основного метода, описанной в упражнении 4.4-2.) Немного позже станет понятно, как с помощью “предварительной сортировки” поддерживать отсортированность, не прибегая к процедуре сортировке в каждом рекурсивном вызове.
В рекурсивном вызове со входными данными Р, X и У сначала проверяется, выполняется ли условие |Р| ^ 3. Если оно справедливо, то в вызове просто применяется упомянутый выше метод решения “в лоб”: сравниваются между собой все (1^1) пар точек, и возвращается пара точек, расположенных друг к другу ближе других. Если |Р| > 3, то производится рекурсивный вызов в соответствии с описанной ниже парадигмой “разделяй и властвуй”.
Разделение. Находится вертикальная прямая I, которая делит множество точек Р на два множества Pl и Pr, таких что |Рд| = f|P|/2], |Pr| = [|P|/2J, все точки множества Pl находятся слева от прямой I или на этой прямой, а все точки множества Pr находятся справа от прямой I или на этой прямой. Массив X разбивается на массивы Xl и Xr, содержащие точки множеств Pl и Pr соответственно, отсортированные в порядке монотонного возрастания координаты х. Аналогично, массив У разбивается на массивы Yl и Yr, содержащие соответственно точки множеств Pl и Pr, отсортированные в порядке монотонного возрастания координаты у.
Покорение. После разбиения множества Р на подмножества Pl и Pr производится два рекурсивных вызова: один для поиска пары ближайших точек в множестве Pl, а другой для поиска пары ближайших точек в множестве Pr. В качестве входных данных в первом вызове выступает подмножество Pl и массивы Xl и Yl; во втором вызове на вход подается множество Pr, а также массивы Xr и Yr. Обозначим расстояния между ближайшими точками в множествах Pl и Pr через 6l и 8r соответственно; введем также обозначение 8 = min (8l, 8r).
Комбинирование. Ближайшая пара либо находится друг от друга на расстоянии <5, найденном в одном из рекуррентных вызовов, либо образована точками, одна из которых принадлежит множеству Pl, а вторая — множеству
Совпадающие точки - одна в PL1 одна в PRСовпадающие точки - одна в Рр одна в PRСовпадающие точки - одна в PL1 одна в PRСовпадающие точки - одна в Рр одна в PRб)б)
Совпадающие точки - одна в PL1 одна в PR
Совпадающие точки - одна в Рр одна в PR
Совпадающие точки - одна в PL1 одна в PR
Совпадающие точки - одна в Рр одна в PR
б)
б)
Рис. 33.11. Основные концепции, которые используются при доказательстве достаточности проверки 7 точек массива У' при поиске пары ближайших точек
Pr. В алгоритме определяется, существует ли пара таких точек, расстояние между которыми меньше 5. Заметим, что если существует такая “пограничная” пара точек, расстояние между которыми меньше 5, то обе они не могут находиться дальше от прямой Z, чем на расстоянии 6. Таким образом, как видно из рис. 33.11а, обе эти точки должны лежать в пределах вертикальной полосы шириной 25, в центре которой находится прямая Z. Для поиска такой пары (если она существует) в алгоритме производятся описанные ниже действия.
Создается массив Y* путем удаления из массива Y всех точек, не попадающих в полосу шириной 25. Как и в массиве У, в массиве Y' точки отсортированы в порядке возрастания координаты у.
Для каждой точки р из массива У' алгоритм пытается найти в этом же массиве точки, которые находятся в 5-окрестности от точки р. Как мы вскоре увидим, достаточно рассмотреть лишь 7 точек, расположенных в массиве Y1 после точки р. В алгоритме вычисляется расстояние от точки р до каждой из этих семи точек, и отслеживается, какое из расстояний 5/ между всеми парами точек в массиве Y' является наименьшим.
Если выполняется неравенство 5' < 5, то в вертикальной полосе действительно содержится пара точек, которые находятся друг от друга ближе, чем те, что были найдены в результате рекурсивных вызовов. В этом случае возвращается эта пара точек и соответствующее ей расстояние 5/. В противном случае возвращается пара ближайших точек
и расстояние между ними 8, найденное в результате рекурсивных вызовов.
В приведенном выше описании опущены некоторые детали реализации, необходимые для сокращения времени работы до величины О (nlgn). После доказательства корректности алгоритма будет показано, как реализовать этот алгоритм так, чтобы достичь желаемой границы для времени работы.
Корректность
Корректность этого алгоритма, предназначенного для поиска пары ближайших точек, очевидна, за исключением двух аспектов. Во-первых, мы уверены, что в результате рекурсивного спуска до случая, когда |Р| 3, никогда не придется решать вспомогательную задачу, в которой задана только одна точка. Второй аспект заключается в том, что понадобится проверить всего 7 точек, расположенных в массиве У' ниже каждой точки р; далее будет приведено доказательство этого свойства.
Предположим, что на некотором уровне рекурсии пару ближайших точек образуют точки рь 6 Pl и pr G Pr. Таким образом, расстояние 5' между этими точками строго меньше 5. Точка pl должна находиться слева от прямой I на расстоянии, не превышающем величину 5, или на этой прямой. Аналогично, точка Pr находится справа от прямой I на расстоянии, не превышающем величину 5, или на этой прямой. Кроме того, расстояние по вертикали между точками pl^Pr не превышает 5. Таким образом, как видно из рис. 33.11а, точки pl и pr находятся внутри прямоугольника 5 х 25, через центр которого проходит прямая I. (В этот прямоугольник могут также попасть другие точки.)
Теперь покажем, что прямоугольник размерами 5 х 25 может содержать не более восьми точек. Рассмотрим квадрат 5x5, который составляет левую половину этого прямоугольника. Поскольку расстояние между любой парой точек из множества Pl не меньше 5, в этом квадрате может находиться не более четырех точек (рис. 33.116). Аналогично, в квадрате размерами 5x5, составляющем правую половину означенного прямоугольника, тоже может быть не более четырех точек. Таким образом, в прямоугольнике 5 х 25 содержится не более восьми точек. (Заметим, что поскольку точки на прямой I могут входить либо в множество Pl, либо в множество Pr, на этой прямой может лежать до четырех точек. Этот предел достигается, если имеется две пары совпадающих точек, причем в каждой паре одна из точек принадлежит множеству Pl, а другая — множеству Pr. Кроме того, одна из этих пар находится на пересечении прямой I и верхней стороны прямоугольника, а вторая — на пересечении прямой I и нижней стороны прямоугольника.)
Поскольку в прямоугольнике указанных выше размеров может содержаться не более восьми точек множества Р, очевидно, что достаточно проверить 7 точек,
расположенных в массиве Y* после каждой точки. Продолжая придерживаться предположения, что пара ближайших друг к другу точек состоит из точек pl и рк, без потери общности предположим, что в массиве Y' точка pl находится перед точкой pr. В этом случае точка pr является одной из семи точек, следующих после точки pl, даже если точка pl встречается в массиве Y' так рано, насколько это возможно, а точка pr — настолько поздно, насколько это возможно. Таким образом, корректность алгоритма, предназначенного для поиска пары ближайших точек, доказана.
Реализация и время работы алгоритма
Как уже упоминалось, наша цель заключается в том, чтобы показать, что время работы представленного алгоритма описывается рекуррентным соотношением Т (n) = 2Т (п/2) + О (п), где Т (п) — время работы алгоритма для п точек. Основная сложность — это добиться, чтобы массивы Xl, Xr, Yl и Yr, которые передаются в рекурсивных вызовах, были отсортированы по соответствующей координате и чтобы массив Y' был отсортирован по координате у. (Заметим, что если массив X, который передается в рекурсивном вызове, уже отсортирован, то разбиение множества Р на подмножества Pl и Pr легко выполнить в течение времени, линейного по количеству элементов.)
Главное заключается в том, что в каждом вызове следует сформировать отсортированное подмножество отсортированного массива. Например, пусть в каком- то отдельно взятом рекурсивном вызове задано подмножество Р и массив Y, отсортированный по координате у. В процессе разбиения множества Р на подмножества Pl и Pr нужно образовать массивы Yl и Yr, которые должны быть отсортированы по координате у. Более того, эти массивы необходимо сформировать в течение линейного времени. Этот метод можно рассматривать как антипод процедуры Merge, описанной в разделе 2.3.1: отсортированный массив разбивается на два отсортированных массива. Эта идея реализована в приведенном ниже псевдокоде.
length\YL\ ♦— length ^Yr] <— 0
for г <— 1 to length[Y]
do if У[г] € PL
then length[YL] <— length^] + 1
Уь[/еп5^[У£]] 4- У [г]
else Zengt/i[yfl] <— ZengZ/^y#] + 1
У^еп^Уя]] ^ У[г]
Точки массива У просто обрабатываются в порядке их расположения в этом массиве. Если точка У [г] принадлежит множеству Pl, она добавляется в конец массива
Yl; в противном случае она добавляется в конец массива Yr. С помощью аналогичного псевдокода можно сформировать массивы Xl, Xr и Y'.
Единственный оставшийся вопрос — как сделать так, чтобы точки были отсортированы с самого начала. Для этого следует провести их предварительную сортировку (presorting); т.е. это делается один раз перед первым рекурсивным вызовом. Отсортированные массивы передаются в первом рекурсивном вызове, а затем они будут дробиться в рекурсивных вызовах до тех пор, пока это будет необходимо. Предварительная сортировка добавит ко времени работы алгоритма величину О (nlgn), но позволит выполнять каждый шаг рекурсии в течение линейного времени. Таким образом, если обозначить через Т (п) время обработки каждого шага рекурсии, а через Т* (п) — общее время работы всего алгоритма, то получим равенство Т' (n) = Т (п) + О (п lg п) и соотношение
Т(п) =Т(п) =2Т (п/2) + О (п)1 0(1)2Т (п/2) + О (п)1 0(1)если п > 3, если п ^ 3.если п > 3, если п ^ 3.
Т(п) =
Т(п) =
2Т (п/2) + О (п)
1 0(1)
2Т (п/2) + О (п)
1 0(1)
если п > 3, если п ^ 3.
если п > 3, если п ^ 3.
Таким образом, Т(п) = О (nlgn) и Т (п) = О (nlgn).
Упражнения
1. Профессор предложил схему, позволяющую ограничиться в алгоритме поиска пары ближайших точек пятью точками, которые находятся в массиве Y' после каждой из точек. Его идея заключается в том, чтобы точки, которые лежат на прямой I, всегда заносились в множество Pl- Тогда на этой прямой не может быть пар совпадающих точек, одна из которых принадлежит множеству Pl, а другая — множеству Pr. Таким образом, прямоугольник размерами 6 х 26 может содержать не более шести точек. Какая ошибка содержится в предложенной профессором схеме?
2. Покажите, как без ухудшения асимптотического времени работы алгоритма убедиться в том, что передаваемое в самом первом рекурсивном вызове множество не содержит совпадающих точек. Докажите, что в этом случае достаточно проверять по 5 точек, расположенных после каждой точки в массиве У'.
3. Расстояние между двумя точками можно определить и не в евклидовом смысле, а по-другому. Так, Ьт-расстояние (Lm-distance) между точками pi и pi на плоскости задается выражением (|xi — жг!"1 + |yi — у-Д™^™- Поэтому евклидово расстояние — это /^-расстояние. Модифицируйте алгоритм поиска пары ближайших точек для Zi-расстояния, известного как манхэттенское расстояние (Manhattan distance).
4. Для точек pi и р<^, заданных на плоскости, L^-расстоянием между ними называется величина тах(|жх — жг|, |yi — уг,). Модифицируйте алгоритм поиска пары ближайших точек для L^ -расстояния.
5. Предложите, как изменить алгоритм поиска пары ближайших точек, чтобы избежать в нем предварительной сортировки массива У, но чтобы время его работы по-прежнему осталось равным O(nlgn). (Указание: объедините отсортированные массивы Yl и Yr в отсортированный массив У.)
Задачи
33-1. Выпуклые слои
Для заданного на плоскости множества точек Q выпуклые слои (convex layers) определяются следующим образом. Первый выпуклый слой множества Q состоит из вершин CH (Q). Уберем эти точки и снова найдем выпуклую оболочку — ее вершины образуют второй выпуклый слой. Отбросим их и возьмем выпуклую оболочку остатка — ее вершины образуют третий выпуклый слой и т.д. Строго выпуклые слои определяются индуктивно следующим образом. Первый выпуклый слой множества Q состоит из вершин CH (Q). Определим при г > 1 множество Qi, состоящее из точек множества Q, из которого удалили все точки выпуклых слоев 1,2,..., г — 1. Тогда г-м выпуклым слоем множества Q является ■ CH (Qi), если Qi / 0; в противном случае он считается неопределенным.
Разработайте алгоритм, который находил бы выпуклые слои множества из п точек в течение времени О (п2).
Докажите, что для построения выпуклых слоев в множестве из п точек по любой вычислительной модели, в которой сортировка п действительных чисел занимает время Q(nlgn), требуется время Q (n 1g п).
33-2. Максимальные слои
Пусть Q — множество п точек на плоскости. Говорят, что точка (ж, у) доминирует (dominates) над точкой (ж', у'), если выполняются неравенства ж > ж' и у > у'. Точка множества Q, над которой не доминирует никакая другая точка этого множества, называется максимальной (maximal). Заметим, что множество Q может содержать большое количество максимальных точек, которые можно объединить в максимальные слои (maximal layers) следующим образом. В первый максимальный слой Li образует подмножество максимальных точек множества Q. При г > 1
г-м максимальным слоем L, является подмножество максимальных точек множества Q — |J}Li Ly
Предположим, что множество Q содержит к непустых максимальных слоев, и пусть yt — координата у самой левой точки в слое Li (г = = 1,2,..., к). Мы предполагаем, что координаты х или у никаких двух точек множества Q не совпадают.
Покажите, что yi > уг > • • • > у*:-
Рассмотрим точку (ж, у), которая находится левее всех точек множества Q и координата у которой отличается от координаты у любой другой точки этого множества. Введем обозначение Q' = Q U {(ж, у)}.
Пусть з — минимальный индекс, такой что у, < у; если такого индекса нет (у < у^), то j = к + 1. Покажите, что максимальные слои множества Q' обладают следующими свойствами.
Если з ^ к, то максимальные слои множества Q' совпадают с максимальными слоями множества Q за исключением слоя Lj, который в качестве новой крайней левой точки включает точку (ж, у).
Если j = к + 1, то первые к максимальных слоя множества Q* совпадают с максимальными слоями множества Q, но, кроме того, множество Q' имеет непустой (А: + 1)-й максимальный слой Lk+1 = {(ж, у)}.
Разработайте алгоритм, позволяющий в течение времени О (nlgn) построить максимальные слои множества Q, состоящего из п точек. ^Указание; проведите вертикальную выметающую прямую справа налево.)
Возникнут ли какие-либо сложности, если разрешить входным точкам иметь одинаковые координаты х или у? Предложите способ решения таких проблем.
33-3. Охотники за привидениями и привидения
Группа, состоящая из п охотников за привидениями, борется с п привидениями. Каждый охотник вооружен протонной установкой, уничтожающей привидение протонным пучком. Поток протонов распространяется по прямой и прекращает свой путь, когда попадает в привидение. Охотники придерживаются такой стратегии. Каждый из них выбирает среди привидений свою цель, в результате чего образуется п пар “охотник-привидение”. После этого каждый охотник выпускает пучок протонов по своей жертве. Известно, что пересечение пучков очень опасно, поэтому охотники должны выбирать привидения так, чтобы избежать пересечений.
Предположим, что положение каждого охотника и каждого привидения задано фиксированной точкой на плоскости и что никакие три точки не коллинеарны.
Докажите, что всегда существует прямая, проходящая через одного охотника и одно привидение, для которой количество охотников, попавших в одну из полуплоскостей относительно этой прямой, равно количеству привидений в этой же полуплоскости. Опишите, как найти такую прямую за время О (nlgn).
Разработайте алгоритм, позволяющий в течение времени О (п2 lg п) разбить охотников и привидения на пары таким образом, чтобы не было пересечения пучков.
33-4. Сбор палочек
Профессор занимается исследованием множества из п палочек, сложенных в кучу в некоторой конфигурации. Положение каждой палочки задается ее конечными точками, а каждая конечная точка представляет собой упорядоченную тройку координат (ж, у, z\ Вертикальных палочек нет. Профессор хочет собрать по одной все палочки, соблюдая условие, согласно которому он может снимать палочку только тогда, когда на ней не лежат никакие другие палочки.
Разработайте процедуру, которая бы для двух заданных палочек а и b определяла, находится ли палочка а над палочкой Ь, под ней или палочка а не связана ни одним из этих соотношений с палочкой Ь.
Разработайте эффективный алгоритм, позволяющий определить, можно ли собрать все палочки, и в случае положительного ответа предлагающий допустимую последовательность, в которой следует собирать палочки.
33-5. Разреженно-оболочечные распределения
Рассмотрим задачу, в которой нужно построить выпуклую оболочку множества заданных на плоскости точек, нанесенных в соответствии с каким- то известным случайным распределением. Для некоторых распределений математическое ожидание размера (количества точек) выпуклой оболочки такого множества, состоящего из п точек, равно О (п1-£), где е > 0 — некоторая положительная константа. Назовем такое распределение разреженно-оболочечным (sparse-hulled). К разреженно-оболочечным распределениям относятся следующие.
Точки равномерно распределены в круге единичного радиуса. Математическое ожидание размера выпуклой оболочки равно 0 (п1/3).
Точки равномерно распределены внутри выпуклого /с-угольника, где к — произвольная константа. Математическое ожидание размера выпуклой оболочки равно 0 (lg п).
Точки наносятся в соответствии с двумерным нормальным распределением. Математическое ожидание размера выпуклой оболочки равно 0 (Vigтг).
Даны два выпуклых многоугольника с ni и пг вершинами соответственно. Покажите, как построить выпуклую оболочку всех ni + пг точек в течение времени О (ni + П2). (Многоугольники могут пересекаться.)
Покажите, что можно разработать алгоритм, который отыскивает выпуклую оболочку п независимых точек, подчиненных некоторому разреженно-оболочечному распределению, за время О (п). (Указание: рекурсивно постройте выпуклую оболочку для двух половин множества, а затем объедините полученные результаты.)
Заключительные замечания
В этой главе мы лишь вкратце обсудили тему алгоритмов и методов вычислительной геометрии. Среди серьезных изданий по вычислительной геометрии можно выделить книги Препараты (Preparata) и Шамоса (Shamos) [247], а также Эдельсбруннера (Edelsbrunner) [83] и О’Рурка (O’Rourke) [235].
Несмотря на то, что геометрия изучается с античных времен, развитие алгоритмов для геометрических задач — относительно новое направление. Препарата и Шамос отмечают, что самое раннее упоминание о сложности задачи было сделано Лемоном (Е. Lemoine) в 1902 году. Изучая евклидовы построения, в которых используется только циркуль и линейка, все действия он свел к набору пяти примитивов: размещение ножки циркуля в заданной точке, размещение ножки циркуля на заданной прямой, построение окружности, совмещение края линейки с заданной точкой и наконец построение прямой. Лемона интересовало количество примитивов, необходимых для построения заданной конструкции; это число он назвал “простотой” данной конструкции.
Описанный в разделе 33.2 алгоритм, в котором определяется, пересекаются ли какие-либо отрезки, предложен Шамосом и Гоем (Ноеу) [275].
Изначальная версия сканирования по Грэхему была представлена Грэхемом (Graham) [130]. Алгоритм оборачивания предложен Джарвисом (Jarvis) [165]. Яо-(Yao) [318] с помощью модели дерева решений доказал, что нижняя граница времени работы алгоритма, предназначенного для построения выпуклой оболочки, равна Q(nlgn). С учетом количества вершин h выпуклой оболочки
в асимптотическом пределе оптимальным является алгоритм отсечения и поиска, разработанный Киркпатриком (Kirkpatrick) и Зайделем (Seidel) [180], время работы которого равно О (п lg h).
Алгоритм разбиения со временем работы О (nlgn), предназначенный для поиска пары ближайших точек, предложен Препаратой и опубликован в книге Препараты и Шамоса [247]. Препарата и Шамос также показали, что в модели дерева решений этот алгоритм асимптотически оптимален.
ГЛАВА 34
NP-полнота
Почти все изученные нами до сих пор алгоритмы имеют полиномиальное время работы (polynomial-time algorithms): для входных данных размера п их время работы в наихудшем случае равно О (тгк^ где к — некоторая константа. Возникает естественный вопрос: все ли задачи можно решить в течение полиномиального времени? Ответ отрицательный. В качестве примера можно привести знаменитую “задачу останова”, предложенную Тьюрингом (Turing). Эту задачу невозможно решить ни на одном компьютере, каким бы количеством времени мы не располагали. Существуют также задачи, которые можно решить, но не удается сделать это за время О (пк), где к — некоторая константа. Вообще говоря, о задачах, разрешимых с помощью алгоритмов с полиномиальным временем работы, возникает представление как о легко разрешимых или простых, а о задачах, время работы которых превосходит полиномиальное, — как о трудно разрешимых или сложных.
Однако тема этой главы — интересный класс задач, которые называются “NP- полными”. Их статус пока что неизвестен. Для решения NP-полных задач до настоящего времени не разработано алгоритмов с полиномиальным временем работы, но и не доказано, что для какой-то из них таких алгоритмов не существует. Этот так называемый вопрос Р / NP с момента своей постановки в 1971 году стал одним из самых трудных в теории вычислительных систем.
Особо интригующим аспектом NP-полных задач является то, что некоторые из них на первый взгляд аналогичны задачам, для решения которых существуют алгоритмы с полиномиальным временем работы. В каждой из описанных ниже пар задач одна из них разрешима в течение полиномиального времени, а другая
является NP-полной. При этом различие между задачами кажется совершенно незначительным.
Поиск самых коротких и самых длинных простых путей. В главе 24 мы убедились, что даже при отрицательных весах ребер кратчайшие пути от отдельно взятого источника в ориентированном графе G = (V, Е) можно найти в течение времени О (V Е). Однако поиск самого длинного пути между двумя вершинами оказывается сложным. Задача по определению того, содержит ли граф простой путь, количество ребер в котором не меньше заданного числа, является NP-полной.
Эйлеров и Гамильтонов циклы. Эйлеров цикл (Euler tour) связанного ориентированного графа G = (V, Е) — это цикл, в котором переход по каждому ребру G осуществляется ровно один раз, хотя допускается неоднократное посещение некоторых вершин. В соответствии с результатами задачи 22-3, определить наличие Эйлерова цикла (а также найти составляющие его ребра) можно в течение времени О (Е\ Гамильтонов цикл (Hamiltonian cycle) ориентированного графа G = (V, Е) — это простой цикл, содержащий все вершины из множества V. Задача по определению того, содержится ли в ориентированном графе Гамильтонов цикл, является NP-полной. (Далее в этой главе будет доказано, что задача по определению того, содержится ли в неориентированном графе Гамильтонов цикл, также является NP-полной.)
2-CNF- и 3-С№-выполнимость. Булева формула содержит переменные, принимающие значения 0 и 1, булевы операторы, такие как А (И), V (ИЛИ) и -i (НЕ), а также скобки. Булева формула называется выполнимой (satisfiable), если входящим в ее состав переменным можно присвоить такие значения 0 и 1, чтобы в результате вычисления формулы получилось значение 1. Далее в этой главе даются более формализованные определения всех терминов, а пока, говоря неформально, булева формула представлена в к-конъюнк- тивной нормальной форме (fc-conjunctive normal form), или fc-CNF, если она имеет вид конъюнкции (И) взятых в скобки выражений, являющихся дизъюнкцией (ИЛИ) ровно к переменных или их отрицаний (НЕ). Например, формула (xi V -1x2) A (-•xi V хз) А (->хг V ->хз) представлена в 2-CNF. (Для нее существует выполнимый набор xi = 1, хг = 0, хз = 1.) Можно сформулировать алгоритм с полиномиальным временем работы, позволяющий определить, является ли 2-CNF формула выполнимой. Однако, как будет показано далее в этой главе, определение того, является ли 3-CNF формула выполнимой — это NP-полная задача.
NP-полнота и классы Р и NP
В этой главе мы будем ссылаться на три класса задач: Р, NP и NPC (класс NP- полных задач). В этом разделе они описываются неформально, а их формальное определение будет дано позже.
Класс Р состоит из задач, разрешимых в течение полиномиального времени работы. Точнее говоря — это задачи, которые можно решить за время О (тгк^, где к — некоторая константа, ап — размер входных данных задачи. Большинство задач, рассмотренных в предыдущих главах, принадлежат классу Р.
Класс NP состоит из задач, которые поддаются проверке в течение полиномиального времени. Имеется в виду, что если мы каким-то образом получаем “сертификат” решения, то в течение времени, полиномиальным образом зависящего от размера входных данных задачи, можно проверить корректность такого решения. Например, в задаче о гамильтоновом цикле с заданным ориентированным графом G = (V, Е) сертификат имел бы вид последовательности (vi, V2,..., V|y|) из |V| вершин. В течение полиномиального времени легко проверить, что (vi, Vi+i) Е при г= 1,2,..., |V|-1 и что (v|y|, vi) ЕЕ. Приведем другой пример: в задаче о 3- CNF-выполнимости в сертификате должно быть указано, какие значения следует присвоить переменным. В течение полиномиального времени легко проверить, удовлетворяет ли такое присваивание булевой формуле.
Любая задача класса Р принадлежит классу NP, поскольку принадлежность задачи классу Р означает, что ее решение можно получить в течение полиномиального времени, даже не располагая сертификатом. Это замечание будет формализовано ниже в данной главе, а пока что можно считать, что Р С NP. Остается открытым вопрос, является ли Р строгим подмножеством NP.
Неформально задача принадлежит классу NPC (такие задачи называются NP- полными (NP-complete)), если она принадлежит классу NP и является такой же “сложной”, как и любая задача из класса NP. Ниже в этой главе будет дано формальное определение того, что означает выражение “задача такая же по сложности, как любая задача из класса NP”. А пока что мы примем без доказательства положение, что если любую NP-полную задачу можно решить в течение полиномиального времени, то для каждой задачи из класса NP существует алгоритм с полиномиальным временем работы. Большинство ученых, занимающихся теорией вычислительных систем, считают NP-полные задачи очень трудноразрешимыми, потому что при огромном разнообразии изучавшихся до настоящего времени NP- полных задач ни для одной из них пока так и не найдено решение в виде алгоритма с полиномиальным временем работы. Таким образом, было бы крайне удивительно, если бы все они оказались разрешимыми в течение полиномиального времени.
Чтобы стать квалифицированным разработчиком алгоритмов, необходимо понимать основы теории NP-полноты. Если установлено, что задача NP-полная, это
служит достаточно надежным указанием на то, что она трудноразрешимая. Как инженер, вы эффективнее потратите время, если займетесь разработкой приближенного алгоритма (см. главу 35) или решением легкого особого случая, вместо того, чтобы искать быстрый алгоритм, выдающий точное решение задачи. Более того, многие естественно возникающие интересные задачи, которые на первый взгляд не сложнее задачи сортировки, поиска в графе или определения потока в сети, фактически являются NP-полными. Таким образом, важно ознакомиться с этим замечательным классом задач.
Как показать, что задача является NP-полной
Методы, позволяющие доказать, что та или иная задача является NP-полной, отличаются от методов, которые использовались в большей части этой книги для разработки и анализа алгоритмов. Имеется фундаментальная причина такого различия: чтобы показать, что задача является NP-полной, делается утверждение о том, насколько она сложна (или, по крайней мере, насколько она сложна в нашем представлении), а не о том, насколько она проста. Не предпринимается попыток доказать, что существуют эффективные алгоритмы. Скорее, мы пытаемся доказать, что эффективных алгоритмов, вероятнее всего, не существует. В этом смысле доказательство NP-полноты несколько напоминает представленное в разделе 8.1 доказательство того, что нижняя граница любого алгоритма, работающего по методу сравнений, равна Q (n lg п). Однако методы, использующиеся для доказательства NP-полноты, отличаются от методов с применением дерева решений, описанных в разделе 8.1.
При доказательстве NP-полноты задачи используются три основные концепции, описанные ниже.
Задачи принятия решения и задачи оптимизации
Многие представляющие интерес задачи являются задачами оптимизации (optimization problems), каждому допустимому (“законному”) решению которых можно сопоставить некоторое значение и для которых нужно найти допустимое решение с наилучшим значением. Например, в задаче, получившей название Shortest_Path, задается неориентированный граф G, а также вершины и и и, и нужно найти путь из вершины и к вершине и, в котором содержится наименьшее количество ребер. (Другими словами, Shortest_Path — это задача поиска кратчайшего пути между парой вершин невзвешенного неориентированного графа.) Однако NP-полнота непосредственно применима не к задачам оптимизации, а к задачам принятия решения (decision problems), в которых ответ может быть положительным или отрицательным (говоря более формально, принимать значения “1” или “0”).
Хотя при доказательстве NP-полноты задачи приходится ограничиваться задачами принятия решения, между ними и задачами оптимизации существует удобная взаимосвязь. Наложив ограничение на оптимизируемое значение, поставленную задачу оптимизации можно свести к соответствующей задаче принятия решения. Например, задаче Shortest_Path соответствует задача принятия решения под названием Path: существует ли для заданных исходных данных, в число которых входит направленный граф G, вершины и и v, и целое число к, путь из вершины и к вершине и, состоящий не более чем из к ребер.
Взаимосвязь между задачей оптимизации и соответствующей ей задачей принятия решения полезна для нас, если мы пытаемся показать, что задача оптимизации является “сложной”. Причина этого заключается в том, что задача принятия решения в некотором смысле “проще” или, по крайней мере, “не сложнее”. Например, задачу Path можно решить, решив задачу Shortest_Path, а затем сравнивая количество ребер в найденном кратчайшем пути со значением параметра к в задаче принятия решения. Другими словами, если задача оптимизации простая, соответствующая ей задача принятия решения тоже простая. Формулируя это утверждение так, чтобы оно имело большее отношение к NP-полноте, можно сказать, что если удается засвидетельствовать сложность задачи принятия решения, это означает, что соответствующая задача оптимизации тоже сложная. Таким образом, хотя и приходится ограничиваться рассмотрением задач принятия решения, теория NP-полноты зачастую имеет следствия и для задач оптимизации.
Приведение
Сделанное выше замечание о том, что одна задача не сложнее или не легче другой, применимо, даже если обе задачи являются задачами принятия решения. Эта идея используется почти во всех доказательствах NP-полноты. Это делается следующим образом. Рассмотрим задачу принятия решения, скажем, задачу А, которую хотелось бы решить в течение полиномиального времени. Назовем входные данные отдельно взятой задачи экземпляром (instance) этой задачи. Например, экземпляром задачи Path является некоторый граф G, некоторые его вершины и и v, а также некоторое целое число к. А теперь предположим, что существует другая задача принятия решения, скажем, В, для которой заранее известно, как решить ее в течение полиномиального времени. Наконец, предположим, что имеется процедура с приведенными ниже характеристиками, преобразующая любой экземпляр а задачи А в некоторый экземпляр 0 задачи В.
Это преобразование занимает полиномиальное время.
Ответы являются идентичными, т.е. в экземпляре а ответ “да” выдается тогда и только тогда, когда в экземпляре 0 тоже выдается ответ “да”.
Хтпфитм принятия penic-ния Вс полиномиальнымжмсшш^ж,^...Хтпфитм принятия penic-ния Вс полиномиальнымжмсшш^ж,^...Ла. > ДаЛа. > ДааАжГритм п|шеда»№ ”1
Хтпфитм принятия penic-ния Вс полиномиальнымжмсшш^ж,^...
Хтпфитм принятия penic-ния Вс полиномиальнымжмсшш^ж,^...
Ла. > Да
Ла. > Да
—■■■> -Ыс полиномиальным г
Алгоритм принятия решения А с гютиномиальным иременем рабты
Рис. 34.1. Решение задачи принятия решения А в течение полиномиального времени с помощью алгоритма приведения с полиномиальным временем работы и известного алгоритма с полиномиальным временем работы, предназначенного для решения другой задачи В
Назовем такую процедуру алгоритмом приведения (reduction algorithm) с полиномиальным временем. Как видно из рис. 34.1, эта процедура предоставляет описанный ниже способ решения задачи А в течение полиномиального времени.
Заданный экземпляр а задачи А с помощью алгоритма приведения с полиномиальным временем преобразуется в экземпляр Р задачи В.
Запускается алгоритм, решающий экземпляр Р задачи принятия решения В в течение полиномиального времени.
Ответ для экземпляра Р используется в качестве ответа для экземпляра а.
Поскольку для выполнения каждого из перечисленных выше этапов требуется полиномиальное время, это относится и ко всему процессу в целом, что дает способ решения экземпляра а задачи в течение полиномиального времени. Другими словами, путем сведения задачи А к задаче В “простота” задачи В используется для доказательства “простоты” задачи А.
Если вспомнить, что при доказательстве NP-полноты требуется показать, насколько сложной является задача, а не насколько она простая, доказательство NP- полноты с помощью приведения с полиномиальным временем работы выполняется обратно описанному выше способу. Продвинемся в разработке этой идеи еще на шаг и посмотрим, как с помощью приведения с полиномиальным временем показать, что для конкретной задачи В не существует алгоритмов с полиномиальным временем работы. Предположим, что имеется задача принятия решения А, относительно которой заранее известно, что для нее не существует алгоритма с полиномиальным временем работы. (Пока что мы не станем обременять себя размышлениями о том, как сформулировать такую задачу А.) Предположим также, что имеется преобразование, позволяющее в течение полиномиального времени преобразовать экземпляры задачи А в экземпляры задачи В. Теперь с помощью простого доказательства “от противного” можно показать, что для решения задачи В не существует алгоритмов с полиномиальным временем работы. Предположим обратное, т.е. что существует решение задачи В в виде алгоритма с полиномиальным временем работы. Тогда, воспользовавшись методом, проиллюстрированным на рис. 34.1, можно получить способ решения задачи А в течение полиномиаль-
ного времени, а это противоречит предположению о том, что таких алгоритмов для задачи А не существует.
Если речь идет о NP-полноте, то здесь нельзя предположить, что для задачи А вообще не существует алгоритмов с полиномиальным временем работы. Однако методология аналогична в том отношении, что доказательство NP-полноты задачи В основывается на предположении о NP-полноте задачи А.
Первая NP-полная задача
Поскольку метод приведения базируется на том, что для какой-то задачи заранее известна ее NP-полнота, то для доказательства NP-полноты различных задач нам понадобится “первая” NP-полная задача. В качестве таковой мы воспользуемся задачей, в которой задана булева комбинационная схема, состоящая из логических элементов И, ИЛИ и НЕ. В задаче спрашивается, существует ли для этой схемы такой набор входных булевых величин, для которого будет выдано значение 1. Доказательство NP-полноты этой первой задачи будет представлено в разделе 34.3.
Краткое содержание главы
В этой главе изучаются аспекты NP-полноты, которые непосредственно основываются на анализе алгоритмов. В разделе 34.1 формализуется понятие “задачи” и определяется класс сложности Р как класс задач принятия решения, разрешимых в течение полиномиального времени. Также станет понятно, как эти понятия укладываются в рамки теории формальных языков. В разделе 34.2 определяется класс NP, к которому относятся задачи принятия решения, правильность решения которых можно проверить в течение полиномиального времени. Здесь также формально ставится вопрос Р ^ NP.
В разделе 34.3 показано, как с помощью приведения с полиномиальным временем работы изучаются взаимоотношения между задачами. Здесь дано определение NP-полноты и представлен набросок доказательства того, что задача о выполнимости схемы является NP-полной. Имея одну NP-полную задачу, в разделе 34.4 мы увидим, как можно существенно проще доказать NP-полноту других задач с помощью приведения. Эта методология проиллюстрирована на примере двух задач на выполнимость формул, для которых доказывается NP-полнота. В разделе 34.5 NP-полнота демонстрируется для широкого круга других задач.
Полиномиальное время
Начнем исследование NP-полноты с формализации понятия задач, разрешимых в течение полиномиального времени. Эти задачи считаются легко разрешимыми,
но не из математических, а из философских соображений. В поддержку этого мнения можно привести три аргумента.
Во-первых, хотя и разумно считать трудноразрешимой задачу, для решения которой требуется время 0 (п100), на практике крайне редко встречаются задачи, время решения которых выражается полиномом такой высокой степени. Для практических задач, которые решаются за полиномиальное время, показатель степени обычно намного меньше. Опыт показывает, что если для задачи становится известен алгоритм с полиномиальным временем работы, то зачастую впоследствии разрабатывается и более эффективный алгоритм. Даже если самый лучший из известных на сегодняшний день алгоритмов решения задачи характеризуется временем 0 (п100), достаточно велика вероятность того, что скоро будет разработан алгоритм с намного лучшим временем работы.
Во-вторых, для многих приемлемых вычислительных моделей задача, которая решается в течение полиномиального времени в одной модели, может быть решена в течение полиномиального времени и в другой. Например, в большей части книги рассматривается класс задач, разрешимых в течение полиномиального времени с помощью последовательных машин с произвольной выборкой. Этот класс совпадает с классом задач, разрешимых в течение полиномиального времени на абстрактных машинах Тьюринга1. Он также совпадает с классом задач, разрешимых в течение полиномиального времени на параллельных компьютерах, если зависимость количества процессоров от объема входных данных описывается полиномиальной функцией.
В-третьих, класс задач, разрешимых в течение полиномиального времени, обладает полезными свойствами замкнутости, поскольку множество полиномов замкнуто относительно операций сложения, умножения и композиции. Например, если выход одного алгоритма с полиномиальным временем работы соединить со входом другой такой задачи, то получим полиномиальный составной алгоритм. Если же в другом алгоритме с полиномиальным временем работы фиксированное количество раз вызываются подпрограммы с полиномиальным временем работы, то время работы такого составного алгоритма также является полиномиальным.
Абстрактные задачи
Чтобы получить понятие о классе задач, разрешимых в течение полиномиального времени, сначала необходимо формально описать само понятие “задача”. Определим абстрактную задачу (abstract problem) Q как бинарное отношение между множеством экземпляров (instances) задач I и множеством решений (solutions) задач S. Например, экземпляр задачи Shortest_Path состоит из трех элементов: графа и двух вершин. Решением этой задачи является последовательность
’Подробное рассмотрение модели Тьюринга можно найти в книгах Хопкрофта (Hopcroft) и Ульмана (Ullman) [156], а также Льюиса (Lewis) и Пападимитриу (Papadimitriou) [204].
вершин графа; при этом пустая последовательность может означать, что искомого пути не существует. Сама задача Shortest_Path представляет собой отношение, сопоставляющее каждому экземпляру графа и двум его вершинам кратчайший путь по графу, соединяющий эти две вершины. Поскольку кратчайший путь может быть не единственным, конкретный экземпляр задачи может иметь несколько решений.
Представленная выше формулировка абстрактной задачи носит более широкий характер, чем требуется для наших целей. Как мы уже убедились, теория NP-полноты ограничивается рассмотрением задач принятия решения (decision problems), требующих решения вида “да-нет”. В этом случае абстрактную задачу принятия решения можно рассматривать как функцию, отображающую экземпляр множества I на множество решений {0,1). Например, задача принятия решения, соответствующая задаче Shortest_Path, — рассмотренная выше задача Path. Если г = (G, и, v, к) — экземпляр задачи принятия решения PATH, то равенство Path (г) = 1 (да) выполняется, если количество ребер в кратчайшем пути из вершины и в вершину v не превышает к; в противном случае PATH (г) = 0 (нет). Многие абстрактные задачи являются не задачами принятия решения, а задачами оптимизации (optimization problems), в которых некоторое значение подлежит минимизации или максимизации. Однако ранее мы убедились, что обычно не составляет труда сформулировать задачу оптимизации как задачу принятия решения, которая не сложнее исходной.
Кодирование
Если абстрактная задача решается с помощью компьютерной программы, экземпляры задач необходимо представить в виде, понятном этой программе. Кодирование (encoding) множества S абстрактных объектов — это отображение е множества S на множество бинарных строк. Например, всем известно, что натуральные числа N = {1,2,...} кодируются строками {1,10,11,...}. В этой кодировке е(17) = 10001. Каждый, кто интересовался, как в компьютере представляются символы клавиатуры, знаком с кодами ASCII или кодами EBCDIC. В кодировке ASCII представление символа А выглядит как 1000001. В виде бинарной строки можно закодировать даже составной объект. Для этого конструируется комбинация, состоящая из представлений элементов, которые содержит в себе этот объект. Многоугольники, графы, функции, ориентированные пары, программы — все это можно закодировать бинарными строками.
Таким образом, компьютерный алгоритм, который “решает” некоторую абстрактную задачу принятия решения, фактически принимает в качестве входных данных закодированный экземпляр задачи. Назовем задачу, множество
экземпляров которой является множеством бинарных строк, конкретной (concrete problem). Говорят, что алгоритм решает (solves) конкретную задачу в течение времени О (Т (п)), если для заданного экземпляра задачи г длиной п = |г| с его помощью можно получить решение в течение времени О (Т (п)). Поэтому конкретная задача разрешима в течение полиномиального времени (polynomial-time solvable), если существует алгоритм, позволяющий решить ее за время О (тгк>), где к — некоторая константа.
Теперь класс сложности Р (complexity class F) можно формально определить как множество конкретных задач принятия решения, разрешимых в течение полиномиального времени.
С помощью кодирования абстрактные задачи можно отображать на конкретные. Данную абстрактную задачу принятия решения Q, отображающую множество экземпляров на множество {0,1), с помощью кодирования е : / —» {0,1}* можно свести к связанной с ней конкретной задаче принятия решения, которая будет обозначаться как е (Q). Если Q (г) € {0,1} — решение экземпляра абстрактной задачи г € I, то оно же является и решением экземпляра конкретной задачи е(г) € {0,1}*. Заметим, что некоторые бинарные строки могут не представлять осмысленного экземпляра абстрактной задачи. Для удобства мы будем предполагать, что любая такая строка произвольным образом отображается на 0. Таким образом, конкретная задача имеет те же решения, что и абстрактная, если ее экземпляры в виде бинарных строк представляют закодированные экземпляры абстрактной задачи.
Попытаемся расширить определение разрешимости в течение полиномиального времени для конкретных задач на абстрактные задачи, воспользовавшись в качестве связующего звена кодами; однако хотелось бы, чтобы определение не зависело от вида кодировки. Другими словами, эффективность решения задачи не должна зависеть от того, как она кодируется. К сожалению, на самом деле существует достаточно сильная зависимость от кодирования. Например, предположим, что в качестве входных данных алгоритма выступает только целое число к и что время работы этого алгоритма равно 0 (к\ Если число к передается так унарное (unary), т.е. в виде строки, состоящей из к единиц, то время работы алгоритма для входных данных длины п равно О (п) (выражается полиномиальной функцией). Если же используется более естественное бинарное представление числа к, то длина входной строки равна n = [lg kJ + 1. В этом случае время работы алгоритма равно 0 (к) = 0 (2П), т.е. зависит от объема входных данных как
показательная функция. Таким образом, в зависимости от способа кодирования, алгоритм работает в течение полиномиального времени или превосходит его.
Поэтому кодирование абстрактной задачи — достаточно важный вопрос для нашего понимания полиномиального времени. Невозможно вести речь о решении абстрактной задачи, не представив подробного описания кодировки. Тем не менее, если отбросить такие “дорогостоящие” коды, как унарные, само кодирование задачи на практике будет мало влиять на то, разрешима ли задача в течение полиномиального времени. Например, если представить целые числа в троичной системе счисления, а не в двоичной, это не повлияет на то, разрешима ли задача в течение полиномиального времени, поскольку целое число в троичной системе счисления можно преобразовать в целое число в двоичной системе счисления в течение полиномиального времени.
Говорят, что функция / : {0,1}* —» {0,1}* вычислима в течение полиномиального времени (polynomial-time computable), если существует алгоритм А с полиномиальным временем работы, который для произвольных входных данных ж € {0,1}* возвращает выходные данные / (ж). Для некоторого множества /, состоящего из экземпляров задач, две кодировки ei и ег называются полиномиально связанными (polynomially related), если существуют такие две вычислимые в течение полиномиального времени функции /12 и /21, что для любого экземпляра г€/ выполняются равенства /12 (ei (г)) = ег (г) и /21 (ег (г)) = ei (г). Другими словами, закодированную величину ег (г) можно вычислить на основе закодированной величины ei (г) с помощью алгоритма с полиномиальным временем работы и наоборот. Если две кодировки ei и ег абстрактной задачи полиномиально связаны, то, как следует из представленной ниже леммы, разрешимость задачи в течение полиномиального времени не зависит от используемой кодировки.
Лемма 34.1. Пусть Q — абстрактная задача принятия решения, определенная на множестве экземпляров /, a ei и ег — полиномиально связанные кодировки множества I. В этом случае ei (Q) Е Р тогда и только тогда, когда ег (Q) Е Р.
Доказательство. Достаточно доказать только прямое утверждение, поскольку обратное утверждение симметрично по отношению к прямому. Поэтому предположим, что задачу ei (Q) можно решить за время О ^пк\ где к — некоторая константа. Далее, предположим, что для любого экземпляра г задачи кодирование ei (г) можно получить из кодирования ег (г) за время О (rf), где с — некоторая константа, а п = |ег (г)|. Чтобы решить задачу ег (Q) с входными данными
в2 (г), сначала вычисляется ei (г), после чего алгоритм запускается для решения задачи ei (Q) с входными данными ei (г). Сколько времени это займет? Для преобразования кодировки требуется время О (пс\ поэтому выполняется равенство |ех (г)| = О (j^X поскольку объем выходных данных алгоритма на последовательном компьютере не может превосходить по величине время его работы. Решение задачи с входными данными ei (г) занимает время О (|ei (г)!^ = О (пск), которое является полиномиальным, поскольку и с, и к — константы. g
Таким образом, тот факт, в каком виде закодированы экземпляры абстрактной задачи — в двоичной системе счисления или троичной, — не влияет на ее “сложность”, т.е. на то, разрешима она в течение полиномиального времени или нет. Однако если эти экземпляры имеют унарную кодировку, сложность задачи может измениться. Чтобы иметь возможность осуществлять преобразование независимым от кодировки образом, в общем случае предполагается, что экземпляры задачи закодированы в произвольном рациональном и сжатом виде, если специально не оговаривается противное. Точнее говоря, предполагается, что кодирование целых чисел полиномиально связано с их бинарным представлением и что кодирование ограниченного множества полиномиально связано с его кодированием в виде списка элементов, взятых в скобки и разделенных запятыми. (Одна из таких схем кодирования — ASCII.) Располагая таким “стандартным” кодом, можно получить рациональный код других математических объектов, таких как кортежи, графы и формулы. Для обозначения стандартного кода объекта этот объект будет заключаться в угловые скобки. Таким образом, (G) обозначает стандартный код графа G.
До тех пор пока неявно используется код, полиномиально связанный с таким стандартным кодом, можно прямо говорить об абстрактных задачах, не ссылаясь при этом на какой-то отдельный код, зная, что выбор кода не повлияет на разрешимость абстрактной задачи в течение полиномиального времени. С этого момента в общем случае предполагается, что все экземпляры задачи представляют собой бинарные строки, закодированные с помощью стандартного кодирования, если явно не оговаривается противное. Кроме того, в большинстве случаев мы будем пренебрегать различием между абстрактными и конкретными задачами. Однако на практике читателю следует остерегаться тех возникающих на практике задач, в которых стандартное кодирование не очевидно и выбор кодирования имеет значение.
Структура формальных языков
Один из аргументов, свидетельствующих в пользу удобства задач принятия решения, заключается в том, что для них можно использовать алгоритмы, позаимствованные из теории формальных языков. Здесь стоит привести некоторые
определения из этой теории. Алфавит Е (alphabet S) — это конечное множество символов. Язык L (language L\ определенный над множеством Е, — это произвольное множество строк, состоящих из символов из множества Е. Например, если Е = {0,1}, то множество L = {10,11,101,111,1011,...} является языком бинарного представления простых чисел. Обозначим пустую строку (empty string) через е, а пустой язык (empty language) — через 0. Язык всех строк, заданных над множеством Е, обозначается через S*. Например, если Е = {0,1}, то Е* = {е, 0,1,00,01,10,11,...} — множество всех бинарных строк. Любой язык L над множеством Е является подмножеством множества Е*.
Над языками можно определить ряд операций. Наличие таких операций из теории множеств, как объединение (union) и пересечение (intersection), непосредственно следует из теоретико-множественной природы определения языков. Дополнение (complement) языка L определим с помощью соотношения L = Е* — L. Конкатенацией (concatenation) двух языков Li и L2 является язык
L = {^1X2 : Xi 6 L\ и Х2 Е L2} .
Замыканием (closure), или замыканием Клини (Kleene star), языка L называется язык
L* = {е} U L U I? U L3 U • • • ,
где Lk — язык, полученный в результате fc-кратной конкатенации языка L с самим собой.
С точки зрения теории языков множество экземпляров любой задачи принятия решения Q — это просто множество Е*, где Е = {0,1}. Поскольку множество Q полностью характеризуется теми экземплярами задачи, в которых выдается ответ 1 (да), это множество можно рассматривать как язык L над множеством Е = = {0,1}, где
L = {xeE* :Q(x) = l^.
Например, задаче принятия решения Path соответствует язык
Path = {(G, u, и, k) : G = (V, Е) — неориентированный граф,
u, v е V,
к > 0 — целое число, и
в G существует путь от и до и, состоящий не более чем из к ребер}.
(Для удобства иногда одно и то же имя (в данном случае это имя Path) будет употребляться и для задачи принятия решения, и для соответствующего ей языка.)
Схема формальных языков позволяет в сжатом виде выразить взаимоотношение между задачами принятия решения и алгоритмами их решения. Говорят, что
алгоритм А принимает (accepts) строку ж G {0,1}*, если для заданных входных данных х выход алгоритма А (ж) равен 1. Язык, принимаемый (accepted) алгоритмом А — это множество строк L = {ж € {0,1}* : А (ж) = 1), т.е. множество строк, воспринимаемых алгоритмом. Алгоритм А отвергает (rejects) строку ж, если А (ж) = 0.
Если язык L принимается алгоритмом А, этот алгоритм не обязательно отвергает строку ж L, предоставляемую в качестве его входных данных. Например, алгоритм может быть организован в виде бесконечного цикла. Язык L распознается (decided) алгоритмом А, если каждая бинарная строка этого языка принимается алгоритмом А, а каждая бинарная строка, которая не принадлежит языку L, отвергается этим алгоритмом. Язык L принимается за полиномиальное время (accepted in polynomial time) алгоритмом А, если он принимается алгоритмом А и, кроме того, если существует такая константа к, что для любой п-символьной строки ж € L алгоритм А принимает строку ж за время О (nfc). Язык L распознается за полиномиальное время (decided in polynomial time) алгоритмом А, если существует такая константа к, что для любой n-символьной строки ж € {0,1}* алгоритм за время О (п^) правильно выясняет, принадлежит ли строка ж языку L. Таким образом, чтобы принять язык, алгоритму нужно заботиться только о строках языка L, а чтобы распознать язык, он должен корректно принять или отвергнуть каждую строку из множества {0,1}*.
Например, язык Path может быть принят в течение полиномиального времени. Один из принимающих алгоритмов с полиномиальным временем работы проверяет, что объект G закодирован как неориентированный граф, убеждается, что и и и - его вершины, с помощью поиска в ширину находит в графе G кратчайший путь из вершины и к вершине и, а затем сравнивает количество ребер в полученном кратчайшем пути с числом к. Если в объекте G закодирован неориентированный граф, и путь из вершины и к вершине и содержит не более к ребер, алгоритм выводит значение 1 и останавливается. В противном случае он работает бесконечно долго. Однако такой алгоритм не распознает язык Path, поскольку он не выводит явно значение 0 для экземпляров, длина кратчайшего пути в которых превышает к ребер. Предназначенный для задачи Path алгоритм распознавания должен явно отвергать бинарные строки, не принадлежащие языку Path. Для такой задачи принятия решения, как задача Path, подобный алгоритм распознавания разработать легко: вместо того чтобы работать бесконечно долго, если не существует пути из вершины и в вершину и, количество ребер в котором не превышает к, этот алгоритм должен выводить значение 0 и останавливаться. Для других задач, таких как задача останова Тьюринга, принимающий алгоритм существует, а алгоритма распознавания не существует.
Можно неформально определить класс сложности (complexity class) как множество языков, принадлежность к которому определяется мерой сложности (complexity measure), такой как время работы алгоритма, определяющего, принад-
лежит ли данная строка ж языку L. Фактическое определение класса сложности носит более технический характер. Интересующийся читатель найдет его в статье Хартманиса (Hartmanis) и Стирнса (Stearns) [140].
Воспользовавшись описанным выше формализмом теории языков, можно дать альтернативное определение класса сложности Р:
Р = {L С {0,1}* : существует алгоритм А, разрешающий язык Lза полиномиальное время}.
Фактически, Р также является классом языков, которые могут быть приняты за полиномиальное время.
Теорема 34.2.
Р = ^L : L принимается алгоритмом с полиномиальным временем работы}.
Доказательство. Поскольку класс языков, которые распознаются алгоритмами с полиномиальным временем работы, — это подмножество класса языков, которые принимаются алгоритмами с полиномиальным временем работы, остается лишь показать, что если язык L принимается алгоритмом с полиномиальным временем работы, то он также распознается алгоритмом с полиномиальным временем работы. Пусть L — язык, который принимается некоторым алгоритмом с полиномиальным временем работы А. Воспользуемся классическим “модельным” аргументом, чтобы сконструировать другой алгоритм с полиномиальным временем работы А*, который бы распознавал язык L. Поскольку алгоритм А принимает язык L за время О (nk), где к — некоторая константа, существует такая константа с, что алгоритм А принимает язык L не более чем за Т = спк шагов. Для любой входной строки х алгоритм А' моделирует действие алгоритма А за время Т. По истечении интервала Т алгоритм А' проверяет поведение алгоритма А. Если он принял строку х, то алгоритм А' также принимает эту строку, выводя значение 1. Если же алгоритм А не принял строку х, то алгоритм А' отвергает эту строку, выводя значение 0. Накладные расходы алгоритма А*, моделирующего алгоритм А, приводят к увеличению времени работы не более чем на полиномиальный множитель, поэтому А' — алгоритм с полиномиальным временем работы, распознающий язык L.■
Заметим, что доказательство теоремы 34.2 является неконструктивным. Для данного языка LeP граница для времени работы алгоритма А, который принимает язык L, на самом деле может быть неизвестна. Тем не менее, известно, что такая граница существует, поэтому существует алгоритм А1, способный проверить эту границу, даже если не всегда удается легко найти такой алгоритм.
Упражнения
-1. Определим задачу оптимизации Longest_Path_Length как отношение, связывающее каждый экземпляр задачи, состоящий из неориентированного графа и двух его вершин, с количеством ребер в самом длинном пути между этими двумя вершинами. Определим задачу принятия решения Longest_Path_Length = {(G, и, v, к) : G = (V, Е) — неориентированный граф, и, v € V, к > 0 — целое число, существует путь из вершины и в вершину и, состоящий не менее чем из к ребер}. Покажите, что задачу оптимизации Longest_Path_Length можно решить за полиномиальное время тогда и только тогда, когда Longest_Path_Length е Р.
-2. Дайте формальное определение задачи поиска самого длинного простого цикла в неориентированном графе. Сформулируйте соответствующую задачу принятия решения. Опишите язык, соответствующий этой задаче принятия решения.
-3. Разработайте формальное кодирование для ориентированного графа в виде бинарных строк для представления при помощи матриц смежности. Выполните то же самое для представления с использованием списка смежных вершин. Покажите, что эти два представления полиномиально связаны.
-4. Является ли алгоритм динамического программирования для решения дискретной задачи о рюкзаке, который предлагалось разработать в задаче 16.2-2, алгоритмом с полиномиальным временем работы? Обоснуйте ваш ответ.
34.1-5. Покажите, что алгоритм, который содержит не больше некоторого постоянного количества вызовов процедуры с полиномиальным временем работы, сам работает полиномиальное время. Если же алгоритм делает полиномиальное число вызовов такой процедуры, то общее время работы может быть экспоненциальным.
-6. Покажите, что класс Р, который рассматривается как множество языков, замкнут относительно операций объединения, пересечения, конкатенации, дополнения и замыкания Клини. Другими словами, если Li, L^ G Р, то Li U Д2 G Р и т.д.
Проверка за полиномиальное время
Теперь рассмотрим алгоритм, “проверяющий” принадлежность языку. Например, предположим, что в данном экземпляре (G, и, и, к1) задачи принятия решения Path задан также путь р из вершины и в вершину и. Легко проверить, превышает ли длина пути р величину к. Если она не превышает эту величину, путь
р можно рассматривать как “сертификат” того, что данный экземпляр действительно принадлежит Path. Для задачи принятия решения Path такой сертификат, по-видимому, не дает ощутимых преимуществ. В конце концов, эта задача принадлежит классу Р (фактически ее можно решить за линейное время), поэтому проверка принадлежности с помощью такого сертификата занимает столько же времени, сколько и решение задачи. А теперь исследуем задачу, для которой пока неизвестен алгоритм принятия решения с полиномиальным временем работы, но если имеется сертификат, то легко выполнить его проверку.
Гамильтоновы циклы
Задача поиска гамильтоновых циклов в неориентированном графе изучается уже более ста лет. Формально гамильтонов цикл (hamiltonian cycle) неориентированного графа G = (V, Е^ — это простой цикл, содержащий все вершины множества V. Граф, содержащий гамильтонов цикл, называют гамильтоновым (hamiltonian); в противном случае он является негамильтоновым (nonhamiltonian). В книге Бонди (Bondy) и Мьюрти (Murty) [45] цитируется письмо Гамильтона (W.R. Hamilton) с описанием математической игры на додекаэдре (рис. 34.2а), в которой один игрок отмечает пятью булавками пять произвольных последовательных вершин, а другой игрок должен дополнить этот путь, чтобы в результате получился путь, содержащий все вершины. Додекаэдр является гамильтоновым графом, и один из гамильтоновых циклов показан на рис. 34.2а. Однако не все графы являются гамильтоновыми. Например, на рис. 34.26 показан двудольный граф
Рис. 34.2. Примеры гамильтонового (а) и негамильтонового (6) графовРис. 34.2. Примеры гамильтонового (а) и негамильтонового (6) графов
Рис. 34.2. Примеры гамильтонового (а) и негамильтонового (6) графов
Рис. 34.2. Примеры гамильтонового (а) и негамильтонового (6) графов
с нечетным количеством вершин. В упражнении 34.2-2 предлагается доказать, что все такие графы негамильтоновы.
Задачу о гамильтоновых циклах (hamiltonian-cycle problem), в которой нужно определить, содержит ли граф G гамильтонов цикл, можно определить как формальный язык:
Ham_Cycle = {(G) : G — гамильтонов граф}.
Как алгоритм мог бы распознать язык Ham_Cycle? Для заданного экземпляра задачи (G) можно предложить алгоритм принятия решения, который бы формировал список всех перестановок вершин графа G, а затем проверял бы каждую перестановку, не является ли она гамильтоновым путем. Чему равнялось бы время работы такого алгоритма? При использовании “рационального” кодирования графа с использованием матриц смежности количество вершин m графа равно Q (V^)« где п = |(G) | — длина кода для графа G. Всего имеется пг! возможных перестановок вершин, поэтому время работы алгоритма равно П(т!) = П(х/п!) = Q ^2^, и оно не ведет себя в асимптотическом пределе как О (пк) ни для какой константы к. Таким образом, время работы подобного прямолинейного алгоритма не выражается полиномиальной функцией. Фактически, как будет доказано в разделе 34.5, задача о гамильтоновых циклах является NP-полной.
Алгоритмы верификации
Рассмотрим несколько упрощенную задачу. Предположим, что приятель сообщил вам, что данный граф G — гамильтонов, а затем предложил доказать это, предоставив последовательность вершин, образующих гамильтонов цикл. Очевидно, в такой ситуации доказательство было бы достаточно простым: следует просто проверить, что предоставленный цикл является гамильтоновым, убедившись, что данная последовательность вершин является перестановкой множества всех вершин V и что каждое встречающееся в цикле ребро действительно принадлежит графу. Легко понять, что подобный алгоритм верификации можно реализовать так, чтобы время его работы было равно О (п2), где п — длина графа G в закодированном виде. Таким образом, доказательство того, что гамильтонов цикл в графе существует, можно проверить в течение полиномиального времени.
Определим алгоритм верификации (verification algorithm) как алгоритм А с двумя аргументами, один из которых является обычной входной строкой х, а второй — бинарной строкой у под названием сертификат (certificate). Двухаргументный алгоритм А верифицирует (verifies) входную строку х, если существует сертификат у, удовлетворяющий уравнению А (ж, у) = 1. Язык, проверенный алгоритмом верификации А, — это множество
L = {ж € {0,1}* : существует у € {0,1}* такой, что А (ж, у) = 1}.
Интуитивно понятно, что алгоритм А верифицирует язык L, если для любой строки х € L существует сертификат у, позволяющий доказать с помощью алгоритма А, что х G L. Кроме того, для любой строки х ^ L не должно существовать сертификата, доказывающего, что х Е L. Например, в задаче о гамильтоновом цикле сертификатом является список вершин некоторого гамильтонового цикла. Если граф гамильтонов, то гамильтонов цикл сам по себе предоставляет достаточно информации для верификации этого факта. В обратном случае, те. если граф не является гамильтоновым, то не существует списка вершин, позволяющего обмануть алгоритм верификации и установить, что граф является гамильтоновым, так как алгоритм верификации производит тщательную проверку предложенного “цикла”, чтобы убедиться в его правильности.
Класс сложности NP
Класс сложности NP (complexity class NP) — это класс языков, которые можно верифицировать с помощью алгоритма с полиномиальным временем работы. Точнее говоря, язык принадлежит классу NP тогда и только тогда, когда существует алгоритм А с двумя входными параметрами и полиномиальным временем работы, а также константа с, такая что
L = {х Е {0,1}* : существует сертификат у (|у| = О (|х|с)) такой, чтоА (ж, у) = 1}.
При этом говорят, что алгоритм А верифицирует (verify) язык L за полиномиальное время (in polynomial time).
Из проводимого ранее обсуждения задачи о гамильтоновых циклах следует, что задача Ham_Cycle € NP (всегда приятно знать, что некоторое важное множество — не пустое). Кроме того, если L € Р, то L € NP, поскольку при наличии алгоритма с полиномиальным временем работы, способного распознать язык L, алгоритм легко преобразовать в алгоритм верификации с двумя аргументами, который просто игнорирует сертификат и принимает именно те входные строки, для которых он устанавливает принадлежность языку L. Таким образом, Р С NP.
Не известно, выполняется ли равенство Р = NP, но, по мнению большинства исследователей, классы Р и NP — не одно и то же. Интуитивно понятно, что класс Р состоит из задач, которые решаются быстро. Класс же NP состоит из задач, решение которых можно быстро проверить. Возможно, из опыта вы уже знаете, что
Рис. 34.3. Четыре возможных вида отношений между классами сложностиРис. 34.3. Четыре возможных вида отношений между классами сложности
Рис. 34.3. Четыре возможных вида отношений между классами сложности
Рис. 34.3. Четыре возможных вида отношений между классами сложности
часто сложнее решить задачу с самого начала, чем проверить представленное решение, особенно если вы ограничены во времени. Среди ученых, занимающихся теорией вычислительных систем, общепринято считать, что эта аналогия распространяется на классы Р и NP и, следовательно, что класс NP содержит языки, не принадлежащие классу Р.
Существует более веское свидетельство того, что Р / NP, — наличие языков, являющихся “NP-полными”. Класс этих задач исследуется в разделе 34.3.
Помимо вопроса о соблюдении соотношения Р / NP, остаются нерешенными многие другие фундаментальные вопросы. Несмотря на интенсивные исследования в этой области, никому не удалось установить, замкнут ли класс NP относительно операции дополнения. Другими словами, следует ли из соотношения L € NP соотношение L € NP? Можно определить класс сложности co-NP (complexity class co-NP) как множество языков L, для которых выполняется соотношение L € NP. Вопрос о том, замкнут ли класс NP относительно дополнения, можно перефразировать как вопрос о соблюдении равенства NP = co-NP. Поскольку класс Р замкнут относительно дополнения (упражнение 34.1-6), отсюда следует, что Р С NP П co-NP. Однако, опять же не известно, выполняется ли равенство Р = NP П co-NP, т.е. существует ли хоть один язык в множестве NP П co-NP — Р. На рис. 34.3 представлены четыре возможные ситуации. На каждой диаграмме одна область, содержащая другую, указывает, что внутренняя область является собственным подмножеством внешней. В части а рисунка показана ситуация, соответствующая равенству Р = NP = co-NP. Большинство исследователей считает этот сценарий наименее вероятным. В части б показано, что если класс NP замкнут относительно дополнения, то NP = co-NP, но не обязательно справедливо равенство Р = NP. В части в изображена ситуация, когда Р = NP П co-NP, но
класс NP не замкнут относительно дополнения. И наконец, в части г выполняются соотношения NP / co-NP и Р / NP co-NP. Большинство исследователей считают эту ситуацию наиболее вероятной.
Таким образом, к сожалению, наше понимание того, какие именно взаимоотношения существуют между классами Р и NP, далеко не полные. Тем не менее, в процессе изучения теории NP-полноты станет понятно, что с практической точки зрения недостатки доказательства трудноразрешимое™ задачи не играют такой важной роли, как можно было бы ожидать.
Упражнения
34.2-1. Рассмотрим язык
Graph_Isomorphism = {(Gi, G2) : Gi и G2 - изоморфные графы} .
Докажите, что Graph_Isomorphism € NP, описав алгоритм с полиномиальным временем работы, позволяющий верифицировать этот язык.
2. Докажите, что если G — неориентированный двудольный граф с нечетным количеством вершин, то он не является гамильтоновым.
3. Покажите, что если HamCycle 6 Р, то задача о выводе списка вершин гамильтонового цикла в порядке их обхода разрешима в течение полиномиального времени.
4. Докажите, что класс языков NP замкнут относительно операций объединения, пересечения, конкатенации и замыкания Клини. Обсудите замкнутость класса NP отаосительно дополнения.
5. Покажите, что любой язык из класса NP можно распознать с помощью алгоритма, время работы которого равно 2°^пк\ где к — некоторая константа.
6. Гамильтонов путь (hamiltonian path) графа — это простой путь, который проходит через каждую вершину ровно по одному разу. Покажите, что язык
Нам Path = {(G, и, и) : в графе G имеется гамильтонов путь от и к г;}
принадлежит классу NP.
7. Покажите, что задачу о гамильтоновом пути в ориентированном ациклическом графе можно решить в течение полиномиального времени. Сформулируйте эффективный алгоритм решения этой задачи.
8. Пусть ф — булева формула, составленная из булевых входных переменных Xi, Х2)..., Xk, операторов НЕ (-•), И (А), ИЛИ (V) и скобок. Формула
ф называется тавтологией (tautology), если для всех возможных наборов входных переменных в результате вычисления формулы получается значение 1. Определите язык булевых формул TAUTOLOGY, состоящий из тавтологий. Покажите, что Tautology € co-NP.
9. Докажите, что Р С co-NP.
10. Докажите, что если NP / co-NP, то Р / NP.
-11. Пусть G — связный неориентированный граф, содержащий не менее трех вершин, a G3 — граф, полученный путем соединения всех пар вершин, которые связаны в графе G путем, длина которого не превышает 3 ребер. Докажите, что граф G3 гамильтонов. (Указание*, постройте остовное дерево графа G и воспользуйтесь индукцией.)
NP-полнота и приводимость
По-видимому, одна из веских причин, по которым специалисты в области теории вычислительных систем полагают, что Р ^ NP, — наличие класса “NP- полных” задач. Этот класс обладает замечательным свойством, которое состоит в том, что если хоть одну (любую) NP-полную задачу можно решить в течение полиномиального времени, то и все задачи этого класса обладают полиномиальновременным решением, т.е. Р = NP. Однако, несмотря на многолетние исследования, до сих пор не обнаружено ни одного алгоритма с полиномиальным временем работы ни для одной NP-полной задачи.
Язык Ham_Cycle — одна из NP-полных задач. Если бы этот язык можно было бы распознать за полиномиальное время, то каждую задачу из класса NP можно было бы решить в течение полиномиального времени. Фактически, если бы множество NP — Р оказалось непустым, то с уверенностью можно было бы утверждать, что Ham_Cycle G NP — Р.
В определенном смысле NP-полные языки — “самые сложные” в классе NP. В этом разделе будет показано, как относительная “сложность” языков сравнивается с помощью точного понятия под названием “приводимость к полиномиальному времени”. Затем приводится формальное определение NP-полных языков, а в конце раздела дается набросок доказательства того, что один из таких языков с именем C1RCUIT_Sat, является NP-полным. В разделах 34.4 и 34.5 с помощью понятия приводимости демонстрируется, что многие другие задачи также NP- полные.
Приводимость
Интуитивно понятно, что задачу Q можно свести к другой задаче Q', если любой экземпляр задачи Q “легко перефразируется” в экземпляр задачи Q', решение
Рис. 34.4. Иллюстрация к приведению в течение полиномиального времени языка Lt к языку Lt с помощью функции приведения /
которого позволяет получить решение соответствующего экземпляра задачи Q. Например, задача решения линейных уравнений относительно неизвестной величины х сводится к задаче решения квадратных уравнений. Если задан экземпляр ах + b = 0, его можно преобразовать в уравнение Ож2 + ах + b = 0, решение которого совпадает с решением уравнения ах + b = 0. Таким образом, если задача Q сводится к другой задаче Q', то решить задачу Q в некотором смысле “не сложнее”, чем задачу Q*.
Возвратимся к применению системы формальных языков для решения задач. Говорят, что язык L\ приводим в течение полиномиального времени (polynomialtime reducible) к языку Тз (что обозначается как Ly <р Lt\ если существует вычислимая за полиномиальное время функция / : {0,1}* —> {0,1}*, такая что для всех х € {0,1}*
х Е Li тогда и только тогда, когда / (ж) Е L2. (34.1)
Функцию / называют функцией приведения (reduction function), а алгоритм F с полиномиальным временем работы, вычисляющий функцию /, — алгоритмом приведения (reduction algorithm).
Рис. 34.4 иллюстрирует понятие приведения языка L\ к другому языку Ьг в течение полиномиального времени. Каждый язык — это подмножество множества {0,1}*. Функция приведения / обеспечивает такое отображение в течение полиномиального времени, что если ж Е Li, то / (ж) Е L2. Более того, если ж Zi, то / (ж) ^ L2. Таким образом, функция приведения отображает любой экземпляр ж задачи принятия решения, представленной языком Li, на экземпляр / (ж) задачи, представленной языком L2. Ответ на вопрос о том, принадлежит ли экземпляр / (ж) языку L2, непосредственно позволяет ответить на вопрос о том, принадлежит ли экземпляр ж языку Li.
Рис. 34.5. Иллюстрация к доказательству леммы 34.3
Приведение в течение полиномиального времени служит мощным инструментом доказательства того, что различные языки принадлежат классу Р.
Лемма 34.3. Если L\,L2 С {0,1}* — языки, такие что Lj ^р L^, то из L2 Е Р следует Li € Р.
Доказательство. Пусть А2 — алгоритм с полиномиальным временем выполнения, который распознает язык L2, a F — полиномиально-временной алгоритм приведения, вычисляющий приводящую функцию /. Построим алгоритм Ау с полиномиальным временем выполнения, который распознает язык Li.
На рис. 34.5 проиллюстрирован процесс построения алгоритма Av Для заданного набора входных данных х Е {0,1}* в алгоритме Ai с помощью алгоритма F данные х преобразуются в / (ж), после чего с помощью алгоритма А2 проверяется, является ли / (ж) € L2. Результат работы алгоритма А2 выводится алгоритмом Ai в качестве ответа.
Корректность алгоритма Ai следует из условия (34.1). Алгоритм выполняется в течение полиномиального времени, поскольку и алгоритм F, и алгоритм А2 завершают свою работу за полиномиальное время (см. упражнение 34.1-5). и
NP-полнота
Приведения в течение полиномиального времени служат формальным средством, позволяющим показать, что одна задача такая же по сложности, как и другая, по крайней мере с точностью до полиномиально-временного множителя. Другими словами, если L\ ^р L2, то сложность языка L\ превышает сложность языка L2 не более чем на полиномиальный множитель. Вот почему отношение “меньше или равно” для приведения является мнемоническим. Теперь можно определить множество NP-полных языков, являющихся самыми сложными задачами класса NP.
Язык LC {0,1}* является NP-полным (NP-complete), если выполняются перечисленные ниже условия:
LeNP, и
U ^р L для всех L' Е NP.
Рис. 34.6. Представление большинства специалистов в области вычислительных систем об отношении между классами Р, NP и NPC; классы Р и NPC полностью содержатся в классе NP, nPnNPC = 0
Если язык L удовлетворяет свойству 2, но не обязательно удовлетворяет свойству 1, говорят, что L — NP-сложный (NP-hard). Определим также класс NPC как класс NP-полных языков.
Как показано в приведенной далее теореме, NP-полнота — ключевая проблема в разрешении вопроса о том, равны ли на самом деле классы Р и NP.
Теорема 34.4. Если некоторая NP-полная задача разрешима в течение полиномиального времени, то Р = NP. Это эквивалентно утверждению, что если какая- нибудь задача из класса NP не решается в течение полиномиального времени, то никакая из NP-полных задач не решается в течение полиномиального времени.
Доказательство. Предположим, что L 6 Р и что L 6 NPC. Для любого языка L' 6 6 NP, согласно свойству 2 определения NP-полноты, справедливо L ^р L. Таким образом, в соответствии с леммой 34.3, мы также имеем If 6 Р, что и доказывает первое утверждение теоремы.
Чтобы доказать второе утверждение, заметим, что оно является переформулировкой первого. □
Вот почему при исследовании вопроса Р / NP внимание акцентируется на NP-полных задачах. Большинство специалистов по теории вычислительных систем полагают, что Р / NP, так что отношения между классами Р, NP и NPC являются такими, как показано на рис. 34.6. Но если кто-нибудь додумается до алгоритма с полиномиальным временем работы, способного решить NP-полную задачу, тем самым будет доказано, что Р = NP. Тем не менее, поскольку до сих пор такой алгоритм не обнаружен ни для одной NP-полной задачи, доказательство NP-полноты задачи является веским свидетельством ее трудноразрешимости.
Выполнимость схем
Определение NP-полноты уже сформулировано, но до сих пор не была доказана NP-полнота ни одной задачи. Как только это будет сделано хотя бы для одной задачи, с помощью приводимости в течение полиномиального времени можно будет доказать NP-полноту других задач. Таким образом, сосредоточим внимание на том, чтобы продемонстрировать NP-полноту задачи о выполнимости схем.
К сожалению, для формального доказательства того, что задача о выполнимости схем является NP-полной, требуются технические детали, выходящие за рамки настоящей книги. Вместо этого мы дадим неформальное описание доказательства, основанного на базовом понимании булевых комбинационных схем.
Булевы комбинационные схемы составляются из булевых комбинационных элементов, соединенных между собой проводами. Булев комбинационный элемент (boolean combinational element), или комбинационный логический элемент, — это любой элемент сети, обладающий фиксированным количеством булевых входов и выходов, который выполняет вполне определенную функцию. Булевы значения извлекаются из множества {0,1), где 0 представляет значение false, а 1 — значение TRUE.
Комбинационные логические элементы, используемые в задаче о выполнимости схем, вычисляют простую булеву функцию, и они известны как логические вентили (logic gates). На рис. 34.7 показаны три основных логических элемента, использующихся в задаче о выполнимости схем: логический вентиль НЕ (NOT gate), или инвертор (inverter), логический вентиль И (AND gate) и логический вентиль ИЛИ (OR gate). На вентиль НЕ поступает одна бинарная входная величина (input) х, значение которой равно 0 или 1; вентиль выдает бинарную выходную величину (output) z, значение которой противоположно значению входной величины. На каждый из двух других вентилей поступают две бинарных входных величины х и у, а в результате получается одна бинарная выходная величина z.
X
“•X
X
У
х л у
X
У
х v у
0
1
0
0
0
0
0
0
1
0
0
1
0
0
1
1
1
0
0
1
0
1
1
1
1
1
1
1
а)
1
б]
1
Е
0
Рис. 34.7. Три основных логических вентиля с бинарными входами и выходами
Работу каждого логического вентиля и каждого комбинационного логического элемента можно описать таблицей истинности (truth table), представленной под каждым вентилем на рис. 34.7. В части а показан вентиль НЕ, в части б — вентиль И, а в части в — вентиль ИЛИ. В таблице истинности для всех возможных наборов входных величин перечисляются выходные значения данного комбинационного элемента. Например, из таблицы истинности вентиля ИЛИ видно, что если его входные значения х = 0 и у = 1, то выходное значение равно z = 1. Для обозначения функции НЕ используется символ ->, для обозначения функции И — символ А, а для обозначения функции ИЛИ — символ V. Например, О V 1 = 1.
Вентили И и ИЛИ можно обобщить на случай, когда входных значений больше двух. Выходное значение вентиля И равно 1, если все его входные значения равны 1; в противном случае его выходное значение равно 0. Выходное значение вентиля ИЛИ равно 1, если хоть одно из его входных значений равно 1; в противном случае его выходное значение равно 0.
Булева комбинационная схема (boolean combinational circuit) состоит из одного или нескольких комбинационных логических элементов, соединенных проводами (wires). Провод может соединять выход одного элемента со входом другого, подавая таким образом выходное значение первого элемента на вход второго. На рис. 34.8 изображены две похожие друг на друга булевы комбинационные схемы, отличающиеся лишь одним вентилем. В части а рисунка также приводятся значения, которые передаются по каждому проводу, если на вход подаются значения ($1 = 1,Ж2 = 1>жз = 0). Хотя к одному и тому же проводу нельзя подключить более одного вывода комбинационного элемента, с него может поступать сигнал одновременно на входы нескольких элементов. Количество элементов, для которых данный провод предоставляет входные данные, называется его коэффициентом ветвления (fan-out). Если к проводу не подсоединены выходы никаких элементов, он называется входом схемы (circuit input), получающем входные данные из внешних источников. Если к проводу не подсоединен вход ни одного элемента, он называется выходом схемы (circuit output), по которому выдаются результаты работы схемы. (Ответвление внутреннего провода также может выступать в роли выхода.) Чтобы определить задачу о выполнимости схемы, следует ограничиться рассмотрением схем с одним выходом, хотя на практике при разработке аппаратного оборудования встречаются логические комбинационные схемы с несколькими выводами.
Логическая комбинационная схема не содержит циклов. Поясним это нагляднее. Предположим, что схеме сопоставляется ориентированный граф G = (V, Е) с вершинами в каждом комбинационном элементе и к ориентированными ребрами для каждого провода, коэффициент разветвления которых равен к. Ориентированное ребро (и, и) в этом графе существует, если провод соединяет выход элемента и со входом элемента и. Полученный в результате такого построения граф должен быть ациклическим.
Рис. 34.8. Два экземпляра задачи о выполнимости схем
Будем рассматривать наборы значений булевых переменных, соответствующих входам схемы (truth assignment). Говорят, что логическая комбинационная схема выполнима (satisfiable), если она обладает выполняющим набором (satisfying assignment): набором значений, в результате подачи которого на вход схемы ее выходное значение равно 1. Например, для схемы, изображенной на рис. 34.8а, выполняющий набор имеет вид (xi = 1, Х2 = 1, хз = 0); следовательно, эта схема выполнима. В упражнении 34.3-1 предлагается показать, что никакое присваивание значений величинам ху, х^ и хз не приведет к тому, что на выходе схемы, изображенной на рис. 34.86, появится значение 1. Эта схема всегда выдает значение 0, поэтому она невыполнима.
Задача о выполнимости схемы (circuit-satisfiability problem) формулируется так: выполнима ли заданная логическая комбинационная схема, состоящая из вентилей И, ИЛИ и НЕ. Однако чтобы поставить этот вопрос формально, необходимо принять соглашение по поводу стандартного кода для таких схем. Размер (size) логической комбинационной схемы определяется как сумма количества логических комбинационных элементов и числа проводов в схеме. Можно предложить код, использующийся при представлении графов, который отображает каждую заданную схему С на бинарную строку (С), длина которой выражается не более чем полиномиальной функцией от размера схемы. Таким образом, можно определить формальный язык
Circuit_Sat = {(С) : С — выполнимая схема} .
Задача о выполнимости схем возникает при оптимизации компьютерного аппаратного обеспечения. Если какая-то подсхема рассматриваемой схемы всегда выдает значение 0, то ее можно заменить более простой подсхемой, в которой опускаются все логические вентили, а на выход подается постоянное значение 0. Было бы полезно иметь алгоритм решения этой задачи, время которого выражалось бы полиномиальной функцией.
Чтобы проверить, разрешима ли данная схема С, можно попытаться просто перебрать все возможные комбинации входных значений. К сожалению, если в схеме к входов, то количество таких комбинаций равно 2fc. Если размер схемы С выражается полиномиальной функцией от к, то проверка всех комбинаций занимает время Q (2^), а эта функция по скорости роста превосходит полиномиальную функцию. Как уже упоминалось, существует веский аргумент в пользу того, что не существует алгоритмов с полиномиальным временем работы, способных решить задачу о выполнимости схем, так как эта задача является NP-полной. Разобьем доказательство NP-полноты этой задачи на две части, соответствующие двум частям определения NP-полноты.
Лемма 34.5. Задача о выполнимости схем принадлежит классу NP.
Доказательство. В этом доказательстве будет сформулирован алгоритм А с двумя входными параметрами и полиномиальным временем работы, способный проверять решение задачи Circuit_Sat. В роли одного из входных параметров алгоритма А выступает логическая комбинационная схема С (точнее, ее стандартный код). Вторым входным параметром является сертификат, который представляет собой булевы значения на всех проводах схемы. (Существование сертификата меньшего объема предлагается показать в упражнении 34.3-4.)
Алгоритм А строится следующим образом. Для каждого логического вентиля схемы проверяется, что предоставляемое сертификатом значение на выходном проводе правильно вычисляется как функция значений на входных проводах. Далее, если на выход всей цепи подается значение 1, алгоритм тоже выдает значение 1, поскольку величины, поступившие на вход схемы С, являются выполняющим набором. В противном случае алгоритм выводит значение 0.
Для любой выполнимой схемы С, выступающей в роли входного параметра алгоритма А, существует сертификат, длина которого выражается полиномиальной функцией от размера схемы С, и который приводит к тому, что на выход алгоритма А подается значение 1. Для любой невыполнимой схемы, выступающей в роли входного параметра алгоритма А, никакой сертификат не может заставить этот алгоритм поверить в то, что эта схема выполнима. Алгоритм А выполняется в течение полиномиального времени: при хорошей реализации достаточно будет линейного времени. Таким образом, задачу CircuitSat можно проверить за полиномиальное время, и CircuitJSat е NP. □
Вторая часть доказательства NP-полноты задачи C1RCU1T_Sat заключается в том, чтобы показать, что ее язык является NP-сложным. Другими словами, необходимо показать, что каждый язык класса NP приводится в течение полиномиального времени к языку Circuit_Sat. Само доказательство этого факта содержит много технических сложностей, поэтому здесь приводится набросок доказательства, основанный на некоторых принципах работы аппаратного обеспечения компьютера.
Компьютерная программа хранится в памяти компьютера в виде последовательности инструкций. Типичная инструкция содержит код операции, которую нужно выполнить, адреса операндов в памяти и адрес, куда следует поместить результат. Специальная ячейка памяти под названием счетчик команд (program counter, PC) следит за тем, какая инструкция должна выполняться следующей. При извлечении очередной инструкции показание счетчика команд автоматически увеличивается на единицу. Это приводит к последовательному выполнению инструкций компьютером. Однако в результате выполнения некоторых инструкций в счетчик команд может быть записано некоторое значение, что приводит к изменению обычного последовательного порядка выполнения. Таким образом организуются циклы и условные ветвления.
В любой момент выполнения программы состояние вычислений в целом можно представить содержимым памяти компьютера. (Имеется в виду область памяти, состоящая из самой программы, счетчика команд, рабочей области и всех других битов состояния, с помощью которых компьютер ведет учет выполнения программы.) Назовем любое отдельное состояние памяти компьютера конфигурацией (configuration). Выполнение команд можно рассматривать как отображение одной конфигурации на другую. Важно то, что аппаратное обеспечение, осуществляющее это отображение, можно реализовать в виде логической комбинационной схемы, которая при доказательстве приведенной ниже леммы будет обозначена через М.
Лемма 34.6. Задача о выполнимости схем является NP-сложной.
Доказательство. Пусть L — язык класса NP. Опишем алгоритм F с полиномиальным временем работы, вычисляющий функцию приведения /, которая отображает каждую бинарную строку х на схему С = / (ж), такую что х € L тогда и только тогда, когда С € Circuit_Sat.
Поскольку L € NP, должен существовать алгоритм Л, верифицирующий язык L в течение полиномиального времени. В алгоритме F, который будет построен ниже, для вычисления функции приведения / будет использован алгоритм А с двумя входными параметрами.
Пусть Т (п) — время работы алгоритма А в наихудшем случае для входной строки длиной n, a k > 1 — константа, такая что Т(п) = О (пк), и длина
сертификата равна О (тгку (В действительности время работы алгоритма А выражается полиномиальной функцией от полного объема входных данных, в состав которых входит и входная строка, и сертификат, но так как длина сертификата полиномиальным образом зависит от длины п входной строки, время работы алгоритма полиномиально зависит от п.)
Основная идея доказательства заключается в том, чтобы представить выполнение алгоритма А в виде последовательности конфигураций. Как видно из рис. 34.9, каждую конфигурацию можно разбить на следующие части: программа алгоритма А, счетчик команд PC, регистры процессора, входные данные ж, сертификат у и рабочая память. Начиная с исходной конфигурации со, каждая конфигурация с, с помощью комбинационной схемы М, аппаратно реализованной в компьютере, отображается на последующую конфигурацию Ci+i. Выходное значение алгоритма А (0 или 1) по завершении выполнения алгоритма А записывается в некоторую специально предназначенную для этого ячейку рабочего пространства. При этом предполагается, что после останова алгоритма А это значение не изменяется. Таким образом, если выполнение алгоритма состоит не более чем из Т (п) шагов, результат его работы хранится в определенном бите в сцпу
Алгоритм приведения F конструирует единую комбинационную схему, вычисляющую все конфигурации, которые получаются из заданной входной конфигурации. Идея заключается в том, чтобы “склеить” вместе все Т (п) копий схемы М. Выходные данные г-й схемы, выдающей конфигурацию Ci, подаются непосредственно на вход (г + 1)-й схемы. Таким образом, эти конфигурации вместо того, чтобы в конце своей работы заносить выходное значение в один из регистров состояния, просто передают его по проводам, соединяющим копии схемы М.
Теперь вспомним, что должен делать алгоритм приведения F, время работы которого выражается полиномиальной функцией. Для заданных входных данных х он должен вычислить схему С = / (ж), которая была бы выполнима тогда и только тогда, когда существует сертификат у, удовлетворяющий равенству А (х, у) = 1. Когда алгоритм F получает входное значение ж, он сначала вычисляет п = |ж| и конструирует комбинационную схему С', состоящую из Т (п) копий схемы М. На вход схемы С' подается начальная конфигурация, соответствующая вычислению А (х, у), а выходом этой схемы является конфигурация ст^у
Схема С = f (ж), которую создает алгоритм F, получается путем небольшой модификации схемы С'. Во-первых, входы схемы С', соответствующие программе алгоритма А, начальному значению счетчика команд, входной величине ж и начальному состоянию памяти, соединяются проводами непосредственно с этими известными величинами. Таким образом, оставшиеся входы схемы соответствуют сертификату у. Во-вторых, игнорируются все выходы схемы за исключением одного бита конфигурации ор^у соответствующего выходному значению алгоритма А. Сконструированная таким образом схема С для любого входного параметра у
Рис. 34.9. Последовательность конфигураций, полученных в ходе работы алгоритма А, на вход которого поступила строка х и сертификат у
длиной О (пк) вычисляет величину С (у) = Л (ж, у). Алгоритм приведения F, на вход которого подается строка х, вычисляет описанную выше схему С и выдает ее.
Осталось доказать два свойства. Во-первых, необходимо показать, что алгоритм F правильно вычисляет функцию приведения /. Другими словами, необходимо показать, что схема С выполнима тогда и только тогда, когда существует сертификат у, такой что Л (ж, у) = 1. Во-вторых, необходимо показать, что работа алгоритма F завершается по истечении полиномиального времени.
Чтобы показать, что алгоритм F корректно вычисляет функцию приведения, предположим, что существует сертификат у длиной О (пк^, такой что А (ж, у) = = 1. Тогда при подаче битов сертификата у на вход схемы С на выходе этой схемы получим значение С (у) = Л (ж, у) = 1. Таким образом, если сертификат
существует, то схема С выполнима. С другой стороны, предположим, что схема С выполнима. Тогда существует такое входное значение у, что С (у) = 1, откуда можно заключить, что А(х^у) = 1. Итак, алгоритм F корректно вычисляет функцию приведения.
Чтобы завершить набросок доказательства, осталось лишь показать, что время работы алгоритма F выражается полиномиальной функцией от п = |ж|. Первое наблюдение, которое можно сделать, заключается в том, что количество битов, необходимое для представления конфигурации, полиномиально зависит от п. Объем программы самого алгоритма А фиксирован и не зависит от длины его входного параметра х. Длина входного параметра х равна п, а длина сертификата у — О ^п,ку Поскольку работа алгоритма состоит не более чем из О (пк^ шагов, объем необходимой ему рабочей памяти также выражается полиномиальной функцией от п. (Предполагается, что эта область памяти непрерывна; в упражнении 34.3-5 предлагается обобщить доказательство для случая, когда ячейки, к которым обращается алгоритм А, разбросаны по памяти большего объема, причем разброс ячеек имеет свой вид для каждого входного параметра х.)
Размер комбинационной схемы М, реализованной аппаратной частью компьютера, выражается полиномиальной функцией от длины конфигурации, которая в свою очередь является полиномиальной от величины О (пк} и, следовательно, полиномиально зависит от п. (В большей части такой схемы реализуется логика системы памяти.) Схема С состоит не более чем из t = О (пк} копий М, поэтому ее размер полиномиально зависит от п. Схему С для входного параметра х можно составить в течение полиномиального времени при помощи алгоритма приведения F, поскольку каждый этап построения длится в течение полиномиального времени.g
Таким образом, язык Circuit_Sat не проще любого языка класса NP, а поскольку он относится к классу NP, он является NP-полным.
Теорема 34.7. Задача о выполнимости схем является NP-полной.
Доказательство. Справедливость теоремы непосредственно следует из лемм 34.5 и 34.6, а также из определения NP-полноты.g
Упражнения
1. Убедитесь, что схема, изображенная на рис. 34.86, невыполнима.
2. Покажите, что отношение ^р является транзитивным в отношении языков; другими словами, покажите, что из Ly ^р £2 и L^ ^р £3 следует £1 ^р £з-
3. Докажите, что £ ^р £ тогда и только тогда, когда L ^р L.
4. Покажите, что в качестве сертификата в альтернативном доказательстве леммы 34.5 можно использовать выполняющий набор. С каким сертификатом легче провести доказательство?
5. В доказательстве леммы 34.6 предполагается, что рабочая память алгоритма А занимает непрерывную область полиномиального объема. В каком месте доказательства используется это предположение? Покажите, что оно не приводит к потере общности.
6. Язык L называется полным (complete) в классе языков С относительно приведения в течение полиномиального времени, если L € С и L* <р L для всех U € С. Покажите, что множества 0 и {0,1}* — единственные языки класса Р, которые не являются полными в этом классе относительно приведения за полиномиальное время.
7. Покажите, что язык L полный для класса NP тогда и только тогда, когда язык L полный для класса co-NP.
8. Алгоритм приведения F в доказательстве леммы 34.6 строит схему С = = / (ж) на основе знаний о х, А и к. Профессор заметил, что алгоритм F получает в качестве аргумента только х. В то же время об алгоритме А и константе к, с помощью которой выражается его время работы О (пку известно лишь то, что они существуют (поскольку язык L принадлежит к классу NP), но не сами их значения. Из этого профессор делает вывод, что алгоритм F может не построить схему С и что язык C1RCUIT_Sat не обязательно NP-сложный. Объясните, какая ошибка содержится в рассуждениях профессора.
Доказательство NP-полноты
NP-полнота для задачи о выполнимости схем основана на непосредственном доказательстве соотношения L <р Circuit_Sat для каждого языка L е NP. В этом разделе будет показано, как доказать NP-полноту языка без непосредственного приведения каждого языка из класса NP к заданному языку. Проиллюстрируем эту методику, доказав NP-полноту различных задач на выполнимость формул. Намного большее количество примеров применения этой методики содержится в разделе 34.5.
Основой рассматриваемого в этом разделе метода, позволяющего доказать NP- полноту задачи, служит сформулированная ниже лемма.
Лемма 34.8. Если язык L такой, что U ^р L для некоторого языка L* € NPC, то язык L — NP-сложный. Более того, если L € NP, то L € NPC.
Доказательство. Поскольку язык L* NP-полный, для всех L" € NP выполняется соотношение Ln ^р L!. Согласно условию леммы U ^р L, поэтому в силу транзитивности (упражнение 34.3-2) мы имеем L" ^р L, что и показывает, что язык L — NP-сложный. Если L € NP, то мы также имеем L € NPC.■
Другими словами, если язык L’, о котором известно, что он — NP-полный, удается свести к языку L, тем самым к этому языку неявно сводится любой язык класса NP. Таким образом, лемма 34.8 позволяет сформулировать метод доказательства NP-полноты языка L, состоящий из перечисленных ниже этапов.
Доказывается, что L € NP.
Выбирается язык U, для которого известно, что он — NP-полный.
Описывается алгоритм, который вычисляет функцию /, отображающую каждый экземпляр х € (0,1}* языка L* на экземпляр / (ж) языка L.
Доказывается, что для функции / соотношение х 6 L' выполняется тогда и только тогда, когда / (ж) € L для всех ж 6 {0,1}*.
Доказывается, что время работы алгоритма, вычисляющего функцию /, выражается полиномиальной функцией.
(Выполнение этапов 2-5 доказывает, что язык L NP-сложный.) Такая методология приведения с помощью одного языка, для которого известно, что он NP-полный, намного проще, чем процесс, когда непосредственно демонстрируется, как выполнить приведение каждого языка из класса NP. Доказательство соотношения Circuit_Sat 6 NPC — первый важный шаг в этом направлении. Знание того факта, что задача о выполнимости схемы является NP-полной, позволяет доказывать NP-полноту других задач намного проще. Более того, по мере расширения списка известных NP-полных задач у нас появляется все больше возможностей для выбора языков, которые будут использоваться для приведения.
Выполнимость формулы
Чтобы проиллюстрировать методику приведения, докажем NP-полноту задачи, состоящей в определении того, выполнима ли не схема, а формула. Именно для этой задачи впервые была доказана NP-полнота.
Сформулируем задачу о выполнимости формулы (formula satisfiability) в терминах языка Sat. Экземпляр языка Sat — это булева формула ф, состоящая из перечисленных ниже элементов.
п булевых переменных: Ж1, Ж2,..., жп.
т булевых соединяющих элементов, в роли которых выступает произвольная логическая функция с одним или двумя входными значениями и одним выходным значением, например, Л (И), V (ИЛИ), -> (НЕ), —♦ (импликация), «-» (эквивалентность).
Скобки. (Без потери общности предполагается, что лишние скобки не употребляются, те. что на каждый логический соединяющий элемент приходится не более одной пары скобок.)
Логическую формулу ф легко закодировать строкой, длина которой выражается полиномиальной функцией от n+m. Как и для логических комбинационных схем, набором значений (truth assignment) логической формулы ф называется множество значений переменных этой формулы, а выполняющим набором (satisfying assignment) — такой набор значений, при котором результат вычисления формулы равен 1. Формула, для которой существует выполняющий набор, является выполнимой (satisfiable). В задаче о выполнимости спрашивается, выполнима ли данная формула. В терминах формальных языков эта задача имеет вид
Sat = {(ф) : ф — выполнимая булева формула} .
В качестве примера приведем формулу
Ф = ((^1 -» $2) V -I ((->Х1 <-► Ж3) V Ж4)) А -1Ж2,
для которой существует выполняющий набор (rri = 0, ж2 = 0, ж3 = 1, ж4 = 1), поскольку
^ = ((0 -* 0) V -I ((->01) V 1)) А -0 =
= (1 V 1(1 V 1)) Л 1 =
,?(34.2)
= (1 V 0) А 1 =
= 1.
Таким образом, формула ф принадлежит языку SAT.
Прямолинейный алгоритм, позволяющий определить, выполнима ли произвольная булева формула, не укладывается в полиномиально-временные рамки. В формуле ф с п переменными всего имеется 2” возможных вариантов присваивания. Если длина (ф1) выражается полиномиальной функцией от п, то для проверки каждого варианта присваивания потребуется время Q (2П), т.е. оно выражается функцией, показатель роста которой превосходит полиномиальную функцию от длины ^фУ Как видно из приведенной ниже теоремы, существование алгоритма с полиномиальным временем маловероятно.
Теорема 34.9. Задача о выполнимости булевых формул является NP-полной.
Доказательство. Сначала докажем, что Sat Е NP. Затем покажем, что язык Sat NP-сложный, для чего продемонстрируем справедливость соотношения ClRCUIT_ Sat ^р Sat. Согласно лемме 34.8, этого достаточно для доказательства теоремы.
Чтобы показать, что язык Sat относится к классу NP, покажем, что сертификат, состоящий из выполняющего набора входной формулы ф, можно верифицировать
в течение полиномиального времени. В алгоритме верификации каждая содержащаяся в формуле переменная просто заменяется соответствующим значением, после чего вычисляется выражение, как это было проделано с уравнением (34.2). Эту задачу легко выполнить в течение полиномиального времени. Если в результате получится значение 1, то формула выполнима. Таким образом, первое условие леммы 34.8 выполняется.
Чтобы доказать, что язык Sat NP-сложный, покажем, что справедливо соотношение Circuit_Sat ^р Sat. Другими словами, любой экземпляр задачи о выполнимости схемы можно в течение полиномиального времени свести к экземпляру задачи о выполнимости формулы. С помощью индукции любую логическую комбинационную схему можно выразить в виде булевой формулы. Для этого достаточно рассмотреть вентиль, который выдает выходное значение схемы, и по индукции выразить каждое входное значение этого вентиля в виде формул. Формула схемы получается путем выписывания выражения, в котором функции вентиля применяются к формулам входов.
К сожалению, такой незамысловатый метод не может стать основой приведения в течение полиномиального времени. Как предлагается показать в упражнении 34.4-1, общие вспомогательные формулы, соответствующие вентилям, коэффициент ветвления которых равен 2 или превышает это значение, могут привести к экспоненциальному росту размера формулы. Таким образом, алгоритм приведения должен быть несколько остроумнее.
Основная идея приведения задачи Circuit_Sat к задаче Sat для схемы из рис. 34.8а проиллюстрирована на рис. 34.10. Каждому проводу xt схемы С сопоставляется одноименная переменная формулы ф. Тогда надлежащее действие вентиля можно выразить в виде формулы, включающей в себя переменные, которые соответствуют проводам, подсоединенным к этому вентилю. Например, действие вентиля И выражается формулой хю ^ (Х7 А х8 А хд).
Формула ф, которая является результатом выполнения алгоритма приведения, получается путем конъюнкции (вентиль И) выходной переменной схемы с выражением, представляющим собой конъюнкцию взятых в скобки выражений, описывающих действие каждого вентиля. Для схемы, изображенной на рисунке, формула имеет такой вид:
Ф = Хю А (Х4 *-► ~1Хз) А
A (xs(xi V Х2)) А
А (хе”•2:4) А
A (xj <-► (xi A Х2 A Х4)) А
А (хв ^ (х5 V х6)) А
А (хд <-► (хе V Х7)) А
А (хю (х7 А Х8 А Хд)) .
Рис. 34.10. Приведение задачи о выполнимости схем к задаче о выполнимости формул; формула, полученная в результате выполнения алгоритма приведения, содержит переменные, соответствующие каждому проводу схемы
Для заданной схемы С легко получить такую формулу ф в течение полиномиального времени.
Почему схема С выполнима именно тогда, когда выполнима формула ф? Если у схемы С имеется выполняющий набор, то по каждому проводу схемы передается вполне определенное значение, и на выходе схемы получается значение 1. Поэтому набор значений, передающихся по проводам схемы, в формуле ф приведет к тому, что значение каждого выражения в скобках в формуле ф будет равно 1, вследствие чего конъюнкция всех этих выражений равна 1. Верно и обратное — если существует набор данных, для которого значение формулы ф равно 1, то схема С выполнима (это можно показать аналогично). Таким образом, показана справедливость соотношения Circuit_Sat ^р Sat, что завершает доказательство теоремы. а
3-CNF выполнимость
NP-полноту многих задач можно доказать путем приведения к ним задачи о выполнимости формул. Однако алгоритм приведения должен работать с любыми входными формулами, что может привести к огромному количеству случаев, подлежащих рассмотрению. Поэтому часто желательно выполнять приведение с помощью упрощенной версии языка булевых формул, чтобы уменьшить количество рассматриваемых случаев (конечно же, ограничивать язык настолько, чтобы он стал распознаваем в течение полиномиального времени, при этом нельзя). Одним из таких удобных языков оказывается язык формул в 3-конъюктивной нормальной форме 3-CNF_Sat.
Определим задачу о 3-CNF выполнимости в описанных ниже терминах. Литерал (literal) в булевой формуле — это входящая в нее переменная или отрицание этой переменной. Булева формула приведена к конъюнктивной нормальной фор-
ме (Conjunctive Normal Form, CNF), если она имеет вид конъюнкции (вентиль И) выражений в скобках (clauses), каждое из которых представляет собой дизъюнкцию (вентиль ИЛИ) одного или нескольких литералов. Булева формула выражена в 3-конъюнктивной нормальной форме (3-conjunctive normal form), или 3-CNF, если в каждых скобках содержится ровно три различных литерала.
Например, булева формула
(xi V -1X1 V -1X2) А (хз V Х2 V хд) Л (->Xi V ->хз V -1X4)
принадлежит классу 3-CNF. Первое из трех выражений в скобках имеет вид (xi V ->xi V ->Х2) и содержит три литерала: xi, -1x1, -1X2.
В задаче 3-CNF_Sat спрашивается, выполнима ли заданная формула ф, принадлежащая классу 3-CNF. В приведенной ниже теореме показано, что алгоритм с полиномиальным временем работы, способный определять выполнимость даже таких простых булевых формул, скорее всего, не существует.
Теорема 34.10. Задача о выполнимости булевых формул в 3-конъюнктивной нормальной форме является NP-полной.
Доказательство. Рассуждения, которые использовались в теореме 34.9 для доказательства того, что Sat € NP, применимы и для доказательства того, что 3-CNF_Sat € NP. Таким образом, согласно лемме 34.8, нам требуется лишь показать, что Sat ^р 3-CNF_Sat.
Алгоритм приведения можно разбить на три основных этапа. На каждом этапе входная формула ф последовательно приводится к 3-конъюнктивной нормальной форме.
Первый этап аналогичен тому, который был использован при доказательстве соотношения Sat ^р 3-CNF_Sat в теореме 34.9. Сначала для входной формулы ф конструируется бинарное “синтаксическое” дерево, листья которого соответствуют литералам, а узлы — соединительным элементам. На рис. 34.11 показано такое синтаксическое дерево для формулы
ф = ((^1 -♦ $2) v -I ((->Х1 w хз) V Х4)) А -1Х2. (34.3)
Если входная формула содержит выражение в «юбках, представляющее собой дизъюнкцию или конъюнкцию нескольких литералов, то, воспользовавшись свойством ассоциативности, можно провести расстановку скобок в выражении таким образом, чтобы каждый внутренний узел полученного в результате дерева содержал 1 или 2 дочерних узла. Теперь такое бинарное синтаксическое дерево можно рассматривать как схему, предназначенную для вычисления функции.
По аналогии с процедурой приведения в теореме 34.9, введем переменную у,, соответствующую выходному значению каждого внутреннего узла. Затем перепишем исходную формулу ф как конъюнкцию переменной, соответствующей корню
Рис. 34.11. Дерево, соответствующее формуле ф = ((xi —► х2) V -i ((-"Xi «-> хз) V х4)) Л -1X2
дерева, и выражений, описывающих операции в каждом узле. Для формулы (34.3) получившееся в результате выражение имеет следующий вид:
Ф' — У1 Л (У1 ^ (У2 Л 1Х2)) Лл (уг «- (уз V у4)) ЛЛ (уз ^ (Ж1 -» х2))ЛЛ (У4 ^ --Уб) ЛЛ(У5^ (yeVx4))AЛ (Уб ^ ("^1 «->• х3)).
Заметим, что полученная таким образом формула ф’ представляет собой конъюнкцию выражений в скобках ф^ каждое из которых содержит не более трех литералов. Единственное дополнительное требование состоит в том, что каждое выражение в скобках должно быть логической суммой литералов.
На втором этапе приведения каждое выражение в скобках ф^ преобразуется к конъюнктивной нормальной форме. Составим таблицу истинности формулы ф^ путем ее вычисления при всех возможных наборах значений ее переменных. Каждая строка такой таблицы соответствует одному из вариантов набора, и содержит сам вариант и результат вычисления исследуемого выражения. С помощью элементов таблицы истинности, которые приводят к нулевому результату в формуле, можно составить формулу, эквивалентную выражению -^ф^ в дизъюнктивной нормальной форме (Disjunctive Normal Form, DNF), которая является дизъюнкцией конъюнкций. Затем эта формула с помощью законов де Моргана (DeMorgan)
(уравнение (Б.2)) преобразуется в CNF-формулу ф" путем замены всех литералов их дополнениями и замены операций дизъюнкций и конъюнкций друг на друга.
В качестве примера преобразуем выражение ф\ = (yi *-► (уг А ->$2)) в CNF. Таблица истинности для этой формулы представлена в табл. 34.1. DNF-формула, эквивалентная выражению -к^, имеет вид
(У1 А У2 А х2) V (yi A -iy2 А ж2) V (yi А ^у2 А -‘Ж2) V (->yi A у2 A -хг2).
Применяя законы де Моргана, получим CNF-формулу
Ф'{ = (“■yi V ^Уз V ->х2) А (-,У1 V У2 V ->х2) Л (iyi V у2 V ж2) A (yi V ->у2 V х2), которая эквивалентна исходной формуле ф\.
Таблица 34.1. Таблица истинности для выражения (yi «-»(у2 А ~>х2У)
У1
У2
^2
(У1 *
(У2 А ->Х2))
1
1
1
0
1
1
0
1
1
0
1
0
1
0
0
0
0
1
1
1
0
1
0
0
0
0
1
1
0
0
0
1
После того как каждое подвыражение ф^, содержащееся в формуле ф', оказывается преобразовано в CNF-формулу ф", так что ф' эквивалентно CNF-формуле ф”, состоящей из конъюнкции выражений ф”. Кроме того, каждое подвыражение формулы ф" содержит не более трех литералов.
На третьем и последнем этапе приведения формула преобразуется таким образом, чтобы в каждых скобках содержалось точно 3 различных литерала. Полученная в результате 3-CNF формула ф'" составлена из подвыражений, входящих в CNF-формулу ф”. В ней также используются две вспомогательные переменные, которые будут обозначаться как р и q. Для каждого подвыражения Ct из формулы ф" в формулу ф'" включаются следующие подвыражения.
Если Ct содержит 3 различных литерала, то это подвыражение включается в формулу ф'" в неизменном виде.
Если выражение Ci содержит 2 различных литерала, т.е. если Ci = (Zi V Z2), где Zi и 12 — литералы, то в качестве подвыражения в формулу ф'" включается выражение (Zi V l2 V р) A (Zi V l2 V ~р\ Литералы р и ->р служат лишь
для того, чтобы удовлетворялось требование о наличии в каждом подвыражении в скобках ровно трех разных литералов: выражение (Zi V /2 V р) Л (Zi V Z2 V ->р) эквивалентно выражению (Zi V Z2) и при р = 0, и при р = 1.
Если выражение С, содержит ровно 1 литерал Z, то вместо него в качестве подвыражения в формулу ф”' включается выражение (Z V р V <7) Л (Z V р V -47) Л (Z V ->р V g) Л (Z V ->р V ->q). При любых значениях переменных р и q приведенная конъюнкция четырех подвыражений в скобках эквивалентна Z.
Проверив каждый из описанных выше трех этапов, можно убедиться, что 3-CNF формула ф"' выполнима тогда и только тогда, когда выполнима формула ф. Как и в случае приведения задачи Circuit_Sat к задаче Sat, составление на первом этапе формулы ф' по формуле ф не повлияет на выполнимость. На втором этапе конструируется CNF-формула ф", алгебраически эквивалентная формуле ф'. На третьем этапе конструируется 3-CNF формула ф'" ,• результат которой эквивалентен формуле ф", поскольку присваивание любых значений переменным р и q приводит к формуле, алгебраически эквивалентной формуле ф”.
Необходимо также показать, что приведение можно выполнить в течение полиномиального времени. В ходе конструирования формулы ф' по формуле ф приходится добавлять не более одной переменной и одной пары скобок на каждый соединительный элемент формулы ф. В процессе построения формулы ф" по формуле ф' в формулу ф" добавится не более восьми подвыражений в скобках на каждое подвыражение в скобках из формулы ф', поскольку каждое подвыражение в этой формуле содержит не более трех переменных и таблица его истинности состоит не более чем из 23 = 8 строк. В ходе конструирования формулы ф”' по формуле ф" в формулу ф"' добавляется не более четырех подвыражений на каждое подвыражение формулы ф". Таким образом, размер полученной в результате формулы ф"' выражается полиномиальной функцией от длины исходной формулы. Следовательно, каждый этап можно легко выполнить в течение полиномиального времени.и
Упражнения
1. Рассмотрите приведение “в лоб” (время работы которого не выражается полиномиальной функцией) из теоремы 34.9. Опишите схему размера п, размер которой после преобразования этим методом превратится в формулу, размер которой выражается показательной функцией от п.
2. Приведите 3-CNF формулу, которая получится в результате применения метода, описанного в теореме 34.10, к формуле (34.3).
3. Профессор предложил показать, что Sat ^р 3-CNF_Sat, лишь с помощью метода с использованием таблицы истинности, описанного в до-
казательстве теоремы 34.10, исключая при этом другие этапы. Другими словами, профессор предложил взять булеву формулу ф, составить таблицу истинности для ее переменных, получить из нее формулу в 3-DNF, эквивалентную ->ф, после чего составить логическое отрицание полученной формулы и с помощью законов де Моргана получить 3-CNF формулу, эквивалентную формуле ф. Покажите, что в результате применения такой стратегии не удается выполнить приведение формулы в течение полиномиального времени.
4. Покажите, что задача определения того, является ли тавтологией данная формула, является полной в классе co-NP. (.Указание; см. упражнение 34.3-7).
5. Покажите, что задача по определению выполнимости булевых формул в дизъюнктивной нормальной форме разрешима в течение полиномиального времени.
6. Предположим, кто-то разработал алгоритм с полиномиальным временем выполнения, позволяющий решить задачу о выполнимости формул. Опишите, как с помощью этого алгоритма в течение полиномиального времени находить выполняющие наборы.
7. Пусть 2-CNF_Sat — множество выполнимых булевых формул в CNF, у которых каждое подвыражение в скобках содержит ровно по два литерала. Покажите, что 2-CNF_Sat € Р. Постарайтесь, чтобы ваш алгоритм был как можно более эффективен. (Указание: воспользуйтесь тем, что выражение ж V у эквивалентно выражению ->ж —» у. Приведите задачу 2-CNF_Sat к задаче на ориентированном графе, имеющей эффективное решение.)
NP-полные задачи
NP-полные задачи возникают в различных областях: в булевой логике, в теории графов, в арифметике, при разработке сетей, в теории множеств и разбиений, при хранении и поиске информации, при планировании вычислительных процессов, в математическом программировании, в алгебре и теории чисел, при создании игр и головоломок, в теории автоматов и языков, при оптимизации программ, в биологии, в химии, физике и т.п. В настоящем разделе с помощью методики приведения будет доказана NP-полнота различных задач, возникающих в теории графов и при разбиении множеств.
На рис. 34.12 приводится схема доказательства NP-полноты, которая используется в этом разделе и в разделе 34.4. Для каждого из представленных на рисунке языков NP-полнота доказывается путем приведения его к языку, на который
(''аксин’-5АГ^
( з-cnksaT)
(clique )(" si пы i si :м ")
( НАМ CYCLE
( TSI’
Рис. 34.12. Схема доказательств NP-полноты для задач, рассматриваемых в разделах 34.4 и 34.5; все доказательства в конечном итоге сводятся к приведению NP-полной задачи ClR- CUIT Sat к рассматриваемой
указывает идущая от этого языка стрелка. В качестве корневого выступает язык Circuit_Sat, NP-полнота которого доказывается в теореме 34.7.
Задача о клике
Клика (clique) неориентированного графа G = (V, Е) — это подмножество V* С V вершин, каждая пара в котором связана ребром из множества Е. Другими словами, клика — это полный подграф графа G. Размер (size) клики — это количество содержащихся в нем вершин. Задача о клике (clique problem) — это задача оптимизации, в которой требуется найти клику максимального размера, содержащуюся в заданном графе. В соответствующей задаче принятия решения спрашивается, содержится ли в графе клика заданного размера к. Формальное определение клики имеет вид
Clique = {(G, fc) : G — граф с кликой размера fc}.
Простейший алгоритм определения того, содержит ли граф G = (У, Е) с |У| вершинами клику размера к, заключается в том, чтобы перечислить все к-эле- ментные подмножества множества V, и проверить, образует ли каждое из них клику. Время работы этого алгоритма равно Q (&2(^)) и является полиномиальным, если к — константа. Однако в общем случае величина к может достигать значения, близкого к | V|/2, и в этом случае время работы алгоритма превышает
полиномиальное. Есть основания предполагать, что эффективного алгоритма для задачи о клике не существует.
Теорема 34.11. Задача о клике является NP-полной.
Доказательство. Чтобы показать, что CliqueeNP для заданного графа G = = (^Е), воспользуемся множеством V' С V вершин клики в качестве сертификата для данного графа. Проверить, является ли множество вершин V' кликой, можно в течение полиномиального времени, проверяя для каждой пары вершин и, -и е V\ принадлежит ли соединяющее их ребро (и, и) множеству Е.
Теперь докажем, что 3-CNF_Sat ^р Clique, откуда следует, что задача о клике является NP-сложной. То, что этот результат удается доказать, может показаться удивительным, потому что на первый взгляд логические формулы мало напоминают графы.
Построение алгоритма приведения начинается с экземпляра задачи 3-CNF_Sat. Пусть ф = Ci A С2 А • • • А С к — булева формула из класса 3-CNF с к подвыражениями в скобках. Каждое подвыражение СТ при г = 1,2,..., к содержит ровно три различных литерала ZJ, Z^, и Zg. Сконструируем такой граф G, чтобы формула ф была выполнима тогда и только тогда, когда граф G содержит клику размера к.
Это делается так. Для каждого подвыражения Cr = (Z[ V Z£ V Z3) в формуле ф в множество V добавляется тройка вершин v^, ^ и V3. Вершины и[ и vj соединяются ребром, если справедливы оба сформулированных ниже утверждения:
вершины v[ и Dj принадлежат разным тройкам, т.е. г / s;
литералы, соответствующие этим вершинам, совместимы (consistent), т.е. Z[ не является логическим отрицанием Zj.
Такой граф легко построить на основе формулы ф в течение полиномиального времени. В качестве примера на рис. 34.13 приведен граф G, соответствующий формуле
ф = (2:1 V -1Ж2 V -»Жз) А (-1Ж1 V Х2 V Жз) А (2:1 V Ж2 V Жз) .
Необходимо показать, что это преобразование формулы ф в граф G является приведением. Во-первых, предположим, что для формулы ф имеется выполняющий набор. Тогда каждое выражение Ст содержит не менее одного литерала Z[, значение которого равно 1, и каждый такой литерал соответствует вершине г£. В результате извлечения такого “истинного” литерала из каждого подвыражения получается множество V\ состоящее из к вершин. Мы утверждаем, что V* — клика. Для любых двух вершин v[, v? е V\ где г / s, оба соответствующих литерала Z[ и lj при данном выполняющем наборе равны 1, поэтому они не могут быть отрицаниями друг друга. Таким образом, в соответствии со способом построения графа G, ребро ^, v^ принадлежит множеству Е.
Рис. 34.13. Граф G, полученный в процессе приведения задачи 3-CNF_Sat к задаче Clique
Проведем обратные рассуждения. Предположим, что граф G содержит клику V размера к. Ни одно из ее ребер не соединяет вершины одной и той же тройки, поэтому клика V* содержит ровно по одной вершине каждой тройки. Каждому литералу /[, такому что v[ € V', можно присвоить значение 1, не опасаясь того, что это значение будет присвоено как литералу, так и его дополнению, поскольку граф G не содержит ребер, соединяющих противоречивые литералы. Каждое подвыражение в скобках является выполнимым, поэтому формула ф тоже выполнима. (Переменным, которым не соответствует ни одна вершина клики, можно присваивать произвольные значения.) ■
В примере, представленном на рис. 34.13, выполняющий набор для формулы ф имеет вид Ж2 = 0 и жз = 1. Соответствующая клика размера к = 3 состоит из вершин, отвечающих литералу -1Ж2 из первого подвыражения в скобках, литералу жз из второго выражения в скобках и литералу жз из третьего выражения в скобках. Поскольку клика не содержит вершин, соответствующих литералу Ж1 или литералу -1Ж1, переменная Ж1 в выполняющем наборе может принимать как значение 0, так и значение 1.
Обратите внимание, что при доказательстве теоремы 34.11 произвольный экземпляр задачи 3-CNF_Sat был сведен к экземпляру задачи Clique, обладающему определенной структурой. Может показаться, что принадлежность задачи CLIQUE категории NP-сложных была доказана лишь для графов, все вершины которых можно разбить на тройки, причем таких, в которых отсутствуют ребра, соединяющие вершины одной и той же тройки. В самом деле, NP-сложность задачи Clique была показана только для этого ограниченного случая, однако этого до-
казательства достаточно, чтобы сделать вывод о NP-сложности этой задачи для графа общего вида. Почему? Дело в том, что из наличия алгоритма с полиномиальным временем работы, решающего задачу Clique с графами общего вида, следует существование такого алгоритма решения этой задачи с графами, имеющими ограниченную структуру.
Однако было бы недостаточно привести экземпляры задачи 3-CNF_Sat, обладающие какой-то особой структурой, к экземплярам задачи Clique общего вида. Почему? Может случиться так, что экземпляры задачи 3-CNF_SAT, с помощью которых выполняется приведение, окажутся слишком “легкими”, и к задаче Clique приводится задача, не являющаяся NP-сложной.
Заметим также, что для приведения используется экземпляр задачи 3-CNF_Sat, но не ее решение. Было бы ошибкой основывать приведение в течение полиномиального времени на знании того, выполнима ли формула ф, поскольку неизвестно, как получить эту информацию в течение полиномиального времени.
Задача о вершинном покрытии
Вершинное покрытие (vertex cover) неориентированного графа G = (V, Е) — это такое подмножество V* С V, что если (u, v) Е Е, то и е V* либо v Е V* (либо справедливы оба эти соотношения). Другими словами, каждая вершина “покрывает” инцидентные ребра, а вершинное покрытие графа G — это множество вершин, покрывающих все ребра из множества Е. Размером (size) вершинного покрытия называется количество содержащихся в нем вершин. Например, граф, изображенный на рис. 34.146, имеет вершинное покрытие {w, г) размера 2.
Задача о вершинном покрытии (vertex-cover problem) заключается в том, чтобы найти в заданном графе вершинное покрытие минимального размера. Переформулируем эту задачу оптимизации в виде задачи принятия решения, в которой требуется определить, содержит ли граф вершинное покрытие заданного размера к. Определим язык
Vertex_Cover = {(G, А:) : граф G имеет вершинное покрытие размера А:} .
В сформулированной ниже теореме доказывается, что эта задача является NP- полной.
Теорема 34.12. Задача о вершинном покрытии является NP-полной.
Доказательство. Сначала покажем, что Vertex_Covere NP. Предположим, что задан граф G = (У, Е) и целое число к. В качестве сертификата выберем само вершинное покрытие У'СУ.В алгоритме верификации проверяется, что j V'| = к, а затем для каждого ребра (u, v) Е Е проверяется, что и Е V* или v Е V. Такую верификацию можно выполнить непосредственно, как описано выше, в течение полиномиального времени.
Рис. 34.14. Приведение задачи CLIQUE к задаче Vertex_CoverРис. 34.14. Приведение задачи CLIQUE к задаче Vertex_Cover
Рис. 34.14. Приведение задачи CLIQUE к задаче Vertex_Cover
Рис. 34.14. Приведение задачи CLIQUE к задаче Vertex_Cover
Докажем, что задача о вершинном покрытии NP-сложная, для чего покажем справедливость соотношения Clique ^р Vertex_Cover. Это приведение основывается на понятии “дополнения” графа. Дополнение (complement) данного неориентированного графа G = (V.E") определяется как G = (V, £*), где Ё = {(u, v) : и, v е V, и / v и (и^) ^ Е}. Другими словами, G — это граф, содержащий те ребра, которые не содержатся в графе G. На рис. 34.14 показан граф и его дополнение, а также проиллюстрировано приведение задачи CLIQUE к задаче Vertex_Cover.
Алгоритм приведения в качестве входных данных получает экземпляр задачи о клике (G^k). В этом алгоритме вычисляется дополнение G, что легко осуществить в течение полиномиального времени. Выходом алгоритма приведения является экземпляр (G, |У| — fc) задачи о вершинном покрытии. Чтобы завершить доказательство, покажем, что это преобразование действительно является приведением: граф G содержит клику размера к тогда и только тогда, когда граф G имеет вершинное покрытие размером | V | — к.
Предположим, что граф G содержит клику V' С V размером | Vz| = к. Мы утверждаем, что V — V’ — вершинное покрытие графа G. Пусть (и, и) — произвольное ребро из множества Ё. Тогда (u, v) Е, из чего следует, что хотя бы одна из вершин и и и не принадлежит множеству V\ поскольку каждая пара вершин из V1 соединена ребром, входящим в множество Е. Это эквивалентно тому, что хотя бы одна из вершин и и и принадлежит множеству V — V\ а, следовательно, ребро (и, и) покрывается этим множеством. Поскольку ребро (и, и) выбрано из множества Ё произвольным образом, каждое ребро из этого множества покрывается вершиной из множества V — V'. Таким образом, множество V — V' размером |У| - к образует вершинное покрытие графа G.
Справедливо и обратное. Предположим, что граф G имеет вершинное покрытие V7 С V, где | V'l = | V| — к. Тогда для всех пар вершин гц v Е V из (u, v) Е Ё следует, что или uEV\ или *иЕУ\ или справедливы оба эти утверждения. Обращение
следствия дает, что для всех пар вершин u, v G V, если и ф V’ и v V', то (u, v) 6 е Е. Другими словами, V — V' — это клика, а ее размер равен | V| - | V' | = к. ■
Поскольку задача Vertex_Cover является NP-полной, маловероятным представляется то, что удастся разработать алгоритм поиска вершинного покрытия минимального размера за полиномиальное время. Однако в разделе 35.1 представлен “приближенный алгоритм” с полиномиальным временем работы, позволяющий находить “приближенные” решения этой задачи. Размер вершинного покрытия, полученного в результате работы этого алгоритма, не более чем в 2 раза превышает размер минимального вершинного покрытия.
Таким образом, не стоит лишать себя надежды только из-за того, что задача NP-полная. Может оказаться, что для нее существует приближенный алгоритм с полиномиальным временем работы, позволяющий получать решения, близкие к оптимальным. В главе 35 описано несколько приближенных алгоритмов, предназначенных для решения NP-полных задач.
Задача о гамильтоновых циклах
Теперь вернемся к задаче о гамильтоновых циклах, определенной в разделе 34.2.
Теорема 34.13. Задача о гамильтоновых циклах является NP-полной.
Доказательство. Сначала покажем, что задача Ham_Cycle принадлежит классу NP. Для заданного графа G = (V, Е) сертификат задачи имеет вид последовательности, состоящей из |У| вершин, из которых состоит гамильтонов цикл. В алгоритме верификации проверяется, что каждая вершина этой последовательности входит в множество V ровно по одному разу и что первая вершина повторяется в конце, т.е. последовательность образует цикл в графе G. Другими словами, проверяется, что каждая пара последовательных вершин соединена ребром, а также что ребро соединяет первую и последнюю вершины последовательности. Подобную проверку можно выполнить в течение полиномиального времени.
Докажем теперь, что Vertex_Cover ^р Ham_Cycle, откуда следует, что задача Ham_Cycle NP-полная. Построим для заданного неориентированного графа G = УЕ) и целого числа к неориентированный граф Gf = (V',^'), в котором гамильтонов цикл содержится тогда и только тогда, когда размер вершинного покрытия графа G равен к.
Наше построение основывается на структурном элементе (widget), представляющем собой фрагмент графа, обеспечивающий его определенные свойства. На рис. 34.15а показан используемый нами структурный элемент. Для каждого ребра (и, и) 6 Е строящийся граф G’ будет содержать одну копию этого структурного элемента, обозначаемую как W^. Обозначим каждую вершину структурного
к'-1]kr.2|к'-1]kr.2|in.'.5] k’V'iin.'.5] k’V'iа)а)Рис. 34.15. Структурный элемент графа, использующийся в ходе приведения задачи о вершинном покрытии к задаче о гамильтоновых циклахРис. 34.15. Структурный элемент графа, использующийся в ходе приведения задачи о вершинном покрытии к задаче о гамильтоновых циклах
к'-1]
kr.2|
к'-1]
kr.2|
in.'.5] k’V'i
in.'.5] k’V'i
а)
а)
Рис. 34.15. Структурный элемент графа, использующийся в ходе приведения задачи о вершинном покрытии к задаче о гамильтоновых циклах
Рис. 34.15. Структурный элемент графа, использующийся в ходе приведения задачи о вершинном покрытии к задаче о гамильтоновых циклах
элемента Wuii как [и, и, г] или [и, и, г], где 1 ^ г ^ 6, так что каждый структурный элемент Wuv содержит 12 вершин. Кроме того, он содержит 14 ребер, как показано на рис.34.15а.
Нужные свойства графа обеспечиваются не только внутренней структурой описанного выше элемента, но и наложением ограничений на связи между структурным элементом и остальной частью строящегося графа G'. В частности, наружу структурного элемента Wuv будут выходить ребра только из вершин [и, и, 1], [и, и, 6], [и, и, 1] и [и, и, 6]. Любой гамильтонов цикл G' должен проходить по ребрам структурного элемента Wuv одним из трех способов, показанных на рис. 34.15б-г. Если цикл проходит через вершину [и, и, 1], выйти он должен через вершину [u, v, 6], и при этом он либо проходит через все 12 вершин структурного элемента (рис. 34.156), либо только через 6 его вершин, с [и, и, 1] по [и, v, 6] (рис. 34.15е). В последнем случае цикл должен будет должен повторно войти в структурный элемент, посещая вершины с [и, и, 1] по [и, и, 6]. Аналогично, если цикл входит в структурный элемент через вершину [и, u, 1], то он должен выйти из вершины [и, и, 6], посетив на своем пути либо все 12 вершин (рис. 34.15г), либо 6 вершин, начиная с вершины [и, и, 1] и заканчивая вершиной [и, и, 6] (рис. 34.15е). Никакие другие варианты прохождения всех 12 вершин структурного элемента невозможны. В частности, невозможно таким образом построить 2 отдельных пути, один из которых соединяет вершины [и, и, 1] и [и, и, 6], а другой — вершины [и, и, 1] и [u, v, 6], чтобы объединение этих путей содержало все вершины структурного элемента.
Единственные вершины, содержащиеся в множестве V, кроме вершин структурного элемента, — переключающие вершины (selector vertex) si, S2,..., s^. Ребра графа G*, инцидентные переключающей вершине, используются для выбора к вершин из покрытия графа G.
Кроме ребер, входящих в состав структурных элементов, множество Е* содержит ребра двух других типов, показанных на рис. 34.16. Во-первых, для каждой вершины и € У добавляются ребра, соединяющие пары структурных элементов
;i
Рис. 34.16. Приведение экземпляра задачи о вершинном покрытии к экземпляру задачи о гамильтоновом цикле
в таком порядке, чтобы получился путь, содержащий все структурные элементы, соответствующие ребрам, инцидентным вершине и графа G. Вершины, смежные с каждой вершиной и Е V, упорядочиваются произвольным образом как и^\ и®,..., i/degree(u)\ где degree (и) — количество вершин, смежных с вершиной и. В графе G’ создается путь, проходящий через все структурные элементы, соответствующие инцидентным ребрам вершины и. Для этого к множеству Е' добавляются ребра {([u, uW, 6] , [и, 1]) : 1 г degree (и) — 1}. Например, на рис. 34.16 вершины, смежные с вершиной w, упорядочиваются как х, у, z, так что граф G\ изображенный в части б рисунка, содержит ребра ([w, х^ 6], [w, у, 1]) и ([w, у, 6], [w, z^ 1]). Для каждой вершины и Е V эти ребра графа G’ заполняют путь, содержащий все структурные элементы, соответствующие ребрам, инцидентным вершине и графа G.
Интуитивные соображения, обосновывающие наличие этих ребер, заключаются в том, что если из вершинного покрытия графа G выбирается вершина и Е V, то в графе G' можно построить путь из вершины [и, и^\ 1] к вершине [u, u(degree^\б], “покрывающий” все структурные элементы, соответствующие ребрам, инцидентным вершине и. Другими словами, для каждого из таких структурных элементов, скажем, структурного элемента Wuu^ этот путь проходит
либо по всем 12 вершинам (если вершина, и входит в вершинное покрытие, а вершина и^ — нет), либо только по шести вершинам [и,и^,1], [и,и^,2], ..., [и, и^,б] (если вершинному покрытию принадлежит и вершина и, и вершина t/d).
В части а рисунка рис. 34.16 показан неориентированный граф G; его вершинное покрытие размера 2, состоящее из вершин w и у, выделено светло-серым цветом. В части б изображен неориентированный граф G', полученный в процессе приведения; гамильтонов путь, соответствующий вершинному покрытию, выделен в графе серым цветом. Вершинное покрытие {w, у) соответствует содержащемся в гамильтоновом цикле ребрам (si, [w, ж, 1]) и ($2, [у, ж, 1]).
Наконец, последний тип ребер множества Е' соединяет первую [и, 1^,1] и последнюю [u,u(degree(u^,6] вершины каждого из этих путей с каждой из переключающих вершин. Другими словами, в множество включаются ребра
{(sj, ^u, г/т\ ij^rueVHl^j^fcJu
U { (s„ [u, „(degree^)), gj ) . u € у И 1 ^ j fc} .
Теперь покажем, что размер графа G' выражается полиномиальной функцией от размера графа G, поэтому граф G’ можно сконструировать в течение полиномиального времени от размера графа G. Множество вершин графа G' состоит из вершин, входящих в состав структурных элементов, и переключающих вершин. Каждый структурный элемент содержит 12 вершин, и еще имеется к ^ |V| переключающих вершин, поэтому в итоге получается
|У'| = 12|Е| + А;О2|Е| + |У|
вершин. Множество ребер графа G* состоит из тех, которые принадлежат структурным элементам, тех, которые соединяют структурные элементы, и тех, которые соединяют переключающие вершины со структурными элементами. Каждый структурный элемент содержит по 14 ребер, поэтому все структурные элементы в совокупности содержат 14 |£*| ребер. Для каждой вершины и 6 V имеется degree (и) — 1 ребер между структурными элементами, так что в результате суммирования по всем вершинам множества V получается
52 (degree (и) - 1) = 2 |Е| - |У| uev
ребер, соединяющих структурные элементы. Наконец, по два ребра приходится на каждую пару, состоящую из одной переключающей вершины и одной вершины множества V. Всего таких ребер получается 2к | V|, а общее количество всех ребер
графа G' равно
|^ = (14|Я|) + (2|2?|-|У|)-^^ = 16 |Е| + (2к - 1) |V| ^ < 16 |Е| + (2 |У| — 1) |У|.
Теперь покажем, что преобразование графа G в граф G* — это приведение. Другими словами, необходимо показать, что граф G имеет вершинное покрытие размера к тогда и только тогда, когда граф G' имеет гамильтонов цикл.
Предположим, что граф G = (У, Е) содержит вершинное покрытие V* С. V размера А:. Пусть V* = {ui, U2,... ,Uk}. Как видно из рис. 34.16, гамильтонов цикл графа G' образуется путем включения в него следующих ребер8 для каждой вершины Uj EV*. В цикл включаются ребра { ( ^uj, и^\ 6^ , ^, ^,+1\ lj) : 1
degree (и,)}, которые соединяют все структурные элементы, соответствующие ребрам, инцидентным вершинам uj. Включаются также ребра, содержащиеся в этих структурных элементах, как показано на рис. 34.15б-г, в зависимости от того, покрывается ли ребро одним или двумя вершинами множества V*. Гамильтонов цикл также включает в себя ребра
U { (Sj+1, [<у,б]) : 1 < j « к - 1} U
u{(S1,[Ut,u<deF”(-‘>\^
Ознакомившись с рис. 34.16, читатель может убедиться, что эти ребра действительно образуют цикл. Этот цикл начинается в вершине si, проходит через все структурные элементы, соответствующие ребрам, инцидентным вершине их» затем направляется к вершине ^2, проходит через все структурные элементы, соответствующие ребрам, инцидентным вершине ^2, и т.д., пока снова не вернется к вершине si. Каждый структурный элемент проходится однократно или дважды, в зависимости от того, одна или две вершины множества V* покрывают соответствующее ему ребро. Поскольку V* — вершинное покрытие графа G, каждое ребро из множества Е инцидентно некоторой вершине множества V*, поэтому цикл проходит через все вершины каждого структурного элемента графа G1. Поскольку он также проходит через все переключающие вершины, то этот цикл — гамильтонов.
Технически определение цикла формулируется в терминах вершин, а не ребер (см. раздел Б.4). Для ясности здесь эти обозначения видоизменяются, а гамильтонов цикл определяется в терминах ребер.
Проведем рассуждения в обратном направлении. Предположим, что граф G* = = (V', Е') содержит гамильтонов цикл С С Е*. Утверждается, что множество
V* = {и € V : ^Sj, ^и, и^\ lj) € С для некоторого 1 ^ j’^ &} (34.4) является вершинным покрытием графа G. Чтобы убедиться, что это действительно так, разобьем цикл С на максимальные пути, которые начинаются в некоторой переключающей вершине Sj, проходят через ребро (sj, [и, и^1),!]) для некоторой вершины и € V и оканчиваются в переключающей вершине sj, не пересекая при этом никакие другие переключающие вершины. Назовем каждый такой путь “покрывающим”. По способу построения графа G', каждый покрывающий путь должен начинаться в некоторой вершине s,, включать в себя ребро (з,, [u, и^1),!]) для некоторой вершины и eV, проходить через все структурные элементы, соответствующие ребрам из множества Е, инцидентным вершине и, и оканчиваться в некоторой переключающей вершине Sj. Обозначим такой покрывающий путь как ри и, в соответствии с уравнением (34.4), включим вершину и в множество V*. Любой структурный элемент, через который проходит путь ри, должен быть структурным элементом Wuv или структурным элементом Wvu для некоторой вершины и е V. О каждом структурном элементе, через который проходит путь р„, можно сказать, что по его вершинам проходит один или два покрывающих пути. Если такой покрывающий путь один, то ребро (и, и) € Е покрывается в графе G вершиной и. Если же через структурный элемент проходят два пути, то один из них, очевидно, путь ри, а другой должен быть путем ру. Из этого следует, что и е V*, и ребро (и, и) е Е покрывается и вершиной и, и вершиной и. Поскольку все вершины из каждого структурного элемента посещаются некоторым покрывающим путем, видно, что каждое ребро из множества Е покрывается некоторой вершиной из множества V*. В
Задача о коммивояжере
В задаче о коммивояжере (traveling-salesman problem), которая тесно связана с задачей о гамильтоновом цикле, коммивояжер должен посетить п городов. Моделируя задачу в виде полного графа с п вершинами, можно сказать, что коммивояжеру нужно совершить тур (tour), или гамильтонов цикл, посетив каждый город ровно по одному разу и завершив путешествие в том же городе, из которого он выехал. С каждым переездом из города г в город j связана некоторая стоимость с^г^зУ выражающаяся целым числом, и коммивояжеру нужно совершить тур таким образом, чтобы общая стоимость (т.е. сумма стоимостей всех переездов) была минимальной. Например, на рис. 34.17 изображен самый дешевый тур (u, w, v,x,u), стоимость которого равна 7. Вот как выглядит формальный язык
Рис. 34.17. Экземпляр задачи о коммивояжере; выделенные серым цветом ребра представляют самый дешевый тур, стоимость которого равна 7
для соответствующей задачи принятия решения:
TSP = {(G, с, fc) : G = (V, Е) — полный граф, с — функция V х V X, к е Z и
G содержит тур коммивояжера со стоимостью, не превышающей &}.
Согласно сформулированной ниже теореме, существование быстрого алгоритма для решения задачи о коммивояжере маловероятно.
Теорема 34.14. Задача о коммивояжере (TSP) является NP-полной.
Доказательство. Сначала докажем, что TSP принадлежит классу NP. В качестве сертификата для заданного экземпляра задачи будет использоваться последовательность п вершин, из которых состоит тур. В алгоритме верификации проверяется, что в этой последовательности все вершины содержатся ровно по одному разу, а также суммируются стоимости всех ребер тура и проверяется, что эта сумма не превышает к. Очевидно, что этот процесс можно выполнить в течение полиномиального времени.
Чтобы убедиться в том, что задача TSP NP-сложная, покажем, что Нам_ Cycle ^р TSP. Пусть G = (V, Е) — экземпляр задачи Ham_Cycle. Экземпляр TSP конструируется следующим образом. Сформируем полный граф G* = (V, Е'), где Е* = {(г, j) : i,j € V иг/ j). Определим также функцию стоимости с:
О если (г, j) € 2?, 1 если (г, j) Е.
(Заметим, что поскольку граф G неориентированный, в нем отсутствуют петли, поэтому для всех вершин v € У выполняется равенство с (и, и) = 1.) Тогда в качестве экземпляра TSP выступает (G', с, 0), который легко составить в течение полиномиального времени.
Теперь покажем, что граф G содержит гамильтонов цикл тогда и только тогда, когда граф G’ включает в себя тур, стоимость которого не превышает 0. Предположим, что граф G содержит гамильтонов цикл h. Каждое ребро цикла h принадлежит множеству Е, поэтому его стоимость в графе G’ равна 0. Таким образом, стоимость цикла h в графе G’ равна 0. И обратно — предположим, что граф G' содержит тур h\ стоимость которого не превышает 0. Поскольку стоимости ребер графа G’ равны 0 или 1, стоимость тура h’ равна 0, и стоимость каждого ребра из тура должна равняться 0. Таким образом, тур h! содержит только ребра из множества Е. Можно сделать вывод, что тур К' — это гамильтонов цикл в графе G. ■
Задача о сумме подмножества
Следующая NP-полная задача, которая будет рассмотрена, принадлежит к разряду арифметических. В задаче о сумме подмножества (subset-sum problem) задается конечное множество S С N и целевое значение (target) t € N. Спрашивается, существует ли подмножество S' С S, сумма элементов которого равна t. Например, если
S = {1,2,7,14,49,98,343,686,2 409,2 793,16 808,17 206,117 705,117 993},
a t = 138457, то решением является подмножество
S' = {1,2,7,98,343,686,2 409,17 206,117 705}.
Как обычно, определим язык, соответствующий задаче:
Subset_Sum = { (5, t) :
^seS' J^seS' Jсуществует подмножество S' С S такое, что £ =
^seS' J
^seS' J
Как в любой арифметической задаче, важно помнить, что в нашем стандартном коде предполагается, что входные целые числа кодируются бинарными значениями. При этом предположении можно показать, что вероятность наличия быстрого алгоритма, позволяющего решить задачу о сумме подмножества, очень мала.
Теорема 34.15. Задача о сумме подмножества является NP-полной.
Доказательство. Чтобы показать NP-полноту задачи SUBSET_SUM для экземпляра (S, t), выберем в качестве сертификата подмножество S'. Проверку равенства t = 53ses' 5 в алгоритме верификации можно выполнить в течение полиномиального времени.
Теперь покажем, что 3-CNF_Sat ^р Subset_Sum. Если задана 3-CNF формула ф, зависящая от переменных zi, х^..., хп и содержащая подвыражения в скобках Ci, С2,..., Сь в каждое из которых входит ровно по три различных литерала, то в алгоритме приведения строится такой экземпляр (S, t) задачи о сумме подмножества, что формула ф выполнима тогда и только тогда, когда существует подмножество S, сумма элементов которого равна t. Не теряя общности, можно сделать два упрощающих предположения о формуле ф. Во-первых, ни в одном подвыражении в скобках не содержится одновременно и переменная, и ее отрицание, потому что такое выражение автоматически удовлетворяется при любых значениях этой переменной. Во-вторых, каждая переменная входит хотя бы в одно подвыражение в скобках, так как в противном случае безразлично, какое значение ей присваивается.
В процессе приведения в множестве S создается по два числа для каждой переменной xt и для каждого выражения в скобках Cj. Эти числа будут создаваться в десятичной системе счисления, и все они будут содержать по п + к цифр, каждая из которых соответствует переменной или выражению в скобках. Основание системы счисления 10 (и, как мы увидим, и другие основания) обладают свойством, необходимым для предотвращения переноса значений из младших разрядов в старшие.
Как видно из табл. 34.2, множество S и целевое значение t конструируются следующим образом. Присвоим каждому разряду числа метку, соответствующую либо переменной, либо выражению в скобках. Цифры, которые находятся в к младших разрядах, отвечают выражениям в скобках, а цифры в п старших разрядах отвечают переменным.
Все цифры целевого значения t, соответствующие переменным, равны 1, а соответствующие подвыражениям — равны 4.
Каждой переменной Хг в множестве S сопоставляются два целых числа, — г?г и и^. В каждом из этих чисел в разряде с меткой xt находится значение 1, а в разрядах, соответствующих всем другим переменным, — значения 0. Если литерал x-t входит в подвыражение Cj, то цифра с меткой Cj в числе ^г равна 1. Если же выражение в скобках Cj содержит литерал -i^, то 1 равна цифра с меткой Cj в числе г^. Все остальные цифры, метки которых соответствуют другим выражениям в скобках, в числах V; и ^ равны 0. Значения Vi и ^ в множестве S не повторяются. Почему? Если Z =^ г, то число, содержащееся в п старших разрядах значений и/ или ^, не могут быть равны соответствующим числам из значений Vi или ^ Кроме того, согласно сделанным выше упрощающим предположениям, такое равенство невозможно для чисел, содержащихся в к младших разрядах значений ^^ и и^. Если бы числа ян и vt были равны, то литералы xt и ->xt должны были бы входить в один и тот же набор подвыражений в скобках. Однако,
согласно предположению, ни одно подвыражение не содержит одновременно и it, и ->Xi, и хотя бы один из этих литералов входит в одно из выражений в скобках. Поэтому должно существовать какое-то подвыражение Cj, благодаря которому числа и, и v{ различаются.
Каждому подвыражению Cj в множестве S сопоставляются два целых числа Sj и s'j. Каждое из них содержит нули в разрядах, метки которых отличаются от Cj. В числе Sj цифра с меткой Cj равна 1, а в числе s'j эта цифра равна 2. Такие целые числа выступают в роли “фиктивных переменных”, благодаря которым в суммарном значении каждая цифра, соответствующая выражению в скобках, равна 4.
Простая проверка для примера, проиллюстрированного в табл. 34.2, показывает, что никакие значения Sj и s'- в множестве S не повторяются.
В приведенном примере рассматривается 3-CNF формула ф = Ci Л С2 Л Сз Л С4, где Ci = (xi V -1X2 V -1x3), С2 = (-’ari V ->х2 V х3), С3 = (-■xi V -1x2 V х3) и С4 = (xi V Х2 V хз). Выполняющий набор для формулы ф имеет вид (xi = О, Х2 = 0, хз = 1). Множество S, полученное в процессе приведения, состоит из представленных в таблице чисел в десятичной системе счисления; считывая их сверху вниз, находим, что
S = {1001001,1000110,100001,101110,10011,11100,1000,2000,100,200,10,20,1,2};
целевое значение t = 1114444. Подмножество S' CS выделено светлой штриховкой и содержит и{, «2 и ^3, соответствующие выполняющему набору. В него также входят помеченные той же штриховкой фиктивные переменные, обеспечивающие получение значений 4 в цифрах целевого значения, помеченных подвыражениями.
Заметим, что максимальная сумма цифр в каждом из разрядов равна 6. Это возможно в цифрах, метки которых соответствуют выражениям в скобках (три единицы от значений у< и и{ плюс 1 и 2 от значений Sj и s'). Поэтому эти значения интерпретируются как числа в десятичной системе счисления, чтобы не было переноса из младших разрядов в старшие.
Такое приведение можно выполнить в течение полиномиального времени. Множество S содержит 2n + 2А: значений, в каждом из которых по п + к цифр, поэтому время, необходимое для получения всех цифр, выражается полиномиальной функцией от п + к. Целевое значение t содержит п + к цифр, и в процессе приведения каждую из них можно получить в течение фиксированного времени.
Теперь покажем, что 3-CNF формула выполнима тогда и толью тогда, когда существует подмножество S' С 5, сумма элементов которого равна t. Сначала
Iаблица 34.2. Процесс приведения мдачи VCNi' Sai к w.'iaBeSunsbi Si м
предположим, что у формулы ф имеется выполняющий набор. Если в нем х, = 1 (где г = 1,2,..., п), то число Vi включается в множество S'. В противном случае в это множество включается число и'. Другими словами, в множество S' включаются именно те значения и, и и-, которым в выполняющем наборе соответствуют литералы, равные 1. Включая в множество S* либо число v,, либо число и', но не оба этих числа для всех г, и помещая в значениях Sj и s'j нули во все разряды с метками, соответствующими переменным, мы видим, что сумма цифр в этих разрядах по всем значениям множества S' должна быть равной 1, что совпадает с цифрами в этих разрядах целевого значения t. Поскольку все подвыражения в скобках выполняется, в каждом таком подвыражении имеется литерал, значение которого равно 1. Поэтому каждая цифра, соответствующая подвыражению, включает единицу, вносимую в сумму благодаря вкладу значения и, или значения и- из множества S'. В действительности в каждом выражении в скобках единице могут быть равны 1, 2 или 3 литерала, поэтому в каждом разряде, соответствующем выражению в скобках, сумма цифр по значениям и, и и' множества S1 равна 1, 2 или 3. (Например, в примере, проиллюстрированном в табл. 34.2, в выполняющем наборе единице равны литералы -«xi, 1x2 и Х3. Каждое из выражений в скобках
Ci и С4 содержит ровно по одному из этих литералов, поэтому числа Ц, V2 и из в совокупности дают единичный вклад в цифры, соответствующие выражениям Ci и С4. Подвыражение Ci содержит по два этих литерала, поэтому числа и^, «2 и из в совокупности дают вклад 2 в цифру, соответствующую Ci. Подвыражение Сз содержит все три перечисленных литерала, и числа «р «2 и из дают вклад 3 в цифру, соответствующую выражению С3.) Целевое значение, равное 4, достигается в каждом разряде с меткой, отвечающей подвыражению в скобках, путем добавления в множество S' непустого множества из соответствующих фиктивных переменных {s,, s'j. (В примере, проиллюстрированном в табл. 34.2, множество S' включает значения {si, Sp S2, S3, S4, S4}.) Поскольку сумма цифр по всем значениям множества S' во всех разрядах совпадает с соответствующими цифрами целевого значения t, и при суммировании не производится перенос значений из младших разрядов в старшие, то сумма значений множества S' равна t.
Теперь предположим, что имеется подмножество S' С 5, сумма элементов которого равна t. Для каждого значения г = 1,2,..., п это подмножество должно включать в себя ровно по одному из значений и, или Vp потому что в противном случае сумма цифр в разрядах, соответствующих переменным, не была бы равна 1. Если vt G S', то выполняем присваивание Xi = 1. В противном случае и' € S', и выполняется присваивание Xi = 0. Мы утверждаем, что в результате такого присваивания выполняется каждое подвыражение Cj, 3 = 1,2,... ,к. Чтобы доказать это утверждение, заметим, что для того, чтобы сумма цифр в разряде с меткой Cj была равна 4, подмножество S' должно содержать хотя бы одно из значений Vj или Up в котором 1 находится в разряде с меткой Cj, так как суммарный вклад фиктивных переменных Sj и s'- не превышает 3. Если подмножество S' включает в себя значение Vi, в котором в этом разряде содержится 1, то в подвыражение Cj входит литерал Хг. Поскольку при Vj € S' выполняется присваивание xt = 1, то подвыражение Cj выполняется. Если множество S' включает в себя значение Up в котором в этом разряде содержится 1, то в подвыражение Cj входит литерал --Xi. Так как при и' 6 S' выполняется присваивание х^ = 0, то подвыражение Cj снова выполняется. Таким образом, в формуле ф выполняются все подвыражения в скобках, и на этом доказательство теоремы завершается.■
Упражнения
1. В задаче об изоморфизме подграфу (subgraph-isomorphism problem) задаются два графа (Gi и G^ и спрашивается, изоморфен ли граф Gi какому-нибудь подграфу графа G^. Покажите, что эта задача NP-полная.
2. В задаче 0-1 целочисленного программирования (0-1 integer-programming problem) задается целочисленная матрица А размером m х п и целочисленный m-компонентный вектор 6 и спрашивается, существует ли
целочисленный n-компонентный вектор х, элементы которого являются элементами множества {0,1}, удовлетворяющий неравенству Ах ^ Ъ. Докажите, что задача 0-1 целочисленного программирования является NP-полной. (Указание: приведите к этой задаче задачу 3-CNF_Sat.)
3. Задача целочисленного линейного программирования (integer linear- programming problem) похожа на задачу 0-1 целочисленного программирования, описанную в упражнении 34.5-2, но в ней компоненты вектора х могут быть любыми целыми числами, а не только нулем и единицей. Исходя из предположения, согласно которому задача 0-1 целочисленного программирования является NP-полной, покажите, что задача целочисленного линейного программирования также NP-полная.
4. Покажите, что задача о сумме подмножества разрешима в течение полиномиального времени, если целевое значение t выражено в унарной системе счисления, т.е. представлено последовательностью из t единиц.
5. В задаче о разделении множества (set-partition problem) в качестве входных данных выступает множество чисел S. Спрашивается, можно ли это числа разбить на два множества А и А = S — А таким образом, чтобы 531€дЖ = ^2хедХ. Покажите, что задача о разделении множества является NP-полной.
6. Покажите, что задача о гамильтоновом пути NP-полная.
7. Задача о самом длинном простом цикле (longest-simple-cycle problem) — это задача, в которой в заданном графе находится простой цикл (без повторения вершин) максимальной длины. Покажите, что эта задача — NP-полная.
8. В половинной задаче о 3-CNF выполнимости (half 3-CNF satisfiability problem) задается 3-CNF формула ф с п переменными и т подвыражениями в скобках, где т — четное. Нужно определить, существует ли набор значений переменных формулы ф, при котором результат ровно половины выражений в «юбках равен 0, а результат второй половины этих выражений равен 1. Докажите, что половинная задача о 3-CNF выполнимости является NP-полной.
Задачи
34-1. Независимое множество
Независимым множеством (independent set) графа G = (V, Е) называется такое подмножество вершин V* С V, что каждое ребро из множества Е инцидентно хотя бы одной вершине из множества V. Задача о независимом множестве (independent-set problem) заключается в том, чтобы
найти в заданном графе G независимое множество максимального размера.
Сформулируйте задачу принятия решения, соответствующую задаче о независимом множестве, и докажите, что она является NP-полной. (Указание: приведите к этой задаче задачу о клике.)
Предположим, что для задачи принятия решения, определенной в части а, имеется подпрограмма в виде “черного ящика”, решающая эту задачу. Сформулируйте алгоритм поиска независимого множества, имеющего максимальный размер. Время работы этого алгоритма должно выражаться полиномиальной функцией от величин |V| и |S|. При этом предполагается, что каждый запрос подпрограммы учитывается как одна операция.
Несмотря на то, что задача о независимом множестве является NP- полной, некоторые особые случаи разрешимы в течение полиномиального времени.
Разработайте эффективный алгоритм, позволяющий решить задачу о независимом множестве, если степень каждой вершины графа G равна 2. Проанализируйте время работы этого алгоритма и докажите его корректность.
Разработайте эффективный алгоритм, позволяющий решить задачу о независимом множестве, если граф G — двудольный. Проанализируйте время работы этого алгоритма и докажите его корректность. (Указание: воспользуйтесь результатами, полученными в разделе 26.3.)
34-2. Бонни и Клайд
Бонни и Клайд только что ограбили банк. У них есть мешок денег, который нужно разделить. В каждом из описанных ниже сценариев требуется либо сформулировать алгоритм с полиномиальным временем работы, либо доказать, что задача NP-полная. В каждом случае в качестве входных данных выступает список, состоящий из п содержащихся в мешке элементов, а также стоимость каждого из них.
В мешке п монет двух различных номинаций: одни монеты стоят х долларов, а другие — у долларов. Деньги следует разделить поровну.
Имеется п монет произвольного количества различных номиналов, но при этом каждый номинал является неотрицательной целой степенью двойки, т.е. возможны такие номиналы: 1 доллар, 2 доллара, 4 доллара и т.д. Деньги следует разделить поровну.
Имеется п чеков, по невероятному совпадению выписанных на имя “Бонни или Клайд”. Нужно разделить чеки таким образом, чтобы по ним можно было получить одинаковые суммы.
Как и в случае в, имеется п чеков, но на этот раз допускается расхождение в суммах, которое не должно превышать 100 долларов.
34-3. Раскраска графов
Если задан неориентированный граф G = (V, Е), то его к-раскраши- ванием (к-coloring) называется функция с : V —> {1,2,...,/с), такая что с (и) / с (и) для каждого ребра (и, и) е Е. Другими словами, числа 1,2,..., к представляют к цветов, и смежные вершины должны быть разного цвета. Задача о раскрашивании графов (graph-coloring problem) заключается в том, чтобы определить минимальное количество цветов, необходимых для раскрашивания заданного графа.
Сформулируйте эффективный алгоритм 2-раскрашивания графа, если такое раскрашивание возможно.
Переформулируйте задачу о раскрашивании графов в виде задачи принятия решения. Покажите, что эта задача разрешима в течение полиномиального времени тогда и толью тогда, когда задача о раскрашивании графов разрешима в течение полиномиального времени.
Пусть язык 3-COLOR представляет собой множество графов, для которых возможно 3-раскрашивание. Покажите, что если задача 3-Color — NP-полная, то задача принятия решения из части б тоже NP-полная.
Чтобы доказать NP-полноту задачи З-COLOR, воспользуемся приведением к этой задаче задачи 3-CNF_Sat. Для заданной формулы ф, содержащей т выражений в скобках и п переменных xi, хг,..., хп конструируется граф G = (V, Е) описанным ниже способом. Множество V содержит по одной вершине для каждой переменной, по одной вершине для каждого отрицания переменной, по 5 вершин для каждого подвыражения в скобках и 3 специальных вершины: true, false и red. Ребра в этом графе могут быть двух типов: “литеральные” ребра, которые не зависят от подвыражений в скобках, и “дизъюнктивные” ребра, которые от них зависят. Литеральные ребра образуют треугольник на специальных вершинах, а также образуют треугольник на вершинах xt, ->х< и RED для г = 1,2,..., п.
Докажите, что при любом 3-раскрашивании с графа, состоящего из литеральных ребер, из каждой пары вершин Хг, ~>Xi одна окрашена
Рис. 34.18. Структурный элемент, который соответствует подвыражению (ж V t/V z), использующийся в задаче 34-3
как с (True), а другая — как с (False). Покажите, что для любого набора значений функции ф существует 3-раскрашивание графа, содержащего только литеральные ребра.
Дизъюнктивные ребра нужны для того, чтобы наложить на 3-раскрашивание условия, соответствующие истинности дизъюнкций, составляющих формулу ф. Структурный элемент, показанный на рис. 34.18, соответствует подвыражению (ж V у V z). Структурный элемент, соответствующий каждому подвыражению, состоит из трех вершин для входящих в него литералов, пяти вспомогательных вершин (на рисунке они выделены темным цветом), соединенных с входящими в выражение литералами, и с особой вершиной true, как показано на рисунке.
Докажите, что если каждая из вершин ж, у и z окрашена в один из двух цветов — с (True) или с (False), — то для изображенного на рисунке структурного элемента правильное 3-раскрашивание возможно тогда и только тогда, когда цвет хотя бы одной из вершин х, у и z — с (True).
Завершите доказательство NP-полноты задачи 3-COLOR.
34-4. Расписание с прибылью и сроками выполнения
Предположим, что имеется одна вычислительная машина и п заданий ai, 02,..., ап. Каждое задание aj характеризуется временем выполнения tj, прибылью pj и конечным сроком выполнения dj. В каждый момент времени машина может обрабатывать только одно задание, причем задание aj после запуска должно без прерываний выполняться в течение времени tj. Если задание aj будет выполнено до наступления конечного срока его выполнения dj, то будет получена прибыль pj, но если конечный срок выполнения будет упущен, то и прибыли не будет. Сформулируем такую задачу оптимизации: пусть для множества п заданий
известны время обработки, прибыль и время выполнения; требуется составить расписание таким образом, чтобы были выполнены все задания и общая сумма прибыли была максимальной.
Сформулируйте эту задачу в виде задачи принятия решения.
Покажите, что эта задача принятия решения NP-полная.
Сформулируйте алгоритм с полиномиальным временем работы, позволяющий решить задачу принятия решения в предположении, что все времена выполнения выражаются целыми числами от 1 до тг. (Указание: воспользуйтесь методами динамического программирования.)
Сформулируйте алгоритм с полиномиальным временем работы, позволяющий решить задачу оптимизации в предположении, что все времена выполнения выражаются целыми числами от 1 до тг.
Заключительные замечания
Книга Гарея (Garey) и Джонсона (Johnson) [110] является замечательным учебником по вопросам NP-полноты; в ней подробно обсуждается эта теория и описываются многие задачи, NP-полнота которых была доказана до 1979 года. Из этой книги позаимствовано доказательство теоремы 34.13, а список NP-полных задач, описанных в разделе 34.5, взят из содержания этой книги. В период 1981-1992 гг. Джонсон написал серию из 23 статей в Journal of Algorithms, рассказывая о новых достижениях в исследованиях NP-полноты. В книгах Хопкрофта (Hopcroft), Мотвани (Motwani) и Ульмана (Ullman) [153], Льюиса (Lewis) и Пападимитриу (Papadimitriou) [204], Пападимитриу [236] и Сипсера (Sipser) [279] проблема NP- полноты удачно трактуется в контексте теории сложности. В книге Ахо (Aho), Хопкрофта и Ульмана [5] также описывается NP-полнота и приводятся примеры приведений, в том числе приведение задачи о гамильтоновом цикле к задаче о вершинном покрытии.
Класс Р был введен в 1964 году Кобхемом (Cobham) [64] и независимо в 1965 году Эдмондсом (Edmonds) [84], который ввел также класс NP и выдвинул гипотезу, что Р / NP. Понятие NP-полноты впервые было предложено Куком (Cook) [67] в 1971 году. Кук представил первое доказательство NP-полноты задач о выполнимости формул и 3-CNF выполнимости. Левин (Levin) [203] независимо пришел к этому понятию; он доказал NP-полноту задачи о мозаике. Карп (Karp) [173] в 1972 году предложил методику приведения и продемонстрировал богатое разнообразие NP-полных задач. В статье Крапа впервые доказывается NP-полнота задач о клике, о вершинном покрытии и о гамильтоновом цикле. С тех пор многими исследователями была доказана NP-полнота сотен задач. В 1995 году
на заседании, посвященном 60-летию Карпа, Пападимитриу в своем докладе заметил: “... каждый год выходит около 6000 статей, в заголовке, аннотации или списке ключевых слов которых содержится термин ‘NP-полный’. Он встречается чаще, чем термины ‘компилятор’, ‘база данных’, ‘экспертная система’, ‘нейронная сеть’ или ‘операционная система’”.
Недавняя работа по теории сложности пролила свет на вопрос о сложности приближенных компьютерных вычислений. В ней приводится новое определение класса NP с помощью “вероятностно проверяемых доказательств”. В этом определении подразумевается, что для таких задач, как задача о клике, о вершинном покрытии, задача о коммивояжере, в которой выполняется неравенство треугольника, и многих других получение хорошего приближенного решения является NP- сложным, поэтому оно не легче, чем получение оптимальных решений. Введение в эту область можно найти в диссертации Ароры (Arora) [19], в главе Ароры и Лунда (Lund) в [149], в обзорной статье Ароры [20], в книге под редакцией Мэйра (Mayr), Промеля (Promel) и Стиджера (Steger) [214], а также в обзорной статье Джонсона [167].
ГЛАВА 35
Приближенные алгоритмы
Многие задачи, представляющие практический интерес, являются NP-полными. Однако они слишком важны, чтобы отказаться от их решения лишь на том основании, что получить их оптимальное решение трудно. Если задача NP-полная, мало шансов найти алгоритм с полиномиальным временем работы, позволяющий найти ее точное решение. Несмотря на это надежда на точное решение остается. Во-первых, если объем входных данных небольшой, алгоритм, время работы которого выражается показательной функцией, вполне может подойти. Во-вторых, иногда удается выделить важные частные случаи, разрешимые в течение полиномиального времени. В-третьих, остается возможность найти в течение полиномиального времени решение, близкое к оптимальному (в наихудшем либо в среднем случае). На практике такие решения часто являются достаточно хорошими. Алгоритм, возвращающий решения, близкие к оптимальным, называется приближенным алгоритмом (approximation algorithm). В этой главе описаны приближенные алгоритмы с полиномиальным временем выполнения, предназначенные для решения некоторых NP-полных задач.
Оценка качества приближенных алгоритмов
Предположим, мы занимаемся задачей оптимизации, каждому из возможных решений которой сопоставляется положительная стоимость, и требуется найти решение, близкое к оптимальному. В зависимости от задачи, оптимальное решение можно определить либо как такое, которому соответствует максимально возможная стоимость, или такое, которому соответствует минимально возможная стоимость; другими словами, это может быть либо задача максимизации, либо задача минимизации.
Говорят, что алгоритм решения задачи обладает отношением, или коэффициентом аппроксимации (приближения) (approximation ratio) р(п), если для произвольных входных данных размера п стоимость С решения, полученного в результате выполнения этого алгоритма, отличается от стоимости С* оптимального решения не более чем в р (п) раз:
шахшахС С*\С*’ С )С С*\С*’ С )^ р(пУ^ р(пУ(35.1)(35.1)
шах
шах
С С*\С*’ С )
С С*\С*’ С )
^ р(пУ
^ р(пУ
(35.1)
(35.1)
Алгоритм, в котором достигается коэффициент аппроксимации р (п), будем называть р (п)-приближенным алгоритмом (р (n)-approximation algorithm). Определения коэффициента аппроксимации и р (п)-приближенного алгоритма применимы и к задачам минимизации, и к задачам максимизации. Для задач максимизации выполняется неравенство 0 < С < С*, и отношение С*(С равно величине, на которую стоимость оптимального решения больше стоимости приближенного решения. Аналогично, для задач минимизации выполняется неравенство 0 < С* ^ С, и отношение С(С* дает значение, во сколько раз стоимость приближенного решения больше стоимости оптимального решения. Поскольку предполагается, что стоимости всех решений положительные, эти коэффициенты вполне определены. Коэффициент аппроксимации приближенного алгоритма не может быть меньше 1, поскольку из неравенства С (С* < 1 следует неравенство С* )С > 1. Таким образом, 1-приближенный алгоритм* выдает оптимальное решение, а приближенный алгоритм с большим отношением аппроксимации может возвратить решение, которое намного хуже оптимального.
Для ряда задач разработаны приближенные алгоритмы с полиномиальным временем работы и малыми постоянными отношениями аппроксимации. Есть также задачи, для которых лучшие из известных приближенных алгоритмов с полиномиальным временем работы характеризуются коэффициентами аппроксимации, величина которых возрастает с ростом размера входных данных п. Примером такой задачи является задача о покрытии множества, представленная в разделе 35.3.
Некоторые NP-полные задачи допускают наличие приближенных алгоритмов с полиномиальным временем работы, коэффициент аппроксимации которых можно уменьшать за счет увеличения времени их работы. Другими словами, в них допускается компромисс между временем вычисления и качеством приближения. В качестве примера можно привести задачу о сумме подмножества, которая исследуется в разделе 35.5. Эта ситуация достаточно важна и заслуживает собственного имени.
Схема аппроксимации (approximation scheme) задачи оптимизации — это приближенный алгоритм, входные данные которого включают в себя не только пара-
Если коэффициент аппроксимации не зависит от п, мы используем термины “отношение аппроксимации р" и “р-приближенный алгоритм”, указывающие на отсутствие зависимости от п.
метры экземпляра задачи, но и такое значение е > О, что для любого фиксированного значения е эта схема является (1 + е)-приближенным алгоритмом. Схему аппроксимации называют схемой аппроксимации с полиномиальным временем выполнения (polynomial-time approximation scheme), если для любого фиксированного значения е > О работа этой схемы завершается в течение времени, выраженного полиномиальной функцией от размера п входных данных.
Время работы схемы аппроксимации с полиномиальным временем вычисления может очень быстро возрастать при уменьшении величины е. Например, это время может вести себя как О (п2^). В идеале, если величина е уменьшается на постоянный множитель, время, необходимое для достижения нужного приближения, не должно возрастать больше, чем на постоянный множитель. Другими словами, хотелось бы, чтобы время работы схемы выражалось полиномиальной функцией от величин 1/е и п.
Говорят, что схема аппроксимации является схемой аппроксимации с полностью полиномиальным временем работы (fully polynomial-time approximation scheme), если время ее работы выражается полиномом от 1/е и размера входных данных задачи п. Например, время работы такой схемы может вести себя как О ((1/е)2 п3). В такой схеме любого уменьшения величины е на постоянный множитель можно добиться за счет увеличения времени работы на соответствующий постоянный множитель.
Краткое содержание главы
В первых четырех разделах этой главы приведены некоторые примеры приближенных алгоритмов с полиномиальным временем работы, позволяющие получать приближенные решения NP-полных задач. В пятом разделе представлена схема аппроксимации с полностью полиномиальным временем работы. Начало раздела 35.1 посвящено исследованию задачи о вершинном покрытии, которая относится к классу NP-полных задач минимизации. Для этой задачи существует приближенный алгоритм, характеризующийся коэффициентом аппроксимации 2. В разделе 35.2 представлен приближенный алгоритм с коэффициентом аппроксимации 2, предназначенный для решения частного случая задачи коммивояжера, когда функция стоимости удовлетворяет неравенству треугольника. Также показано, что если неравенство треугольника не соблюдается, то для любой константы р ^ 1 р-приближенного алгоритма не существует, если не выполняется условие Р = NP. В разделе 35.3 показано, как использовать жадный метод в качестве эффективного приближенного алгоритма для решения задачи о покрытии множества. При этом возвращается покрытие, стоимость которого в наихудшем случае превышает оптимальную на множитель, выражающийся логарифмической функцией. В разделе 35.4 представлены еще два приближенного алгоритма. В первом из них исследуется оптимизирующая версия задачи о 3-CNF выполнимости
и приводится простой рандомизированный алгоритм, который выдает решение, характеризующееся математическим ожиданием коэффициента аппроксимации, равным 8/7. Затем изучается взвешенный вариант задачи о вершинном покрытии и описывается, как с помощью методов линейного программирования разработать 2-приближенный алгоритм. Наконец, в разделе 35.5 представлена схема аппроксимации с полностью полиномиальным временем выполнения, предназначенная для решения задачи о сумме подмножеств.
Задача о вершинном покрытии
Задача о вершинном покрытии определена в разделе 34.5.2. В этом же разделе доказано, что эта задача является NP-полной. Вершинное покрытие (vertex cover) неориентированного графа G = (V, Е) — это такое подмножество V* С V, что если (и, и) — ребро графа G, то либо u € V, либо v € V (могут выполняться и оба эти соотношения). Размером вершинного покрытия называется количество содержащихся в нем вершин.
Задача о вершинном покрытии (vertex-cover problem) состоит в том, чтобы найти для заданного неориентированного графа вершинное покрытие минимального размера. Назовем такое вершинное покрытие оптимальным вершинным покрытием (optimal vertex cover). Эта задача представляет собой оптимизирующую версию NP-полной задачи принятия решений.
Несмотря на то, что найти оптимальное вершинное покрытие графа G может оказаться трудно, не так сложно найти вершинное покрытие, близкое к оптимальному. Приведенный ниже приближенный алгоритм принимает в качестве входных данных параметры неориентированного графа G и возвращает вершинное покрытие, размер которого превышает размер оптимального вершинного покрытия не более чем в два раза.
Approx_Vertex_Cover(G)
С^Ф
Е'^ВД
while Е' 0
do Пусть (и, и) — произвольное ребро из множества Е*
С «— С U {и, и}
Удаляем из множества Е' все ребра, инцидентные
вершинам и или и
return С
Рассмотрим работу алгоритма Approx_Vertex_Cover. Как уже было сказано, вершинное покрытие, которое конструируется, содержится в переменной С. В строке 1 переменная С инициализируется пустым множеством. В строке 2
Рис. 35.1. Работа алгоритма Approx_Vertex_COVERРис. 35.1. Работа алгоритма Approx_Vertex_COVER
Рис. 35.1. Работа алгоритма Approx_Vertex_COVER
Рис. 35.1. Работа алгоритма Approx_Vertex_COVER
создается множество Е1, представляющее собой копию множества ребер графа Е [G]. Цикл в строках 3-6 выбирает из множества Е' ребро (и, и), добавляет его конечные точки и и и в множество С и удаляет из множества Е* все ребра, которые покрываются вершиной и или вершиной и. Если для представления множества Е* используются списки смежных вершин, время выполнения этого алгоритма равно O(V + E\
Работа алгоритма Approx_Vertex_Cover проиллюстрирована на рис. 35.1. В части а рисунка изображен граф G, содержащий 7 вершин и 8 ребер. В части б ребро (6, с), выделенное серым цветом, — первое по счету ребро, выбранное алгоритмом Approx_Vertex_Cover. Вершины b и с, показанные светло-серой штриховкой, добавляются в множество С, в котором содержится создаваемое вершинное покрытие. Показанные пунктиром ребра (а, 6), (с, е) и (с, d) удаляются, поскольку они уже покрыты вершинами из множества С. В части в рисунка выбрано ребро (е, /), а вершины ей/ добавляются в множество С. В части г выбрано ребро (d,g), а вершины d и д добавляются в множество С. В части д показано множество С, которое представляет собой вершинное покрытие, полученное в результате выполнения алгоритма Approx_Vertex_Cover. Как видно из рисунка, оно состоит из шести вершин: b, с, d, е, f, д. В части е рисунка показано оптимальное вершинное покрытие для рассмотренного экземпляра задачи. Оно состоит всего из трех вершин: b, d и е.
Теорема 35.1. Алгоритм Approx_Vertex_Cover является 2-приближенным алгоритмом с полиномиальным временем работы.
Доказательство. Мы уже показали, что время работы алгоритма Approx_ VERTEX_COVER выражается полиномиальной функцией.
Множество вершин С, которое возвращается алгоритмом APPROX_VERTEX_ Cover, является вершинным покрытием, поскольку алгоритм не выходит из цикла, пока каждое ребро Е [G] не будет покрыто некоторой вершиной из множества С.
Чтобы показать, что рассматриваемый алгоритм возвращает вершинное покрытие, размер которого превышает размер оптимального вершинного покрытия не более чем в два раза, обозначим через А множество ребер, выбранных в строке 4 алгоритма Approx_Vertex_Cover. Чтобы покрыть ребра множества А, каждое вершинное покрытие, в том числе и оптимальное покрытие С*, должно содержать хотя бы одну конечную точку каждого ребра из множества А. Никакие два ребра из этого множества не имеют общих конечных точек, поскольку после того, как ребро выбирается в строке 4, все другие ребра с такими же конечными точками удаляются из множества Е' в строке 6. Таким образом, никакие два ребра из множества А не покрываются одной и той же вершиной из множества С*, из чего следует, что нижняя граница размера оптимального вершинного покрытия равна
|С*|>И1-(35.2)
При каждом выполнении строки 4 выбирается ребро, ни одна из конечных точек которого пока еще не вошла в множество С. Это позволяет оценить сверху (фактически указать точную верхнюю границу) размера возвращаемого вершинного покрытия:
|С| = 2|А|.(35.3)
Сопоставляя уравнения (35.2) и (35.3), получаем
|С| = 2|А|^2|С*|,
что и доказывает теорему.ц
Еще раз вернемся к приведенному выше доказательству. На первый взгляд может показаться удивительным, как можно доказать, что размер вершинного покрытия, возвращенного процедурой Approx_Vertex_Cover, не более чем в два раза превышает размер оптимального вершинного покрытия, если не известно, чему равен размер оптимального вершинного покрытия. Это становится возможным благодаря использованию нижней границы оптимального вершинного покрытия. Как предлагается показать в упражнении 35.1-2, множество А, состоящее из ребер, выбранных в строке 4 процедуры Approx_Vertex_Cover, фактически является
максимальным паросочетанием вершин в графе G. (Максимальное паросочетание (maximal matching) — это паросочетание, которое не является собственным подмножеством какого-нибудь другого паросочетания.) Как было показано при доказательстве теоремы 35.1, размер максимального паросочетания равен нижней границе размера оптимального вершинного покрытия. Алгоритм возвращает вершинное покрытие, размер которого не более чем в два раза превышает размер максимального паросочетания множества А. Составив отношение размера возвращаемого решения к полученной нижней границе, находим коэффициент аппроксимации. Эта методика будет использоваться и в следующих разделах.
Упражнения
1. Приведите пример графа, для которого процедура Approx_Vertex_ Cover всегда возвращает неоптимальное решение.
2. Обозначим через А множество ребер, выбранных в строке 4 процедуры Approx_Vertex_Cover. Докажите, что множество А — максимальное паросочетание в графе G.
*35.1-3. Профессор предложил такую эвристическую схему решения задачи о вершинном покрытии. Одна за другой выбираются вершины с максимальной степенью, и для каждой из них удаляются все инцидентные ребра. Приведите пример, демонстрирующий, что коэффициент аппроксимации, предложенной профессором, превышает 2. (Указание: попытайтесь построить двудольный граф, вершины в левой части которого имеют одинаковые степени, а вершины в правой части — разные степени.)
4. Сформулируйте эффективный жадный алгоритм, позволяющий найти оптимальное вершинное покрытие дерева в течение линейного времени.
5. Из доказательства теоремы 34.12 известно, что задача о вершинном покрытии и NP-полная задача о клике являются взаимодополняющими в том смысле, что оптимальное вершинное покрытие — это дополнение к клику максимального размера в дополняющем графе. Следует ли из этого, что для задачи о клике существует приближенный алгоритм с полиномиальным временем решения, обладающий постоянным коэффициентом аппроксимации? Обоснуйте ваш ответ.
Задача о коммивояжере
Обратимся к задаче о коммивояжере, представленной в разделе 34.5.4. В этой задаче задается полный неориентированный граф G = (V, Е), каждому из ребер (u, и) € Е которого сопоставляется неотрицательная целочисленная стоимость с (и, и), и необходимо найти гамильтонов цикл (тур) минимальной стоимости
графа G. Введем дополнительное обозначение с (Л) — полную стоимость всех ребер подмножества А С Е;
^и^ЕА
Во многих практических ситуациях наиболее дешевый переход из места и в место w — всегда по прямой, так что если по пути зайти в какой-нибудь промежуточный путь v, это не может привести к уменьшению стоимости. Выражаясь другими словами, если срезать путь, пропустив какой-нибудь промежуточный пункт, — это никогда не станет причиной увеличения стоимости. Формализуем это понятие, выдвинув утверждение, что функция стоимости с удовлетворяет неравенству треугольника (triangle inequality), если для всех вершин и, и, w € V
с (и, w) ^ с (и, и) + с (v, w).
Неравенство треугольника имеет естественный характер и автоматически удовлетворяется во многих приложениях. Например, если вершины графа — точки на плоскости, и стоимость перехода от одной вершины к другой выражается обычным евклидовым расстоянием между ними, то неравенство треугольника выполняется. (Кроме евклидового расстояния существует множество других функций стоимости, удовлетворяющих неравенству треугольника.)
Как видно из упражнения 35.2-2, задача о коммивояжере является NP-полной даже в том случае, если потребовать, чтобы функция стоимости удовлетворяла неравенству треугольника. Таким образом, мало надежд найти алгоритм с полиномиальным временем работы, позволяющий получить точное решение этой задачи. Поэтому есть смысл заняться поиском хороших приближенных алгоритмов.
В разделе 35.2.1 исследуется 2-приближенный алгоритм, позволяющий решить задачу о коммивояжере, в которой выполняется неравенство треугольника. В разделе 35.2.2 будет показано, что без соблюдения неравенства треугольника приближенный алгоритм с полиномиальным временем работы, характеризующийся постоянным коэффициентом аппроксимации, не существует, если только не справедливо соотношение Р = NP.
Задача о коммивояжере с неравенством треугольника
Воспользовавшись методикой предыдущего раздела, сначала вычислим минимальное остовное дерево, вес которого является нижней границей длины оптимального тура коммивояжера. Затем с помощью этого минимального остовного дерева создадим тур, стоимость которого не более чем в два раза превышает вес этого дерева при условии, что функция стоимости удовлетворяет неравенству
треугольника. Этот подход реализован в приведенном ниже алгоритме, в котором используется алгоритм построения минимального остовного дерева MST_Prim, описанный в разделе 23.2.
Approx_TSP_Tour(G, с)
Выбирается вершина г € V[G] которая будет “корневой”
Из корня г с помощью алгоритма MST-Prim(G, с, г) строится минимальное остовное дерево Т для графа G
Пусть L — список вершин, которые посещаются при обходе вершин дерева Т в прямом порядке
return Гамильтонов цикл Н, который посещает вершины в порядке перечисления в списке L
Напомним, что при прямом обходе дерева рекурсивно посещаются все его вершины (см. раздел 12.1), причем вершина заносится в список при первом посещении, до посещения ее дочерних вершин.
Работа процедуры Approx_TSP_TOUR проиллюстрирована на рис. 35.2. В части а рисунка показано заданное множество точек, расположенных в вершинах целочисленной решетки. Например, точка / находится на один шаг правее и на два шага выше от точки h. В качестве функции стоимости между двумя точками используется обычное евклидово расстояние. В части б рисунка изображено полученное в результате выполнения алгоритма MST_Prim минимальное остовное дерево Т, берущее свое начало в корневой вершине а. Вершинам присвоены метки таким образом, что они добавляются алгоритмом MST_Prim в основное дерево в алфавитном порядке. В части в показан порядок посещения вершин при прямом обходе дерева Г, начиная с вершины а. При полном обходе дерева вершины посещаются в порядке a, b, с, b, h, b, a, d, е, /, е, д, е, d, а. При прямом обходе дерева Т составляется список вершин, посещенных впервые (на рисунке возле каждой такой вершины поставлена точка). Полученный в результате список имеет вид a, b, с, h, d, е, /, д. В части г рисунка представлен тур Н, возвращенный алгоритмом Approx_TSP_Tour. Его полная стоимость составляет приблизительно 19.074. В части д рисунка изображен оптимальный тур Н*, длина которого примерно на 23% меньше (она приблизительно равна 14.715).
Согласно результатам упражнения 23.2-2, даже при простой реализации алгоритма MST_Prim время работы алгоритма Approx_TSP_Tour равно в (V2). Теперь покажем, что если функция стоимости в экземпляре задачи коммивояжера удовлетворяет неравенству треугольника, то алгоритм Approx_TSP_Tour возвращает тур, стоимость которого не более чем в два раза превышает стоимость оптимального тура.
Теорема 35.2. Алгоритм Approx_TSP_Tour является 2-приближенным алгоритмом с полиномиальным временем работы, позволяющим решить задачу коммивояжера, в которой удовлетворяется неравенство треугольника.
Доказательство. Ранее уже было показано, что время работы алгоритма Ар- PROX_TSP_TOUR выражается полиномиальной функцией.
Обозначим через Н* тур, который является оптимальным для данного множества вершин. Поскольку путем удаления из этого тура одного ребра получается остовное дерево, вес минимального остовного дерева Т равен нижней границе стоимости оптимального тура, т.е. выполняется неравенство
с^ ^с^Н*).(35.4)
При полном обходе (full walk) дерева Т составляется список вершин, которые посещаются впервые, если к ним происходит возврат после посещения поддерева. Обозначим этот обход через W. При полном обходе в рассматриваемом примере вершины посещаются в следующем порядке:
о, 6, с, 6, /i, 6,6i, d^ е, ^, е, ^, е, d^ cl.
Поскольку при полном обходе каждое ребро дерева Т проходится ровно по два раза, естественным образом обобщив определение стоимости с на множества,
в которых ребра встречаются по несколько раз, получаем равенство
с (W) = 2с (Т).(35.5)
Из соотношений (35.4) и (35.5) следует неравенство
c(W) ^2с(Я*).(35.6)
Таким образом, стоимость обхода W превышает стоимость оптимального тура не более чем в два раза.
К сожалению, обход W в общем случае не является туром, поскольку он посещает некоторые вершины более одного раза. Однако, согласно неравенству треугольника, посещение любой из вершин в обходе W можно отменить, и при этом стоимость не возрастет. (Если из маршрута W удалить вершину и, которая посещается в этом маршруте на пути от вершины и к вершине w, то в полученном в результате такой операции упорядоченном списке вершин будет определяться переход непосредственно от вершины и к вершине w.) Путем неоднократного выполнения этой операции из обхода W можно исключить все посещения каждой вершины, кроме первого. В рассматриваемом примере упорядоченный список вершин принимает вид
^) ^> ^i ^i ^i ^i /i 9*
Этот порядок совпадает с тем, который получается при прямом обходе дерева Т. Пусть Н — цикл, соответствующий данному прямому обходу. Это гамильтонов цикл, так как каждая вершина посещается по одному разу. Именно этот цикл составляется алгоритмом Approx_TSP_Tour. Поскольку цикл Н получается путем удаления вершин из полного обхода W, выполняется неравенство
с(Я)^с(№).(35.7)
Сопоставляя неравенства (35.6) и (35.7), получаем соотношение с (Я) ^ 2с (Я*), что и завершает доказательство теоремы.а
Несмотря на то, что теорема 35.2 позволяет добиться неплохого коэффициента аппроксимации, обычно на практике алгоритм Approx_TSP_Tour — не лучший выбор для решения этой задачи. Существует другой приближенный алгоритм, который обычно дает намного лучшие практические результаты (см. ссылки в конце этой главы).
35.2.2 Общая задача о коммивояжере
Если опустить предположение о том, что функция стоимости с удовлетворяет неравенству треугольника, то нельзя найти туры с хорошим приближением за полиномиальное время, если не выполняется условие Р = NP.
Теорема 35.3. Если Р / NP, то для любой константы р > 1 не существует приближенного алгоритма с полиномиальным временем работы и коэффициентом аппроксимации р, позволяющего решить задачу о коммивояжере в общем виде.
Доказательство. Докажем теорему методом “от противного”. Предположим, что для некоторого числа р > 1 существует приближенный алгоритм А с полиномиальным временем работы и коэффициентом аппроксимации р. Без потери общности предположим, что число р — целое, округлив его при необходимости. Затем покажем, как с помощью алгоритма А можно решать экземпляры задачи о гамильтоновом цикле (определенной в разделе 34.2) в течение полиномиального времени. Поскольку задача о гамильтоновом цикле NP-полная, согласно теореме 34.13, из ее разрешимости в течение полиномиального времени и теоремы 34.4 следует равенство Р = NP.
Пусть G = (V, Е) — экземпляр задачи о гамильтоновом цикле. Необходим эффективный способ, позволяющий с помощью гипотетического приближенного алгоритма А определить, содержит ли граф G гамильтонов цикл. Преобразуем граф G в экземпляр задачи о коммивояжере. Пусть G' = (V,E') — полный граф на множестве У, т.е.
Е' = {(и, и) : и, v 6 V и и / и} .
с (и, и) =с (и, и) ='1\рИ + 1'1\рИ + 1Назначим каждому ребру из множества Е* целочисленную стоимость
с (и, и) =
с (и, и) =
'1
\рИ + 1
'1
\рИ + 1
если (и, v) G Е, в противном случае.
Представление графа G' и функции с можно получить из представления графа G в течение времени, являющегося полиномиальной функцией от величин |У| и |Е|.
Теперь рассмотрим задачу о коммивояжере (G\cY Если исходный граф G содержит гамильтонов цикл Н, то функция стоимости с сопоставляет каждому ребру цикла Н единичную стоимость, а значит, экземпляр (G\ с) содержит тур стоимостью |V|. С другой стороны, если граф G не содержит гамильтоновою цикла, то в любом туре по графу G' должно использоваться некоторое ребро, отсутствующее в множестве Е. Однако стоимость любого тура, в котором используется ребро, не содержащееся в множестве Е, не меньше величины
(p|V| + l) + (imi) = />im|V|>p|V|.
Из-за большой стоимости ребер, отсутствующих в графе G, между стоимостью тура, который представляет собой гамильтонов цикл в графе G (она равна |V|), и стоимостью любого другого тура (его величина не меньше р |V| + |V|) существует интервал, величина которого не меньше р |V|.
Что произойдет, если применить к задаче о коммивояжере (О', с) алгоритм Л? Поскольку этот алгоритм гарантированно возвращает тур, стоимость которого не более чем в р раз превышает стоимость оптимального тура, если граф G содержит гамильтонов цикл, алгоритм А должен его возвратить. Если же граф G не содержит гамильтоновых циклов, то алгоритм А возвращает тур, стоимость которого превышает величину р|У|. Поэтому с помощью алгоритма А задачу о гамильтоновом цикле можно решить в течение полиномиального времени. j
Доказательство теоремы 35.3 — это пример общей методики доказательства того, что задачу нельзя хорошо аппроксимировать. Предположим, что заданной NP-сложной задаче X в течение полиномиального времени можно сопоставить такую задачу минимизации У, что “да”-экземпляры задачи X будут соответствовать экземплярам задачи У, стоимость которых не превышает к (где к — некоторая фиксированная величина), а “нет”-экземпляры задачи X будут соответствовать экземплярам задачи У, стоимость которых превышает рк. Затем нужно показать, что если не выполняется равенство Р = NP, то не существует р-приближенного алгоритма с полиномиальным временем работы, позволяющего решить задачу У.
Упражнения
1. Предположим, что полный неориентированный граф G = (У, Е\ содержащий не менее трех вершин, характеризуется функцией стоимости с, удовлетворяющей неравенству треугольника. Докажите, что для всех и, v € V выполняется неравенство с (и, и) > 0.
2. Покажите, как в течение полиномиального времени один экземпляр задачи о коммивояжере можно преобразовать в другой экземпляр, функция стоимости которого удовлетворяет неравенству треугольника. Оба экземпляра должны содержать одно и то же множество оптимальных туров. Объясните, почему такое полиномиально-временное преобразование не противоречит теореме 35.3, предполагая, что Р / NP.
3. Рассмотрим описанный ниже эвристический метод ближайшей точки (closest-point heuristic), позволяющий создавать приближенные туры в задаче о коммивояжере, функция стоимости которой удовлетворяет неравенству треугольника. Начнем построение с тривиального цикла, состоящего из одной произвольным образом выбранной вершины. На каждом этапе идентифицируется вершина и, не принадлежащая циклу, причем такая, расстояние от которой до цикла является минимальным. Предположим, что ближе всех к вершине и в цикле расположена вершина и. Цикл расширяется за счет включения в него вершины и сразу после вершины и. Описанные действия повторяются до тех пор, пока в цикл
не будут включены все вершины. Докажите, что этот эвристический метод возвращает тур, полная стоимость которого не более чем в два раза превышает полную стоимость оптимального тура.
4. Задача о коммивояжере с устранением узких мест (bottleneck travelling-salesman problem) — это задача поиска такого гамильтоновою цикла, для которого минимизируется стоимость самого дорогостоящего входящего в этот цикл ребра. Предполагая, что функция стоимости удовлетворяет неравенству треугольника, покажите, что для этой задачи существует приближенный алгоритм с полиномиальным временем работы, коэффициент аппроксимации которого равен 3. (Указание: воспользовавшись рекурсией, покажите, что все узлы остовного дерева с узкими местами можно обойти ровно по одному разу, взяв полный обход дерева с пропусками узлов, если ограничить пропуски таким образом, чтобы не пропускать более двух последовательных промежуточных узлов (см. упражнение 23.-3). Покажите, что стоимость самого дорогостоящего ребра в остовном дереве с узкими местами не превышает стоимости самого дорогостоящего ребра в гамильтоновом цикле с узкими местами.)
5. Предположим, что вершины экземпляра задачи о коммивояжере расположены на плоскости, и что стоимость с (и, и) равна евклидовому расстоянию между точками иии. Покажите, что в оптимальном туре никогда не будет самопересечений.
Задача о покрытии множества
Задача о покрытии множества — это задача оптимизации, моделирующая многие задачи выбора ресурсов (resource-selection problems). Соответствующая ей задача принятия решения является обобщением NP-полной задачи о вершинном покрытии, следовательно, она — NP-сложная. Однако приближенный алгоритм, разработанный для задачи о вершинном покрытии, здесь неприменим, поэтому следует попытаться поискать другие подходы. Исследуем простой эвристический жадный метод, коэффициент аппроксимации которого выражается логарифмической функцией. Другими словами, по мере того как растет размер экземпляра задачи, размер приближенного решения тоже может возрастать относительно размера оптимального решения. Однако, так как логарифмическая функция возрастает достаточно медленно, этот приближенный алгоритм может тем не менее давать полезные результаты.
Экземпляр (X, ^) задачи о покрытии множества (set-covering problem) состоит из конечного множества X и такого семейства Г подмножеств множества X, что каждый элемент множества X принадлежит хотя бы одному подмножеству
Рис. 35.3. Экземпляр (X, F^ задачи о покрытии множества, в котором множество X состоит из 12 черных точек, а F = {Si, S^ S3, S4, S5, Se}
из семейства F:
х= Us.
Говорят, что подмножество S 6 Г покрывает (covers) содержащиеся в нем элементы. Задача состоит в том, чтобы найти подмножество С С Т минимального размера, члены которого покрывают все множество X;
X = (J S.(35.8)
SGC
Говорят, что любое семейство С, удовлетворяющее уравнению (35.8), покрывает (covers) множество X. Задача о покрытии множества иллюстрируется на рис. 35.3. Размер семейства С определяется как количество содержащихся в нем подмножеств, а не как суммарное количество отдельных элементов в этих множествах. В примере, проиллюстрированном на рис. 35.3, размер минимального покрытия множества равен 3. Жадный алгоритм возвращает вершинное покрытие, размер которого равен 4, выбирая множества Si, S4, 5s и S3 в том порядке, в котором они здесь перечислены. Покрытие множества минимального размера имеет вид с = {53,54,55}.
Задача о покрытии множества является абстракцией многих часто возникающих комбинаторных задач. В качестве простого примера предположим, что множество X представляет набор знаний, необходимых для решения задачи, над которой работает определенный коллектив сотрудников. Нужно сформировать комитет, состоящий из минимально возможного количества сотрудников, причем такой, что при необходимости любой информации из множества X, оказывается, что в комитете есть сотрудник, обладающий этим знанием. Если преобразовать эту
задачу в задачу принятия решений, то в ней будет спрашиваться, существует ли покрытие, размер которого не превышает к, где к — дополнительный параметр, определенный в экземпляре задачи. Как предлагается показать в задаче 35.3-2, версия этой задачи в форме задачи принятия решений является NP-полной.
Жадный приближенный алгоритм
Жадный метод работает путем выбора на каждом этапе множества S, покрывающего максимальное количество элементов, оставшихся непокрытыми.
Greedy_Set_Cover(X, J7) 1 и ^Х
С «-0
while U / 0
do выбирается подмножество S € Г, максимизирующее величину |S П J7|
U^-U-S
C^CU{S}
return С
Опишем принцип действия алгоритма. На каждом этапе его работы множество U содержит оставшиеся непокрытыми элементы. Множество С содержит покрытие, которое конструируется. Строка 4 — это этап принятия решения в жадном методе. Выбирается подмножество S, покрывающее максимально возможное количество еще непокрытых элементов (с произвольным разрывом связей). После выбора подмножества S его элементы удаляются из множества U, а подмножество S помещается в семейство С. Когда алгоритм завершает свою работу, множество С будет содержать подсемейство семейства Т, покрывающее множество X.
В примере, проиллюстрированном на рис. 35.3, алгоритм Greedy_Set_Cover добавляет в семейство С множества Si, S4, S5 и S3 в порядке перечисления.
Алгоритм Greedy_Set_Cover легко реализовать таким образом, чтобы время его работы выражалось полиномиальной функцией от величин |Х| и |^|. Поскольку количество итераций цикла в строках 3-6 ограничено сверху величиной тт(|Х|, 1^1), а тело цикла можно реализовать таким образом, чтобы его выполнение завершалось в течение времени О (|Х| |^|), существует реализация, завершающая свою работу в течение времени О (|Х| l^l min (|Х|, |^|)). В упражнении 35.3-3 предлагается разработать алгоритм с линейным временем работы.
Анализ
Теперь покажем, что жадный алгоритм возвращает покрытие множества, не слишком сильно превышающее оптимальное покрытие. Для удобства в этой главе
d-e по порядку гармоническое число На = У^_х 1/г (см. раздел АЛ) будет обозначаться как Н (d). В качестве граничного условия введем определение Н (0) = 0.
Теорема 35.4. Алгоритм Greedy_Set_Cover — это р(п)-приближенный алгоритм с полиномиальным временем работы, где р (п) = Н (max {|5| : S 6 ^}).
Доказательство. Уже было показано, что алгоритм Greedy_Set_Cover выполняется в течение полиномиального времени.
Чтобы показать, что Greedy_Set_Cover — это р (п)-приближенный алгоритм, присвоим каждому из выбранных алгоритмом множеств стоимость 1, распределим эту стоимость по всем элементам, покрытым за первый раз, а потом с помощью этих стоимостей получим нужное соотношение между размером оптимального покрытия множества С* и размером покрытия С, возвращенного алгоритмом. Обозначим через Si г-е подмножество, выбранное алгоритмом Greedy_Set_Cover; добавление подмножества Si в множество С приводит к увеличению стоимости на 1. Равномерно распределим стоимость, соответствующую выбору подмножества Si, между элементами, которые впервые покрываются этим подмножеством. Обозначим через сх стоимость, выделенную элементу х Е X. Стоимость выделяется каждому элементу только один раз, когда этот элемент покрывается впервые. Если элемент х первый раз покрывается подмножеством Si, то выполняется равенство
_1
Сх~ |5, — (Si U S2 U • • • U 5,-1)|
На каждом шаге алгоритма присваивается единичная стоимость, поэтому
|С| = £ С„
хЕХ
Стоимость, присвоенная оптимальному покрытию, равна
Sec*xes
и поскольку каждый элемент хеХ принадлежит хотя бы одному множеству SeC*, справедливо соотношение
52 52 е»52 е»-
Sec* xesхех
Объединяя два приведенных выше неравенства, получаем соотношение
ici^ 5252c»-<35-9)
Sec*xes
Оставшаяся часть доказательства основана на приведенном ниже ключевом неравенстве, которое скоро будет доказано. Для любого множества S, принадлежащего семейству Т, выполняется неравенство
52сх^Я(|5|).(35.10)
xes
Из неравенств (35.9) и (35.10) следует соотношение
|С| ^ ^ Я (|5|) ^ |С*| • Я (max {|S| : 5 € Z}), sec*
которое и доказывает теорему.
Осталось доказать неравенство (35.10). Рассмотрим произвольное множество S е Т и индекс г = 1,2,..., |С|, и введем величину
u, = |S — (St U S2 U • • • U S,)|,
которая равна количеству элементов множества S, оставшихся непокрытыми после того, как в алгоритме были выбраны множества Si, S2, • • • > St. Определим величину «о = |S|, равную количеству элементов множества S (которые изначально непокрыты). Пусть к — минимальный индекс, при котором выполняется равенство tz^ = 0, т.е. каждый элемент множества S покрывается хотя бы одним из множеств Si, S2,..., Sk- Тогда Uj_i > гц, и при г = 1,2,..., к Ut-i — гц элементов множества S впервые покрываются множеством Si. Таким образом,
= S' |s.-(sius2u...us,_1)r
Заметим, что
|Si-(Sius2u---uSi_i)| ^ |s-(Sius2u---uSi-i)| = ^_b
поскольку при жадном выборе множества St гарантируется, что множество S не может покрыть больше новых элементов, чем множество St (в противном случае вместо множества St было бы выбрано множество S). Таким образом, мы получаем неравенство
1
Сж (^-1 - ^г)•
Теперь ограничим эту величину следующим образом:
(так как j ^ Ui-i)(так как j ^ Ui-i)
(так как j ^ Ui-i)
(так как j ^ Ui-i)
= УДН(гц-1)-1ЦщУ) = 1=1= Я(«о)-ЯЫ == Я(ио)-Я(О) == Я(и0) == Я(|5|),= УДН(гц-1)-1ЦщУ) = 1=1= Я(«о)-ЯЫ == Я(ио)-Я(О) == Я(и0) == Я(|5|),(поскольку сумма сворачивается)(поскольку Н (0) = 0)(поскольку сумма сворачивается)(поскольку Н (0) = 0)
= УДН(гц-1)-1ЦщУ) = 1=1
= Я(«о)-ЯЫ =
= Я(ио)-Я(О) =
= Я(и0) =
= Я(|5|),
= УДН(гц-1)-1ЦщУ) = 1=1
= Я(«о)-ЯЫ =
= Я(ио)-Я(О) =
= Я(и0) =
= Я(|5|),
(поскольку сумма сворачивается)
(поскольку Н (0) = 0)
(поскольку сумма сворачивается)
(поскольку Н (0) = 0)
UUчто завершает доказательство неравенства (35.10).
U
U
Следствие 35.5. Алгоритм Greedy_Set_Cover является (In |Х| + ^-приближенным алгоритмом с полиномиальным временем работы.
Доказательство. Достаточно воспользоваться неравенством (А. 14) и теоремой 35.4.□
В некоторых приложениях величина max {|S| : S € ^} — это небольшая константа, поэтому решение, которое возвращается алгоритмом Greedy_Set_Cover, больше оптимального на множитель, не превышающий малую константу. Одно из таких приложений — получение с помощью описанного выше эвристического метода приближенного вершинного покрытия графа, степень вершин которого не превышает 3. В этом случае решение, найденное алгоритмом GREEDY_SET_COVER, не более чем в Н (3) = 11/6 раз больше оптимального решения, т.е. оно немного лучше решения, предоставляемого алгоритмом Approx_Vertex_Cover.
Упражнения
5.3-1. Каждое из перечисленных слов рассматривается как набор букв: {arid, dash, drain, heard, lost, nose, shun, slate, snare, thread).
Приведите покрытие множества, которое будет возвращено алгоритмом Greedy_Set_Cover, если преимущество имеет слово, которое находится в словаре выше других.
5.3-2. Покажите, что задача о покрытии множества в форме задачи принятия решения является NP-полной. Для этого приведите к ней задачу о вершинном покрытии.
5.3-3. Покажите, как реализовать процедуру Greedy_Set_Cover, чтобы она выполнялась в течение времени О ^P^F l^l)’
5.3-4. Покажите, что приведенное ниже неравенство (которое является более слабым по сравнению с тем, что было использовано в теореме 35.4) выполняется тривиальным образом:
|С| ^ |С*|шах{|5| :5е^}.
5.3-5. В зависимости от принципа, по которому осуществляется выбор в строке 4, алгоритм Greedy_Set_Cover может возвращать несколько разных решений. Разработайте процедуру BAD_SET_CovER_lNSTANCE(n), возвращающую n-элементный экземпляр задачи о покрытии множества, для которого процедура Greedy_Set_Cover при разной организации выбора в строке 4 могла бы возвращать различные решения, количество которых выражалось бы показательной функцией от п.
5.4 Рандомизация и линейное программирование
В этом разделе исследуются два метода, весьма полезных для разработки приближенных алгоритмов: рандомизация и линейное программирование. Далее приводится простой рандомизированный алгоритм, позволяющий создать оптимизирующую версию решения задачи о 3-CNF выполнимости, после чего с помощью методов линейного программирования разрабатывается приближенный алгоритм для взвешенной версии задачи о вершинном покрытии. В данном разделе эти два мощных метода рассматриваются лишь поверхностно. В сносках даются ссылки для дальнейшего изучения этой проблемы.
Рандомизированный приближенный алгоритм для задачи о MAX-3-CNF выполнимости
Рандомизированные алгоритмы можно создавать не только для поиска точных решений, но и для поиска приближенных решений. Говорят, что рандомизированный алгоритм решения задачи имеет коэффициент аппроксимации (approximation ratio) р (п), если для любых входных данных размера п математическое
ожидание стоимости С решения, полученного с помощью этого рандомизированного алгоритма, не более чем в р (п) раз превышает стоимость оптимального решения С*-.
(
С С*\
С*'~С)^Р^' (35.11)
Рандомизированный алгоритм, позволяющий получить коэффициент аппроксимации р (п), называют рандомизированным р (п)-приблизкенным алгоритмом (randomized р (n)-approximation algorithm). Другими словами, рандомизированный приближенный алгоритм похож на детерминистический приближенный алгоритм с тем отличием, что его коэффициент аппроксимации выражается через математическое ожидание.
Как видно из раздела 34.4, отдельно взятый экземпляр задачи о 3-CNF выполнимости может не выполняться. Чтобы он был выполнимым, должен существовать такой вариант присвоения переменных, при котором каждое выражение в скобках принимает значение 1. Если экземпляр невыполнимый, может возникнуть потребность оценить, насколько он “близок” к выполнимому. Другими словами, может возникнуть желание определить, какие значения следует присвоить переменным, чтобы выполнялось максимально возможное количество выражений в скобках. Назовем задачу, которая получилась в результате, задачей о MAX-3-CNF выполнимости (MAX-3-CNF satisfiability). Входные данные этой задачи совпадают с входными данными задачи о 3-CNF выполнимости, а цель состоит в том, чтобы найти присваиваемые переменным значения, при которых максимальное количество подвыражений в скобках принимает значение 1. Теперь покажем, что если значения присваиваются каждой переменной случайным образом, причем значения 0 и 1 присваивается с вероятностью 1/2, то получится рандомизированный 8/7-приближенный алгоритм. В соответствии с определением 3-CNF выполнимости, приведенном в разделе 34.4, требуется, чтобы в каждом выражении в скобках содержалось ровно три различных литерала. Затем предполагается, что ни одно из выражений в скобках не содержит одновременно переменной и ее отрицания. (В упражнении 35.4-1 предлагается отказаться от этого предположения.)
Теорема 35.6. Для заданного экземпляра задачи о MAX-3-CNF выполнимости с п переменными х\,Х2,... ,хп и m выражениями в «юбках рандомизированный алгоритм, в котором каждой переменной независимо с вероятностью 1/2 присваивается значение 1 и с вероятностью 1/2 — значение 0, является рандомизированным 8/7-приближенным алгоритмом.
Доказательство. Предположим, что каждой переменной независимо с вероятностью 1/2 присваивается значение 1 и с вероятностью 1/2 — значение 0. Определим для г = 1,2,..., m индикаторную случайную величину
Yi = I {г-е подвыражение в скобках выполняется}
так, что равенство Yi = 1 выполняется, если хоть одному из литералов, содержащихся в г-м выражении в скобках, присвоено значение 1. Поскольку ни один из литералов не входит более одного раза в одно и то же выражение в скобках, и поскольку предполагается, что одни и те же скобки не содержат одновременно переменную и ее отрицание, присвоение значений трем переменным в каждых скобках выполняется независимым образом. Выражение в скобках не выполняется только тогда, когда всем трем его литералам присваивается значение 0, поэтому
Рг{г-е подвыражение не выполняется} = (1/2)3 = 1/8.
Тогда
Рг{г-е подвыражение выполняется} = 1 — 1/8 = 7/8.
Поэтому, согласно лемме 5.1, Е [У^] = 7/8. Пусть всего выполняется Y подвыражений в скобках, т.е. Y = ^2^/^. Тогда мы получаем
Е [У] = ЕЕ [У] = Е771771
Е [У] = Е
Е [У] = Е
= £Е[У,] = £7/8 = 7т/8,
1=11=1
где второе равенство следует из линейности математического ожидания. Очевидно, что верхняя граница количества выполняющихся подвыражений в скобках равна ш, поэтому коэффициент аппроксимации не превышает значения mj^mf^ = = 8/7. а
Аппроксимация взвешенного вершинного покрытия с помощью линейного программирования
В задаче о вершинном покрытии с минимальным весом (minimum-weight vertex-cover problem) задается неориентированный граф G = (У, Е), в котором каждой вершине v е V назначается положительный вес w^. Вес любого вершинного покрытия У'С V определяется как w (У7) = ^^у» w М- ® заДаче нужно найти вершинное покрытие с минимальным весом.
К этой задаче нельзя применить ни алгоритм, который использовался для поиска невзвешенного вершинного покрытия, ни рандомизированное решение, так как оба эти метода могут дать решение, далекое от оптимального. Однако с помощью задачи линейного программирования можно вычислить нижнюю границу веса, который может возникать в задаче о вершинном покрытии минимального веса. Затем мы “округлим” это решение и с его помощью получим вершинное покрытие.
Предположим, что каждой вершине v Е У сопоставляется переменная х (и), и поставим условие, чтобы х (v) Е {0,1} для каждой вершины v Е V. Равенство х (u) = 1 интерпретируется как принадлежность вершины и вершинному покрытию, а равенство х (и) = 0 — как ее отсутствие в вершинном покрытии. Тогда
ограничение, согласно которому для любого ребра (и, и) хотя бы одна из вершин и и и должна входить в вершинное покрытие, можно наложить с помощью неравенства х (и) + х (v) > 1. Такой подход приводит нас к 0-1 целочисленной задаче линейного программирования (0-1 integer program) поиска вершинного покрытия с минимальным весом:
(35.12)для всех (и, и) € 5(35.13)для всех v € V. (35.14)(35.12)для всех (и, и) € 5(35.13)для всех v € V. (35.14)Минимизировать w (и)х М при условиях veV
(35.12)
для всех (и, и) € 5(35.13)
для всех v € V. (35.14)
(35.12)
для всех (и, и) € 5(35.13)
для всех v € V. (35.14)
х(и) + X (и) > 1ж(v)6 {0,1}
В частном случае, когда все веса ш (и) равны 1, мы получаем NP-сложную оптимизирующую версию задачи о вершинном покрытии. Из упражнения 34.5-2 известно, что обычный поиск величин х (и), удовлетворяющих условиям (35.13) и (35.14), — NP-сложная задача, и что непосредственная польза извлекается не из такой формулировки. Предположим, однако, что вместо ограничения х (и) € € {0,1} накладывается условие 0 ^ ж (v) ^ 1. Тогда мы получим ослабленную задачу линейного программирования (linear-programming relaxation):
Минимизировать /J w (и) ж (v) при условиях «evж (и) + ж (v) > 1ж(и) ^ 1ж (и)0Минимизировать /J w (и) ж (v) при условиях «evж (и) + ж (v) > 1ж(и) ^ 1ж (и)0(35.15)для всех (и, и) (35.16) для всех -и 6 V (35.17) для всех v 6 V. (35.18)(35.15)для всех (и, и) (35.16) для всех -и 6 V (35.17) для всех v 6 V. (35.18)
Минимизировать /J w (и) ж (v) при условиях «ev
ж (и) + ж (v) > 1
ж(и) ^ 1
ж (и)0
Минимизировать /J w (и) ж (v) при условиях «ev
ж (и) + ж (v) > 1
ж(и) ^ 1
ж (и)0
(35.15)
для всех (и, и) (35.16) для всех -и 6 V (35.17) для всех v 6 V. (35.18)
(35.15)
для всех (и, и) (35.16) для всех -и 6 V (35.17) для всех v 6 V. (35.18)
Любое допустимое решение 0-1 целочисленной задачи линейного программирования, определенной выражениями (35.12)-(35.14), также является допустимым решением задачи линейного программирования, определенной выражениями (35.15)-(35.18). Поэтому оптимальное решение задачи линейного программирования является нижней границей оптимального решения 0-1 целочисленной задачи, а следовательно, нижней границей оптимального решения задачи о вершинном покрытии с минимальным весом.
В приведенной ниже процедуре с помощью решения сформулированной выше задачи линейного программирования строится приближенное решение задачи о вершинном покрытии с минимальным весом:
Approx_Min_Weight_VC(G, w)
С <—0
Вычисляется ж, оптимальное решение задачи линейного программирования (35.15)-(35.18)
for (для) каждой вершины veV
do if 5(v) >1/2
then С <— C U {и}
return С
Опишем работу процедуры Approx_Min_Weight_VC. В строке 1 инициализируется пустое вершинное покрытие. В строке 2 формулируется и решается задача линейного программирования, определенная соотношениями (35.15)-(35.18). В оптимальном решении каждой вершине и сопоставляется величина 0 ^ 5 (и) ^ ^ 1. С помощью этой величины в строках 3-5 определяется, какие вершины добавятся в вершинное покрытие С. Если ж (и) > 1/2, вершина и добавляется в покрытие С; в противном случае она не добавляется. В результате “округляется” каждая дробная величина, входящая в решение задачи линейного программирования, и получается решение 0-1 целочисленной задачи, определенной соотношениями (35.12)-(35.14). Наконец, в строке 6 возвращается вершинное покрытие С.
Теорема 35.7. Алгоритм Approx_Min_Weight_VC — это 2-приближенный алгоритм с полиномиальным временем выполнения, позволяющий решить задачу о вершинном покрытии с минимальным весом.
Доказательство. Поскольку существует алгоритм с полиномиальным временем решения, позволяющий решить задачу линейного программирования в строке 2, и поскольку цикл for в строках 3-5 завершает свою работу в течение полиномиального времени, алгоритм Approx_Min_Weight_VC выполняется в течение полиномиального времени.
Теперь покажем, что он является 2-приближенным алгоритмом. Пусть С* — оптимальное решение задачи о вершинном покрытии с минимальным весом, az* — значение оптимального решения задачи линейного программирования, определенной соотношениями (35.15)—(35.18). Поскольку оптимальное вершинное покрытие — допустимое решение этой задачи, величина z* должна быть нижней границей величины w (С*), т.е. выполняется неравенство
z*^w(C*) (35.19)
Далее, утверждается, что при округлении дробных значений переменных х (и) получается множество С, которое является вершинным покрытием, удовлетворяющим неравенству w (С) ^ 2z*. Чтобы убедиться, что С — вершинное покрытие, рассмотрим произвольное ребро (и, и) € Е. Согласно ограничению (35.16), должно выполняться неравенство х (и) + х (и) > 1, из которого следует, что хотя бы одна из величин х (и) и х (и) не меньше 1/2. Поэтому хотя бы одна из вершин и и v будет включена в вершинное покрытие, а следовательно, будут покрыты все ребра.
Теперь рассмотрим, чему равен вес этого покрытия. Имеем следующую цепочку соотношений:
z* = w (и)
w W ^ W
vGV:x(v)^l/2
^ 52 w м • ^ =
"€V:x(v)^l/2(3520,
= 52 W (и) • | = vec
= 152 w м = vec
= ^(С).
Объединение неравенств (35.19) и (35.20) дает нам соотношение
w(C) < 2z* < 2w(C*),
так что алгоритм Approx_Min_Weight_VC является 2-приближенным алгоритмом.я
Упражнения
1. Покажите, что даже если бы выражение в скобках могло содержать одновременно переменную и ее отрицание, то в результате независимого присвоения каждой переменной значения 1 с вероятностью 1/2 и значения 0 с вероятностью 1/2 все равно получился бы рандомизированный 8/7-приближенный алгоритм.
2. Задача о МАХ-CNF выполнимости (МАХ-CNF satisfiability problem) похожа на задачу о МАХ-3-CNF выполнимости с тем исключением, что в каждом выражении в скобках не обязательно содержится по 3 литерала. Разработайте рандомизированный 2-приближенный алгоритм, позволяющий решить задачу о МАХ-CNF выполнимости.
3. В задаче MAX_CUT задается невзвешенный неориентированный граф G = (V, Е\ Определим разрез (S, V — S), как это было сделано в главе 23, и вес (weight) этого разреза, как количество пересекающих его ребер. Требуется найти разрез с максимальным весом. Предположим, что каждая вершина и случайно и независимо с вероятностью 1/2 помещается в множество S или V — S. Покажите, что этот алгоритм является рандомизированным 2-приближенным алгоритмом.
4. Покажите, что ограничение (35.17) избыточно в том смысле, что если опустить его из задачи линейного программирования, определенной соотношениями (35.15)—(35.18), то любое оптимальное решение получившейся в результате задачи для каждой вершины v € V должно удовлетворять неравенству ж (v) ^ 1.
Задача о сумме подмножества
Экземпляр задачи о сумме подмножества имеет вид пары (S, t\ где S — множество {xi, Х2,.. •, ггп} положительных целых чисел, at — положительное целое число. В этой задаче принятия решений спрашивается, существует ли подмножество множества S, сумма элементов которого равна целевому значению t. Эта задача является NP-полной (см. раздел 34.5.5).
Задача оптимизации, связанная с этой задачей принятия решений, возникает в различных практических приложениях. В такой задаче требуется найти подмножество множества {tri, 2:2, ...,хп^ сумма элементов которого принимает максимально возможное значение, не большее t. Например, пусть имеется грузовик, грузоподъемность которого не превышает t кг, и п различных ящиков, которые нужно перевезти. Вес г-го ящика равен Х{ кг. Требуется загрузить грузовик максимально возможным весом, но так, чтобы не превысить его грузоподъемности.
В этом разделе приведен алгоритм, позволяющий решить задачу оптимизации в течение экспоненциального времени. Затем показано, как модифицировать приведенный алгоритм, чтобы он превратился в схему аппроксимации с полностью полиномиальным временем решения. (Напомним, что время работы схемы аппроксимации с полностью полиномиальным временем выполнения выражается полиномиальной функцией от величины 1/е и от размера входных данных.)
Точный алгоритм с экспоненциальным временем работы
Предположим, что для каждого подмножества S' множества S вычисляется сумма его элементов, после чего из всех подмножеств, сумма элементов которых не превышает 1, выбирается подмножество, для которого эта сумма меньше других отличается от t. Очевидно, что такой алгоритм возвратит оптимальное решение, но время его работы выражается показательной функцией. Для реализации этого алгоритма можно было бы воспользоваться итеративной процедурой, в которой в г-й итерации вычислялись бы суммы элементов всех подмножеств множества {tri, Х2,..., х^ на основе вычисленных ранее сумм всех подмножеств множества {xi,X2,... ,£1-1}. Если пойти этим путем, то легко понять, что нет смысла продолжать обработку некоторого подмножества S' после того, как сумма его элементов превысит t, поскольку никакое надмножество S' не может быть оптимальным решением. Реализуем эту стратегию.
В качестве входных данных процедуры Exact_Subset_Sum, с псевдокодом которой мы скоро ознакомимся, выступает множество S = ^х\,Х2,... ,хп^ и целевое значение t. В этой процедуре итеративно вычисляется список Li, содержащий суммы всех подмножеств множества {xi, жг,..., х^, которые не превышают t. Затем возвращается максимальное значение из списка Ln.
Если L — список положительных целых чисел, ах — еще одно положительное целое число, тогда через L + х будет обозначаться список целых чисел, полученный из списка L путем увеличения каждого его элемента на величину х. Например, если L = (1,2,3,5,9), то L + 2 = (3,4,5,7,11). Воспользуемся этим обозначением и для множеств:
5 + t = {s + t:s€S}.
Кроме того, нам понадобится вспомогательная процедура Merge_Lists(L, L'), которая возвращает отсортированный список, представляющий собой объединение входных списков L и L' с исключением повторяющихся значений. Время выполнения процедуры Merge_Lists, как и время выполнения процедуры MERGE, используемой для сортировки слиянием и описанной в разделе 2.3.1, ведет себя как О (|L| + |L'|). (Псевдокод процедуры Merge_Lists опускается.)
Exact_Subset_Sum(S, t)
n^|S|
Lo-(O)
for г <— 1 to n
do Lt «- MERGE_LlSTS(Lt-i,Lt-i + x^
Из списка Li удаляются все элементы, большие t
return Максимальный элемент из списка Ln
Рассмотрим, как работает процедура Exact_Subset_Sum. Обозначим через Pi множество всех значений, которые можно получить, выбрав (возможно, пустое) подмножество множества {xi,X2,... , £г} и просуммировав его элементы. Например, если 5 = {1,4,5}, то
Р1 = {0,1},
Рг = {0,1,4,5} ,
Рз = {0,1,4,5,6,9,10}.
Воспользовавшись тождеством
Pi = Pi_1U(Pi_1+xi),(35.21)
методом математической индукции по г можно доказать (см. упражнение 35.5-1), что Lt — отсортированный список, содержащий все элементы множества Р^ значение которых не превышает t. Поскольку длина списка Li может достигать
значения 2*, в общем случае время выполнения алгоритма Exact_Subset_Sum ведет себя как показательная функция, хотя в некоторых случаях, когда величина t представляет собой полином от |S| или все содержащиеся в множестве S числа ограничены сверху полиномиальными величинами от |5|, это время также полиномиально зависит от |S|.
Схема аппроксимации с полностью полиномиальным временем работы
Схему аппроксимации с полностью полиномиальным временем работы, позволяющую получить приближенное решение задачи о сумме подмножеств, можно составить путем “сокращения” каждого списка Li после его создания. Идея заключается в том, что если два значения в списке L мало отличаются друг от друга, то для получения приближенного решения нет смысла явно обрабатывать оба эти значения. Точнее говоря, используется некоторый параметр сокращения 8, удовлетворяющий неравенству 0 < 8 < 1. Чтобы сократить (trim) список L по параметру 8, нужно удалить из этого списка максимальное количество элементов таким образом, чтобы в полученном в результате этого сокращения списке L* для каждого удаленного из списка L элемента у содержался элемент z, аппроксимирующий элемент -у, так что
т^ ОО-(35.22)
+ о
Можно считать, что элемент z “представляет” элемент у в списке L', т.е. каждый элемент у представлен элементом z, удовлетворяющим уравнению (35.22). Например, если 8 = 0.1 и
L = (10,11,12,15,20,21,22,23,24,29),
то путем сокращения списка L можно получить список
L' = (10,12,15,20,23,29),
где удаленное значение 11 представлено значением 10, удаленные значения 21 и 22 представлены значением 20, а удаленное значение 24 представлено значением 23. Поскольку каждый элемент измененной версии списка является одновременно элементом исходного списка, сокращение может значительно уменьшить количество элементов, сохраняя в списке близкие (несколько меньшие) представляющие значения каждого удаленного элемента.
Приведенная ниже процедура по заданным параметрам L и 8 сокращает список L = (уь у2,..., Ут) в течение времени в (т); при этом предполагается, что элементы списка L отсортированы в монотонно возрастающем порядке. На выходе процедуры получается сокращенный отсортированный список.
Trim(L, б)
m <— |L|
2
last <— yi
for г <— 2 to m
do if yi > last -(1 + 5)> Уг > lost в силу
С> отсортированное™ списка L
then элемент у, добавляется в конец списка L*
last <— у,
return L*
Элементы списка L сканируются в монотонно возрастающем порядке, и в список L1, который возвращается, элемент помещается, только если это первый элемент списка L или если его нельзя представить последним помещенным в список L' элементом.
Располагая процедурой Trim, схему аппроксимации можно построить следующим образом. В качестве входных данных в эту процедуру передается множество S = {ж1, Ж2,.. •, $„}, состоящее из п целых чисел (расположенных в произвольном порядке), целевое значение t и “параметр аппроксимации” е, где
(35.23)(35.23)О < е < 1.
(35.23)
(35.23)
Процедура возвращает значение х, величина которого отличается от оптимального решения не более чем в 1 + е раз.
Approx_Subset_Sum(S, t, е)
n<-|S|
Lo«-(O)
for г ♦— 1 to n
do L,«- Merge_Lists(Li-i,Li-i + ж,)
Li «- TRlM(Li,e/2n)
Из списка Li удаляются все элементы, большие t
Пусть х* — максимальное значение в списке Ln
return х*
В строке 2 список Lq инициализируется таким образом, чтобы в нем содержался только элемент 0. Цикл for в строках 3-6 вычисляет отсортированный список Li, содержащий соответствующим образом сокращенную версию множества Pi, из которого удалены все элементы, превышающие величину t. Поскольку список Li создается на основе списка Li-i, мы должны гарантировать, что повторное сокращение не вносит слишком большой неточности. Скоро станет понятно, что процедура Approx_Subset_Sum возвращает корректную аппроксимацию, если она существует.
В качестве примера рассмотрим экземпляр задачи, где S = (104,102,201,101), t = 308 и е = 0.40. Параметр <5 равен е/8 = 0.05. В процедуре Approx_Subset_ Sum вычисляются приведенные ниже значения (слева от которых указаны номера соответствующих строк):
Строка 2:
Lo = W,
Строка 4:
Li = (0,104),
Строка 5:
М = (0,104),
Строка 6:
Li = (0,104),
Строка 4:
L2 = (0,102,104,206),
Строка 5:
L2 = (0,102,206),
Строка 6:.
L2 = (0,102,206),
Строка 4:
L3 = (0,102,201,206,303,407),
Строка 5:
L3 = (0,102,201,303,407),
Строка 6:
L3 = (0,102,201,303),
Строка 4:
L4 = (0,101,102,201,203,302,303,404),
Строка 5:
L4 = (0,101,201,302,404),
Строка 6:
L4 = (0,101,201,302).
Алгоритм возвращает значение z* = 302, которое приближает оптимальное решение 307 = 104 + 102 + 101 в пределах погрешности е = 40%; фактически погрешность составляет 2%.
Теорема 35.8. Процедура Approx_Subset_Sum является схемой аппроксимации с полностью полиномиальным временем выполнения, позволяющей решить задачу о сумме подмножеств.
Доказательство. В результате сокращения списка Li в строке 5 и удаления из этого списка всех элементов, превышающих значение t, под держивается свойство, что каждый элемент списка Li также является элементом списка Pi. Поэтому значение z*, которое возвращается в строке 8, на самом деле является суммой некоторого подмножества множества S. Обозначим оптимальное решение задачи о сумме подмножества у* € Рп- Далее, из строки 6 известно, что z* ^ у*. Согласно неравенству (35.1), нужно показать, что у*/z* ^ 1+е. Необходимо также показать, что время работы этого алгоритма выражается полиномиальной функцией и от 1/е, и от размера входных данных.
Воспользовавшись индукцией по г, можно показать, что для каждого не превышающего t элемента у из списка Pt существует элемент z € Ц, такой что
У(1 + е/2п)У(1 + е/2п)- < z < у- < z < у(35.24)(35.24)
У(1 + е/2п)
У(1 + е/2п)
- < z < у
- < z < у
(35.24)
(35.24)
(см. упражнение 35.5-2). Неравенство (35.24) должно выполняться для у* 6 Рп, поэтому существует элемент z € Ln, удовлетворяющий неравенству
и, следовательно,и, следовательно,У*(1 + е/2п)пУ*(1 + е/2п)п^ г ^ У*^ г ^ У*пп(35.25)(35.25)
и, следовательно,
и, следовательно,
У*(1 + е/2п)п
У*(1 + е/2п)п
^ г ^ У*
^ г ^ У*
п
п
(35.25)
(35.25)
Поскольку существует элемент z € Ln, удовлетворяющий неравенству (35.25), это неравенство должно быть справедливым для элемента z*, который имеет самое большое значение в списке Ln, т.е.
(35.26)(35.26)У Л е \п — < (1 + —) • z* \ 2п/
(35.26)
(35.26)
Осталось показать, что у* jz* ^ 1 + £. Для этого покажем, что (1 + е/2п)п ^ ^ 1 + г. Согласно (3.13), limn_oo (1 + е/2п)п = е6^. Поскольку можно показать,
чточто(35.27)(35.27)
что
что
(35.27)
(35.27)
^ 1 +£^ 1 +£функция (1 + е/2п)п по мере увеличения п возрастает до своего предела е£/2, и справедлива цепочка неравенств
^ 1 +£
^ 1 +£
(в соответствии с (3.12))
(с учетом (35.23)).(35.28)
Объединение неравенств (35.26) и (35.28) завершает анализ коэффициента аппроксимации.
Чтобы показать, что процедура Approx_Subset_Sum — это схема аппроксимации с полностью полиномиальным временем выполнения, оценим границу длины списка Li. После сокращения последовательные элементы z и z' в списке L, должны удовлетворять соотношению z'/г > 1 + е/2п. Другими словами, они должны отличаться не менее чем в 1+£/2п раз. Поэтому каждый список содержит
значение 0, возможно, значение 1 и до log1+£/2n^j дополнительных значений.
Количество элементов в каждом списке L, не превышает
(в соответствии с (3.16))(с учетом (35.23)).(в соответствии с (3.16))(с учетом (35.23)).logl+t/2„« + 2-ln(1 + £/2n)+2« < 2n(1 + £/2n)Ini £
(в соответствии с (3.16))
(с учетом (35.23)).
(в соответствии с (3.16))
(с учетом (35.23)).
4n In t „
<+ 2
Эта граница выражается полиномиальной функцией от размера входных данных, который равен сумме количества битов lg t, необходимых для представления числа t, и количества битов, необходимых для представления множества 5, которое, в свою очередь, полиномиально зависит от п и от l/б. Поскольку время выполнения процедуры Approx_Subset_Sum выражается полиномиальной функцией от длины списка Li, эта процедура является схемой аппроксимации с полностью полиномиальным временем выполнения. ■
Упражнения
1. Докажите уравнение (35.21). Затем покажите, что после выполнения строки 5 процедуры Exact_Subset_Sum список Li является отсортированным и содержит все элементы списка Pi, значения которых не превышают t.
2. Докажите неравенство (35.24).
3. Докажите неравенство (35.27).
4. Как следовало бы модифицировать представленную в этом разделе схему аппроксимации, чтобы она позволяла найти наименьшее значение, превышающее или равное заданной величине t, суммы элементов некоторого подмножества заданного входного списка?
Задачи
35-1. Расфасовка по контейнерам
Предположим, имеется множество, состоящее из п предметов, причем размер г-го предмета Si удовлетворяет неравенству 0 < Si < 1. Нужно упаковать все предметы в контейнеры единичного размера, использовав при этом минимальное количество контейнеров. Каждый контейнер вмещает произвольное количество объектов, лишь бы их суммарный размер не превышал 1.
Докажите, что задача по определению минимального количества необходимых контейнеров является NP-полной. ^Указание; приведите к ней задачу о сумме подмножества.)
При эвристическом методе выбора первого подходящего (first-fit) по очереди выбираются все предметы, и каждый помещается в первый же контейнер, в который этот предмет может поместиться. Пусть S = 52"=1 s^
Докажите, что оптимальное количество контейнеров, необходимых для упаковки всех предметов, не меньше [SJ.
Докажите, что при использовании эвристического метода выбора первого подходящего, не более чем один контейнер остается заполненным меньше чем наполовину.
Докажите, что количество контейнеров, которые используются в эвристическом методе выбора первого подходящего, никогда не превышает величину f2S^.
Докажите, что коэффициент аппроксимации эвристического метода выбора первого подходящего равен 2.
Представьте эффективную реализацию эвристического метода выбора первого подходящего и проанализируйте время работы полученного алгоритма.
35-2. Приближенный размер максимальной клики
Пусть G = (V, Е) — неориентированный граф. Определим для произвольного числа k > 1 неориентированный граф G^ = (У^,5^), где V^ — множество всех упорядоченных /с-кортежей вершин из множества V, а Е^ определяется таким образом, что элемент (vi, иг, • • •,vk) смежен элементу (wi, W2, • • •, Шк) тогда и только тогда, когда при любом значении 1 ^ г ^ к каждая вершина и, является смежной в графе G вершине w, (либо и, = w,).
Докажите, что размер максимальной клики в графе G^ равен к-й степени размера максимальной клики в графе G.
Докажите, что если существует приближенный алгоритм, позволяющий найти клику максимального размера и обладающий постоянным коэффициентом аппроксимации, то для решения данной задачи существует схема аппроксимации с полностью полиномиальным временем работы.
35-3. Взвешенная задача о покрытии множества
Предположим, задача о покрытии множества обобщается таким образом, что каждому множеству 5, из семейства ^ сопоставляется вес Wj, а вес
покрытия С вычисляется как ^g е.с w»- Нужно найти покрытие с минимальным весом. (В разделе 35.3 рассматривается случай, когда w, = 1 для всех г.)
Покажите, что жадный эвристический подход, который применяется в задаче о покрытии множества, можно естественным образом обобщить так, чтобы он позволял получить приближенное решение любого экземпляра взвешенной задачи о покрытии множества. Покажите, что коэффициент аппроксимации этого эвристического подхода равен Н (d), где d — максимальный размер произвольного множества Si.
35-4. Паросочетание максимальной мощности
Напомним, что в неориентированном графе G паросочетанием называется такое множество ребер, в котором никакие два ребра не инцидентны одной и той же вершине. Из раздела 26.3 мы узнали, как найти максимальное паросочетание в двудольном графе. В настоящей задаче будет производиться поиск паросочетаний в неориентированных графах общего вида (т.е. в графах, которые не обязательно являются двудольными).
Максимальным паросочетанием (maximal matching) называется паросочетание, которое не является собственным подмножеством никакого другого паросочетания. Покажите, что максимальное паросочетание не обязательно совпадает с паросочетанием максимальной мощности. Для этого приведите пример неориентированного графа G, максимальное паросочетание М в котором не является паросочетанием максимальной мощности. (Имеется граф всего лишь с четырьмя вершинами, обладающий указанным свойством.)
Рассмотрим неориентированный граф G = (V, Е). Сформулируйте жадный алгоритм поиска максимального паросочетания в графе G, время работы которого было бы равно О (Е\
В этой задаче внимание сосредотачивается на поиске приближенного алгоритма с полиномиальным временем работы, позволяющего найти паросочетание максимальной мощности. Время работы самого быстрого из известных на сегодняшний день алгоритмов, предназначенных для поиска паросочетания максимальной мощности, превышает линейное (хотя и является полиномиальным); рассматриваемый же здесь приближенный алгоритм завершает свою работу строго в течение линейного времени. Вы должны будете показать, что жадный алгоритм поиска максимального паросочетания с линейным временем выполнения, разработанный в части б, для задачи о паросочетании максимальной мощности является 2-приближенным алгоритмом.
Покажите, что размер паросочетания максимальной мощности в графе G представляет собой нижнюю границу размера произвольного вершинного покрытия в этом графе.
Рассмотрим максимальное паросочетание М в графе G = (V, Е). Пусть
Т = {v € V : некоторое ребро из М инцидентно и} .
Что можно сказать о подграфе графа G, порожденном теми вершинами графа G, которые не принадлежат Т?
На основании результатов части г обоснуйте вывод о том, что величина 2 \М | равна размеру вершинного покрытия графа G.
Воспользовавшись результатами решения частей вид задачи, докажите, что сформулированный в части б жадный алгоритм является 2-приближенным алгоритмом для задачи о паросочетании максимальной мощности.
35-5. Расписание работы параллельной вычислительной машины
В задаче о расписании работы параллельной вычислительной машины (parallel-machine-scheduling problem) исходные данные представляют собой набор из п заданий Ji, Ji,..., Jn, каждое из которых характеризуется временем обработки р^. Для выполнения этих заданий в нашем распоряжении имеется т идентичных машин Mi, М2,..., Мт. Нужно составить расписание, в котором для каждого задания Jk следует указать машину, на которой это задание будет выполняться, и выделенный ему интервал времени. Каждое задание должно непрерывно выполняться только на одной машине Mj в течение времени рк, и в это время на машине М, не может выполняться никакое другое задание. Обозначим через Ок время завершения (completion time) задания Jk, т.е. момент времени, когда прекращается обработка задания Jk- Для каждого расписания определяется его момент завершения (makespan), равный Cmax = maxi^^n Cj. В задаче нужно найти расписание с минимальным моментом завершения. Например, предположим, что имеется две машины Mi и Мг и что нужно выполнить четыре задания J\, Ji, J3, J4, для которых pi = 2, pi = 12, рз = 4 и р4 = 5. Можно предложить расписание, при котором на машине Mi сначала выполняется задание Ji, а затем — задание Ji, а на машине Mi сначала выполняется задание J4, а затем — задание J3. В этом расписании Ci = 2, Ci = 14, С3 = 9, С4 = 5 и Стах = 14. В оптимальном расписании на машине Mi выполняется задание Ji, а на машине Mi — задания Ji, J3 и J4. В этом расписании Ci = 2,Ci = 12, С3 = 6, С4 = 11 И Стах = 12.
В данной задаче о расписании работы параллельной вычислительной машины обозначим через С^^ время завершения оптимального расписания.
Покажите, что оптимальное время завершения по величине не меньше самого большого времени обработки, т.е. что выполняется неравенство
Стах > max рк.
Х^к^п
Покажите, что оптимальное время завершения по величине не меньше средней загрузки машин, т.е. что справедливо неравенство
S 1 £ Рк.
т15Ьп
Предположим, что для составления расписания параллельных вычислительных машин используется следующий жадный алгоритм: как только машина освобождается, на ней начинает выполняться очередное задание, еще не внесенное в расписание.
Предложите псевдокод, реализующий этот жадный алгоритм. Чему равно время работы этого алгоритма?
Покажите, что для расписания, которое возвращается жадным алгоритмом, выполняется неравенство
Стах ^ "^ У2 Рк + ,Ж Рк-
Обоснуйте вывод, согласно которому этот алгоритм является 2-приближенным алгоритмом с полиномиальным временем выполнения.
Заключительные замечания
Несмотря на то, что методы, которые не обязательно вычисляют точные решения, были известны несколько тысяч лет назад (например, методы приближенного вычисления числа тг), понятие приближенного алгоритма имеет намного более короткую историю. Заслуги по формализации концепции приближенного алгоритма с полиномиальным временем работы Хохбаум (Hochbaum) приписывает Гарею (Garey), Грэхему (Graham) и Ульману (Ullman) [109], а также Джонсону (Johnson) [166]. Первый такой алгоритм (ему посвящена задача 35-5) часто приписывается Грэхему [129].
Со времени публикации этой ранней работы были разработаны тысячи приближенных алгоритмов, позволяющих решать самые разнообразные задачи. По этой теме имеется большое количество литературы. Недавно вышедшие книги Осиэлло (Ausiello) и др. [25], Хохбаума [149] и Вазирани (Vazirani) [305] полностью посвящены приближенным алгоритмам. Это же можно сказать об обзорах Шмойса (Shmoys) [277] и Клейна (Klein) и Юнга (Young) [181]. В нескольких других книгах, таких как книги Гарея и Джонсона [ПО], а также Пападимитриу (Papadimitriou) и Штейглица (Steiglitz) [237], также значительное внимание уделяется приближенным алгоритмам. В книге Лоулера (Lawler), Ленстры (Lenstra), Ринноя Кана (Rinnooy Кап) и Шмойса [197] подробно рассматриваются приближенные алгоритмы, предназначенные для задачи о коммивояжере.
В книге Пападимитриу и Штейглица авторство алгоритма Approx_Vertex_ Cover приписывается Ф. Гаврилу (Е Gavril) и М. Яннакакису (М. Yannakakis). Большое количество усилий было направлено на исследование задачи о вершинном покрытии (в книге Хохбаума [149] приведено 16 различных приближенных алгоритмов, предназначенных для решения этой задачи), однако значение всех коэффициентов аппроксимации не меньше 2 — о (1).
Алгоритм APPROX_TSP_TOUR был предложен в статье Розенкранца (Rosen- krantz), Стирнса (Stearns) и Льюиса (Lewis) [261]. Кристофидис (Christofides) усовершенствовал этот алгоритм и предложил 3/2-приближенный алгоритм, позволяющий решить задачу о коммивояжере с неравенством треугольника. Арора (Arora) [21] и Митчелл (Mitchell) [223] показали, что если точки находятся на евклидовой плоскости, то существует схема аппроксимации с полиномиальным временем работы. Теорема 35.3 доказана Сани (Sahni) и Гонзалезом (Gonzalez) [264].
Анализ жадного эвристического подхода к задаче о покрытии множества построен по аналогии с доказательством более общего результата, опубликованном в статье Чватала (Chvatal) [61]; представленный здесь основной результат доказан Джонсоном [166] и Ловасом (Lovasz) [206].
Описание алгоритма Approx_Subset_Sum и его анализ с некоторыми изменениями взяты из статьи Ибарры (Ibarra) и Кима (Kim) [164], где приведены приближенные алгоритмы, предназначенные для решения задач о рюкзаке и о сумме подмножества.
Рандомизированный алгоритм решения задачи о MAX-3-CNF выполнимости можно найти в неявном виде в работе Джонсона [166]. Автором алгоритма, предназначенного для решения задачи о взвешенном вершинном покрытии, является Хохбаум [148]. Раздел 35.4 дает лишь поверхностное представление о тех возможностях, которые открываются благодаря использованию рандомизации и линейного программирования при разработке приближенных алгоритмов. Сочетание этих двух идей привело к появлению метода под названием “рандомизированное округление”, в котором задача сначала формулируется как целочисленная задача линейного программирования. После этого решается ослабленный вариант задачи,
а переменные в этом решении интерпретируются как вероятности. Затем эти вероятности используются для решения исходной задачи. Впервые этот метод был предложен Рагаваном (Raghavan) и Томсоном (Thompson) [255], после чего он нашел широкое применение. (Для ознакомления с этой темой см. обзорную статью Мотвани (Motwani), Наора (Naor) и Рагавана [227].) К другим заслуживающим внимания идеям в этой области, предложенным в последнее время, относится метод прямой двойственности (primal dual) (см. обзор [116]), поиск разреженных разрезов (sparse cuts) для использования в алгоритмах разбиения [199], а также применение полуопределенного программирования [115].
Как упоминалось в заключительных замечаниях к главе 34, последние достижения в области вероятностно проверяемых доказательств позволяют найти нижние границы аппроксимируемости многих задач, в том числе некоторых из тех, которые рассматриваются в настоящей главе. В дополнение к приведенным здесь ссылкам заметим, что глава из книги Ароры и Ланда (Lund) [22] содержит хорошее описание отношения между вероятностно проверяемыми доказательствами и степенью сложности приближенных алгоритмов решения различных задач.
ЧАСТЬ VIII
Приложения: математическиеосновы
Введение
Анализ алгоритмов требует использования серьезного математического аппарата. Иногда достаточно знаний из простейшего курса высшей математики, но зачастую используемые в данной книге математические концепции и методы могут оказаться новыми для вас. В части I мы уже познакомились с асимптотическими обозначениями и решением рекуррентных соотношений; в этой части вы найдете ряд других математических концепций и методов, используемых при анализе алгоритмов. Как упоминалось во введении к части I, вы могли быть знакомы со многими рассматриваемыми здесь вопросами еще до того, как приступили к чтению данной книги, так что материал, поданный в приложениях, носит в первую очередь справочный характер. Тем не менее, здесь, как и в обычных главах, приведены упражнения и задачи, которые помогут вам повысить свою квалификацию в рассматриваемых областях математики.
В приложении А рассматриваются методы вычисления и оценки рядов, часто встречающихся при анализе тех или иных алгоритмов. Многие из приводимых здесь формул можно найти в различных учебниках по математике, но гораздо удобнее, когда все эти формулы собраны в одном месте.
В приложении Б приведены основные определения и обозначения, используемые при работе с множествами, отношениями, функциями, графами и деревьями. В этом приложении вы также найдете некоторые основные свойства этих математических объектов.
Приложение В начинается с элементарных принципов комбинаторики — перестановок, сочетаний и т.п. Остальной материал приложения посвящен основам теории вероятности. Большинство алгоритмов в этой книге не требуют использования теории вероятности при анализе, так что вы можете пропустить эту часть приложения. Вы сможете вернуться к нему позже, при желании детально разобраться с вероятностным анализом алгоритмов. В этом случае вы убедитесь, что данное приложение можно рассматривать и как хорошо организованный справочник.
ПРИЛОЖЕНИЕ А
Ряды
Когда алгоритм содержит итеративную управляющую конструкцию, такую как цикл while или for, время работы можно выразить в виде суммы значений времени выполнения отдельных итераций. Например, в разделе 2.2 указывалось, что j-я итерация алгоритма сортировки вставкой выполняется за время, в худшем случае пропорциональное j. Суммируя значения времени, затраченного на выполнение отдельных итераций, мы получим сумму, или ряд
п
3=2
Вычисление этой суммы приводит нас к границе для времени работы алгоритма, равной 0 (п2) в худшем случае. Этот пример свидетельствует о важности понимания и умения вычислять суммы и оценивать их границы.
В разделе АЛ перечислены некоторые основные формулы, связанные с суммированием, а в разделе А.2 вы ознакомитесь с некоторыми методами оценки сумм. Формулы в разделе А. 1 приведены без доказательств, однако в разделе А.2 в качестве иллюстрации описываемые здесь методы использованы для доказательства некоторых из формул раздела АЛ. Остальные доказательства можно найти в различных учебниках по математике.
А.1 Суммы и их свойства
Для данной последовательности чисел ai,a2,... конечная сумма oi + 02 + НН оп, где п — неотрицательное целое число, кратко записывается как
п
к=1
Если п = 0, значение суммы считается равным 0. Значение конечного ряда всегда определено и не зависит от порядка слагаемых.
Для данной последовательности чисел 01,02,... бесконечная сумма 01 +02 + + ... кратко записывается следующим образом:
ОО
k=l
что рассматривается как п lim Vak. 71—*00 к=1
Если данный предел не существует, ряд расходится (diverges); в противном случае ряд сходится (converges). Члены сходящегося ряда не могут быть суммированы в произвольном порядке. Однако можно переставлять члены абсолютно сходящегося ряда, т.е. ряда 52^! аь, для которого сходится также ряд ^^ |а^|.
Линейность
Для любого действительного числа с и любых конечных последовательностей ^11 ^2» • • • ) ^п ^ Ьу, Ь2) ••• ^ Ьп ппп
52(cafc + bfc) = c^afc + ^bfc.
к=1к=1к=1
Свойство линейности справедливо также для бесконечных сходящихся рядов.
Это свойство может использоваться при работе с суммами, в которые входят асимптотические обозначения. Например,
iLeU№') = e('E.f(.k-> к=1\к=1
В этом уравнении ©-обозначение в левой части применяется к переменной А:, а в правой — к п. Аналогичные действия применимы и к бесконечным сходящимся рядам.
Арифметическая прогрессия
Сумма
^ ^ к = 1 + 2 + • • • + 71 к=1
называется арифметической прогрессией и равна
Суммы квадратов и кубов
Для сумм квадратов и кубов справедливы следующие формулы:
(А.З)(А.4)(А.З)(А.4)
(А.З)
(А.4)
(А.З)
(А.4)
Геометрическая прогрессияДля действительного ж / 1 суммаГеометрическая прогрессияДля действительного ж / 1 суммапп
Геометрическая прогрессия
Для действительного ж / 1 сумма
Геометрическая прогрессия
Для действительного ж / 1 сумма
п
п
,2,2,71,71
,2
,2
,71
,71
к=0
называется геометрической прогрессией и равна
ппк=0к=0жп+1 — 1х — 1жп+1 — 1х — 1(А.5)(А.5)
п
п
к=0
к=0
жп+1 — 1х — 1
жп+1 — 1х — 1
(А.5)
(А.5)
В случае бесконечного ряда и |ж| < 1 получается бесконечно убывающая геометрическая прогрессия, сумма которой равна
11 — х11 — х(А.6)(А.6)
1
1 — х
1
1 — х
(А.6)
(А.6)
Гармонический ряд
Для натурального п, п-е гармоническое число представляет собой
#п = 1 + х + | + - + - = y| = lnn + O(l).(А.7)
2 ОПК
(Мы докажем это соотношение в разделе А.2.)
Интегрирование и дифференцирование рядов
Новые формулы могут быть получены путем интегрирования или дифференцирования приведенных выше формул. Например, дифференцируя обе части уравнения суммы бесконечной геометрической прогрессии (А.6) и умножая на ж, мы получим для |ж| < 1
оо
(А.8)(А.8)V кхк = Х
(А.8)
(А.8)
^(1-я)2'
Суммы разностей
Для любой последовательности ао, ах,..., ап справедливо соотношение
п
(А.9)(А.9)^ 2 (^^k— 1) = Од Oq,
(А.9)
(А.9)
к=1
поскольку каждый из членов 01,02,...,ап-1 прибавляется и вычитается ровно один раз. Такие ряды именуют телескопическими (telescopes). Аналогично,
п—1
2 (а^ — °fc+l) = Oq — Од-/с=0
В качестве примера такого ряда рассмотрим сумму
п —11
^цПТу
Поскольку каждый ее член можно записать как
111
fc(fc + l)“fc fc+Г
мы получаем
Произведения
Конечное произведение aiO2-..an может быть кратко записано следующим образом:
к=1
Если п = О, значение произведения считается равным 1. Мы можем преобразовать формулу с произведением в формулу с суммой при помощи тождества
(
п\п
П^) =521gafc-
к=1 )к=1
Упражнения
А. 1-1. Найдите простое выражение для 22”=1 (2к — 1).
* А. 1-2. Покажите, используя формулу для гармонического ряда, что
^=iV(2A:-l) = ln(V^+O(l).
А. 1-3. Покажите, что для 0 < |ж| < 1 справедливо соотношение ^^о^2^ = = X (1 + ж)/(1 - ж)3.
А.1-4. Покажите, что J2^o (к — 1)/2к = 0.
А. 1-5. Вычислите сумму 52^ (2fc + 1) х2к.
А. 1-6. Используя свойство линейности суммирования, докажите, что
52L0 ^fk (п))=0 (ELiЛ (п)) •
А. 1-7. Вычислите произведение П£=12 • 4*.
* А. 1-8. Вычислите произведение Пл=2 (1 ~ V^2)-
А.2 Оценки сумм
Имеется множество методов оценки величин сумм, которые описывают время работы того или иного алгоритма. Здесь мы рассмотрим только наиболее распространенные из них.
Математическая индукция
Основным путем для вычисления сумм рядов является метод математической индукции. В качестве примера докажем, что сумма арифметической прогрессии 52^-1 к равна п (п + 1)/2. Можно легко убедиться, что эта формула верна для п = = 1. Сделаем предположение, что эта формула верна для некоторого п и докажем, что в этом случае она верна и для п + 1:
У^ А: = У^ А: + (n + 1) = (n + 1) + (n + 1) = (n + 1) (п + 2).
к=1к=1
Математическая индукция может использоваться не только для точных значений сумм, но и для того, чтобы показать корректность оценок. В качестве примера рассмотрим доказательство того, что сумма геометрической прогрессии 52^=О Зк равна О(3П). Точнее, докажем, что ^к-о^ ^ сЗп для некоторой константы с. При п = 0 формула имеет вид 53^=0 3fc = 1 ^ с • 1, что справедливо при с 1. Полагая, что граница верна для п, докажем ее справедливость для n + 1. Имеем:
V3k = V3k + 3n+1 ^ c3V3k = V3k + 3n+1 ^ c3п+1п
V3k = V3k + 3n+1 ^ c3
V3k = V3k + 3n+1 ^ c3
п । 2^+1
к=0к—0
что справедливо при (1/3 + 1/с) ^ 1 или, что то же самое, при с > 3/2. Таким образом, 52fc_0 Зк = О (Зп), что и требовалось показать.
При использовании асимптотических обозначений для доказательства по индукции следует быть предельно внимательным и осторожным. Рассмотрим следующее “доказательство” того, что 52£=1 к = О (п). Очевидно, что ^jUi. к = О (1). Исходя из справедливости оценки для п, докажем ее для n + 1:
п+1п
^А: = ^А: + (п + 1) НеТи О (п) + О (п + 1) = О (п + 1).
к=1к=1
Ошибка в том, что “константа”, скрытая в О (п), растет вместе с п, а значит, константой не является. Мы не смогли показать, что одна и та же константа работает для всех п.
Почленное сравнение
Иногда можно получить неплохую верхнюю оценку ряда, заменив каждый его член большим (иногда для этого можно воспользоваться наибольшим членом). Например, вот как можно оценить верхнюю границу арифметической прогрессии (А.1):
пп
52^52п=п2.
k=lk=l
В общем случаеВ общем случаеп
В общем случае
В общем случае
^^тах >
к=1
ГДе Отах — т^Х1^А:^п &к-
Если ряд в действительности может быть ограничен геометрической прогрессией, можно получить более точную оценку его суммы. Итак, пусть ряд ^2£=0 ак обладает тем свойством, что для всех к ^ 0 a^i/a^ ^ г, где 0 < г < 1 — некоторая константа. В таком случае, т.к. ак ^ аотк, сумма ряда ограничивается сверху суммой бесконечной геометрической прогрессии:
ПОООО
52afc ^ ^аотк = а0^гк = ^.
к=0к=Огк=0
Применим этот метод, например, к ряду ^З^ ^к/Зку Для того чтобы сумма начиналась с к = 0, перепишем ряд как У£10 ((А + l)/3fc+1). Первый член ао этого ряда равен 1/3, а отношение соседних членов ряда г для всех к ^ 0 равно
(A: + 2)/3fc+2 _ 1 А: + 2 < 2
(А: + l)/3fc+1 - 3 ' fc + l ^ 3‘
Таким образом, мы получаем следующую оценку:
ул к _у^ + 1 < 11_
3fc ~ 3k+i з ‘ 1 - 2/з ~ '
к=1к=0
Распространенной ошибкой при использовании этого метода является выяснение того, что отношение двух последовательных членов ряда меньше 1 и на этом основании делается вывод об ограниченности ряда геометрической прогрессией. В качестве контрпримера можно привести гармонический ряд, который расходится, так как
У' т" = lira V у = Ит 0 (1g п) = оо.кп—оок п->оо 4 ь '
/с=1к=1
Несмотря на то, что отношение (к + 1)-го и к-го членов этого ряда равно к/(к + 1) < 1, ряд расходится. Для того чтобы ряд был ограничен геометрической прогрессией, надо показать наличие константы г < 1, такой что отношение двух соседних членов никогда не превосходит значения г. В гармоническом ряде такой константы не существует, поскольку отношение двух соседних членов может быть сколь угодно близким к 1.
Разбиение рядов
Еще один способ получения оценки сложной суммы состоит в представлении ряда как суммы двух или большего числа рядов путем разделения на части всего диапазона индексов, и оценке сумм частей по отдельности. Предположим, например, что мы ищем нижнюю границу арифметической прогрессии ^2^=1 к, для которой, как мы уже выяснили, верхняя граница равна О (п2). Можно попытаться ограничить каждый член суммы наименьшим, но поскольку наименьший член этого ряда — 1, мы получим в качестве нижней границы п, что слишком далеко от найденной верхней границы.
Лучший результат для нижней границы можно получить, если сначала разбить ряд на две части. Предположим для удобства, что п — четное число. Тогда
n n/2пп/2п
Т,к = Т,к^ 52 А>^°+ 52 (n/2) = (n/2)2 = Q (п2) ,
к=1к=1 к=п/2+1к=1к=п/2+1
что является асимптотически точной оценкой, поскольку £2£=1 к = О (п2).
В рядах, рассматриваемых при анализе алгоритмов, зачастую можно разбить ряд на части и просто проигнорировать некоторое конечное число начальных членов. Обычно этот метод применим, если каждый член аь ряда 23£_оа& не зависит от п. Тогда для любой константы ко > 0 можно записать
пко—1пп
^LQk= 52ак + 52Qk = 0 (1) + 52ак’
к=0к=0к—кок=ко
поскольку начальные члены суммы — постоянные величины, и в отдельный ряд выделено постоянное их количество. После такого разделения для поиска границ ряда ЦЗк-кд a-к можно использовать другие методы. Описанная методика применима и к бесконечным рядам. Например; для поиска асимптотической верхней границы ряда
к=0
заметим, что отношение последовательных членов ряда
(к + l)2/2fc+1 _ (к + I)2 < 8к2/2к- 2F ^9’
при Л > 3. Таким образом, можно оценить сумму исходного ряда следующим образом:
^к22к2^к22 к2 9~/8\к
52 2fc52 2к + 52 2к ^ 52 2к + 8 52 ( 9 )( )’
к=0к=0к=3к=0к=0 х 7
поскольку количество членов первой суммы — константа, а вторая представляет собой бесконечно убывающую геометрическую прогрессию.
Метод разбиения ряда может быть применен для определения асимптотических границ в гораздо более сложных ситуациях. Например, таким способом мы можем получить границу О (lg п) гармонического ряда (А.7):
п 1
к-1
Идея заключается в разбиении диапазона от 1 до п на [lg nJ +1 частей, с ограничением каждой части единицей. Каждая часть состоит из членов, начинающихся от 1/2г и заканчивающихся членом l/2t+1 (исключая сам этот член), что дает нам
n -Llgnj 2' —1-Llgnj 2f—1 - Llgnj
k=l i=0 j=0 J i=0 j=0i=0
Приближение интегралами
Если сумма может быть выражена как £2£_т / (к), где / (к) — монотонно возрастающая функция, мы можем оценить значение ряда при помощи интегралов:
гппгп+1
/ (ж) dx 22 / (к) < f(x)dx.(А.11)
J™"1к=тJm
Пояснение такой оценки показано на рис. АЛ. На рисунке в прямоугольниках показаны их площади, а общая площадь прямоугольников представляет значение суммы. Значение интеграла равно заштрихованной площади под кривой. На рис. А. 1а показано, что J^.!/^) < TLk=mf W> а на Рис- ^® — 410
П1 л
Е Jto^C f^dx.
к=т
Если функция / (А:) монотонно убывающая, то аналогично можно показать,
чточтопf(x)dx^ 22 / Wк=тпf(x)dx^ 22 / Wк=т(А. 12)(А. 12)
что
что
пf(x)dx^ 22 / Wк=т
пf(x)dx^ 22 / Wк=т
(А. 12)
(А. 12)
Приближение интегралами (А. 12) дает нам точную асимптотическую оценку n-го гармонического числа. Нижнюю границу мы получаем следующим образом:
Рис. АЛ. Приближение '^1к=т f W интегралами
Для получения верхней границы воспользуемся неравенством
откуда, прибавляя первый член ряда, находим, что
Упражнения
А.2-1. Покажите, что сумма ^2£=11/&2 ограничена сверху константой.
А.2-2. Найдите асимптотическую верхнюю границу суммы ^Йо^ [n/2fc]-
А.2-3. Применяя разбиение ряда, покажите, что n-я частичная сумма гармонического ряда есть Q (lg п).
А.2-4. Найдите приближенное значение 52£=1 к3 при помощи интегралов.
А.2-5. Почему мы не можем применить интегральное приближение (А. 12) для поиска верхней границы n-го гармонического числа непосредственно к сумме 52^=11/к?
Задачи
А-1. Оценки сумм
Дайте асимптотически точные оценки приведенных ниже сумм. Считаем, что г^Оиз^О- константы.
£ кт.
к=1
^Ssk.
к=1
Е кт lgs к.
к=1
Заключительные замечания
Книга Кнута (Knuth) [182] — отличное справочное пособие по изложенному здесь материалу. Основные свойства рядов можно найти во множестве книг, например, в книге Апостола (Apostol) [ 18] или Томаса (Thomas) и Финни (Finney) [296].
ПРИЛОЖЕНИЕ Б
Множества и прочие художества
Во многих главах книги нам приходится сталкиваться с элементами дискретной математики. Здесь вы более подробно ознакомитесь с обозначениями, определениями и элементарными свойствами множеств, отношений, функций, графов и деревьев. Читатели, знакомые с этим материалом, могут пропустить данное приложение.
Б.1 Множества
Множество (set) представляет собой набор различимых объектов, которые называются членами или элементами. Если объект х является членом множества 5, мы записываем это как х € S (читается “х принадлежит S”). Если х не принадлежит S, мы записываем х ^ S. Множество можно описать путем явного перечисления его элементов в виде списка, заключенного в фигурные скобки. Например, мы можем определить множество S как содержащее числа 1, 2 и 3, и только их, записав S = {1,2,3}. Поскольку 2 является элементом множества S, мы можем записать 2 € S, а так как 4 не является элементом S, верна запись 4 0 S. Множество не может содержать один и тот же элемент дважды1; кроме того, элементы множества не упорядочены. Два множества А и В равны (что записывается как А = В), если они содержат одни и те же элементы. Например, {1,2,3} = {3,2,1}.
Для часто встречающихся множеств используются специальные обозначения:
'Модификация множества, которое может содержать несколько одинаковых элементов, называется мультимножеством (multiset).
0 обозначает пустое множество, т.е. множество, не содержащее ни одного элемента;
Z обозначает множество целых чисел, т.е. множество {..., —2, —1,0,1,2,...};
R обозначает множество действительных чисел;
N обозначает множество натуральных чисел, т.е. множество {1,2,3,.. .}.
Если все элементы множества А содержатся во множестве В, т.е. из х Е А вытекает хЕВ, то мы записываем, что АС В и говорим, что множество А является подмножеством В. Множество А является истинным подмножеством (proper subset) множества В (что записывается как Ас В), если А С В, но А / В. (Многие авторы используют обозначение Ас В не только для истинных подмножеств, но и для отношения обычного подмножества.) Для любого множества А справедливо А С А; для двух множеств А и В А = В тогда и только тогда, когда А С В и В С А. Для любых трех множеств А, ВнС из АСВ иВСС следует АС С. Для любого множества А справедливо соотношение 0 С А.
Иногда множество определяется посредством другого множества. Так, имея множество А, мы можем определить множество В С А, указав свойство, которым обладают элементы множества В. Например, множество четных чисел можно определить следующим образом: {ж : х Е Z и ж/2 — целое число}. Двоеточие в такой записи читается как “такой что” (некоторые авторы вместо двоеточия используют вертикальную черту).
Для данных двух множеств А и В можно определить новые множества при помощи следующих операций над множествами.
Пересечением множеств А и В является множество
АПВ = ^х:хЕАихЕ В}.
Объединением множеств А и В является множество
A U В = (ж : х Е А или хЕ В^.
Разностью множеств А и В является множество
А — В = ^х:хЕАих£ В}.
Операции над множествами обладают следующими свойствами.
Свойства пустого множества
А П 0 = 0,
A U 0 = А.
АА(.BnO = А-^ВсхО =(Л-Л) и (Л-С)
А
А
Рис. Б.1. Диаграмма Венна, иллюстрирующая первый закон де Моргана
Свойства идемпотентности
АП А = А,A U А = А.
Свойства коммутативности
А П В = В Л А,A U В = В U А.
Свойства ассоциативности
А П (В Л С) = (А П В) П С,A U (В U С) = (A U В) U С.
Свойства дистрибутивности
А П (В U С) = (А П В) U (А П С)
AU (ВПС) = (AUВ) П (AUС).^
Свойства поглощения
А П (A U В) = А,A U (А П В) = А.
Законы де Моргана
А — (В Л С) = (А — В) U (А — С),
А - (В U С) = (А - В) П (А - С).‘
Первый закон де Моргана проиллюстрирован на рис. Б.1 при помощи диаграммы Венна, графического представления множеств в виде областей на плоскости.
Часто все рассматриваемые множества являются подмножествами некоторого большего множества U, называемого универсумом (universe). Например, если мы
работаем с различными множествами целых чисел, то в качестве универсума можно рассматривать множество Z. Для данного универсума U можно определить дополнение (complement) множества Д как А — U — А. Для любого множества А С U выполняются следующие соотношения:
7 = А,АП А = 0,A U А = U.
Из законов де Моргана следует, что для любых двух множеств В, С CU имеют место равенства
в7Тс = виС,
ВиС = 5ПС.
Множества АиВ являются непересекающимися (disjoint), если они не имеют общих элементов, т.е. если А П В = 0. Семейство 5 = {S,} непустых множеств образует разбиение (partition) множества S, если
множества попарно не пересекаются, т.е. из Si, S3 € S и г / j следует Si П Sj = 0, и
их объединение равно S, т.е.
S = (J si-
S^S
Другими словами, семейство S образует разбиение множества S, если любой элемент s 6 S принадлежит в точности одному из множеств St 6 S.
Количество элементов множества называется его мощностью (cardinality) или размером, и обозначается как |S|. Два множества имеют одинаковую мощность, если между их элементами можно установить взаимно однозначное соответствие. Мощность пустого множества равна 0 : |0| = 0. Если мощность множества представляет собой целое неотрицательное число, то такое множество называется конечным; в противном случае множество является бесконечным. Бесконечное множество, элементы которого могут быть поставлены во взаимно однозначное соответствие натуральным числам, называются счетными (countably infinite), в противном случае мы имеем дело с несчетными (uncountably) множествами. Множество целых чисел Z счетно, в то время как множество действительных чисел R — нет.
Для любых двух конечных множеств Ли В справедливо следующее тождество:
|ЛиВ| = |Л| + |В|-|ЛПВ|,(Б.З)
из которого следует неравенство
|АиВЫА| + |В|.
Если множества А и В не пересекаются, то |А Л В| = 0 и, следовательно, [AUВ| = |А| + |В|. Если АС В, то |Л| ^ |В|.
Конечное множество из п элементов называется п-элементным. В англоязычной литературе одноэлементное множество имеет специальное название singleton, а подмножество из к элементов именуется k-subset.
Множество всех подмножеств множества S, включая пустое подмножество и само множество S, обозначается как 2s и называется степенным множеством (power set) S. Например, 2W^ = {0, {а} , {Ь} , {а, 6}}. Мощность степенного множества конечного множества S имеет мощность 2l5L
Иногда мы сталкиваемся с множествоподобными структурами, элементы которых упорядочены. Упорядоченная пара (ordered pair) состоит из двух элементов а и Ь, обозначается как (о, 6) и формально может быть определена как (а, {а, 6}}. Упорядоченные пары (а, 6) и (Ь, о) различны.
Декартово произведение (Cartesian product) двух множеств А и В обозначается Ах В и представляет собой множество всех упорядоченных пар, в которых первый элемент пары является элементом А, а второй — элементом В. Говоря более строго,
А х В = {(о, 6) : а € А и b € В}.
Например, {о, 6} х {а, Ь, с} = {(а, а), (а, Ь), (а, с), (Ь, а), (Ь, Ь), (Ь, с)}. Если А и В являются конечными множествами, то мощность их декартова произведения равна
|А х В| = |А| • |В|.(Б.4)
Декартово произведение п множеств Ai, А2,..., Ап представляет собой множество кортежей из п элементов ip-tuples}
Ai X А2 X * • • X Ап = ((oi, 02, • • • j «п) • Qi ^ Aj, i — 1,2,..., 7l) , мощность которого в случае, если все множества конечны, равна
|Ai х А2 х • • • х An| = |Ai| • |А2| • • • |АП|.
Можно также определить декартову степень как следующее множество:
Ап = А х А х • • • х А,
мощность которого в случае конечности множества А составляет |АП| = |А|П.
Упражнения
Б. 1-1. Изобразите диаграмму Венна, которая иллюстрирует первое свойство дистрибутивности (Б.1).
Б. 1-2. Докажите обобщение закона де Моргана для любого конечного набора множеств:
Ах П А2 П... П Ап = A^U A^U... и А^
AiUA2U...UAn = А? П Аг П ... П А^.
* Б. 1-3. Докажите обобщение равенства (Б.З), именуемое принципом включений и исключений (principle of inclusion and exclusion):
|AiUA2U---UAn| =
= IЛ11 + |Л2| Чh |An| —
— |Л1 Cl Л2| — |Л1 Л Лз| —Ь (все пары)
+ | Лх Л Л2 Л Аз | -|h(все тройки)
+ (-1)п-1|Л1ПЛ2П...ПЛп|.
Б. 1-4. Покажите, что множество нечетных натуральных чисел счетно.
Б. 1-5. Покажите, что для любого конечного множества S степенное множество 2s содержит 2lsl элементов (т.е. имеется 2lsl различных подмножеств множества S).
Б. 1-6. Дайте индуктивное определение кортежа из п элементов, используя понятие упорядоченной пары.
Б.2 Отношения
Бинарным отношением (binary relation) R между элементами двух множеств Л и В называется подмножество декартова произведения А х В. Если (а, 6) € 6 R, мы можем записать это как a R Ь. Когда мы говорим, что R есть бинарное отношение на множестве А, имеется в виду, что R является подмножеством А х А. Например, отношение “меньше” на множестве натуральных чисел представляет собой множество {(а, Ь) : а, b € N и а < 6}. Под n-арным отношением на множествах Лх, Л2,..., Ап понимается подмножество декартова произведения Ai х А2 х ... х Ап.
Бинарное отношение R С А х А является рефлексивным, если для всех а Е А справедливо a Ra. Например, отношения “=” или “^” на множестве N рефлексивны, но отношение “<” таковым не является.
Отношение R симметрично, если из a R b вытекает b Ra для всех а, b 6 А. Например, симметричным является отношение “=”, но не “<” или “^”.
Отношение R транзитивно, если из aRbnbRc следует a R с для всех а, Ь, с 6 А. Например, транзитивными являются отношения “=”, “<” и “С”, но отношение R = {(а, Ь) : а, Ь 6 N и а = b — 1} таковым не является, поскольку из ЗЯ4и4Я5не следует 3 R 5.
Отношение, которое является одновременно рефлексивным, симметричным и транзитивным, называется отношением эквивалентности. Например, на множестве натуральных чисел отношение “=” является отношением эквивалентности, а отношение “<” — нет. Если R — отношение эквивалентности на множестве А, то можно определить класс эквивалентности элемента аЕА как множество [а] = {6 Е А : a R 6}, т.е. множество всех элементов, эквивалентных а. Например, если мы определим отношение R = {(a, b) : a, b Е N и (а + Ь) — четное число}, то R будет отношением эквивалентности, поскольку а+а четно (рефлексивность), если четно а + Ь, то четно и b + а (симметричность), и из четности а + b и b + с вытекает четность а + с (транзитивность). Класс эквивалентности числа 4 есть [4] = {2,4,6,...}, а класс эквивалентности числа 3 — [3] = {1,3,5,...}. Основная теорема о классах эквивалентности заключается в следующем.
Теорема Б.1 (Отношения эквивалентности тождественны разбиениям). Для любого отношения эквивалентности на множестве А классы эквивалентности образуют разбиение А, и обратно, любое разбиение А определяет отношение эквивалентности на А, для которого множества в разбиении являются классами эквивалентности. □
Доказательство. Для доказательства первого утверждения теоремы надо показать, что классы эквивалентности R непусты, попарно не пересекаются и их объединение дает множество А. Из рефлексивности R вытекает а Е [а], так что класс эквивалентности не является пустым; кроме того, поскольку каждый элемент а Е А является элементом класса эквивалентности [а], объединение всех классов эквивалентности равно А. Остается показать, что классы эквивалентности попарно не пересекаются, т.е. что если два класса эквивалентности [а] и [6] имеют общий элемент с, то это один и тот же класс эквивалентности. В этом случае a R с и b R с, откуда в силу симметричности и транзитивности a R Ь. Таким образом, для произвольного элемента х Е [а] имеем х R а и, как следствие, х Rb, так что [а] С [6]. Аналогично, [6] С [а], так что [а] = [Ь].
Для доказательства второй части теоремы рассмотрим разбиение А Л = {AJ, и определим следующее отношение:
R = {(а, Ь) : существует такое г, что а Е Ai и b Е А^ .
Покажем, что R есть отношение эквивалентности на А. Это отношение рефлексивно, т.е. из а Е Ai следует a R а. Симметричность R следует из того, что если
a R Ь, то и а, и b принадлежат одному и тому же множеству Ai, так что b R а. Если a R b и b R с, то все три элемента принадлежат одному и тому же множеству, так что a Rc, т.е. отношение R транзитивно. Чтобы показать, что множества в разбиении являются классами эквивалентности R, заметим, что если а Е Ai, то из ж € [а] вытекает х € Ai, а из х € At вытекает ж 6 [а].□
Бинарное отношение R на множестве А является антисимметричным, если из aRbnbRa следует а = Ь. Например, антисимметричным на множестве натуральных чисел является отношение “<”, поскольку если а ^ b и b ^ а, то а = Ь. Отношение, являющееся одновременно рефлексивным, антисимметричным и транзитивным, является и отношением частичного порядка (partial order), а множество, на котором определено такое отношение, — частично упорядоченным множеством. Например, отношение “быть потомком” на множестве людей является отношением частичного порядка (если рассматривать человека как собственного потомка).
В частично упорядоченном множестве А может не быть единственного “наибольшего” элемента а, такого что bRa для всех b 6 А. Вместо этого могут быть несколько максимальных элементов а, обладающих тем свойством, что не существует таких b € А, отличных от а, что a R Ь. Например, в наборе ящиков разного размера может быть несколько максимальных ящиков, которые не могут поместиться ни в один другой ящик, так что одного “наибольшего” ящика, в котором могут поместиться все остальные, не существует3.
Отношение частичного порядка R является отношением полного (total order), или линейного (linear order), порядка, если для всех а, Ье А имеем aRb или b Ra, т.е. если любая пара элементов А может быть связана отношением R. Например, отношение “^” на множестве натуральных чисел является отношением линейного порядка, в то время как отношение “быть потомком” на множестве людей таковым не является, поскольку могут быть люди, которые не являются потомками друг Друга.
Упражнения
Б.2-1. Докажите, что отношение подмножества “С” на множестве всех подмножеств Z является отношением частичного, но не полного порядка.
Б.2-2. Покажите, что для любого положительного п отношение “тождественности по модулю п” является отношением эквивалентности на множестве целых чисел. (Мы говорим, что а = b (modn), если существует такое целое число q, что а — b = qn.) На сколько классов эквивалентности разбивает множество целых чисел это отношение?
3Для того чтобы отношение “может поместиться в” было отношением частичного порядка, надо считать, что ящик может поместиться сам в себя.
Б.2-3. Приведите пример отношения, которое
рефлексивно и симметрично, но не транзитивно;
рефлексивно и транзитивно, но не симметрично;
симметрично и транзитивно, но не рефлексивно.
Б.2-4. Пусть S — конечное множество, a R — отношение эквивалентности на S х S. Покажите, что если R — антисимметрично, то все классы эквивалентности содержат по одному элементу.
Б.2-5. Профессор полагает, что всякое симметричное и транзитивное отношение R должно быть рефлексивным. Он предлагает следующее доказательство: из a R Ь в силу симметрии следует b R а, а применение транзитивности к этому выводу дает a R а. Прав ли профессор?
Б.З Функции
Для данных двух множеств А и В функция f представляет собой бинарное отношение на А х В, такое что для каждого абА существует ровно одно Ь е В, такое что (а, Ь) 6 f. Множество А называется областью определения (domain) функции /, а множество В — областью значений (codomain). Иногда для функции используется запись / : А —* В; кроме того, если (a, 6) Е /, то мы записываем Ь = / (а), поскольку значение b однозначно определяется по значению а.
Интуитивно функцию / можно рассматривать как операцию, которая ставит в соответствие каждому элементу А элемент В. Никакому элементу А не может быть поставлено в соответствие два различных элемента В, однако один и тот же элемент В может соответствовать разным элементам А. Например, бинарное отношение
/ = {(а, Ь) : а, 6 Е N и b = а mod 2}
является функцией / : N —♦ {0,1}, поскольку для каждого натурального числа а имеется ровно одно число b из {0,1}, такое что b = a mod 2. Например, 0 = / (0), 1 = / (1), 0 = / (2) и т.д. Бинарное же отношение
9 = {(а» Ь) : а, Ь Е N и а + Ь — четно}
функцией не является, поскольку и (1,3), и (1,5) являются элементами д, так что элементу а = 1 соответствуют более одного элемента Ь, такого что (а, 6) Е д.
Если у нас имеется функция f : А —♦ В, и b = / (а), то а называется аргументом функции /, а Ь — значением функции / от данного аргумента а. Можно определить функцию, указывая ее значения для каждого элемента из области определения. Например, можно определить / (п) = 2п для n Е N, что означает / = {(n, 2n) : п Е N}. Две функции / и д называются равными, если у них
одинаковые области определения и значений и если для любого а из области определения / (а) = д (а).
Конечная последовательность длины п представляет собой функцию /, область определения которой — множество из п целых чисел {0,1,... ,п — 1}. Зачастую конечная последовательность записывается как список ее значений: (/ (0), f (1),..., / (п — 1)). Бесконечной последовательностью называется функция, область определения которой — целые неотрицательные числа. Например, последовательность чисел Фибоначчи, определенная рекуррентным соотношением (3.21), представляет собой бесконечную последовательность (0,1,1,2,3, 5,8,13,21,...).
Если область определения функции / является декартовым произведением, дополнительные скобки вокруг аргументов в записи обычно опускаются. Например, если у нас есть функция / : Ai х Аг х • • • х Ап —» В, то мы можем записать b = / (а1,аг, • • • > «п), а не 6 = / ((01,02,... ,ап)). Кроме того, в этом случае аргументом называется каждый элемент at, хотя технически единым аргументом функции / является кортеж из п элементов (oi, 02,..., Оп\
Если Ь = / (о) для некоторой функции / : А —♦ В, то иногда говорят, что b есть образ (image) а. Образ подмножества А' С А определяется как
/ (А') = (6 € В : b = / (о) для некоторого а € А'} .
Множество значений (range) функции / представляет собой образ ее области определения, т.е. / (А). Например, множеством значений функции / : N —» N, определенной как / (п) = 2п, является
/ (N) = {т : т = 2п для некоторого n € N} .
Функция называется наложением или сюръекцией (suijection), если ее множество значений совпадает с областью значений. Например, функция / (n) = [n/2J представляет собой наложение множества неотрицательных целых чисел на множество неотрицательных целых чисел, так как каждый элемент этого множества служит значением / для некоторого аргумента. Функция же / (п) = 2п не является наложением N на N, поскольку, например, число 3 не является значением / ни для какого аргумента; однако эта функция является наложением N на множество четных натуральных чисел. Сюръекцию / : А —* В иногда называют отображением А на В.
Функция f : А —» В называется вложением или инъекцией (injection), если различным аргументам / соответствуют различные значения, т.е. из о / о' вытекает f (о) / / (а'). Например, функция / (п) = 2п является вложением множества N в N, так как каждое четное число b является отображением не более одного элемента из области определения, а именно 6/2. Функция / (n) = [n/2J вложением не является, поскольку значение 1, например, получается для двух
аргументов — 2 и 3. Инъекции в англоязычной литературе иногда называются функциями однозначного соответствия (one-to-one function).
Функция / : А —> В называется биекцией (bijection), если она является одновременно инъекцией и сюръекцией. Например, функция /(n) = (—l)n fn/2j является биекцией, отображающей множество неотрицательных целых чисел на множество целых чисел:
0^0
— -1
-► 1
3^-2
—► 2
Данная функция является инъекцией, поскольку ни один элемент множества целых чисел не является образом более одного аргумента. Она также является сюръекцией, поскольку каждое целое число является образом некоторого элемента множества неотрицательных целых чисел. Следовательно, рассматриваемая функция является биекцией. Биекции называют также взаимно однозначными соответствиями (one-to-one correspondence), поскольку они делят все элементы областей определения и значений на пары. Биекция множества А относительно себя самого иногда называется перестановкой множества А.
Если функция / является биекцией, обратная (inverse) к ней функция определяется следующим образом:
/-1 (6) = а тогда и только тогда, когда / (а) = Ь.
Например, вот функция, обратная к / (n) = (—l)n fn/2j:
2m если m ^ 0,
—2m — 1 если m < 0.
Упражнения
Б.3-1. Пусть А и В — конечные множества, а / : А —» В — некоторая функция.
Покажите, что
если / — инъекция, то |А| ^ |В|;
если / — сюръекция, то Щ > |В|.
Б.3-2. Пусть имеется функция / (ж) = ж + 1. Будет ли она биекцией, если ее область определения и область значений — натуральные числа? А если ее область определения и область значений — целые числа?
Б. 3-3. Дайте определение обратного к бинарному отношению. (Если отношение является биекцией, то определение должно давать обратную функцию.)
* Б.3-4. Приведите пример биекции / : Z —► Z х Z.
Б.4 Графы
В этом разделе будут рассмотрены два типа графов — ориентированные и неориентированные. Следует иметь в виду, что терминологию в этой области еще нельзя назвать вполне устоявшейся, так что в литературе можно встретить определения, отличающиеся от приведенных здесь, хотя в основном эти отличия незначительны. Вопрос о представлении графов в памяти компьютера рассматривался в разделе 22.1.
Ориентированный граф (directed graph) G определяется как пара (V, Е\ где V — конечное множество, а Е — бинарное отношение на V. Множество V называется множеством вершин (vertex set) графа G, а его элементы — вершинами. Множество Е называется множеством ребер графа G, а его элементы — ребрами. На рис. Б.2а изображен ориентированный граф с множеством вершин {1,2,3,4,5,6}. Вершины на рисунке показаны кружками, а ребра — стрелками. Обратите внимание на возможность существования ребер-циклов, или петель (self-loops), т.е. ребер, соединяющих вершину с самой собой.
В неориентированном графе (undirected graph) G = (V, Е) множество ребер Е состоит из неупорядоченных пар вершин, т.е. ребро является множеством {и, и}, где и, и £ V и и / и. По соглашению для ребер используется запись (и, и), причем и (и, и), и (и, и) обозначают одно и то же ребро неориентированного графа. В неориентированном графе петли запрещены, так что каждое ребро содержит две разные вершины. На рис. Б.26 показан неориентированный граф с множеством вершин {1,2,3,4,5,6}.
Многие определения выглядят одинаково и для ориентированных, и для неориентированных графов, хотя некоторые отличия, естественно, имеются. Если (и, и) — ребро направленного графа G = (V, Е), то ребро выходит из (incident
Рис. Б.2. Ориентированные и неориентированные графы
from, leave) вершины и и входит в (incident to, enter) вершину v. Например, на рис. Б.2а из вершины 2 выходят ребра (2,2), (2,4) и (2,5), а входят в вершину 2 ребра (1,2) и (2,2). Если (и, и) — ребро неориентированного графа G = {V,E), то оно соединяет вершины (incident on) it и v и называется инцидентным этим вершинам.
Если в графе G имеется ребро (и, и), то говорят, что вершина v смежна (adjacent) с вершиной и. Для неориентированных графов отношение смежности является симметричным (в случае ориентированных графов это утверждение неверно). Если вершина v смежна с вершиной и, то пишут и —> и. На рис. Б.2а и рис. Б.26 вершина 2 является смежной с вершиной 1, поскольку ребро (1,2) имеется в обоих графах. Вершина 1 смежна с вершиной 2 только на рис. Б.26.
Степенью (degree) вершины в неориентированном графе называется число ребер, соединяющих ее с другими вершинами. Например, вершина 2 на рис. Б.26 имеет степень 2. Вершина, степень которой равна 0 (как, например, у вершины 4 на рис. Б.26), называется изолированной (isolated). В ориентированном графе различают исходящую степень (out-degree), которая равна количеству выходящих из вершины ребер, и входящую степень (in-degree), которая равна количеству входящих в вершину ребер. Степень (degree) вершины в ориентированном графе равна сумме ее входящей и исходящей степеней. Так, на рис. Б.2а вершина 2 имеет входящую степень 2, исходящую — 3, так что степень данной вершины равна 5.
Путь {маршрут) длины к от вершины и к вершине и* в графе G = (V, Е) представляет собой последовательность (vq, vi, «2, • • •, ^к) вершин, такую что u = vo, и' = Vk и (vi-i,vi) G Е для г = 1,2, ...,к. Длиной пути называется количество составляющих его ребер. Путь содержит (contains) вершины v0, «1, V2,..., v* и ребра (v0, vj, (vi, v2),..., (vfc-i, Vk). Всегда имеется путь нулевой длины из вершины в нее саму. Если имеется путь р из вершины и в вершину и*, то говорят, что вершина и* достижима (reachable) из и по пути р, что иногда в ориентированном графе G записывается как и -^ и1. Путь является простым (simple), если все вершины пути различны. Например, на рис. Б.2а путь (1,2,5,4) является простым путем длины 3; путь (2,5,4,5) простым не является.
Подпуть (subpath) пути р = (vq, vi, ..., v^) представляет собой непрерывную подпоследовательность его вершин, т.е. для любых 0 < г ^ j С к последовательность вершин (vj, Vj+i,..., Vj) является подпутем р.
В ориентированном графе путь (vq, vi, ..., v^) образует цикл (cycle), если vq = = Vk и путь содержит по крайней мере одно ребро. Цикл называется простым, если кроме того все вершины vi,V2,...,Vk различны. Петля является циклом с длиной 1. Два пути — (v0, vi,..., Vk-i, v0) и (vq, Vp ..., v^p Vq) — образуют один и тот же цикл, если существует такое целое j, что v' = «(i+j) mod к №я г = 0,1,..., к — 1 (один цикл получен из другого сдвигом). На рис. Б.2а путь
(1,2,4,1) образует тот же цикл, что и пути (2,4,1,2) и (4,1,2,4). Этот цикл простой, цикл (1,2,4,5,4,1) таковым не является. Цикл (2,2), образованный ребром (2,2), представляет собой петлю. Ориентированный граф, не содержащий петель, называется простым. В неориентированном графе путь (vq, vi, ..., vt) образует (простой) цикл, если к > 3, vq = vk и все вершины vi,«2,...,и/. различны. Например, на рис. Б.26 путь (1,2,5,1) является циклом. Граф без циклов называется ациклическим (acyclic).
Неориентированный граф является связным (connected), если любая его вершина достижима из другой по некоторому пути. Для неориентированного графа отношение “быть достижимым из” является отношением эквивалентности на множестве вершин. Классы эквивалентности называются связными компонентами (connected components) графа. Например, на рис. Б.26 имеются три связных компонента: {1,2,5}, (3,6} и (4). Каждая вершина в {1,2,5} достижима из другой вершины этого множества. Неориентированный граф считается связным тогда и только тогда, когда он состоит из единственного связного компонента.
Ориентированный граф называется сильно связным (strongly connected), если любые его две вершины достижимы друг из друга. Любой ориентированный граф можно разбить на сильно связные компоненты (strongly connected components), которые определяются как классы эквивалентности отношения взаимной достижимости. Ориентированный граф считается сильно связным тогда и только тогда, когда он состоит из единственного сильно связного компонента. Граф на рис. Б.2а состоит из трех таких компонентов: (1,2,4,5), {3} и {6}. Все пары в множестве {1,2,4,5} являются взаимно достижимыми. Вершины {3,6} не образуют сильно связный компонент, поскольку из вершины 3 нельзя достичь вершины 6.
Два графа G = (V,E) и G' = (V^E1) изоморфны (isomorphic), если существует биекция j : V —* V, такая что (и, и) G Е тогда и только тогда, когда (/ (и) > / (и)) € Е'. Другими словами, мы можем перенумеровать вершины G, превратив их в вершины G', сохранив при этом ребра между вершинами в неизменном состоянии. На рис. Б.За показана пара изоморфных графов G и & с множествами вершин V = {1,2,3,4,5,6} и V* = {u, и, w, ж, у, z} соответственно. Отображение У на V* выглядит следующим образом: / (1) = и, / (2) = v, / (3) = w, / (4) = ж, / (5) = У, / (6) = z. Графы на рис. Б.Зб неизоморфны. Хотя оба изображенных здесь графа имеют по 5 вершин и 7 ребер, граф в верхней части рисунка имеет вершину степени 4, которой нет у нижнего графа.
Мы говорим, что граф G' = (V',E') является подграфом (subgraph) G = = (V, Е), если V* С У и Е* С Е. Если в графе G = (У, Е) выбрано подмножество У' С У, то подграфом графа G, порожденным (induced) множеством вершин У', является граф G* = (У', Е*), где
Е* = {(и, и) € Е : и, и € У'}.
Рис. Б.З. Изоморфные и неизоморфные графы
Подграф, порожденный множеством вершин {1,2,3,6} на рис. Б.2а, показан на рис. Б.2в, он содержит следующее множество ребер: {(1,2), (2,2), (6,3)}.
Для данного неориентированного графа G = (V,E) его ориентированная версия (directed version) представляет собой ориентированный граф G' = (V, Е'), где (и, v) G Е' тогда и только тогда, когда (u, и) € Е. Другими словами, каждое неориентированное ребро (u, у) графа G заменяется в ориентированной версии двумя ориентированными ребрами (и, у) и (у, и). Для ориентированного графа G = (V, Е) его неориентированная версия (undirected version) представляет собой неориентированный граф G' = (V, Е'), где (и, и) € Е' тогда и только тогда, когда и / у и {и, и) 6 Е. Другими словами, неориентированная версия содержит ребра графа G “с удаленными стрелочками”, причем петли из неориентированной версии убираются. Поскольку в неориентированном графе ребра (и, и) и (у, у) идентичны, неориентированная версия ориентированного графа содержит ребро только по разу, даже если в ориентированном графе между вершинами и и у имеются два ориентированных ребра (и, у) и (у, и). В ориентированном графе соседом (neighbor) вершины и называется любая вершина, которая становится смежной сив неориентированной версии, т.е. и является соседом у, если у / и и либо (у, и) G Е, либо (у, у) € Е. В неориентированном графе смежные вершины являются соседями.
Определенные виды графов имеют свои специальные названия. Полным (complete) графом называется неориентированный граф, в котором каждая пара вершин образована смежными вершинами, т.е. который содержит все возможные ребра. Двудольным (bipartite) называется неориентированный граф G = (У,Е), в котором множество V может быть разделено на два множества Vi и V2, такие что из (у, и) 6 Е следует, что либо у € Vi и у € V2, либо у G V2 и у G V}.
Ациклический неориентированный граф называется лесом (forest), а связный ациклический неориентированный граф — (свободным) деревом (free tree).
Имеется еще два варианта графов, с которыми вы можете встретиться. Это мультиграф (multigraph), который похож на неориентированный граф, но может содержать как петли, так и по несколько ребер между вершинами. Гиперграф (hypergraph) также похож на неориентированный граф, но он содержит гиперребра, которые могут соединять произвольное количество вершин. Многие алгоритмы, разработанные для обычных ориентированных и неориентированных графов, могут быть обобщены для работы с такими графоподобными структурами.
Сжатием (contraction) неориентированного графа G = (У, Е) по ребру е = = (u, и) называется граф G' = (У^Е'), где У' = У — {и, v} U {х} (х — новая вершина). Множество ребер Е’ образуется из Е путем удаления ребра (и, г?). Кроме того, для каждой вершины w, инцидентной к и или и, удаляются ребра (и, w) и (v, w) (если они имеются в Е) и добавляется новое ребро (х, w).
Упражнения
Б.4-1. На приеме каждый гость подсчитывает, сколько рукопожатий он сделал.
По окончании приема вычисляется сумма рукопожатий каждого из гостей. Покажите, что полученная сумма четна, доказав следующую лемму о рукопожатиях*, если G = (У, Е) — неориентированный граф, то сумма степеней всех вершин равна удвоенному числу ребер ^^у degree (v) = = 2|£|.
Б.4-2. Покажите, что если ориентированный или неориентированный граф содержит путь из вершины и в вершину и, то в нем есть простой путь между и и v. Покажите, что если в ориентированном графе есть цикл, то в нем есть простой цикл.
Б.4-3. Покажите, что для любого связного неориентированного графа G = = (У^Е) выполняется соотношение |S| ^ |У| — 1.
Б.4-4. Проверьте, что отношение “быть достижимым из” в неориентированном графе является отношением эквивалентности на множестве вершин графа. Какие из трех свойств отношения эквивалентности выполняются для отношения “быть достижимым из” в ориентированном графе?
Б.4-5. Изобразите неориентированную версию графа на рис. Б.2а и ориентированную версию графа на рис. Б.26.
* Б.4-6. Покажите, что гиперграф можно представить как двудольный граф, в котором отношение смежности соответствует отношению инцидентности в гиперграфе. (Указание; одно множество вершин двудольного графа должно соответствовать вершинам гиперграфа, а второе множество — гиперребрам.)
Б.5 Деревья
Как и слово “граф”, слово “дерево” также употребляется в нескольких родственных смыслах. Здесь представлены основные определения и математические свойства некоторых видов деревьев. Вопросы представления деревьев в памяти компьютера рассматриваются в разделах 10.4 и 22.1.
Б.5.1 Свободные деревья
Как уже говорилось в разделе Б.4, свободные деревья (free tree), или деревья без выделенного корня, представляют собой связный ациклический неориентированный граф. Прилагательное “свободный” зачастую опускается, когда мы говорим о графе, являющемся деревом. Многие разработанные для деревьев алгоритмы могут работать и с лесом. Пример дерева показан на рис. Б.4а, леса — на рис. Б.46. Лес не является деревом в силу того, что представляющий его граф не является связным. Граф на рис. Б.4е содержит цикл, а потому не может быть ни деревом, ни лесом.
В следующей теореме указано несколько важных свойств деревьев.
Теорема Б.2 (Свойства свободных деревьев). Пусть G = (V, Е) — неориентированный граф. Тогда следующие утверждения равносильны.
G — свободное дерево.
Любые две вершины G соединяются при помощи единственного простого пути.
G — связный граф, но при удалении из Е любого ребра перестает быть таковым.
G — связный граф, и |S| = | V| — 1.
G — ациклический граф, и |Е| = | V| — 1.
G — ациклический граф, но при добавлении любого ребра в Е получается граф, содержащий цикл.
Рис. Б.4. Примеры дерева, леса и графа, который не является деревом или лесом из- за наличия цикла
Рис. Б.5. Иллюстрация к доказательству теоремы Б.2
Доказательство. (1)=>(2). Поскольку дерево является связным, для любых двух вершин G имеется как минимум один соединяющий их простой путь. Пусть и и и — вершины, соединенные двумя простыми путями pi и рг, как показано на рис. Б.5. Пусть w — вершина, в которой пути впервые расходятся, т.е. следующие за w вершины на путях pi и рг, соответственно, х и у, причем х / у. Пусть z — первая вершина, в которой пути вновь сходятся, т.е. z — первая после w вершина на пути рь которая также принадлежит пути рг. Пусть р' — подпуть pi от w через х до z, а р" — подпуть рг от w через у до z. Пути р' и р" не имеют общих точек, кроме конечных. Тогда путь, образованный объединением р* и пути, обратного к р", образует цикл. Это противоречит нашему предположению о том, что G является деревом. Таким образом, если G — дерево, то между вершинами не может быть больше одного соединяющего их простого пути.
(2)=^(3). Если любые две вершины G соединяются единственным простым путем, то G — связный граф. Пусть (и, и) — ребро из Е. Это ребро представляет собой путь от и до и, а значит, это единственный путь от и до и. Если мы удалим из графа путь (и, и), пути от и до и не будет, а граф перестанет быть связным.
(3)=г*(4). По условию граф G является связным, а из упражнения Б.4-3 нам известно, что |2?| > |V| — 1. Докажем по индукции, что |S| ^ |У| — 1. Связный граф с одной или двумя вершинами имеет ребер на одно меньше, чем вершин. Предположим, что G имеет п ^ 3 вершин и что для меньшего числа вершин выполнение условия |Е| ^ |V| — 1 доказано. Удаление произвольного ребра из G разделяет граф на к > 2 связных компонентов (на самом деле к = 2). Каждый компонент удовлетворяет условию (3) теоремы, т.к. в противном случае этому условию не удовлетворяет само дерево G. Тогда, по индукции, количество ребер во всех компонентах не превышает |V| — к ^ |У| — 2. Добавление удаленного ребра дает нам неравенство |Е| ^ |У| — 1.
(4)=>(5). Предположим, что граф G является связным и что |5| = |V| — 1. Мы должны показать, что граф G ациклический. Предположим, что граф содержит цикл, состоящий из к вершин vi, иг, • • •, Vfc! без потери общности можно считать, что это простой цикл. Пусть Gk = (Ук,Ек) — подграф G, состоящий из данного
цикла. Заметим, что |У^| = |Е*;| = к. Если к < |У|, то должна существовать вершина Vfc+i € V — 14, смежная с некоторой вершиной Vj 6 14, что следует из связности G. Определим подграф Gk.^i = (14-ц, .64+1) графа G как подграф, у которого 14+1 = Vk U {Vfc+i} и Ек+1 = Ек U {(и*, vfc+i)}- Заметим, что |Vfc+1| = = |Efc+1| = к + 1. Если к + 1 < |У|, мы можем продолжить наше построение, аналогично определяя Ск+2 и т.д. до тех пор, пока не получим Gn = (^г,^п), такой что n = |V|, Vn = V и |Sn| = |Vn| = |У|. Поскольку Gn — подграф G, Еп С С Е, следовательно, | £7| ^ |У|, что противоречит предположению |5| = |У| — 1. Следовательно, граф G ациклический.
(5)=>(6). Предположим, что граф G ациклический и что |Е| = |V| — 1. Пусть к — количество связных компонентов графа G. По определению каждый связный компонент представляет собой свободное дерево; поскольку из (1) вытекает (5), сумма всех ребер во всех связных компонентах G равна |V] — к. Следовательно, к должно быть равно 1, a G должно быть деревом. Поскольку из (1) вытекает (2), любые две вершины G соединены единственным простым путем. Таким образом, добавление любого ребра к G создает цикл.
(6)=>(1). Предположим, что G — ациклический граф, но добавление любого ребра в Е приводит к образованию цикла. Мы должны показать, что G — связный граф. Пусть и и v — произвольные вершины графа G. Если и и и не являются смежными, добавление ребра (u, и) создает цикл, в котором все ребра, кроме (и, и), принадлежат G. Таким образом, существует путь из и в и, но поскольку и и v выбраны произвольно, G оказывается связным графом. ■
Б.5.2 Деревья с корнем и упорядоченные деревья
Дерево с корнем (rooted tree) представляет собой свободное дерево, в котором выделена одна вершина, именуемая корнем (root) дерева. Зачастую вершины в дереве с корнем называют узлами (nodes) дерева. На рис. Б.ба показано дерево с корнем, состоящее из 12 узлов с корнем в узле 7.
Рассмотрим узел х в дереве Т с корнем г. Любой узел у на (единственном) пути от г к ж называется предком (ancestor) х. Если у является предком х, то х является потомком (descendant) у (каждый узел является собственным предком и потомком). Если у — предок х и х / у, то у — истинный предок (proper ancestor) х, а х, соответственно, истинный потомок (proper descendant) у. Поддеревом с корнем в узле х (subtree rooted at ж) называется дерево, порожденное потомками ж, корнем которого является узел ж. Например, на рис. Б.6а поддерево с корнем в узле 8 содержит узлы 8, 6, 5 и 9.
Если (у, ж) — последнее ребро на пути от корня г дерева Т к узлу ж, то узел у является родительским (parent) по отношению к ж, а ж — ребенком (child),
А।Глубина 0( ’
! • • .' -\
>1; d •Глубина 4* ’ ^
а)>
Рис. Б.6. Деревья с корнем и упорядоченные деревья
или дочерним узлом по отношению к узлу -у. Корень дерева — единственный узел, не имеющий родительского узла. Если два узла имеют общий родительский узел, мы будем называть такие узлы родственными, или братьями (siblings). Узел, у которого нет дочерних узлов, называется внешним узлом (external node) или листом (leaf). Узел, не являющийся листом, называется внутренним узлом (internal node).
Количество дочерних узлов узла ж называется его степенью5 (degree). Длина пути от корня г к узлу х называется глубиной (depth) узла х в дереве. Высота (height) узла в дереве равна количеству ребер в самом длинном простом нисходящем пути от узла к листу; высотой дерева называется высота его корня. Высота дерева равна также наибольшей глубине узла дерева.
Упорядоченное дерево (ordered tree) представляет собой дерево с корнем, в котором дочерние узлы каждого узла упорядочены. Те. если узел имеет к дочерних узлов, то существует первый, второй, ..., к-й дочерние узлы. Два дерева, приведенные на рис. Б.ба и рис. Б.66, отличаются, если рассматривать их как упорядоченные, но одинаковы, если трактовать их как обычные деревья с корнем.
Б.5.3 Бинарные и позиционные деревья
Бинарные деревья определяются рекурсивно. Бинарное дерево (binary tree) Т представляет собой конечное множество узлов, которое
либо не содержит узлов,
либо состоит из трех непересекающихся множеств узлов: корневой узел, бинарное дерево, называемое левым поддеревом (left subtree), и бинарное дерево, называемое правым поддеревом (right subtree).
3аметим, что степень узла зависит от того, рассматриваем ли мы дерево с корнем или свободное дерево. Степень вершины в свободном дереве, как и в любом неориентированном графе, равна количеству смежных вершин. В дереве с корнем степень равна количеству дочерних узлов — родительский узел при вычислении степени не учитывается.
Бинарное дерево, которое не содержит узлов, называется пустым (empty tree) или нулевым (null tree), и иногда обозначается как NIL. Если левое поддерево непустое, его корень называется левым ребенком (left child) корня всего дерева; аналогично, корень непустого правого поддерева называется правым ребенком (right child). Если поддерево является пустым, мы говорим, что соответствующий ребенок отсутствует (absent). Пример бинарного дерева можно увидеть на рис. Б.7а.
Бинарное дерево представляет собой не просто упорядоченное дерево, в котором каждый узел имеет степень не более 2. Например, в бинарном дереве в случае узла с одним дочерним имеет значение, какой именно этот дочерний узел — левый или правый. В упорядоченных деревьях такое различие в случае одного дочернего узла не делается. На рис. Б. 16 показано бинарное дерево, отличающееся от приведенного на рис. Б.7а позицией одного узла. Если рассматривать эти деревья как просто упорядоченные, то они являются идентичными.
Пустующие места в бинарном дереве можно заполнить фиктивными листьями, как показано на рис. Б.7в, где они изображены квадратами. Так получается полностью бинарное дерево (full binary tree): каждый узел либо представляет собой лист, либо имеет степень 2. Узлы со степенью 1 в таком дереве отсутствуют.
Информация о позициях узлов, которая отличает упорядоченные деревья от бинарных, может быть расширена на случай деревьев с более чем 2 дочерними узлами в каждом узле. В позиционном дереве (positional tree) все дочерние узлы данного узла пронумерованы различными натуральными числами. Если у данного узла среди дочерних нет узла с номером г, то г-й дочерний узел у данного узла отсутствует (absent). Позиционное дерево называется k-арным (к-гту) деревом, если в нем не имеется дочерних узлов с номером, превышающим к. Таким образом, бинарное дерево представляет собой fc-арное дерево при к = 2.
Полным к-арным деревом (complete fc-ary tree) называется fc-арное дерево, у которого все листья имеют одну и ту же глубину, а все внутренние узлы — одну и ту же степень к. Так, на рис. Б.8 показано полное бинарное дерево высота
Рис. Б.7. Бинарные деревьяРис. Б.7. Бинарные деревья
Рис. Б.7. Бинарные деревья
Рис. Б.7. Бинарные деревья
Рис. Б.8. Полное бинарное дерево, которое имеет высоту 3, 8 листьев и 7 внутренних узлов
которого равна 3. Сколько листьев содержится в полном fc-арном дереве, высота которого равна к? Корень имеет к дочерних узлов на глубине 1, каждый из которых содержит по к дочерних узлов с глубиной 2 и т.д. Таким образом, количество листьев на глубине к равно kh. Соответственно, высота полного fc-арного дерева с п листьями равна log^ п. Количество внутренних узлов полного fc-арного дерева высоты к равно
j uh _ i
1 + к + к2 + • • • + kh-1 ^^к1 = к_ г=0
в соответствии с (А.5). Таким образом, полное бинарное дерево содержит 2Л — 1 внутренних узлов.
Упражнения
Б.5-1. Нарисуйте все свободные деревья, состоящие из 3 вершин А, В и С. Изобразите все корневые деревья с этими же узлами и узлом А в качестве корня. Нарисуйте все упорядоченные деревья с узлами А, В и С и узлом А в качестве корня. Изобразите все бинарные деревья с этими же узлами и узлом А в качестве корня.
Б.5-2. Пусть G = (У, В) — ориентированный ациклический граф, в котором имеется вершина vq € V, такая что имеется единственный путь от vq к любой другой вершине v eV. Докажите, что неориентированная версия графа G является деревом.
Б.5-3. Покажите по индукции, что количество узлов степени 2 в любом непустом бинарном дереве на 1 меньше количества листьев.
Б.5-4. Покажите с использованием метода математической индукции, что непустое бинарное дерево с п узлами имеет высоту как минимум [1g nJ.
* Б.5-5. Определим длину внутреннего пути (internal path length) полностью бинарного дерева как сумму глубин всех внутренних узлов дерева. Аналогично, под длиной внешнего пути (external path length) будем подразумевать сумму глубин всех листьев дерева. Рассмотрим полностью бинарное дерево с п внутренними узлами, длиной внутреннего пути i и длиной внешнего пути е. Докажите, что е = г + 2п.
Б.5-6. Назначим каждому листу х с глубиной d бинарного дерева Т “вес” w (ж) = 2-d. Докажите, что J^ w (ж) ^ 1, где суммирование выполняется по всем листьям дерева Т (неравенство Крафта (Kraft inequality)).
Б.5-7. Покажите, что если £ > 2, то каждое бинарное дерево с L листьями содержит поддерево с количеством листьев от Д/З до 2Д/3 включительно.
Задачи
Б-1. Раскраска графа
Назовем к-раскраской (fc-coloring) неориентированного графа G = (V, Я) функцию с : V —♦ {0,1,..., к — 1), такую что для всех ребер (u, и) € 6 Е выполняется с (и) / с (и). Другими словами, числа 0,1,..., к - 1 представляют к цветов, и смежные вершины графа должны иметь разные цвета.
Покажите, что любое дерево можно раскрасить двумя цветами.
Покажите, что следующие утверждения эквивалентны:
граф G — двудольный;
граф G можно раскрасить двумя цветами;
граф G не имеет циклов нечетной длины.
Пусть d — максимальная степень вершины в графе G. Докажите, что G может быть раскрашен при помощи d + 1 цветов.
Покажите, что если граф имеет О (|V|) ребер, то его можно раскрасить при помощи О ^ vT^l) цветов.
Б-2. Граф дружбы
Преобразуйте следующие утверждения в теоремы о неориентированных графах и докажите их. Отношение дружбы считаем симметричным, но не рефлексивным.
В любой группе из п ^ 2 человек имеется два человека с одним и тем же количеством друзей из этой группы.
Каждая группа из шести человек содержит либо три человека, которые являются друзьями друг друга, либо три человека, никакие два из которых не являются друзьями.
Любую группу людей можно разделить на две подгруппы так, что как минимум половина друзей каждого человека из одной подгруппы будет находиться в другой подгруппе.
Если каждый человек в группе является другом по меньшей мере для половины группы, то можно рассадить эту группу людей за столом так, что каждый будет сидеть между двумя друзьями.
Б-3. Разбиение деревьев
Многие алгоритмы типа “разделяй и властвуй”, работающие с графами, требуют разбиения графа на два близких по размеру подграфа. Вопрос заключается в том, как сделать это с наименьшим количеством удаляемых ребер.
Покажите, что удалением единственного ребра можно разбить вершины любого бинарного дерева с п вершинами на два множества, в каждом из которых оказывается не больше Зп/4 вершин.
Покажите, что константу 3/4 из пункта а) нельзя улучшить. Для этого приведите пример простого бинарного дерева, для которого при удалении любого ребра в одной из частей оказывается ровно Зп/4 вершин.
Покажите, что, удаляя не более О (1g п) вершин, мы можем разбить бинарное дерево с п вершинами на такие два множества А и В, что |Л| = |п/2] и |В| = [п/2].
Заключительные замечания
Основатель символьной логики Дж. Буль (G. Boole) ввел многие обозначения, связанные с множествами, в своей книге, изданной в 1854 году. Современная теория множеств (в первую очередь теория мощности бесконечных множеств) была создана Кантором (G. Cantor) в 1874-1895 гг. Термин “функция” введен Лейбницем (G.W. Leibniz) для некоторых типов математических формул. Его весьма ограниченное определение функции позже неоднократно обобщалось и расширялось. Создание теории графов относится к 1736 году, когда Л. Эйлер (L. Euler) доказал невозможность такого обхода семи мостов в Кенигсберге, при котором выполняется по одному проходу по каждому из мостов, и обход завершается в исходной точке.
Полезным справочником, содержащим множество определений и свойств графов, является книга Харари (Нагагу) [138].
ПРИЛОЖЕНИЕ В
Комбинаторика и теориявероятности
В этом приложении вы познакомитесь с азами комбинаторики и теории вероятности. Если вы уже знакомы с этими разделами математики, то можете просто бегло ознакомиться с началом приложения и обратить большее внимание на его окончание. Большинство глав в этой книге не используют теорию вероятностей, но некоторые целиком построены на ее применении.
В разделе В.1 приведен обзор основ комбинаторики, включая формулы для количества перестановок и сочетаний. В разделе В.2 вас ожидает встреча с аксиомами теории вероятности и основами распределения вероятностей. Случайные величины, а также математическое ожидание и дисперсия рассматриваются в разделе В.З. Раздел В.4 посвящен геометрическому и биномиальному распределениям, изучение которых продолжается в разделе В.5, где обсуждается проблема “хвостов” распределений.
ВЛ Основы комбинаторики
Комбинаторика пытается ответить на вопрос “Сколько?”, не выполняя перечисления. Например, вы можете спросить “Сколько всего имеется различных п- битовых чисел?” или “Сколькими способами можно упорядочить п различных чисел?” Здесь мы познакомимся с азами комбинаторики, которые предполагают знание основ теории множеств, так что, надеемся, вы основательно проработали предыдущее приложение.
Правила суммы и произведения
Множество, количество элементов которого мы хотим подсчитать, иногда можно выразить как объединение непересекающихся множеств или как декартово произведение множеств.
Правило суммы гласит, что количество способов, которыми можно выбрать элемент из одного из двух непересекающихся множеств, равно сумме мощностей этих множеств. То есть, если А и В - два конечных множества без общих членов, то |Л U В| = |Л| + |В|, что следует из уравнения (Б.З). Например, если каждый символ в номере машины должен быть либо латинской буквой, либо цифрой, то всего имеется 26 + 10 = 36 различных вариантов выбора этого символа, т.к. всего имеется 26 вариантов выбора буквы и 10 — цифры.
Правило произведения гласит, что количество способов, которыми можно выбрать упорядоченную пару, равно количеству вариантов выбора первого элемента, умноженному на количество вариантов выбора второго элемента. То есть, если Л и В — конечные множества, то|ЛхВ| = |Л|-|В| (см. уравнение (Б.4)). Например, имея 28 сортов мороженого и 4 разных сиропа, можно приготовить 28 • 4 = 112 различных вариантов мороженого с сиропом.
Строки
Строкой (string) на конечном множестве S называют последовательность элементов S. Например, вот восемь двоичных (составленных из 0 и 1) строк длины 3: ООО, 001,010,011, 100, 101, 110,111. Иногда строки длиной к называются к-стро- ками. Подстрокой (substring) s' строки s называется упорядоченная последовательность элементов s. Подстрока длиной к называется к-подстрокой. Например, 010 — 3-подстрока строки 01101001 (начинающаяся с 4 позиции строки); 111 же подстрокой указанной строки не является.
к-строка на множестве S может рассматриваться как элемент декартова произведения 8к, так что всего имеется |S|fc строк длины к, в частности, число двоичных fc-строк равно 2к. Интуитивно это очевидно — при построении fc-строки из множества с п элементами у нас имеется п вариантов выбора первого элемента строки; для каждого из первых элементов у нас имеется п вариантов выбора второго элемента строки, и так к раз. Это дает нам общее количество fc-строк, равное п • п •... ■ п = п.
Перестановки
Перестановкой (permutation) конечного множества S называется упорядоченная последовательность всех элементов S, в которой каждый элемент встречается ровно один раз. Например, если S = {а, 6, с}, то имеется шесть перестановок S:
abc, acb, bac, bca, cab, cba.
Всего имеется п! перестановок множества из п элементов, поскольку первый элемент может быть выбран п способами, второй — п — 1 способом, третий — п — 2 и т.д.
к-перестановкойх S называется упорядоченная последовательность к элементов из S, в которой ни один элемент не встречается дважды (таким образом, обычная перестановка представляет собой n-перестановку множества из п элементов. Для множества S = {а, Ь, с, d^ имеется двенадцать 2-перестановок:
db dc^ ad^ bcij bc^ bd^ cd^ cb^ cd^ dd^ db^ dc«
Количество fc-перестановок множества из п элементов равно
n (п — 1) (п — 2) • • • (п — А: + 1) = ——, (B.l)
поскольку имеется п способов выбора первого элемента, n — 1 — второго и т.д., до последнего, к-то элемента, который можно выбрать из оставшихся п — к + 1 элементов множества.
Сочетания
Сочетаниями (^-combination) из п элементов по к называются ^-элементные подмножества n-элементного множества. Например, имеется шесть сочетаний по 2 элемента из множества S = {a, b, с, d):
ab, ас, ad, be, bd, cd.
(Здесь для простоты для записи подмножества {а, 6} мы использовали краткую запись ab). Для построения сочетания из множества просто выбирается к различных элементов.
Количество сочетаний можно выразить через количество размещений. Для каждого сочетания имеется к', перестановок его элементов, каждая из которых представляет собой одно из размещений из п элементов по к. Таким образом, количество сочетаний из п элементов по к равно количеству размещений, деленному на к'., т.е. с учетом (В.1) количество сочетаний из п элементов по к равно
(В.2)(В.2)п!
(В.2)
(В.2)
к'. (n — k)V
При к = 0 эта формула дает 1, т.е. выбрать пустое подмножество можно единственным способом (напомним, что 0! = 1).
*В отечественной литературе k-перестановка называется размещением. — Прим. ред.
Биномиальные коэффициенты
Для числа сочетаний из п элементов по к используется обозначение (£) (в отечественной литературе для этой величины принято обозначение С„). Из (В.2) следует, что
/п\ _ п!
\Л:у к\(п — ку.
Эта формула симметрична относительно к и п — к:
К\ = ( \)-(ВЗ)
\kj \п — kJ
Эти числа известны также как биномиальные коэффициенты, поскольку они участвуют в биноме Ньютона1.
= ^^xV"k.(В.4)
В частном случае х = у = 1 мы получаем
Комбинаторный смысл этой формулы заключается в подсчете количества двоичных строк длины п (число которых равно 2П) как суммы количества строк с разным числом единиц (имеется (£) двоичных строк длины п с к единицами, т.к. (£) — количество способов выбрать к позиций для единиц в строке длины п).
Имеется масса различных тождеств, в которых принимают участие биномиальные коэффициенты (с некоторыми из них вы познакомитесь в упражнениях к данному разделу).
Оценки биномиальных коэффициентов
В некоторых случаях нам может потребоваться оценить величину биномиальных коэффициентов и указать их границы. Нижняя граница для 1 ^ к ^ п может быть оценена следующим образом:
/п\ _ п (п — 1) • • • (п — к + 1) _ /п\ /п — 1\ /п — к + 1\ (п\к \kj Л: (Л: — 1) • - -1 “ \ к) 1\ 1 ) Хк) ‘
Используя неравенство к'. > (к/е)к, являющееся следствием из формулы Стирлинга (3.17), мы можем получить оценку верхней границы биномиальных коэффициентов:
/п\ _ n(n — 1) • • • (п — к + 1) пк /еп\к
\&/ к (к — 1) • • • 1 к'. \ к ) '
Для всех 0 ^ к ^ п по индукции можно доказать (см. упражнение В. 1-12), что
где для удобства принято, что 0° = 1. Для к = Ап, где 0 ^ Л ^ 1, это неравенство можно переписать как
п \ <пп
Ап/ (Ап)Лп((1-А)п)<1"Л)п
где
(В.7)(В.7)Я (А) = —Alg А — (1 — A) lg (1 — А)
(В.7)
(В.7)
называется (двоичной) энтропийной функцией (binary entropy function). Для удобства принято, что 01g 0 = 0, так что Н (0) = Н (1) = 0.
Упражнения
В. 1-1. Сколько имеется А:-подстрок у n-строки? (Одинаковые подстроки, начинающиеся в разных позициях строки, считаются разными.) Сколько всего подстрок имеется у строки длиной п?
В. 1-2. Булева функция (boolean function) с п входами и т выходами — это функция с областью определения {TRUE, FALSE}" и областью значений {TRUE, FALSE}"1. Сколько всего имеется различных функций с п входами и 1 выходом? С п входами и т выходами?
В. 1-3. Сколькими способами п профессоров могут разместиться на конференции за круглым столом? Варианты, отличающиеся поворотом, считаются одинаковыми.
В.1-4. Сколькими способами можно выбрать из множества {1,2,..., 100} три различных числа так, чтобы их сумма была четной?
В. 1-5. Докажите тождество
В. 1-6. Докажите тождество
/п\ п /п —1\„ _ ,
, =г , для 0 < к < п.
\к ; п — к \ к /
В. 1-7. При выборе к объектов из п один из объектов можно пометить специальным образом и следить, выбран он или нет. Используя этот подход, докажите, что
В. 1 -8. Используя результат упражнения В. 1 -7, составьте таблицу биномиальных коэффициентов (^) для п = 0,1,...,6иО0Ов виде равнобедренного треугольника (в первой строке — (q), во второй — (q) и Q) и т.д.). Такая таблица биномиальных коэффициентов называется треугольником Паскаля.
В. 1-9. Докажите, что
В. 1-10. Покажите, что для любого п^ОиО^к^п максимальное значение
(£) достигается при k = [n/2j или к = [п/2].
* В.1-11. Докажите, что для любых n, к, j ^ Onj+k ^ п выполняется неравенство
Приведите как алгебраическое доказательство данного неравенства, так и доказательство, основанное на рассуждениях о выборе j + к элементов из п. Когда данное неравенство превращается в равенство?
* В. 1-12. Докажите неравенство (В.б) по индукции для к ^ п/2, а затем воспользуйтесь уравнением (В.З) для распространения результата на все к ^ п.
* В. 1-13. Воспользуйтесь приближением Стирлинга для доказательства того, что
/2п\22п ,., хч
* В.1-14. Дифференцируя энтропийную функцию Н (А), покажите, что ее максимум достигается при А = 1/2. Чему равно значение Н (1/2)?
* В. 1-15. Покажите, что для любого натурального п
(В. 11)
В.2 Вероятность
Вероятность является очень важным инструментом при разработке и анализе вероятностных и рандомизированных алгоритмов. В этом разделе вы познакомитесь с основами теории вероятности.
Мы определим вероятность с помощью пространства событий (sample space) S, которое представляет собой множество элементарных событий (elementary events). Каждое элементарное событие может рассматриваться как возможный исход некоторого эксперимента. Например, в случае эксперимента, состоящего в подбрасывании двух различимых монеток пространство событий состоит из всех возможных 2-строк над множеством {О,Р} (где о обозначает выпадение орла, а Р-решки:
S = {ОО,ОР,РО,РР}.
Событие (event) представляет собой подмножество пространства событий S. Например, в эксперименте с бросанием двух монет событием может быть выпадение одного орла и одной решки: {ОР, РО}. Событие S называется достоверным событием (certain event), а событие 0 — невозможным (null event). Мы говорим, что два события Аи В являются взаимоисключающими (mutually exclusive), если А О В = 0. Каждое элементарное событие s € S также будет рассматриваться нами как событие {s}. Все элементарные события по определению являются взаимоисключающими.
Аксиомы вероятности
Распределение вероятностей (probability distribution) Pr{) на пространстве событий S отображает события на действительные числа, удовлетворяя при этом аксиомам вероятности:
Для любого события А Рг {А} ^ 0.
Pr{S} = 1.
Для любых двух взаимоисключающих событий АиВ Рг{АиВ) = Рг{А} + + Рг{В}. В общем случае для любой (конечной или бесконечной счетной) последовательности попарно взаимоисключающих событий Ai, Аг, • • •
Pr< (Ja, ►Pr< (Ja, ►= £рГ{л}.г= £рГ{л}.г
Pr< (Ja, ►
Pr< (Ja, ►
= £рГ{л}.г
= £рГ{л}.г
Мы называем Рг{А} вероятностью (probability) события А. Заметим, что аксиома 2 выполняет нормализующее действие: нет никаких фундаментальных оснований в выборе в качестве вероятности достоверного события именно 1; просто такое значение наиболее естественное и удобное.
Некоторые результаты следуют непосредственно из приведенных аксиом и основ теории множеств (см. раздел Б.1). Невозможное событие имеет вероятность Рг {0} = 0. Если АС В, то Рг {Л} ^ Рг {В}. Используя запись А для обозначения события S — А {дополнения (complement) А), получим Рг {А} = 1 — Рг {А}. Для любых двух событий А и В
Pr(AUB) = Рг{А} + Рг{В}-Рг{АПВ) ^(В.12)
^Рг{А} + Рг{В}(В. 13)
Предположим, что в нашем примере с бросанием монет вероятность каждого из четырех элементарных событий равна 1/4. Тогда вероятность получить как минимум одного орла равна
Рг {ОО, ОР, РО) = Рг {00} + Рг {ОР} + Рг {РО} = 3/4.
Другой способ получить эту вероятность — это заметить, что единственный способ получить при броске меньше одного орла — это выпадение двух решек, вероятность чего равна Рг{РР} = 1/4, так что вероятность получить по крайней мере одного орла равна 1 — 1/4 = 3/4.
Дискретные распределения вероятностей
Распределение вероятностей называется дискретным (discrete), если оно определено на конечном или бесконечном счетном пространстве событий. Пусть 5 — пространство событий. Тогда для любого события А
Pr{A} = ^Pr{S},
seA
поскольку элементарные события, составляющие А, являются взаимоисключающими. Если S конечно и каждое элементарное событие sE S имеет вероятность
Pr{s} = l/|S|,
то мы имеем дело с равномерным распределением вероятностей (uniform probability distribution) на S. В таком случае эксперимент часто описывается словами “выберем случайным образом элемент S”.
В качестве примера рассмотрим бросание симметричной монеты (fair coin), для которой вероятность выпадения орла равна вероятности выпадения решки и составляет 1/2. Если мы бросаем монету п раз, то получим равномерное распределение вероятностей на пространстве событий S = {О,Р}П (которое представляет собой множество размером 2П). Каждое элементарное событие S может
быть представлено строкой длиной п на множестве {О,Р}, и вероятность каждого элементарного события равна 1/2п. Событие
А = {Выпало ровно к орлов и п — к решек)
представляет собой подмножество S размером |А| = (£), поскольку имеется ровно (£) строк длиной п на множестве {О,Р}, содержащих к О. Вероятность события А, таким образом, равна (£) /2П.
Непрерывное равномерное распределение вероятности
Непрерывное равномерное распределение вероятности представляет собой пример распределения вероятности, в котором не все подмножества пространства событий рассматриваются как события. Непрерывное равномерное распределение вероятности определено на закрытом отрезке [а, 6] действительных чисел (а < 6). Интуитивно все точки отрезка [а, 6] рассматриваются как “равновероятные”. Имеется несчетное множество точек, так что мы не можем назначить каждой точке свою конечную положительную вероятность, так как мы не сможем одновременно удовлетворить аксиомы 2 и 3. По этой причине мы должны связывать вероятность только с некоторыми из подмножеств S, чтобы удовлетворить аксиомы вероятности для этих событий.
Для любого закрытого отрезка [с, d], где а < с < d < 6, непрерывное равномерное распределение вероятности (continuous uniform probability distribution) определяет вероятность события [с, d] как
,. d — сPr{c,d) = —-.о — а
Обратите внимание, что для произвольной отдельной точки х = [я, ж] вероятность х равна 0. Если мы удалим конечные точки отрезка [с, d], то получим открытый интервал (с, d). Поскольку [с, d] = [с, с] U (с, d) U [d, d], в соответствии с аксиомой 3 Рг{[с, d]} = Pr {(с, d)}. Вообще говоря, множество событий для непрерывного равномерного распределения вероятности представляет собой любое подмножество пространства событий [а, 6], которое может быть получено конечным (или бесконечным счетным) объединением открытых и закрытых интервалов.
Условная вероятность и независимость
Иногда мы располагаем частичной информацией о результате эксперимента. Например, пусть нам известно, что в результате бросания двух симметричных монет по крайней мере на одной из них выпал орел. Чему в таком случае равна вероятность того, что обе монеты выпали орлом? Имеющаяся информация позволяет исключить выпадение двух решек, а три оставшихся элементарных события
имеют равную вероятность 1/3, так что именно такой и будет интересующая нас вероятность выпадения двух орлов.
Изложенная идея формализуется в определении условной вероятности (conditional probability) события А при условии осуществления события В;
Рг{А | В} = ^g)81(В-14)
(при этом Рг {В} / 0). Интуитивно формула легко объяснима. Вероятность того, что произойдет как событие А, так и событие В (т.е. Рг {А А В}), равна вероятности того, что произойдет событие В (Рг {В}), умноженной на вероятность того, что при условии осуществления события В произойдет еще и событие А (Рг {А | В}), т.е. Рг {А А В} = Рг {В} Рг {А | В}.
В приведенном выше примере эксперимента событие А заключается в том, что обе монеты выпали орлами, а В — что как минимум одна монета выпала орлом. Таким образом, Рг{А | В} = (1/4)/(3/4) = 1/3.
Два события называются независимыми (independent), если
Рг {А А В} = Рг {А} Рг {В} ,(В. 15)
что при Рг {В} / 0 эквивалентно условию Рг {А | В} = Рг {А}
В нашем примере с бросанием двух монет результаты отбельных бросков независимы, так что вероятность выпадения двух орлов равна (1/2) (1/2) = 1/4. Предположим теперь, что одно событие состоит в том, что первая монета выпала орлом, а второе — что монеты выпали по-разному. Каждое из этих событий имеет вероятность 1/2, а вероятность осуществления обоих — 1/4. В соответствии с определением, эти события независимы, несмотря на то, что на первый взгляд это не очевидно. И наконец, представим, что монеты спаяны вместе, так что они либо обе выпадают орлами, либо обе выпадают решками (вероятности этих выпадений равны). Итак, вероятность выпадения каждой монеты орлом — 1/2, но и вероятность того, что обе монеты выпадут орлом, — тоже 1/2, а так как 1/2 / / (1/2) (1/2), следовательно, события “первая монета выпала орлом” и “вторая монета выпала орлом” в данном случае не являются независимыми.
События Ai, А2,..., Ап называются попарно независимыми (pairwise independent), если для всех 1 ^ г < jп выполняется равенство
Рг{ДПА7} = Рг{Д}Рг{А7}.
Мы говорим, что эти события независимы в совокупности (mutually independent), если для любого fc-подмножества А^, А*2,..., Ajk исходного множества, где 2 к ^ п и 1 ^ 21 < г2 < • • < г к ^ п, выполняется равенство
Рг{Л1, QAi2 n...QAik} = Рг {Л^} Рг {Л<2} • • • Рг {Л,к}.
Например, предположим, что мы бросили две симметричные монеты. Пусть А) — событие, заключающееся в выпадении первой монеты орлом, Аг — событие, заключающееся в выпадении орлом второй монеты, а Аз — что монеты выпали по-разному. Мы имеем
Pr{Ai} = 1/2,
Рг{А2} = 1/2,
Рг {А3} = 1/2,
Рг {Ai П Аг} = 1/4,
Рг {Ai Л А3} = 1/4,
Рг {Аг Л А3} = 1/4,Рг {Ai Л А2 Л А3} = 0.
Поскольку для 1 ^ г < / ^ 3 Рг {А, Л Aj} = Рг {Aj} Рг {Aj} = 1/4, события Ai, Аг и А3 попарно независимы, однако не являются независимыми в совокупности, так как Рг {Ai П Аг Л А3} = 0, а Рг {Ai} Рг {Аг} Рг {А3} = 1/8/0.
Теорема Байеса
Из определения условной вероятности (В. 14) и коммутативности А Л В = В Л Л А следует, что для двух событий А и В с ненулевыми вероятностями
Рг {А Л В} = Рг {В} Рг {А I В} = Рг {А} Рг {В | А}.(В. 16)
Разрешая уравнение относительно Рг {А | В}, получим формулу
Рг М | В} =(В.17)
известную как теорема Байеса (Bayes’s theorem). Знаменатель Рг {В} представляет собой нормализующий член, который можно выразить иначе. Поскольку В = (В Л A) U (В Л А), аВЛАиВЛА — взаимоисключающие события,
Рг {В} = Рг {В Л А} + Рг {В Л А} = Рг {А} Рг {В | А} + Рг {А} Рг {В | А} .
Подставляя полученное выражение в (В.17), получим эквивалентный вид формулы Байеса
Рг{А | В} =Рг{А | В} =Рг{А}Рг{В |
Рг{А | В} =
Рг{А | В} =
Рг{А}Рг{В | А} + Рг {А} Рг {В | А}'
Теорема Байеса может упростить вычисление условной вероятности. Предположим, например, что у нас есть симметричная монета и монета, которая всегда
выпадает орлом. Мы случайным образом выбираем монету и два раза ее подбрасываем. Предположим, что оба раза выпал орел. Какова вероятность того, что мы выбрали несимметричную монету?
Эта задача легко решается при помощи формулы Байеса. Пусть А — событие, состоящее в том, что выбрана несимметричная монета, а В — выпадение двух орлов. Нам надо найти вероятность Рг {А | В} Так как Рг {Л} = 1/2, Рг {В | А} = = 1, Рг {А} = 1/2 и Рг {В | Л} = 1/4, получаем
Рг {Л I В} =(1Z2112 2
1 1(1/2). 1+ (1/2). (1/4)5
Упражнения
1. Докажите неравенство Буля; для любой конечной или бесконечной счетной последовательности событий Ai,A2,... справедливо следующее неравенство:
Рг{Л1иЛ2и...} ^Рг{Л1} + Рг{Л2} + ....(В.18)
2. Профессор Ванстоун бросает симметричную монету один раз, а профессор Унопетри — два раза. Чему равна вероятность того, что профессор Ванстоун получит больше выпавших орлов, чем профессор Унопетри?
3. Имеется тщательно перетасованная колода из десяти карт, пронумерованных числами от 1 до 10. Из колоды последовательно вынимаются 3 карты. Какова вероятность того, что эти карты будут находиться в порядке возрастания их достоинства?
* В.2-4. Разработайте процедуру, которая получает в качестве входных параметров два целых числа а и b (0 < а < 6) и, используя симметричную монету, имитирует бросание несимметричной монеты с появлением орла с вероятностью а/b, и решки — с вероятностью (b — d)/b. Оцените математическое ожидание количества бросков монеты (которое должно быть 0(1). (Указание; используйте бинарное представление числа а/Ь.) В.2-5. Докажите, что Рг (А | В} + Рг {А | В} = 1.
6. Докажите, что для любого множества событий Ai, А2,..., Ап
Рг {Ai А А2 А ... А Ап} = Рг (Ai) • Рг {А2 | А^ • Рг {А3 | Аг А А2) • • • Рг {Ап | Ai ПА2П...ПАп_1).
* В.2-7. Покажите, как построить множество из п попарно независимых событий так, чтобы никакое его подмножество из более чем двух элементов не являлось независимым в совокупности.
* В.2-8. Два события А и В являются условно независимыми относительно события С, если Рг {А С В | С) = Рг {А | С) • Рг {В | С}. Приведите нетривиальный пример двух событий, которые не являются независимыми, но при этом условно независимы относительно некоторого третьего события.
* В.2-9. Вы участвуете в игровом шоу, где приз спрятан за одним из трех занавесов. Вы выигрываете приз, если угадываете, где он находится. После того как вы выбираете занавес, ведущий открывает один из оставшихся. Если за ним приза нет, вы можете изменить свой выбор, указав на третий занавес. Как изменятся ваши шансы на выигрыш, если вы сделаете это?
* В.2-10. Один из трех заключенных X, Y и Z будет освобожден, а оставшиеся будут отбывать наказание. Кто именно — знает охранник, но ему запрещено сообщать заключенным об их судьбе. Заключенный X просит охранника сообщить, кто из Y и Z останется в тюрьме, мотивируя это тем, что он и так знает, что один из них будет отбывать наказание, так что из ответа охранника он ничего не узнает о собственной судьбе. Охранник сообщает, что Y освобожден не будет. После этого X полагает, что его шансы на свободу, которые составляли 1/3, возрастают до 1/2, так как он знает, что освобожден будет только либо он, либо Z. Прав ли он, или его шансы на свободу остаются равными 1/3? Обоснуйте свой ответ.
В.З Дискретные случайные величины
Дискретная случайная величина (discrete random variable) X — это функция, отображающая конечное или бесконечное счетное пространство событий S на множество действительных чисел. Она связывает с каждым возможным исходом эксперимента действительное число, что позволяет нам работать с распределением вероятностей на множестве значений данной функции. Случайные величины могут быть определены и для несчетных бесконечных пространств событий, но при этом возникают технические проблемы, которых лучше избежать. Нам не придется работать с несчетными бесконечными пространствами событий, так что далее везде предполагается, что случайные величины дискретны.
Для случайной величины X и действительного числа х определим событие X = х как {s 6 S : X (s) = ж}; таким образом,
Рг{Х = ж} =52 Pr{s}.
{seS:X(s)=®}
Функция / (ж) = Pr {X = ж) называется функцией плотности вероятности (probability density function) случайной величины X. Из аксиом вероятности следует, что Pr {X = ж) > 0 и ^х Pr {X — ж} = 1.
В качестве примера рассмотрим эксперимент, состоящий в бросании пары игральных костей. В пространстве событий имеется 36 элементарных событий. Будем считать, что все они равновероятны, те. для каждого элементарного события seS его вероятность Pr{s} = 1/36. Определим случайную величину X как максимальное количество очков, выпавшее при броске на одной из костей. Тогда, например, Pr {X = 3} = 3/5, так как X равно 3 в 5 из 36 возможных элементарных событий, а именно при выпадении (1,3), (2,3), (3,3), (3,2) или (3,1).
Как правило, на одном пространстве событий определяются несколько случайных величин. Если X и Y — случайные величины, то функция
/ (ж, у) = Рг {X = х и Y = у}
называется совместной функцией плотности вероятности (joint probability density function) X и Y. Для фиксированного значения у
Рг{У = у} = ^Pr {X = ж и У = у},
X
и, аналогично, для фиксированного значения х
Рг{Х = ж) = ^Pr {X = ж и У = у}.
У
Используя определение условной вероятности (В. 14), мы имеем
Pr {X = х | У = у} =Pr {X = х | У = у} =Рг {X = х и У = у)Рг{У = у}Рг {X = х и У = у)Рг{У = у}
Pr {X = х | У = у} =
Pr {X = х | У = у} =
Рг {X = х и У = у)Рг{У = у}
Рг {X = х и У = у)Рг{У = у}
Две случайные величины X и У являются независимыми, если для всех х и у события X = х и У = у независимы, те. для всех х и у выполняется Pr {X = х и У = у) = Pr {X = ж) Рг {У = у}.
Для данного множества случайных величин, определенных на одном и том же пространстве событий, можно определить новую случайную величину как сумму, произведение или другую функцию имеющихся случайных величин.
Математическое ожидание случайной величины
Простейшая и наиболее часто используемая характеристика случайной величины — ее среднее значение (mean), или математическое ожидание (expected value, expectation), которое определяется для дискретной случайной величины следующим образом:
Е [X] = ^жРг {X = ж}.(В.19)
X
Это значение вполне определено в случае конечного или бесконечного абсолютно сходящегося ряда. Иногда математическое ожидание X обозначают как рх или, если случайная величина очевидна из контекста, просто р.
Рассмотрим игру, в которой бросается пара симметричных монет. Вы выигрываете 3 доллара при выпадении орла, и проигрываете 2 доллара при выпадении решки. Математическое ожидание случайной величины X, равной вашему выигрышу, равно
Е [X] = 6 • Рг {2 орла} + 1 • Pr {1 орел, одна решка} — 4 • Рг (2 решки} = = 6 • (1/4) + 1 • (1/2) - 4 • (1/4) = 1.
Математическое ожидание суммы двух случайных величин равно сумме их математических ожиданий:
Е [X + У] = Е [X] + Е [У],(В.20)
если значения Е [X] и Е [У] определены. Это свойство называется линейностью математического ожидания (linearity of expectation), причем оно справедливо даже тогда, когда случайные величины X и У не являются независимыми. Это правило распространяется и на конечные, и на абсолютно сходящиеся бесконечные суммы математических ожиданий. Линейность математического ожидания является ключевым свойством, обеспечивающим возможность проведения вероятностного анализа с использованием индикаторной случайной величины (см. раздел 5.2).
Если X — произвольная случайная величина, то любая функция g (ж) определяет новую случайную величину g (X). Если математическое ожидание этой величины определено, то
Е[д(Х)] = 5>(зОРг{Х = ж}.X
Пусть g (ж) = ах. Тогда для произвольной константы а
Е[аХ] = аЕ[Х].(В.21)
Таким образом, математическое ожидание представляет собой линейную функцию: для двух произвольных случайных величин X и Y и произвольной константы а
Е \аХ + У] = аЕ [X] + Е [У].(В.22)
Если случайные величины X и Y независимы и каждая имеет определенное математическое ожидание, то
Е[ХУ] = ££>уРг{Х = х и Y = у) =
= ^^xyPr {X = х}Рг{У = у} = X у
= (52жРг{х = ^1) (Sypr{y = y}) =
= Е [X] Е [У].
В общем случае, если у нас имеется п независимых в совокупности случайных величин Xi, Х2,..., Хп, то
Е [XiX2 • • • Xn] = Е №] Е [Х2] • • • Е [Хп].(В.23)
Если случайная величина X принимает значения из множества неотрицательных целых чисел, то для ее математического ожидания имеется красивая формула:
ОО
Е[Х] = 52гРг{Х = г} =
г=0
= (Pr {X > г} — Pr {X > г + 1}) =(В.24)
г=0
оо
= £Pr{X2i},
г=1
поскольку каждый член Pr (X > г} присутствует в сумме со знаком плюс г раз, и г — 1 раз — со знаком минус (кроме члена Pr {X > 0}, который в сумме отсутствует).
При применении выпуклой вниз функции / (х) к случайной величине X неравенство Йенсена (Jensen’s inequality) гласит, что
Е [/(X)] > / (Е [X])(В.25)
(в случае, когда математическое ожидание существует и конечно). Функция / (х) называется выпуклой вниз (convex), если для всех х и у и всех 0 А 1 выполняется неравенство / (Ах + (1 — А) у) А/ (х) + (1 — A) f (у).
Дисперсия и стандартное отклонение
Математическое ожидание случайной величины не говорит нам о том, насколько сильно “разбросаны” ее значения. Например, если у нас есть случайные величины X и У, такие что Рг {X = 1/4} = Рг {X = 3/4} = 1/2 и Рг {У = 0} = = Рг {У = 1} = 1/2, то их математические ожидания равны 1/2, однако реальные значения У находятся дальше от математического ожидания этой случайной величины, чем в случае X.
Дисперсия (variance) случайной величины X с математическим ожиданием Е [X] определяется как
Var [X] = Е [(X - Е [X])2] =
= Е [X2 - 2ХЕ [X] + Е2 [X]](В.26)
= Е [X2] - Е2 [X].
В процессе вывода использованы равенства Е [Е2 [X]] = Е2 [X] и Е [ХЕ[Х]] = = Е2 [X], которые вполне корректны, поскольку математическое ожидание Е [X] является просто действительным числом, а не случайной величиной, так что мы можем воспользоваться формулой (В.21). Уравнение (В.26) можно использовать для поиска математического ожидания квадрата случайной величины:
Е [X2] = Var [X] + Е2 [X].(В.27)
Дисперсия случайной величины X связана с дисперсией случайной величины аХ следующим соотношением (см. упражнение В.3-10):
Var[aX] = a2Var[X).
Если X и Y — независимые случайные величины, то
Var \Х + У] = Var [X] + Var [У].
В общем случае, если п случайных величин Xi, Х^ ..., Хп попарно независимы,
тотоVarVarLi=lLi=l= f>r№l-1=1= f>r№l-1=1(В.28)(В.28)
то
то
Var
Var
Li=l
Li=l
= f>r№l-
1=1
= f>r№l-
1=1
(В.28)
(В.28)
Стандартным отклонением (standard deviation) случайной величины X называется неотрицательный квадратный корень дисперсии X. Иногда стандартное отклонение X обозначают как ах или, если случайная величина очевидна из контекста, просто а. При использовании этого обозначения дисперсия X записывается как а2.
Упражнения
1. Бросаются две обычные шестигранные игральные кости. Чему равно математическое ожидание суммы выпавших очков? Чему равно математическое ожидание максимального из двух выпадающих чисел?
2. Массив Л[1..п] содержит п различных чисел в произвольном порядке; все перестановки чисел равновероятны. Чему равно математическое ожидание индекса максимального элемента массива? Чему равно математическое ожидание индекса минимального элемента массива?
3. Игрок ставит доллар на одно из чисел от 1 до 6 и выбрасывает одновременно три игральные кости. Если указанное число не выпало ни на одной из костей, игрок теряет свой доллар; если же число выпало на к костях, игрок сохраняет свой доллар и получает дополнительно к долларов. Чему равно математическое ожидание выигрыша игрока в одной партии?
4. Покажите, что если X и У — неотрицательные случайные величины, то Е [max (X, У)] ^ Е [X] + Е [У].
* В.3-5. Пусть X и У — независимые случайные величины. Докажите, что / (X) и д (У) независимы при любом выборе функций /ид.
* В.3-6. Пусть X — неотрицательная случайная величина, и математическое ожидание Е [X] вполне определено. Докажите неравенство Маркова
Pr {X ^ 4} ^ Е [Х]/4 для всех t > 0.(В.29)
* В.3-7. Пусть S — пространство событий, а X и X' — случайные величины, такие что X (s) > X* (з) для всех s € S. Докажите, что для произвольной действительной константы t Pr {X ^ t) ^ Рг {X' ^ 4).
8. Что больше — математическое ожидание квадрата случайной величины или квадрат ее математического ожидания?
9. Покажите, что для любой случайной величины X, которая принимает только значения 0 и 1, справедливо соотношение
Var[X] = Е[Х] Е[1 - X] .
10. Докажите, используя определение дисперсии (В.26), что Var[aX] = = a2 Var [X].
В.4 Геометрическое и биномиальное распределения
Бросание симметричной монеты — пример испытания Бернулли (Bernoulli trial), которое определяется как эксперимент с двумя возможными исходами —
успехом с вероятностью р и неудачей с вероятностью q = 1 — р. Когда мы говорим об испытаниях Бернулли, то подразумевается, что испытания независимы в совокупности и (если явно не оговорено иное) что вероятность успеха в каждом испытании равна р. С испытаниями Бернулли связаны два важных распределения вероятностей: геометрическое и биномиальное.
Геометрическое распределение
Предположим, что у нас есть последовательность испытаний Бернулли, вероятность успеха в каждом из которых равна р, а неудачи — q = 1 — р. Сколько испытаний будет проведено до того, как будет достигнут успех? Пусть случайная величина X равна количеству испытаний, необходимых для достижения успеха. Тогда X принимает значения {1,2,...} и для к > 1
Рг {X = Ц = qk"xp, (В.ЗО)
поскольку перед наступлением одного успешного испытания было выполнено к — 1 неуспешных. Распределение вероятности, удовлетворяющее уравнению (В.ЗО), называется геометрическим распределением (geometric distribution). На рис. В. 1 показан пример такого распределения.
Рис. ВЛ. Геометрическое распределение с р = 1/3
Полагая, что q < 1, можно найти математическое ожидание геометрического распределения, воспользовавшись тождеством (А.8):
ООE[J*C] = ^А:^-1^ =к=1ООE[J*C] = ^А:^-1^ =к=19(1 - 9)29(1 - 9)21Р*1Р*(В.31)(В.31)
ОО
E[J*C] = ^А:^-1^ =
к=1
ОО
E[J*C] = ^А:^-1^ =
к=1
9
(1 - 9)2
9
(1 - 9)2
1
Р*
1
Р*
(В.31)
(В.31)
Таким образом, в среднем нужно выполнить 1/р испытаний до получения успеха (что интуитивно представляется вполне естественным). Дисперсия вычисляется аналогично, с использованием результата упражнения А. 1-3, и равна
(В.32)(В.32)Var [X] = ql^.
(В.32)
(В.32)
В качестве примера рассмотрим бросание двух кубиков до тех пор, пока мы не получим 7 или 11 очков. Из 36 возможных исходов бросания 6 дают нам семь очков, и 2 — одиннадцать. Таким образом, вероятность успеха равна р = 8/36 = = 2/9, так что в среднем нам надо выбросить кости 1/р = 9/2 = 4.5 раза для того, чтобы выпало 7 или 11 очков.
Биномиальное распределение
Какое количество из п испытаний Бернулли завершится успешно, если веро
ятность успеха равна р, а неудачи — q = 1 — р? Определим случайную величину X
как количество успехов в п испытаниях. Тогда X принимает значения {0,1,..., п}
и для 0 < к < п
Рг{Х = А:}= 7 pVfcРг{Х = А:}= 7 pVfc(В.ЗЗ)(В.ЗЗ)
Рг{Х = А:}= 7 pVfc
Рг{Х = А:}= 7 pVfc
(В.ЗЗ)
(В.ЗЗ)
поскольку существует (£) способов выбрать к успешных испытаний из п, и вероятность каждого составляет pkqn-k. Распределение вероятностей (В.ЗЗ) называется биномиальным распределением (binomial distribution). Для удобства для биномиального распределения используется запись
b(fc;n,p) =b(fc;n,p) =(В.34)(В.34)
b(fc;n,p) =
b(fc;n,p) =
(В.34)
(В.34)
Пример биномиального распределения показан на рис. В.2. Название “биномиальное” связано с тем, что формула (В.ЗЗ) описывает А:-й член в разложении (р + q^. Следовательно, поскольку р + q = 1,
п
(В.35)(В.35)^Ь^п^р) = 1, к=0
(В.35)
(В.35)
как того требует вторая аксиома вероятностей.
Рис. В.2. Биномиальное распределение b (к; 15,1/3)Рис. В.2. Биномиальное распределение b (к; 15,1/3)
Рис. В.2. Биномиальное распределение b (к; 15,1/3)
Рис. В.2. Биномиальное распределение b (к; 15,1/3)
Вычислить математическое ожидание случайной величины, имеющей биномиальное распределение, можно с использованием формул (В.8) и (В.35). Пусть X — случайная величина с биномиальным распределением Ь(к;п,р), и пусть q = 1 — р. По определению математического ожидания,
п
Е[Х] = 52А:Рг{Х = А:} =
к=0п
= '^2,кЪ<к-1п1р^ =к=0
= iLk(n^pkqn"k =
(В.36)(В.36)к=1 Х '
(В.36)
(В.36)
п /- х
= прхдк_1)р q =к=1 ''
П—1 /-х
= пр У к )Р ч
к=0 ^'
П—1
= np^2d(fc;n— 1,р) = пр
к=0
Используя линейность математического ожидания, мы можем получить тот же результат с существенно меньшим количеством выкладок. Пусть X» — случайная величина, описывающая количество успешных случаев в г-м испытании. Тогда
Е[X,] = р-1 + д- 0 = ри, согласно линейности математического ожидания (уравнение (В.20)), математическое ожидание числа успешных испытаний из общего количества п равно
Е [X] = ЕЕ [X] = ЕLi=lLi=lпп
Е [X] = Е
Е [X] = Е
Li=l
Li=l
(В.37)(В.37)= 52Е№ = 52? = ПР-
(В.37)
(В.37)
1=11=1
Такой же подход можно применить и для вычисления дисперсии распределения. Используя уравнение (В.26), получаем Var [Xi] = Е [X2 ] — Е2 [Xi]. Поскольку Xi может принимать только значения 0 или 1, имеем Е [X2] = Е [Xi] = р, следовательно
Var [Xi] = р - р2 = pq. (В.38)
Для вычисления дисперсии X воспользуемся независимостью всех п попыток. Таким образом, в соответствии с (В.28),
Var [X] = VarVar [X] = VarП71
Var [X] = Var
Var [X] = Var
(B.39)(B.39)= 22 Var [Xf] = ^2pq = npq. 1=11=1
(B.39)
(B.39)
Как видно из рис. В.2, функция биномиального распределения b (/с; п, р) растет с ростом к до тех пор, пока к не достигает значения пр, после чего начинает уменьшаться. Мы можем доказать, что биномиальное распределение всегда ведет себя подобным образом, рассматривая отношение двух последовательных членов:
Цк-,п,р) = $ркдп~к =6(fc-l;n,p)G?!^-1?"-^1
_ п! (к — 1)! (п — к + 1)!р _ k\^n-ky.n\q(в40)
_ (п — к + 1)р _ kq
= , (п + 1)р — kq '
Это отношение больше 1 тогда и только тогда, когда (п + 1)р — к положительно. Следовательно, Ь(А:;п,р) > Ь(к — 1;п,р) при к < (п + 1)р (функция распределения возрастает) и 6 (А:; п, р) < b (к — 1; п, р) при к > (n + 1) р (функция распределения убывает). Если к = (п + 1)р — целое число, то Ъ (к; п,р) = b(k — 1; п,р) и функция распределения имеет два максимальных значения — при к = (п + 1) р и при к — 1 = (n + 1) р — 1 = пр — q. В противном случае она приминает максимальное значение при единственном целом значении к в диапазоне пр — q < к < < (п + 1)р.
Следующая лемма дает верхнюю оценку биномиального распределения.
Лемма ВЛ. Пусть п ^ О, 0 < р < 1, g = 1 — риО^ к ^п. Тогда
Доказательство. Используя уравнение (В.6), получаем:
Ц^п^ = СиРкчп к ^
пр\к / nq
Упражнения
1. Убедитесь в выполнении аксиомы 2 для геометрического распределения.
2. Сколько раз в среднем надо бросить 6 симметричных монет для получения трех орлов и трех решек?
3. Покажите, что b (к; п,р) = Ь(п — к; п, q\ где q = 1 — р.
4. Покажите, что максимальное значение функции биномиального распределения Ь(к; п,р) приближенно равно 1/х/2тгпрд, где q = 1 — р.
* В.4-5. Покажите, что вероятность не получить ни одного успешного исхода в се
рии из п испытаний Бернулли с вероятностью успеха р= 1/п составляет приблизительно 1/е. Покажите также, что вероятность получения ровно одного успешного исхода также составляет примерно 1/е.
* В.4-6. Профессора Ванстоун и Унопетри бросают симметричную монету п раз.
Покажите, что вероятность того, что они получат одинаковое количество орлов, равна (2”)/4п. (Указание: считайте успехом выпадение орла у профессора Ванстоуна, а у профессора Унопетри — выпадение решки.) Воспользуйтесь вашей аргументацией для проверки тождества
* В.4-7. Покажите, что при 0 ^ к ^ п
Ь^к-пЛ/^^ТИ^-^,
где Н (я) — энтропийная функция (В.7).
★ В.4-8. Рассмотрим п испытаний Бернулли, где pi — вероятность успеха в г-м испытании, а X — случайная величина, равная общему количеству успехов. Пусть р ^ pt для всех г = 1,2,..., п. Докажите, что для 1 < к < п
к-1 Pr{X < &} > ^Ь(г;п,р). i=0
* В.4-9. Пусть X — случайная величина, равная общему количеству успехов в множестве Л из п испытаний Бернулли, a pt — вероятность успеха в г-м испытании. Пусть X* — аналогичная случайная величина, равная общему количеству успехов в множестве А* из п испытаний Бернулли, где р\> Pi — вероятность успеха в г-м испытании. Докажите, что для 0 С к ^ п
Pr {X' >к^>Рт(Х>Ц.
(Указание: покажите, как получить результаты испытаний Бернулли А' из эксперимента, включающего испытания А, а затем воспользуйтесь результатом упражнения В.3-7.)
* В.5 Хвосты биномиального распределения
Во многих задачах требуется определить не вероятность того, что в п испытаниях Бернулли будет получено ровно к успешных исходов, а вероятность того, что будет получено не более (или не менее) к успешных исходов. В этом разделе мы рассмотрим хвосты (tails) биномиального распределения, т.е. области распределения b (к; T^pY далекие от среднего значения пр, и найдем некоторые важные оценки для них.
Здесь мы будем рассматривать правый хвост распределения b(fc;n,p); левый хвост получается при простой взаимной замене успешных исходов на неудачи.
Теорема В.2. Рассмотрим последовательность из п испытаний Бернулли с вероятностью успешного исхода каждого испытания, равной р. Пусть X — случайная величина, равная общему количеству успешных исходов. Тогда для 0 < к ^ п вероятность того, что будет получено как минимум к успешных исходов, равна
Рг{Х >Ц =^Рк-
Доказательство. Для множества SC{l,2,...,n) обозначим через Ад событие, которое заключается в том, что г-я попытка успешна для всех г € S. Понятно, что
если |S| = к, то Рг {As} = pfc. Таким образом,
Рг {X > £} = Рг {Существует S С {1,2,..., n} : |S| = к и As} =
= Рг <
SC{l,2,...,n}:|S|=fc
<£ Рг {As} =
SC{l,2,...,n}:|S|=A:
где использованное неравенство вытекает из неравенства Буля (В. 18).
Приведенное далее следствие просто переформулирует эту теорему для левого хвоста биномиального распределения. Все доказательства переформулированных таким образом (для противоположного хвоста) теорем далее в этом приложении предлагаются читателю в качестве самостоятельного упражнения.
Следствие В.З. Рассмотрим последовательность из п испытаний Бернулли с вероятностью успешного исхода каждого испытания, равной р. Пусть X — случайная величина, равная общему количеству успешных исходов. Тогда для 0 ^ к ^ п вероятность того, что будет получено не более к успешных исходов, равна
Рг{Л7 < 6:} = ^bCii^.p) < ( " ) (1 -у)""» = (")(1-р)—.
Следующая рассматриваемая оценка относится к левому хвосту биномиального распределения.
Теорема В.4. Рассмотрим последовательность из п испытаний Бернулли с вероятностью успешного исхода каждого испытания, равной р, и вероятностью неудачи, равной q = 1 — р. Пусть X — случайная величина, равная общему количеству успешных исходов. Тогда для 0 < к < пр вероятность того, что будет получено менее к успешных исходов, равна
kqпр — кkqпр — кЬ(к;п,р)Ь(к;п,р)к-1
kqпр — к
kqпр — к
Ь(к;п,р)
Ь(к;п,р)
Рг {X <к^ = ^^Ь^п^р) <г=0
b^i — l\n^p} _ iqb^i — l\n^p} _ iqiqiqkqkqДоказательство. Ограничим ряд ^^Lj b (г; п, р) геометрическим рядом с использованием методики из раздела А.2. Для г = 1,2,..., к из (В.40) получим:
b^i — l\n^p} _ iq
b^i — l\n^p} _ iq
iq
iq
kq
kq
b(i;n,p) (п — z + l)p (n — г)р (n — k)p’
Вводя обозначение
_ кдкд _ кд _ к
(п — к) р (п — пр) р пдр пр
получим, что
b (г — 1; n, р) < xb (г; п, р)
для 0 < г ^ к. Применяя это неравенство итеративно к — г раз, мы получим
6 (г; п, р) < хк-гЪ (к; п, р)
для 0 ^ г < к и, следовательно,
fc—1fc-i
52&(г;п,р) < ^x^b^n^p) < г=0г=0
< Ь(к-,п,р)^2хг =
г=1
= т^— Ъ(к;п,р) =
— X
= —~^тЬ(к;п,р).
пр — к■
Следствие В.5. Рассмотрим последовательность из п испытаний Бернулли с вероятностью успешного исхода каждого испытания, равной р, и вероятностью неудачи, равной q = 1 — р. Тогда для 0 < к ^ пр/2 вероятность того, что будет получено менее к успешных исходов, составляет менее половины от вероятности получения менее к + 1 успешного исхода.
Доказательство. Поскольку к ^ пр/2, мы имеем
кд <(np/2) д = (пр/2)д <
пр — к пр — (пр/2) пр/2 ’
поскольку q ^ 1. Пусть X — случайная величина, равная общему количеству успешных исходов. Из теоремы В.4 следует, что вероятность получить менее к успешных исходов равна
к-1
Рг {X < А;} = У^Ь(г;п,р) < Ь(к;п,р).
г=0
Таким образом,
Pr {X < &} = ЙДЦгугцр^ = ЕЫь(г;п,р) < 1Pr{X<fc+l} ^tOb(v,n,p) ^о6(^;п,р)+6№п,р)2’
поскольку ^Zq1 b (v, п, р) < b (к-, п, р).а
Оценка для правого хвоста выполняется аналогично. Ее доказательство оставлено читателю в качестве упражнения В.5-2.
Следствие В.6. Рассмотрим последовательность из п испытаний Бернулли с вероятностью успешного исхода каждого испытания, равной р. Пусть X — случайная величина, равная общему количеству успешных исходов. Тогда для пр < к < < п вероятность более чем к успешных исходов равна
(п — к)рк — пр(п — к)рк — прЦк;п,р)Цк;п,р)п
(п — к)рк — пр
(п — к)рк — пр
Цк;п,р)
Цк;п,р)
Pr {X > &} = 52 Ч^п1Р)<
г=А:+1
Следствие В.7. Рассмотрим последовательность из п испытаний Бернулли с вероятностью успешного исхода каждого испытания, равной р, и вероятностью неудачи, равной q = 1 — р. Тогда для (пр + п)/2 < к < п вероятность более чем к успешных исходов не превышает половины вероятности более чем к — 1 успешных исходов. ■
В следующей теореме рассматриваются п испытаний Бернулли; вероятность успеха в г-м испытании составляет р^ Как видно из следствия из данной теоремы, ее можно использовать для оценки правого хвоста биномиального распределения, положив Рг=р для всех испытаний.
Теорема В.8. Рассмотрим последовательность из п испытаний Бернулли, в которой в г-м испытании (г = 1,2,..., п) вероятность успеха равна р,, а неудачи — Qi = 1 — pt. Пусть X — случайная величина, равная общему количеству успешных исходов, а р = Е [X]. Тогда для г > р
Рг{Х-р>т} < (-Y.
Доказательство. Поскольку при любом а > 0 функция еах — строго возрастающая,
Рг{Х - р г} = Рг ^х"^ > eQrJ , (В.41) где значение а будет определено позже. Используя неравенство Маркова (В.29), мы получим
Pr {^(^-^ > eQr} ^ Е [еа(х“д)] е-аТ. (В.42)
Теперь нам надо оценить величину Е [е“(х-д)] и найти подходящее значение а для уравнения (В.42). Начнем с вычисления Е [еа(х-д)]. Используя обозначения, принятые в разделе 5.2, мы можем записать
Xi = I {Исход г-го испытания Бернулли успешен}
для г = 1,2,..., п; т.е. Х{ — случайная величина, принимающая значение 1 в случае успеха и 0 — в случае неудачи. Таким образом,
х = "£х.
г=1
и, вследствие линейности математического ожидания,
пп
= £ем = 5>,
1=11=1
откуда следует, что
п
Х-р = ^(Хг-ргу
i=l
Для вычисления выражения Е [еа(х-д)] подставим в него полученную формулу для X — ри получим:
Е feQ(x~^l = Е [е“^=1
что следует из (В.23), поскольку случайные величины Хг являются независимыми в совокупности, что влечет независимость в совокупности случайных величин ea(Xi-pt) (см упражнение В.3-5). Из определения математического ожидания
Е |eQ(Xi-P‘)Е |eQ(Xi-P‘)= е^ P^pi 4- е^0 Pi^qi =
Е |eQ(Xi-P‘)
Е |eQ(Xi-P‘)
= pieaqi + q^e “Pi ^= pieaqi + q^e “Pi ^(B.43)(B.43)
= pieaqi + q^e “Pi ^
= pieaqi + q^e “Pi ^
(B.43)
(B.43)
^ p,e° +1 ^ exp (pie0),
где exp (ж) обозначает экспоненциальную функцию: exp (ж) = е®. (Неравенство (В.43) следует из того, что а > 0, qt ^ 1, eQ9‘ ^ еа и e-Qpt ^ 1, а последний переход в (В.43) выполнен в соответствии с неравенством (3.11).) Следовательно,
^W-Pi)^W-Pi)= exp= exp= exp (peQ),= exp (peQ),(B.44)(B.44)
^W-Pi)
^W-Pi)
= exp
= exp
= exp (peQ),
= exp (peQ),
(B.44)
(B.44)
п
5$ JJexp(p,eQ) =
1=1
поскольку p = ^i=iPt- Таким образом, из (В.41), (В.42) и (В.44) мы получаем, что
Pr ^Х — р^ г} ^ exp (реа — ar).(В.45)
Выбирая а = In (г/р) (см. упражнение В.5-7), мы получим:
Pr {X — р > г} ^ exp ^ре^^ — г In (г/р)) =
= ехр(г — г In (г/р)) =
_ ет _ /ре\т
(т/рУ \ г / 'в
Применяя эту теорему к последовательности п испытаний Бернулли с равной вероятностью успеха, мы получим оценку для правого хвоста биномиального распределения.
Следствие В.9. Рассмотрим последовательность п испытаний Бернулли с равной вероятностью успеха р и неудачи q = 1 — р в каждом испытании. Тогда для г > пр
Рг{Х —пр г) = У Ь(к\п,р) —) .к=Гпр+г]
Доказательство. В соответствии с (В.36), р = Е [X] = пр.■
Упражнения
* В.5-1. Что менее вероятно: при бросании симметричной монеты п раз не получить ни одного орла или получить менее п орлов при бросании монеты 4п раз?
* В.5-2. Докажите следствия В.6 и В.7.
* В.5-3. Покажите, что
У f^a1 < (а + 1)пА—--л;Ь (А:; п, а/(а + 1))
^V )na-k(a-Vl)
для всех а > 0 и всех 0 < к < п.
* В.5-4. Докажите, что если 0 < к < пр, где 0<р<1ид=1— р, то
к— 17, V /\ TL — к
у i п-г < кЧZ^V ( п9 \
“пр — к \ к / \п — к J*
г=ох 7
★ В.5-5. Покажите, что из условий теоремы В.8 следует, что
\ г /
а из условий следствия В.9 —
^ , 1Г . _ (nqe\T Pr {пр — X > г} ^ () .
\ г /
* В.5-6. Рассмотрим последовательность п испытаний Бернулли, в которой в г-м испытании (г = 1,2, ...,п) вероятность успеха равна pi, а неудачи — qi = 1 — pi. Пусть X — случайная величина, равная общему количеству успешных исходов, а р = Е [X]. Покажите, что для г > О
Рг{Х-^г} ^е"г2/2п.
(Указание: докажите, что pieQqt + qie-QPi ^ е^!2, а затем следуйте схеме доказательства теоремы В.8, используя это неравенство вместо (В.43).)
* В.5-7. Покажите, что правая сторона неравенства (В.45) при выборе а = In кт!v^ принимает минимальное значение.
Задачи
В-1. Шары и корзины
В этой задаче мы рассмотрим размещение п шаров по b различным корзинам.
Предположим, что все п шаров различны, а их порядок в корзине не имеет значения. Докажите, что имеется Ьп способов разместить шары в корзинах.
Предположим, что все п шаров различны, а их порядок в корзине существенен. Докажите, что имеется ровно (6 + п — 1)!/(6 — 1)! способов размещения шаров в корзинах. (Указание: подсчитайте количество способов разместить в ряд п различных шаров и b — 1 неразличимых разделителей.)
Предположим, что все шары идентичны, а следовательно, их порядок в корзине не имеет значения. Покажите, что количество способов, которыми можно разместить шары в корзинах, равно (6+^-1). (Указание: воспользуйтесь тем же способом, что и в части б, только теперь шары также неразличимы.)
Покажите, что если шары идентичны, и ни в одной корзине не может находиться больше одного шара, то разместить шары в корзинах можно (*) способами.
Покажите, что если шары идентичны и ни одна корзина не должна остаться пустой, то разместить шары в корзинах можно (^Zi) способами.
Заключительные замечания
Общие методы решения вероятностных задач впервые обсуждались в знаменитой переписке Паскаля (В. Pascal) и Ферма (Р. de Fermat), начавшейся в 1654 году, и в книге Гюйгенса (С. Huygens, 1657 год). Строгая теория вероятности началась с работ Бернулли (J. Bernoulli, 1713 год) и Муавра (A. de Moivre, 1730 год). Дальнейшее развитие теории вероятности связано с именами Лапласа (P.S. de Laplace), Пуассона (S.-D. Poisson) и Гаусса (C.F. Gauss).
Суммы случайных величин исследовались П.Л. Чебышевым и А.А. Марковым. Аксиоматизация теории вероятности была выполнена А.Н. Колмогоровым в 1933 году. Оценки хвостов распределений приведены в работах Чернова (Cher- noff) [59] и Хеффдинга (Hoeffding) [150]. Важные результаты о случайных комбинаторных структурах принадлежат Эрдешу (Р. Erdos).
Материал по элементарной комбинаторике можно найти в книгах Кнута (Knuth) [182] и Лю (Liu) [205]; по теории вероятности — в книгах Биллингсли (Billingsley) [42], Чанга (Chung) [60], Дрейка (Drake) [80], Феллера (Feller) [88] и Розанова (Rozanov) [263].
Библиография
Milton Abramowitz and Irene A. Stegun. Handbook of Mathematical Functions. Dover, 1965.
G. M. Aderson-Vel’skii and E. M. Landis. An Algorithm for the Organization of Information. Soviet Mathematics Doklady, 3:1259-1263, 1962.
Leonard M. Adleman, Carl Pomerance and Robert S. Rumely. On Distinguishing Prime Numbers from Composite Numbers. Annals of Mathematics, 117:173-206, 1983.
Alok Aggarwal and Jeffrey Scott Vitter. The Input/Output Complexity of Sorting and Related Problems. Communications of the ACM, 31 (9): 1116—1127, 1988.
Alfred V. Aho, John E. Hopcroft and Jeffrey D. Ullman. The Design and Analysis of Computer Algorithms. Addison-Wesley, 1974.
Alfred V. Aho, John E. Hopcroft and Jeffrey D. Ullman. Data Structures and Algorithms. Addison-Wesley, 1983.
А. Ахо, Д. Хопкрофт, Д. Ульман. Структуры данных и алгоритмы. — М.: “Вильямс”, 2000.
Ravindra К. Ahuja, Thomas L. Magnanti and James B. Orlin. Network Flows: Theory, Algorithms, and Applications. Prentice Hall, 1993.
Ravindra K. Ahuja, Kurt Mehlhorn, James B. Orlin and Robert E. Taijan. Faster Algorithms for the Shortest Path Problem. Journal of the ACM, 37:213-223, 1990.
Ravindra K. Ahuja and James B. Orlin. A fast and simple algorithm for the maximum flow problem. Operations Research, 37(5):748-759, 1989.
Ravindra K. Ahuja, James B. Orlin and Robert E. Taijan. Improved Time Bounds for the Maximum Flow Problem. SIAM Journal on Computing, 18(5):939-954, 1989.
Miklos Ajtai, Janos Komlos and Endre Szemeredi. Sorting in clogn parallel steps. Combinatorica, 3:1-19, 1983.
Miklos Ajtai, Nimrod Megiddo and Orii Waarts. Improved Algorithms and Analysis for ecretary Problems and Generalizations. In Proceedings of the 36th Annual Symposium on Foundations of Computer Science, pages 473-482, 1995.
Mohamad Акта and Louay Bazzi. On the Solution of Linear Recurrence Equations. Computational Optimization and Applications, 10(2): 195-210, 1998.
Noga Alon. Generating pseudo-random permutations and maximum flow algorithms. Information Processing Letters, 35:201-204, 1990.
Arne Andersson. Balanced Search Trees Made Simple. In Proceedings of the Third Workshop on Algorithms and Data Structures, number 709 in Lecture Notes in Computer Science, pages 60-71. Springer-Verlag, 1993
Arne Andersson. Faster deterministic sorting and searching in linear space. In Proceedings of the 37th Annual Symposium on Foundations of Computer Science, pages 135-141, 1996
Arne Andersson, Torben Hagerup, Stefan Nilsson and Rajeev Raman. Sorting in linear time? Journal of Computer and System Sciences, 57:74-93, 1998.
Tom M. Apostol. Calculus, volume 1. Blaisdell Publishing Company, second edition, 1967.
Sanjeev Arora. Probabilistic checking of proofs and the hardness of approximation problems. PhD thesis, University of California, Berkeley, 1994.
Sanjeev Arora. The Approximability of NP-hard Problems. In Proceedings of the 30th Annual ACM Symposium on Theory of Computing, pages 337-348,1998.
Sanjeev Arora. Polynomial Time Approximation Schemes for Euclidean Traveling Salesman and Other Geometric Problems. Journal of the ACM, 45(5):753- 782, 1998.
Sanjeev Arora and Carsten Lund. Hardness of Approximations. In Dorit S. Hochbaum, editor, Approximation Algorithms for NP-Hard Problems, pages 399- 446. PWS Publishing Company, 1997.
Javed A. Aslam. A Simple Bound on the Expected Height of a Randomly Built Binary Search Tree. Technical Report TR2001-387, Dartmouth College Department of Computer Science, 2001.
Mikhail J. Atallah. Algorithms and Theory of Computation Handbook. CRC Press, 1999.
G. Ausiello, P. Crescenzi, G. Gambosi, V. Kann, A. Marchetti-Spaccamela and M. Protasi. Complexity and Approximation: Combinatorial Optimization Problems and Their Approximability Properties. Springer-Verlag, 1999.
Sara Baase. Computer Algorithms: Introduction to Design and Analysis. Addison- Wesley, third edition, 1988.
Eric Bach. Private communication, 1989.
Eric Bach. Number-Theoretic Algorithms. In Annual Review of Computer Science, volume 4, pages 119-172. Annual Reviews, Inc., 1990.
Eric Bach and Jeffrey Shallit. Algorithmic Number Theory — Volume I: Efficient Algorithms. The MIT Press, 1996.
David H. Bailey, King Lee and Horst D. Simon. Using Strassen’s Algorithm to Accelerate the Solution of Linear Systems. The Journal of Supercomputing, 4(4):357-371, 1990.
R. Bayer. Symmetric Binary В-trees: Data Structure and Maintenance Algorithms. Acta Informatica, 1:290-306, 1972.
R. Bayer and E. M. McCreight. Organization and Maintenance of Large Ordered Indexes. Acta Informatica, 1(3):173-189, 1972.
Pierre Beauchemin, Gilles Brassard, Claude Crepeau, Claude Goutier and Carl Pomerance. The Generation of Random Numbers That Are Probably Prime. Journal of Cryptology, 1:53-64, 1988.
Richard Bellman. Dynamic Programming. Princeton University Press, 1957.
Richard Bellman. On a Routing Problem. Quarterly of Applied Mathematics, 16(l):87-90, 1958.
Michael Ben-Or. Lower Bounds for Algebraic Computation Trees. In Proceedings of the Fifteenth Annual ACM Symposium on Theory of Computing, pages 80-86, 1983.
Michael A. Bender, Erik D. Demaine and Martin Farach-Colton. Cache-Oblivious В-Trees. In Proceedings of the 41st Annual Symposium on Foundations of Computer Science, pages 399-409, 2000.
Samuel W. Bent and John W. John. Finding the Median Requires 2n Comparisons. In Proceedings of the Seventeenth Annual ACM Symposium on Theory of Computing, pages 213-216, 1985.
Jon L. Bentley. Writing Efficient Programs. Prentice-Hall, 1982.
Jon L. Bentley. Programming Pearls. Addison-Wesley, 1986.
Jon L. Bentley, Dorothea Haken and James B. Saxe. A General Method For Solving Divide-and-conquer Recurrences. SIGACT News, 12(3):36-44, 1980.
Patrick Billingsley. Probability and Measure. John Wiley & Sons, second edition, 1986.
Manuel Blum, Robert W. Floyd, Vaughan Pratt, Ronald L. Rivest and Robert E. Tarjan. Time Bounds for Selection. Journal of Computer and System Sciences, 7(4):448-461, 1973.
Bela Bollobas. Random Graphs. Academic Press, 1985.
J. A. Bondy and U. S. R. Murty. Graph Theory with Applications. American Elsevier, 1976.
Gilles Brassard and Paul Bratley. Algorithmics: Theory and Practice. PrenticeHall, 1988.
Gilles Brassard and Paul Bratley. Fundamentals of Algorithmics. Prentice Hall, 1996.
Richard P. Brent. An Improved Monte Carlo Factorization Algorithm. BIT, 20(2): 176-184, 1980.
Mark R. Brown. The Analysis of a Practical and Nearly Optimal Priority Queue. PhD thesis, Computer Science Department, Stanford University, 1977. Technical Report STAN-CS-77-600.
Mark R. Brown. Implementation and Analysis of Binomial Queue Algorithms. SIAM Journal on Computing, 7(3):298—319, 1978.
J.P. Buhler, H.W. Lenstra, Jr., and Carl Pomerance. Factoring integers with the number field sieve. In A.K. Lenstra and H.W. Lenstra, Jr., editors, The Development of the Number Field Sieve, volume 1554 of Lecture Notes in Mathematics, pages 50-94. Springer-Verlag, 1993.
J. Lawrence Carter and Mark N. Wegman. Universal Classes of Hash Functions. Journal of Computer and System Sciences, 18(2): 143-154, 1979.
Bernard Chazelle. A Minimum Spanning Tree Algorithm with In verse-Ackermann Type Complexity. Journal of the ACM, 47(6): 1028-1047, 2000.
Joseph Cheriyan and Torben Hagerup. A Randomized Maximum-Flow Algorithm. SIAM Journal on Computing, 24(2):203-226, 1995.
Joseph Cheriyan and S. N. Maheshwari. Analysis of Preflow Push Algorithms For Maximum Network Flow. SIAM Journal on Computing, 18(6): 1057-1086, 1989.
Boris V. Cherkasky and Andrew V. Goldberg. On Implementing the Push-relabel Method for the Maximum Flow Problem. Algorithmica, 19(4):390-410, 1997.
Boris V. Cherkassky, Andrew V. Goldberg and Tomasz Radzik. Shortest paths algorithms: Theory and experimental evaluation. Mathematical Programming, 73(2): 129-174, 1996.
Boris V. Cherkassky, Andrew V. Goldberg and Craig Silverstein. Buckets, Heaps, Lists And Monotone Priority Queues. SIAM Journal on Computing, 28(4): 13261346, 1999.
H. Chernoff. A measure of asymptotic efficiency for tests of a hypothesis based on the sum of observations. Annals of Mathematical Statistics, 23:493-507, 1952.
Kai Lai Chung. Elementary Probability Theory with Stochastic Processes. Springer-Verlag, 1974.
V. Chvatal. A Greedy Heuristic for the Set-Covering Problem. Mathematics of Operations Research, 4(3):233-235, 1979.
V. Chvatal. Linear Programming. W. H. Freeman and Company, 1983.
V. Chvatal, D. A. Klarner and D. E. Knuth. Selected Combinatorial Research Problems. Technical Report STAN-CS-72-292, Computer Science Department, Stanford University, 1972.
Alan Cobham. The Intrinsic Computational Difficulty of Functions. In Proceedings of the 1964 Congress for Logic, Methodology, and the Philosophy ofScience, pages 24-30. North-Holland, 1964.
H. Cohen and H. W. Lenstra, Jr. Primality Testing and Jacobi Sums. Mathematics of Computation, 42(165):297-330, 1984.
D. Comer. The Ubiquitous В-tree. ACM Computing Surveys, 11(2):121-137, 1979.
Stephen Cook. The Complexity of Theorem Proving Procedures. In Proceedings of the Third Annual ACM Symposium on Theory of Computing, pages 151-158, 1971.‘
James W. Cooley and John W. Tukey. An Algorithm for the Machine Calculation of Complex Fourier Series. Mathematics of Computation, 19(90):297-301, 1965.
Don Coppersmith. Modifications to the Number Field Sieve. Journal of Cryptology, 6:169-180, 1993.
Don Coppersmith and Shmuel Winograd. Matrix Multiplication Via Arithmetic Progression. Journal of Symbolic Computation, 9(3):251-280, 1990.
Thomas H. Cormen. Virtual Memory for Data-Parallel Computing. PhD thesis, Department of Electrical Engineering and Computer Science, MIT, 1992.
Eric V. Denardo and Bennett L. Fox. Shortest-Route Methods: 1. Reaching, Pruning, and Buckets. Operations Research, 27(1): 161-186, 1979.
Martin Dietzfelbinger, Anna Karlin, Kurt Mehlhorn, Friedhelm Meyer auf der Heide, Hans Rohnert and Robert E. Tagan. Dynamic Perfect Hashing: Upper and Lower Bounds. SIAM Journal on Computing, 23(4):738-761, 1994.
Whitfield Diffie and Martin E. Hellman. New Directions in Cryptography. IEEE Transactions on Information Theory, IT-22(6):644-654, 1976.
E. W. Dijkstra. A Note on Two Problems in Connexion with Graphs. Numerische Mathematik, 1:269-271, 1959.
E. A. Dinic. Algorithm for Solution of a Problem of Maximum Flow in a Network with Power Estimation. Soviet Mathematics Doklady, 11(5): 1277-1280, 1970.
Brandon Dixon, Monika Rauch and Robert E. Tarjan. Verification and Sensitivity Analysis of Minimum Spanning Trees in Linear Time. SIAM Journal on Computing, 21 (6): 1184-1192, 1992.
John D. Dixon. Factorization and Primality Tests. The American Mathematical Monthly, 91(6):333-352, 1984.
Dorit Dor and Uri Zwick. Selecting the Median. In Preceedings of th 6th ACM- SIAM Symposium on Discrete Algorithms, pages 28-37, 1995.
Alvin W. Drake. Fundamentals of Applied Probability Theory. McGraw-Hill, 1967.
James R. Driscoll, Harold N. Gabow, Ruth Shrairman and Robert E. Tarjan. Relaxed Heaps: An Alternative to Fibonacci Heaps With Applications to Parallel Computation. Communications of the ACM, 31(11):1343-1354, 1988.
James R. Driscoll, Neil Samak, Daniel D. Sleator and Robert E. Taijan. Making Data Structures Persistent. Journal of Computer and System Sciences, 38:86-124, 1989.
Herbert Edelsbrunner. Algorithms in Combinatorial Geometry. Volume 10 of EATCS Monographs on Theoretical Computer Science. Springer-Verlag, 1987.
Jack Edmonds. Paths, Trees, and Flowers. Canadian Journal of Mathematics, 17:449-467, 1965.
Jack Edmonds. Matroids and the Greedy Algorithm. Mathematical Programming, 1:126-136, 1971.
Jack Edmonds and Richard M. Karp. Theoretical Improvements in the Algorithmic Efficiency for Network Flow Problems. Journal of the ACM, 19:248-264, 1972.
Shimon Even. Graph Algorithms. Computer Science Press, 1979.
William Feller. An Introduction to Probability Theory and Its Applications.Third edition. John Wiley & Sons, 1968.
Robert W. Floyd. Algorithm 97 (SHORTEST PATH). Communications of the ACM, 5(6):345, 1962.
Robert W. Floyd. Algorithm 245 (TREESORT). Communications of the ACM, ТЛСЛ, 1964.
Robert W. Floyd. Permuting Information in Idealized Two-Level Storage. In Raymond E. Miller and James W. Thatcher, editors, Complexity of Computer Computations, pages 105-109, Plenum Press, 1972.
Robert W. Floyd and Ronald L. Rivest. Expected Time Bounds for Selection. Communications of the ACM, 18(3): 165-172, 1975.
Lestor R. Ford, Jr., and D. R. Fulkerson. Flows in Networks. Princeton University Press, 1962.
Lestor R. Ford, Jr., and Selmer M. Johnson. A Tournament Problem. The American Mathematical Monthly, 66:387-389, 1959.
Michael L. Fredman. New bounds on the complexity of the shortest path problem. SIAM Journal on Computing, 5(l):83-89, 1976.
Michael L. Fredman, Janos Komlos and Endre Szemeredi. Storing a Sparse Table with О (1) Worst Case Access Time. Journal of the ACM, 31(3):538-544, 1984.
Michael L. Fredman and Michael E. Saks. The Cell Probe Complexity of Dynamic Data Structures. In Proceedings of the Twenty First Annual ACM Symposium on Theory of Computing, 1989.
Michael L. Fredman and Robert E. Tagan. Fibonacci Heaps and Their Uses in Improved Network Optimization Algorithms. Journal of the ACM, 34(3):596- 615, 1987.
Michael L. Fredman and Dan E. Willard. Surpassing the Information Theoretic Bound with Fusion Trees. Journal of Computer and System Sciences, 4TA2A- 436, 1993.
Michael L. Fredman and Dan E. Willard. Trans-dichotomous Algorithms for Minimum Spanning Trees and Shortest Paths. Journal of Computer and System Sciences, 48(3):533-551, 1994.
Harold N. Gabow. Path-based depth-first search for strong and biconnected components. Information Processing Letters, 74:107-114, 2000.
Harold N. Gabow, Z. Galil, T. Spencer and Robert E. Tagan. Efficient Algorithms for Finding Minimum Spanning Trees in Undirected and Directed Graphs. Com- binatorica, 6(2): 109-122, 1986.
Harold N. Gabow and Robert E. Tagan. A Linear-Time Algorithm for a Special Case of Disjoint Set Union. Journal of Computer and System Sciences, 30(2):209-221, 1985.
Harold N. Gabow and Robert E. Tagan. Faster Scaling Algorithms for Network Problems. SIAM Journal on Computing, 18(5): 1013-1036, 1989.
Zvi Galil and Oded Margalit. All Pairs Shortest Distances for Graphs with Small Integer Length Edges. Information and Computation, 134(2): 103-139, 1997.
Zvi Galil and Oded Margalit. All Pairs Shortest Paths for Graphs with Small Integer Length edges. Journal of Computer and System Sciences, 54(2):243- 254, 1997.
Zvi Galil and Joel Seiferas. Time-Space-Optimal String Matching. Journal of Computer and System Sciences, 26(3):280-294, 1983.
Igai Galperin and Ronald L. Rivest. Scapegoat Trees. In Proceedings of the 4th АСМ-SIAM Symposium on Discrete Algorithms, pages 165-174, 1993.
Michael R. Garey, R. L. Graham and J. D. Ullman. Worst-case analyis of memory allocation algorithms. In Proceedings of the Fourth Annual ACM Symposium on Theory of Computing, pages 143-150, 1972.
Michael R. Garey and David S. Johnson. Computers and Intractability: A Guide to the Theory of NP-Completeness. W. H. Freeman, 1979.
Saul Gass. Linear Programming: Methods and Applications.Fourth edition. International Thomson Publishing, 1975.
Fanica Gavrik Algorithms for Minimum Coloring, Maximum Clique, Minimum Covering by Cliques, and Maximum Independent Set of a Chordal Graph. SIAM Journal on Computing, 1(2): 180-187, 1972.
Alan George and Joseph W-H Liu. Computer Solution of Large Sparse Positive Def nite Systems. Prentice-Hall, 1981.
E. N. Gilbert and E. F. Moore. Variable-Length Binary Encodings. Bell System Technical Journal, 38(4):933-967, 1959.
Michel X. Goemans and David P. Williamson. Improved Approximation Algorithms for Maximum Cut and Satisfiability Problems Using Semidefinite Programming. Journal of the ACM, 42(6): 1115-1145, 1995.
Michel X. Goemans and David P. Williamson. The primal-dual method for approximation algorithms and its application to network design problems. In Dorit Hochbaum, editor, Approximation Algorithms for NP-Hard Problems, pages 144— 191. PWS Publishing Company, 1997.
Andrew V. Goldberg. Efficient Graph Algorithms for Sequential and Parallel Computers. PhD thesis, Department of Electrical Engineering and Computer Science, MIT, 1987.
Andrew V. Goldberg. Scaling Algorithms for the Shortest Paths Problem. SIAM Journal on Computing, 24(3):494-504, 1995.
Andrew V. Goldberg, Eva Tardos and Robert E. Tarjan. Network Flow Algorithms. In Bernhard Korte, Laszlo Lovasz, Hans Jurgen Promel and Alexander Schrijver, editors. Paths, Flows, and VLSI-Layout, pages 101-164. SpringerVerlag, 1990.
Andrew V. Goldberg and Satish Rao. Beyond the Flow Decomposition Barrier. Journal of the ACM, 45:783-797, 1998.
Andrew V. Goldberg and Robert E. Tagan. A new approach to the maximum flow problem. Journal of the ACM, 35:921-940, 1988.
D. Goldfarb and MJ. Todd. Linear Programming. In G.L. Nemhauser, A.H.G. Rinnooy-Kan and MJ. Todd, editors. Handbook in Operations Research and Management Science, Vol. 1, Optimization, pages 73-170. Elsevier Science Publishers, 1989.
Shafi Goldwasser and Silvio Micali. Probabilistic Encryption. Journal of Computer and System Sciences, 28(2):270-299, 1984.
Shafi Goldwasser, Silvio Micali and Charles Rackoff. The Knowledge Complexity of Interactive Proof Systems. SIAM Journal on Computing, 18(1): 186-208, 1989.
Gene H. Golub and Charles F. Van Loan. Matrix Computations. The Johns Hopkins University Press, 1983.
G. H. Gonnet. Handbook of Algorithms and Data Structures. Addison-Wesley, 1984..'
Rafael C. Gonzalez and Richard E. Woods. Digital Image Processing. Addison- Wesley, 1992.
Michael T. Goodrich and Roberto Tamassia. Data Structures and Algorithms in Java. John Wiley & Sons, 1998.
Ronald L. Graham. Bounds for certain multiprocessor anomalies. Bell Systems Technical Journal, 45:1563-1581, 1966.
Ronald L. Graham. An Efficient Algorithm for Determining the Convex Hull of a Finite Planar Set. Information Processing Letters, 1:132-133, 1972.
Ronald L. Graham and Pavol Hell. On the History of the Minimum Spanning Tree Problem. Annals of the History of Computing, 7(l):43-57, 1985.
Ronald L. Graham, Donald E. Knuth and Oren Patashnik. Concrete Mathematics. Second edition. Addison-Wesley, 1994.
P. Грэхем, Д. Кнут, О. Паташник. Конкретная математика. Основание информатики. — М.: Мир, 1998.
David Gries. The Science of Programming. Springer-Verlag, 1981.
M. Grotschel, Laszlo Lovasz and Alexander Schrijver. Geometric Algorithms and Combinatorial Optimization. Springer-Verlag, 1988.
Leo J. Guibas and Robert Sedgewick. A Dichromatic Framework for Balanced Trees. In Proceedings of the 19th Annual Symposium on Foundations of Computer Science, pages 8-21. IEEE Computer Society, 1978.
Dan Gusfield. Algorithms on Strings, Trees, and Sequences: Computer Science and Computational Biology. Cambridge University Press, 1997.
Yijie Han. Improved Fast Integer Sorting in Linear Space. In Proceedings of the 12th ACM-SIAM Symposium on Discrete Algorithms, pages 793-796, 2001.
Frank Harary. Graph Theory. Addison-Wesley, 1969.
Gregory C. Harfst and Edward M. Reingold. A Potential-Based Amortized Analysis of the Union-Find Data Structure. SIGACT News, 31(3):86-95, 2000.
J. Hartmanis and R. E. Stearns. On the Computational Complexity of Algorithms. Transactions of the American Mathematical Society, 117:285-306, 1965.
Michael T. Heideman, Don H. Johnson and C. Sidney Burrus. Gauss and the History of the Fast Fourier Transform. IEEE ASSP Magazine, pages 14-21, 1984.
Monika R. Henzinger and Valerie King. Fully Dynamic Biconnectivity and Transitive Closure. In Proceedings of the 36th Annual Symposium on Foundations of Computer Science, pages664-672, 1995.
Monika R. Henzinger and Valerie King. Randomized Fully Dynamic Graph Algorithms with Polylogarithmic Time Per Operation. Journal of the ACM, 46(4):502-516, 1999.
Monika R. Henzinger, Satish Rao and Harold N. Gabow. Computing Vertex Connectivity: New Bounds from Old Techniques. Journal of Algorithms, 34(2):222- 250, 2000.
Nicholas J. Higham. Exploiting Fast Matrix Multiplication Within the Level 3 BLAS. ACM Transactions on Mathematical Software, 16(4):352-368, 1990.
C. A. R. Hoare. Algorithm 63 (PARTITION) and Algorithm 65 (FIND). Communications of the ACM, 4(7):321-322, 1961.
C. A. R. Hoare. Quicksort. Computer Journal, 5(l):10-15, 1962.
Dorit S. Hochbaum. Efficient Bounds for the Stable Set, Vertex Cover and Set Packing Problems. Discrete Applied Math, 6:243-254, 1983.
Dorit S. Hochbaum. Approximation Algorithms for NP-Hard Problems. PWS Publishing Company, 1997.
W. Hoeffding. On the Distribution of the Number of Successes in Independent Trials. Annals of Mathematical Statistics, 27:713-721, 1956.
Micha Hofri. Probabilistic Analysis of Algorithms. Springer-Verlag, 1987.
John E. Hopcroft and Richard M. Karp. An n5/2 Algorithm for Maximum Matchings in Bipartite Graphs. SIAM Journal on Computing, 2(4):225-231, 1973.
John E. Hopcroft, Rajeev Motwani and Jeffrey D. Ullman. Introduction to Automata Theory, Languages, and Computation. Addison-Wesley, second edition, 2001.
John E. Hopcroft and Robert E. Taijan. Efficient Algorithms for Graph Manipulation. Communications of the ACM, 16(6):372-378, 1973.
John Е. Hopcroft and Jeffrey D. Ullman. Set Merging Algorithms. SIAM Journal on Computing, 2(4):294-303, 1973.
John E. Hopcroft and Jeffrey D. Ullman. Introduction to Automata Theory, Languages, and Computation. Addison-Wesley, 1979.
Ellis Horowitz and Sartaj Sahni. Fundamentals of Computer Algorithms. Computer Science Press, 1978.
Ellis Horowitz, Sartaj Sahni and Sanguthevar Rajasekaran. Computer Algorithms. Computer Science Press, 1998.
T. C. Hu and M. T. Shing. Computation of Matrix Chain Products. Part i. SIAM Journal on Computing, 11(2):362-373, 1982.
T. C. Hu and M. T. Shing. Computation of Matrix Chain Products. Part II. SIAM Journal on Computing, 13(2):228-251, 1984.
T. C. Hu and A. C. Tucker. Optimal Computer Search Trees and Variable-Length Alphabetic Codes. SIAM Journal on Applied Mathematics, 21(4):514—532, 1971.
David A. Huffman. A Method for the Construction of Minimum-Redundancy Codes. Proceedings of the IRE, 40(9): 1098-1101, 1952.
Steven Huss-Lederman, Elaine M. Jacobson, Jeremy R. Johnson, Anna Tsao and Thomas Turnbull. Implementation of Strassen’s Algorithm for Matrix Multiplication. In SC96 Technical Papers, 1996.
Oscar H. Ibarra and Chui E. Kim. Fast Approximation Algorithms for the Knapsack and Sum of Subset Problems. Journal of the ACM, 22(4):463-468, 1975.
R. A. Jarvis. On the Identification of the Convex Hull of a Finite Set of Points in the Plane. Information Processing Letters, 2:18-21, 1973.
David S. Johnson. Approximation Algorithms for Combinatorial Problems. Journal of Computer and System Sciences, 9:256-278, 1974.
David S. Johnson. The NP-Completeness Column: An Ongoing Guide — The Tale of the Second Prover. Journal of Algorithms, 13(3):502-524, 1992.
Donald B. Johnson. Efficient Algorithms for Shortest Paths in Sparse Networks. Journal of the ACM, 24(1): 1-13, 1977.
David R. Karger, Philip N. Klein and Robert E. Tarjan. A Randomized Linear-Time Algorithm to Find Minimum Spanning Trees. Journal of the ACM, 42(2):321-328, 1995.
David R. Karger, Daphne Koller and Steven J. Phillips. Finding the hidden path: time bounds for all-pairs shortest paths. SIAM Journal on Computing, 22(6): 1199-1217, 1993.
Howard Karloff. Linear Programming. Birkhauser, 1991.
N. Karmarkar. A New Polynomial-Time Algorithm for Linear Programming. Combinatorica, 4(4):373-395, 1984.
Richard M. Karp. Reducibility Among Combinatorial Problems. In Raymond E. Miller and James W. Thatcher, editors, Complexity of Computer Computations, pages 85-103. Plenum Press, 1972.
Richard M. Karp. An introduction to randomized algorithms. Discrete Applied Mathematics, 34:165-201, 1991.
Richard M. Karp and Michael O. Rabin. Efficient Randomized Pattern-Matching Algorithms. Technical Report TR-31-81, Aiken Computation Laboratory, Harvard University, 1981.
A. V. Karzanov. Determining the Maximal Flow in a Network by the Method of Preflows. Soviet Mathematics Doklady, 15:434-437, 1974.
Valerie King. A Simpler Minimum Spanning Tree Verification Algorithm. Algo- rithmica, 18(2):263-270, 1997.
Valerie King, Satish Rao and Robert E. Taijan. A Faster Deterministic Maximum Flow Algorithm. Journal of Algorithms, 17:447-474, 1994.
Jeffrey H. Kingston. Algorithms and Data Structures: Design, Correctness, Analysis. Addison-Wesley, 1990.
D. G. Kirkpatrick and R. Seidel. The Ultimate Planar Convex Hull Algorithm? SIAM Journal on Computing, 15(2):287-299, 1986.
Philip N. Klein and Neal E. Young. Approximation Algorithms for NP-Hard Optimization Problems. In CRC Handbook on Algorithms, pages 34-1-34-19. CRC Press, 1999.
Donald E. Knuth. Fundamental Algorithms, volume 1 of The Art of Computer Programming. Addison-Wesley, 1968. Second edition, 1973.
Д. Кнут. Искусство программирования, m.l. Основные алгоритмы, 3-е изд. — М.: “Вильямс”, 2000.
Donald Е. Knuth. Seminumerical Algorithms, volume 2 of The Art of Computer Programming. Addison-Wesley, 1969. Second edition, 1981.
Д. Кнут. Искусство программирования, т.2. Получисленные алгоритмы, 3-е изд. — М.: “Вильямс”, 2000.
Donald Е. Knuth. Optimum Binary Search Trees. Acta Informatica, 1:14-25, 1971.
Donald E. Knuth. Sorting and Searching, volume 3 of The Art of Computer Programming. Addison-Wesley, 1973.
Д. Кнут. Искусство программирования, т.З. Сортировка и поиск, 2-е изд. — М.: “Вильямс”, 2000.
Donald Е. Knuth. Big Omicron and Big Omega and Big Theta. ACM SIGACT News, 8(2): 18-23, 1976.
Donald E. Knuth, Morris, Jr., James H. and Vaughan R. Pratt. Fast Pattern Matching in Strings. SIAM Journal on Computing, 6(2):323-350, 1977.
J. Komlos. Linear verification for spanning trees. Combinatorica, 5(l):57-65, 1985.
Bernhard Korte and Laszlo Lovasz. Mathematical Structures Underlying Greedy Algorithms. In F. Gecseg, editor, Fundamentals of Computation Theory, number 117 in Lecture Notes in Computer Science, pages 205-209. Springer-Verlag, 1981.
Bernhard Korte and Laszlo Lovasz. Structural Properties of Greedoids. Combinatorica, 3:359-374, 1983.
Bernhard Korte and Laszlo Lovasz. Greedoids — A Structural Framework for the Greedy Algorithm. In W. Pulleybank, editor, Progress in Combinatorial Optimization, pages 221-243. Academic Press, 1984.
Bernhard Korte and Laszlo Lovasz. Greedoids and Linear Objective Functions. SIAM Journal on Algebraic and Discrete Methods, 5(2):229-238, 1984.
Dexter C. Kozen. The Design and Analysis of Algorithms. Springer-Verlag, 1992.
David W. Krumme, George Cybenko and K. N. Venkataraman. Gossiping in Minimal Time. SIAM Journal on Computing, 21(1):111-139, 1992.
J. B. Kruskal. On the Shortest Spanning Subtree of a Graph and the Traveling Salesman Problem. Proceedings of the American Mathematical Society, 7:48-50, 1956.
Eugene L. Lawler. Combinatorial Optimization: Networks and Matroids. Holt, Rinehart, and Winston, 1976.
Eugene L. Lawler, J. K. Lenstra, A. H. G. Rinnooy Kan and D. B. Shmoys. The Traveling Salesman Problem. John Wiley & Sons, 1985.
С. Y. Lee. An Algorithm for Path Connection and Its Applications. IRE Transactions on Electronic Computers, EC-10(3):346-365, 1961.
Tom Leighton and Satish Rao. An approximate max-flow min-cut theorem for uniform multicommodity flow problems with applications to approximation algorithms. In Proceedings of the 29th Annual Symposium on Foundations of Computer Science, pages 422-431, 1988.
Debra A. Lelewer and Daniel S. Hirschberg. Data Compression. ACM Computing Surveys, 19(3):261-296, 1987.
A. K. Lenstra, H. W. Lenstra, Jr., M. S. Manasse and J. M. Pollard. The number field sieve. In A. K. Lenstra and H. W. Lenstra, Jr., editors, The Development of
the Number Field Sieve, volume 1554 of Lecture Notes in Mathematics, pages 11-42, Springer-Verlag, 1993.
H. W. Lenstra, Jr. Factoring Integers with Elliptic Curves. Annals of Mathematics, 126:649-673, 1987.
L. A. Levin. Universal Sorting Problems. Problemy Peredachi Informatsii, 9(3):265-266, 1973.
Harry R. Lewis and Christos H. Papadimitriou. Elements of the Theory of Computation. Prentice-Hall, second edition, 1998.
C. L. Liu. Introduction to Combinatorial Mathematics. McGraw-Hill, 1968.
Laszlo Lovasz. On the Ratio of Optimal Integral and Fractional Covers. Discrete Mathematics, 13:383-390, 1975.
Laszlo Lovasz and M. D. Plummer. Matching Theory. Volume 121 of Annals of Discrete Mathematics. North Holland, 1986.
Bruce M. Maggs and Serge A. Plotkin. Minimum-cost spanning tree as a pathfinding problem. Information Processing Letters, 26(6):291-293, 1988.
Michael Main. Data Structures and Other Objects Using Java. Addison-Wesley, 1999.
Udi Manber. Introduction to Algorithms: A Creative Approach. Addison-Wesley, 1989.
Conrado Martinez and Salvador Roura. Randomized Binary Search Trees. Journal of the ACM, 45(2):288-323, 1998.
William J. Masek and Michael S. Paterson. A Faster Algorithm Computing String Edit Distances. Journal of Computer and System Sciences, 20(1): 18-31, 1980.
H. A. Maurer, Th. Ottmann and H.-W. Six. Implementing Dictionaries Using Binary Trees of Very Small Height. Information Processing Letters, 5(1): 11-14, 1976.
Ernst W. Mayr, Hans Jurgen Promel and Angelika Steger. Lectures on Proof Verification and Approximation Algorithms. Number 1367 in. of Lecture Notes in Computer Science. Springer-Verlag, 1998.
С. C. McGeoch. All pairs shortest paths and the essential subgraph. Algorithmica, 13(5):426-441, 1995.
M. D. McIlroy. A Killer Adversary for Quicksort. Software — Practice and Experience, 29(4):341-344, 1999.
Kurt Mehlhorn. Sorting and Searching, volume 1 of Data Structures and Algorithms. Springer-Verlag, 1984.
Kurt Mehlhorn. Graph Algorithms and NP-Completeness, volume 2 of Data Structures and Algorithms. Springer-Verlag, 1984.
Kurt Mehlhorn. Multidimensional Searching and Computational Geometry, volume 3 of Data Structures and Algorithms. Springer-Verlag, 1984.
Alfred J. Menezes, van Oorschot, Paul C. and Scott A. Vanstone. Handbook of Applied Cryptography. CRC Press, 1997.
Gary L. Miller. Riemann’s Hypothesis and Tests for Primality. Journal of Computer and System Sciences, 13(3):300-317, 1976.
John C. Mitchell. Foundations for Programming Languages. The MIT Press, 1996.
Joseph S. B. Mitchell. Guillotine Subdivisions Approximate Polygonal Subdivisions: A Simple Polynomial-Time Approximation Scheme for Geometric TSP, fc-MST, and Related Problems. SIAM Journal on Computing, 28(4): 1298-1309, 1999.
Louis Monier. Algorithmes de Factorisation D 'Entiers. PhD thesis, L’Universite Paris-Sud, 1980.
Louis Monier. Evaluation and Comparison of Two Efficient Probabilistic Primality Testing Algorithms. Theoretical Computer Science, 12(1):97—108, 1980.
Edward F. Moore. The Shortest Path Through a Maze. In Proceedings of the International Symposium on the Theory of Switching, pages 285-292. Harvard University Press, 1959.
Rajeev Motwani, Joseph (Seffi) Naor and Prabakhar Raghavan. Randomized Approximation Algorithms in Combinatorial Optimization. In Dorit Hochbaum, editor, Approximation Algorithms for NP-Hard Problems, pages 447-481. PWS Publishing Company, 1997.
Rajeev Motwani and Prabhakar Raghavan. Randomized Algorithms. Cambridge Unversity Press, 1995.
J. I. Munro and V. Raman. Fast Stable In-Place Sorting with O(n) Data Moves. Algorithmica, 16(2):151-160, 1996.
J. Nievergelt and E. M. Reingold. Binary search trees of bounded balance. SIAM Journal on Computing, 2(l):33-43, 1973.
Ivan Niven and Herbert S. Zuckerman. An Introduction to the Theory of Numbers.Fourth edition. John Wiley & Sons, 1980.
Alan V. Oppenheim and Ronald W. Schafer, with John R. Buck. Discrete-Time Signal Processing.Second edition. Prentice-Hall, 1998.
Alan V. Oppenheim and Alan S. Willsky, with S. Hamid Nawab. Signals and Systems. Prentice-Hall, second edition, 1997.
James B. Orlin. A polynomial time primal network simplex algorithm for minimum cost flows. Mathematical Programming, 78(1): 109-129, 1997.
Joseph O’Rourke. Computational Geometry in C. Cambridge University Press, 1993.
Christos H. Papadimitriou. Computational Complexity. Addison-Wesley, 1994.
Christos H. Papadimitriou and Kenneth Steiglitz. Combinatorial Optimization: Algorithms and Complexity. Prentice-Hall, 1982.
Michael S. Paterson, 1974. Unpublished lecture, He de Berder, France.
Michael S. Paterson. Progress in Selection. In Proceedings of the Fifth Scandinavian Workshop on Algorithm Theory, pages368-379, 1996.
Pavel A. Pevzner. Computational Molecular Biology: An Algorithmic Approach. The MIT Press, 2000.
Steven Phillips and Jeffery Westbrook. Online Load Balancing and Network Flow. In Proceedings of the 25 th Annual ACM Symposium on Theory of Computing, pages 402-411, 1993.
J. M. Pollard. A Monte Carlo Method for Factorization. BIT, 15:331-334, 1975.
J. M. Pollard. Factoring with cubic integers. In A. K. Lenstra and H. W. Lenstra, Jr., editors, The Development of the Number Field Sieve, volume 1554 of Lecture Notes in Mathematics, pages 4-10, Springer-Verlag, 1993.
Carl Pomerance. On the Distribution of Pseudoprimes. Mathematics of Computation, 37(156):587-593, 1981.
Carl Pomerance, editor. Proceedings of the AMS Symposia in Applied Mathematics: Computational Number Theory and Cryptography. American Mathematical Society, 1990.
William K. Pratt. Digital Image ProcessingSecond edition. John Wiley & Sons, 1991.
Franco P. Preparata. An Optimal Real Time Algorithm for Planar Convex Hulls. Communications of the ACM, 22:402-405, 1979.
William H. Press, Brian P. Flannery, Saul A. Teukolsky and William T. Vetterling. Numerical Recipes: The Art of Scientific Computing. Cambridge University Press, 1986.
William H. Press, Brian P. Flannery, Saul A. Teukolsky and William T. Vetterling. Numerical Recipes in C. Cambridge University Press, 1988.
R. C. Prim. Shortest Connection Networks and Some Generalizations. Bell System Technical Journal, 36:1389-1401, 1957.
William Pugh. Skip Lists: A Probabilistic Alternative to Balanced Trees. Communications of the ACM, 33(6):668-676, 1990.
Paul W. Purdom, Jr., and Cynthia A. Brown. The Analysis of Algorithms. Holt, Rinehart, and Winston, 1985.
Michael О. Rabin. Probabilistic Algorithms. In J. F. Traub, editor, Algorithms and Complexity: New Directions and Recent Results, pages 21-39. Academic Press, 1976.
Michael O. Rabin. Probabilistic Algorithm for Testing Primality. Journal of Number Theory, 12(1): 128-138, 1980.
P. Raghavan and C. D. Thompson. Randomized Rounding: A Technique for Provably Good Algorithms and Algorithmic Proofs. Combinatorica, 7:365-374, 1987.
Rajeev Raman. Recent Results on the Single-Source Shortest Paths Problem. SIGACTNews, 28(2):81-87, 1997.
Edward M. Reingold, Jiirg Nievergelt and Narsingh Deo. Combinatorial Algorithms: Theory and Practice. Prentice-Hall, 1977.
Hans Riesel. Prime Numbers and Computer Methods for Factorization, of Progress in Mathematics. Birkhauser, 1985.
Ronald L. Rivest, Adi Shamir and Leonard M. Adleman. A Method for Obtaining Digital Signatures and Public-Key Cryptosystems. Communications of the ACM, 21(2):120-126, 1978. See also U.S. Patent 4,405,829$.
Herbert Robbins. A Remark on Stirling’s Formula. American Mathematical Monthly, 62(l):26-29, 1955.
D. J. Rosenkrantz, R. E. Stearns and P. M. Lewis. An Analysis of Several Heuristics for the Traveling Salesman Problem. SIAM Journal on Computing, 6:563-581, 1977.
Salvador Roura. An Improved Master Theorem for Divide-and-Conquer Recurrences. In Proceedings of Automata, Languages and Programming, 24th International Colloquium, ICALP’97, pages 449-459, 1997.
Y. A. Rozanov. Probability Theory: A Concise Course. Dover, 1969.
S. Sahni and T. Gonzalez. Р-Complete Approximation Problems. Journal of the ACM, 23:555-565, 1976.
A. Schonhage, M. Paterson and N. Pippenger. Finding the median. Journal of Computer and System Sciences, 13(2): 184-199, 1976.
Alexander Schrijver. Theory of Linear and Integer Programming. John Wiley & Sons, 1986.
Alexander Schrijver. Paths and Flows — a Historical Survey. CWI Quarterly, 6:169-183, 1993.
Robert Sedgewick. Implementing Quicksort Programs. Communications of the ACM, 21(10):847-857, 1978.
Robert Sedgewick. Algorithms. Addison-Wesley, second edition. 1988.
Raimund Seidel. On the All-Pairs-Shortest-Path Problem in Unweighted Undirected Graphs. Journal of Computer and System Sciences, 51(3):400-403, 1995.
Raimund Seidel and C. R. Aragon. Randomized Search Trees. Algorithmica, 16:464-497, 1996.
Joao Setubal and Joao Meidanis. Introduction to Computational Molecular Biology. PWS Publishing Company, 1997.
Clifford A. Shaffer. A Practical Introduction to Data Structures and Algorithm Analysis.Second edition. Prentice Hall, 2001.
Jeffrey Shallit. Origins of the Analysis of the Euclidean Algorithm. Historia Mathematica, 21(4):401-419, 1994.
Michael I. Shamos and Dan Hoey. Geometric Intersection Problems. In Proceedings of the 17th Annual Symposium on Foundations of Computer Science, pages 208-215, 1976.
M. Sharir. A Strong-Connectivity Algorithm and Its Applications in Data Flow Analysis. Computers and Mathematics with Applications, TFTl-Tl, 1981.
David B. Shmoys. Computing Near-Optimal Solutions to Combinatorial Optimization Problems. In William Cook, Laszl6 Lovasz and Paul Seymour, editors, Combinatorial Optimization, volume 20 of DIMACS Series in Discrete Mathematics and Theoretical Computer Science. American Mathematical Society, 1995.
Avi Shoshan and Uri Zwick. All Pairs Shortest Paths In Undirected Graphs With Integer Weights. In Proceedings of the 40th Annual Symposium on Foundations of Computer Science, pages 605-614, 1999.
Michael Sipser. Introduction to the Theory of Computation. PWS Publishing Company, 1997.
Steven S. Skiena. The Algorithm Design Manual. Springer-Verlag, 1998.
Daniel D. Sleator and Robert E. Taijan. A Data Structure for Dynamic Trees. Journal of Computer and System Sciences, 26(3):362-391, 1983.
Daniel D. Sleator and Robert E. Taijan. Self-Adjusting Binary Search Trees. Journal of the ACM, 32(3):652-686, 1985.
Joel Spencer. Ten Lectures on the Probabilistic Method. Regional Conference Series on Applied Mathematics (No. 52). SIAM, 1987.
Daniel A. Spielman and Shang-Hua Teng. The Simplex Algorithm Usually Takes a Polynomial Number of Steps. In Proceedings of the 33th Annual ACM Symposium on Theory of Computing, 2001.
Gilbert Strang. Introduction to Applied Mathematics. Wellesley-Cambridge Press, 1986.
Gilbert Strang. Linear Algebra and Its Applications. Third edition. Harcourt Brace Jovanovich, 1988.
Volker Strassen. Gaussian Elimination Is Not Optimal. Numerische Mathematik, 14(3):354-356, 1969.
T. G. Szymanski. A Special Case of the Maximal Common Subsequence Problem. Technical Report TR-170, Computer Science Laboratory, Princeton University, 1975.
Robert E. Tarjan. Depth First Search and Linear Graph Algorithms. SIAM Journal on Computing, l(2):146-160, 1972.
Robert E. Taijan. Efficiency of a Good But Not Linear Set Union Algorithm. Journal of the ACM, 22(2):215-225, 1975.
Robert E. Taijan. A Class of Algorithms Which Require Nonlinear Time to Maintain Disjoint Sets. Journal of Computer and System Sciences, 18(2):110- 127, 1979.
Robert E. Taijan. Data Structures and Network Algorithms. Society for Industrial and Applied Mathematics, 1983.
Robert E. Taijan. Amortized Computational Complexity. SIAM Journal on Algebraic and Discrete Methods, 6(2):306-318, 1985.
Robert E. Taijan. Class notes: Disjoint set union. COS 423, Princeton University, 1999.
Robert E. Taijan and Jan van Leeuwen. Worst-Case Analysis of Set Union Algorithms. Journal of the ACM, 31(2):245-281, 1984.
George B. Thomas, Jr., and Ross L. Finney. Calculus and Analytic Geometry.Seventh edition. Addison-Wesley, 1988.
Mikkel Thorup. Faster determinstic sorting and priority queues in linear space. In Proceedings of the 9th ACM-SIAM Symposium on Discrete Algorithms, pages 550-555, 1998.
Mikkel Thorup. Undirected Single-Source Shortest Paths with Positive Integer Weights in Linear Time. Journal of the ACM, 46(3):362-394, 1999.
Mikkel Thorup. On RAM priority queues. SIAM Journal on Computing, 30(1 ):86- 109, 2000.
Richard Tolimieri, Myoung An and Chao Lu. Mathematics of Multidimensional Fourier Transform Algorithms. Springer-Verlag, second edition, 1997.
P. van Emde Boas. Preserving Order in a Forest in Less Than Logarithmic Time. In Proceedings of the 16th Annual Symposium on Foundations of Computer Science, pages 75-84. IEEE Computer Society, 1975.
Jan van Leeuwen, editor. Handbook of Theoretical Computer Science, Volume A: Algorithms and Complexity. Elsevier Science Publishers and The MIT Press, 1990.
Charles Van Loan. Computational Frameworks for the Fast Fourier Transform. Society for Industrial and Applied Mathematics, 1992.
Robert J. Vanderbei. Linear Programming: Foundations and Extensions. Kluwer Academic Publishers, 1996.
Vijay V. Vazirani. Approximation Algorithms. Springer-Verlag, 2001.
Rakesh M. Verma. General Techniques for Analyzing Recursive Algorithms with Applications. SIAM Journal on Computing, 26(2):568-581, 1997.
Jean Vuillemin. A Data Structure for Manipulating Priority Queues. Communications of the ACM, 21(4):309-315, 1978.
Stephen Warshall. A Theorem on Boolean Matrices. Journal of the A CM, 9( 1): 11 - 12, 1962.
Michael S. Waterman. Introduction to Computational Biology, Maps, Sequences and Genomes. Chapman & Hall, 1995.
Mark Allen Weiss. Data Structures and Algorithm Analysis in C++. Addison- Wesley, 1994.
Mark Allen Weiss. Algorithms, Data Structures and Problem Solving with C++. Addison-Wesley, 1996.
Mark Allen Weiss. Data Structures and Problem Solving Using Java. Addison- Wesley, 1998.
Mark Allen Weiss. Data Structures and Algorithm Analysis in Java. Addison- Wesley, 1999.
Hassler Whitney. On the Abstract Properties of Linear Dependence. American Journal of Mathematics, 57:509-533, 1935.
Herbert S. Wilf. Algorithms and Complexity. Prentice-Hall, 1986.
J. W. J. Williams. Algorithm 232 (HEAPSORT). Communications of the ACM, 7:347-348, 1964.
S. Winograd. On the algebraic complexity of functions. In Actes du Congres International des Mathematiciens, volume 3, pages 283-288, 1970.
Andrew C.-C. Yao. A Lower Bound to Finding Convex Hulls. Journal of the ACM, 28(4):780-787, 1981.
Yinyu Ye. Interior Point Algorithms: Theory and Analysis. John Wiley & Sons, 1997.
Daniel Zwillinger, editor. CRC Standard Mathematical Tables and Formulae. CRC Press, 30th edition, 1996.
предметный указатель
Символы
О-обозначения, 91
Q-обозначения, 92
©-обозначения, 88
^-обозначения, 95
</>-функция Эйлера, 972
о-обозначения, 94
2-3-4-дерево, 520
2-3-4-пирамида, 555
А
Abelian group, 968
Additive group modulo n, 969
Aggregate analysis, 483
Amortized analysis, 482
Approximation scheme, 1152
Articulation point, 641
AVL-дерево, 359
В
В*-дерево, 520
В+-дерево, 520
В-дерево, 515; 520
Вставка, 524; 526
Высота, 521
Минимальная степень, 520
Поиск, 522
Разбиение заполненного узла, 524
Создание, 523
Удаление, 530
Back substitution, 843
Bernoulli trial, 1243
Bijection, 1212
Binary heap, 179
Binary relation, 1207
Binary search, 82
Binary tree, 1221
Binomial distribution, 1245
Binomial heap, 541
Breadth-first search, 613
Breadth-first tree, 620
Bubblesort, 83
Bucket sort, 230
C
Cartesian product, 1206
ceil, 98
Clique problem, 1128
Component graph, 636
Conjunctive normal form, 1123
Constraint graph, 690
Convex combination, 1048
Convex hull, 1063
Counting sort, 224
D
Decision tree, 221
Deque, 264
Diagonal matrix, 825
Directed graph, 1213
Discrete Fourier Transform, 933; 938
Discrete random variable, 1238
Disjoint-set forest, 589
Disjunctive normal form, 1124
Divisor, 956
Dynamic graph, 514
Dynamic tree, 513
E
Edit distance, 437
Equivalence class, 957
Expected value, 1239
F
Fast Fourier Transform, 938
Feasible solution, 873
Fibonacci heap, 559
FIFO, 260; 262
Final state function, 1030
Finite automaton, 1029
Finite group, 968
floor, 98
Forest, 1217
Forward substitution, 842
G
Geometric distribution, 1244
Greedy algorithm, 442
Group, 968
H
Heap, 178
Heapsort, 178
Hypergraph, 1217
I
Identity matrix, 825
Incidence matrix, 613
Indicator random variable, 144
Injection, 1211
Inorder tree walk, 317
Input size, 66
Insertion sort, 58
Integer linear-programming problem, 1145
Internal node, 1221
Inverse matrix, 828
L
Leaf, 1221
Least common multiple, 967
Legendre symbol, 1014
LIFO, 260
Linear-programming problem, 687
Linearity of expectation, 1240
Linked list, 264
Longest-simple-cycle problem, 1145
Loop invariant, 60
Lower-triangular matrix, 826
LUP-разложение, 841
M
Manhattan distance, 253
Maximal matching, 1157
Median, 240
Merge sort, 72
Modular exponentiation, 985
Monge array, 137
Multigraph, 1217
Multiple, 956
Multiplicative group modulo n, 970
N
Normal equation, 863
NP-полнота, 1087; 1108
О
One-to-one correspondence, 1212
Order of growth, 70
Order statistic, 240
Ordered pair, 1206
Ordered tree, 1221
P
Pairwise relatively prime, 960
Permutation matrix, 826
Permutation network, 820
Positive-definite matrix, 831
Postorder tree walk, 318
Predecessor matrix, 709
Predecessor subgraph, 620; 668; 709
Prefix code, 460
Prefix function, 1038
Preorder tree walk, 318
Prime, 956
Priority queue, 190
Probability density function, 1238
Probability distribution, 1232
Treap, 360
Triangle inequality, 1158
Q
Tridiagonal matrix, 825
Quadratic residue, 1014
Queue, 260
U
Quotient, 957
Undirected graph, 1213
Uniform probability distribution, 1233
R
Upper-triangular matrix, 526
Radix sort, 226
Radix tree, 333
V
Rate of growth, 70
Variable-length code, 459
Recursion tree, 115
Variance, 1242
Relatively prime, 960
Vertex cover, 1131; 1154
Reminder, 957
Residue, 957
A
RSA, 991
Алгоритм, 46
Анализ, 64
s
Асимптотическая эффективность, 57
Satellite data, 256
Беллмана-Форда, 672; 702
Sentinel, 266
Верификации, 1102
Set-covering problem, 1164
Витерби, 439
Set-partition problem, 1145
Время работы, 66
Shortest path, 617
Габова, 703
Singly linked list, 264
Дейкстры, 650
Singular matrix, 529
Джонсона, 726
Singular value decomposition, 565
Евклида, 963
Sorting network, 503
Жадный, 442
Spanning tree, 469; 644
Карпа, 705
Splay tree, 513
Кнута-Морриса-Пратта, 1036
Stack, 260
Корректность, 47
Standard deviation, 1242
Крускала, 651
String, 1017; 1227
Миллера-Рабина, 999
String-matching problem, 1017
Обход по Джарвису, 1071
Subgraph, 1215
“Поднять-в-начало”, 750
Subset-sum problem, 1140
Поиска gcd бинарный, 1013
Substring, 1227
Приближенный, 1151
Suffix function, 1030
Приведения, 1107
Surjection, 1211
Прима, 653
Symmetric matrix, 526
Проталкивания предпотока, 762
Рабина-Карпа, 1022
T
Рандомизированный, 70; 143; 149
Tail recursion, 217
Симплекс, 875
Toeplitz matrix, 949
Сканирования по Грэхему, 1065
Topological sort, 632
Умножения матриц Штрассена, 533
Transitive closure, 722
Флойда-Варшалла, 718
Transposition network, 519
Форда-Фалкерсона, 742
Traveling-salesman problem, 1138
Хаффмана, 462
Хопкрофта-Карпа, 791
Штрассена, 833
Эдмондса-Карпа, 753
Эффективность, 52
Асимптотическая, 87
Алфавит, 1097
Амортизированная стоимость, 483; 488;
491
Анализ
Алгоритма, 64
Амортизационный, 482
Вероятностный, 142
Групповой, 483
Метод потенциалов, 491
Методе бухгалтерского учета, 487
Арифметическая прогрессия, 1193
Асимптотическая верхняя граница, 91
Асимптотическая нижняя граница, 92
Асимптотически точная оценка, 89
Асимптотические обозначения, 88
Б
Базисная функция, 861
Базисное решение, 894
Байеса теорема, 1236
Бернулли испытание, 1243
Биекция, 1212
Бинарное дерево поиска, 317
Вставка, 324
Оптимальное, 426
Поиск, 320
Поиск минимума и максимума, 321
Предшествующий и последующий узлы, 321
Свойство, 317
Случайное, 328
Удаление, 325
Бинарное отношение, 1207
Бинарный алгоритм gcd, 1013
Бинарный поиск, 82
Бином Ньютона, 1229
Биномиальная пирамида, 541
Вставка, 550
Поиск минимального ключа, 544
Свойства, 541
Слияние, 545
Создание, 544
Список корней, 543
Удаление, 554
Уменьшение ключа, 552
Биномиальное дерево, 539
Неупорядоченное, 562
Биномиальные коэффициенты, 1229
Битонический сортировщик, 810
Бленда правило, 906
Буля неравенство, 1237
Быстрая сортировка, 198
Анализ, 209
Глубина стека, 217
Метод тройной медианы, 218
Опорный элемент, 200
Производительность, 203
Разбиение, 199
Разбиение по Хоару, 214
Рандомизированная, 208
Быстрое преобразование Фурье, 938
В
Вандермонда матрица, 930
Вектор, 824; 1048
Аннулирующий, 830
Единичный, 824
Линейная зависимость, 829
Норма, 828
Ортонормальность, 868
Векторное произведение, 1049
Вероятностный анализ, 70; 142
Вероятность, 1232
Аксиомы, 1232
Распределение, 1232
Биномиальное, 1245
Геометрическое, 1244
Дискретное, 1233
Непрерывное равномерное, 1234
Равномерное, 1233
Условная, 1235
Вершинное покрытие, 1131
Взаимно однозначное соответствие, 1212
Взаимно простые числа, 960
Взвешенная медиана, 253
Возведение в степень по модулю, 985
Выметание, 1055
Выпуклая комбинация, 1048
Выпуклая оболочка, 1063
Выпуклое множество, 742
Вычислительная задача, 46
Разреженный, 610
Разрез, 647
Раскраска, 1147; 1224
Г
Гамильтонов цикл, 1101
Генератор случайных чисел, 143
Геометрическая прогрессия, 1193
Гиперграф, 1217
Глубина стека, 217
Горнера правило, 84
Горнера схема, 929
Граф, 1213
s-плотный, 732
Ациклический, 1215
Вершина, 1213
Степень, 1214
Вершинное покрытие, 1154
Взвешенный, 611
Двудольный, 1216
Динамический, 514
Изоморфность, 1215
Квадрат, 612
Компонентов, 636
Кратчайший путь, 617
Матрица инциденций, 613
Матрица смежности, 611
Множество вершин, 1213
Множество ребер, 1213
Мост, 641
Независимое множество, 1145
Неориентированный, 1213
Ограничений, 690
Односвязность, 632
Ориентированный, 1213
Остовное дерево, 469; 644
Паросочетание, 757
Петля, 1213
Плотный, 610
Подпуть, 1214
Поиск в глубину, 622
Поиск в ширину, 613
Полный, 1216
Полусвязный, 640
Представление, 609
Путь, 1214
Простой, 1214
Ребро, 1213
Инцидентное, 1214
Связные компоненты, 1215
Связный, 1215
Сжатие, 1217
Сильно связный, 1215
Смежные вершины, 1214
Список смежности, 610
Точка сочленения, 641
Транзитивное замыкание, 722; 731
Транспонирование, 612
Узкое остовное дерево, 660
Цикл, 1214
Эйлеров цикл, 642
Группа, 968
Абелева, 968
Аддитивная по модулю, 969
Генератор, 983
Конечная, 968
Мультипликативная по модулю, 970
Первообразный корень, 983
Порядок элемента, 974
Циклическая, 983
Групповой анализ, 483
д
Дважды связанный список, 264
Двоичный поиск, 82
Двойное хеширование, 303
Дек, 264
Декартова сумма, 935
Декартово произведение, 1206
Делитель, 956
Наибольший общий, 958
Тривиальный, 956
Дерамида, 360
Дерево
2-3-4-дерево, 520
AVL, 359
В*-дерево, 520
В+-дерево, 520
В-дерево, 515
Без выделенного корня, 1218
Бинарное, 274; 1221
Бинарное поиска, 317
Биномиальное, 539
Биномиальное неупорядоченное, 562
Внутренний узел, 1221
Высота, 1221
Диаметр, 622
Динамическое, 513
Красно-черное, 336
Кратчайших путей, 669; 697
Лист, 1221
Остовное, 644
Остовное графа, 469
Отрезков, 375
Позиционное, 1222
Поиска в ширину, 620
Полностью бинарное, 1222
Порядковой статистики, 366
Пустое, 1222
Расширяющееся, 513
Рекурсии, 115
Решений, 221
С корнем, 1220
Свободное, 1218
Степень, 1221
Узел, 1220
Упорядоченное, 1221
Цифровое, 333
Деревьев рекурсии метод, 115
Диаграмма PERT, 679
Диаграмма Венна, 1204
Дизъюнктивная нормальная форма, 1124
Динамическая таблица, 495
Динамический граф, 514
Динамическое дерево, 513
Динамическое программирование, 386
Оптимальная подструктура, 390
Перекрывающиеся вспомогательные задачи, 411
Дисковый накопитель, 516
Дискретная случайная величина, 1238
Дискретное преобразование Фурье, 933;
938
Дискретный логарифм, 984
Дисперсия, 1242
Дополнение, 1205
Дополнение Шура, 846
Е
Евклида алгоритм, 963
Ж
Жадный алгоритм, 442
Оптимальная подструктура, 455
Свойство жадного выбора, 454
3
Задача
Абстрактная, 1092
Выбора, 240
Выполнимости схемы, 1112
Иосифа, 381
Класс сложности, 1094
Конкретная, 1094
Линейного программирования, 687;
869
Максимизации, 872
Минимизации, 872
О вершинном покрытии, 1131; 1154
О выборе процессов, 443
О выходе, 786
О гамильтоновом цикле, 1102; 1133
О гардеробщике, 148
О клике, 1128
О коммивояжере, 1138; 1157
О коммивояжере битоническая, 434
О кратчайшем пути, 663
О кратчайшем пути в заданный пункт назначения, 664
О кратчайшем пути из одной вершины, 664
О кратчайшем пути между всеми парами вершин, 665
О кратчайшем пути между заданной парой вершин, 665
О максимальном потоке, 736
О минимальном остовном дереве, 470
О минимальном покрытии путями, 787
О найме, 140
О независимом множестве, 1145
О перемножении последовательности матриц, 397
О покрытии множества, 1164
О разделении множества, 1145
О разрешимости системы линейных неравенств, 922
О раскрашивании графа, 1147
О рюкзаке, 456
О самой длинной общей подпоследовательности, 418
О самом длинном простом цикле, 1145
О сумме подмножества, 1140
Об изоморфизме подграфу, 1144
Оптимизации, 386; 1088
Планирования единичных заданий, 475
Поиска, 63
Поиска максимального потока, 887
Поиска минимального остовного дерева, 556; 644
Поиска подстроки, 1017
Поиска потока с минимальными затратами, 889
Поиска сильно связных компонентов графа, 636
Принятия решения, 1088
Проверки остовного дерева, 662
Раскрашивания интервального графа, 453
Расписание конвейера, 387
Сортировки, 46; 57; 174
Существования решения, 688
Целочисленного линейного программирования, 877; 923;
1145
Экземпляр, 47
Законы де Моргана, 1124; 1204
Замыкание, 1097
Клини, 1097
Запись, 174
Золотое сечение, 104
И
Инвариант цикла, 60
Инверсия, 85; 149
Индикаторная случайная величина, 144;
156
Интервал, 375
Интерполяция, 930
Инъекция, 1211
Иосифа задача, 381
Испытание Бернулли, 1243
Истинное подмножество, 1203
Исток, 664
Й
Йенсена неравенство, 1241
К
Кармайкла числа, 998
Карманная сортировка, 230
Каталана числа, 335; 398
Квадратичный вычет, 1014
Квантиль, 251
Китайская теорема об остатках, 979
Класс сложности, 1098
NP, 1103
Класс эквивалентности, 1208
Класс эквивалентности по модулю, 957
Клика, 1128
Клини замыкание, 1097
Ключ, 174
Код
Бинарный, 459
Переменной длины, 459
Префиксный, 460
Фиксированной длины, 459
Хаффмана, 459; 462
Коллизия, 286
Коллинеарность, 1049
Компаратор, 800
Конечная группа, 968
Конечный автомат, 1029
Входной алфавит, 1029
Поиска подстрок, 1030
Состояние, 1029
Функция конечного состояния, 1030
Функция переходов, 1029
Конкатенация, 1019
Конъюнктивная нормальная форма, 1123
Красно-черное дерево, 336
Вставка, 342
Объединение, 358
Ослабленное, 340
Поворот, 340
Свойства, 337
Удаление, 35/
Черная высота узла, 337
Кратное, 956
Кратчайший путь, 664
Неравенство треугольника, 694
Свойства ослаблений, 695
Крафта неравенство, 1224
Криптографическая система RSA, 991
Криптографические системы с открытым ключом, 988
Л
Лагранжа теорема, 973
Лагранжа формула, 931
Лежандра символ, 1014
Лексикографическое сравнение, 332
Лемма Фаркаша, 924
Лес, 1217
Лес непересекающихся множеств, 589
Линейная функция, 872
Линейное неравенство, 872
Линейное ограничение, 872
Линейное программирование, 687; 872
Базисные переменные, 883
Вспомогательная задача, 915
Вспомогательная переменная, 882
Двойственность, 908
Допустимая область, 873
Допустимое решение, 688; 873; 8 78
Дуальность, 908
Каноническая форма задачи, 883
Оптимальное решение, 879
Симплекс, 875
Стандартная форма задачи, 878
Целевая функция, 873
Целевое значение, 873; 878
Линейное равенство, 872
Линейность математического ожидания, 1240
Линейный поиск, 63
Логический вентиль, 1110
м
Максимальное паросочетание, 1157; 1184
Манхэттенское расстояние, 253
Маркова неравенство, 1243
Массив Монжа, 137
Математическая индукция, 1196
Математическое ожидание, 70; 1239
Линейность, 1240
Матрица, 824
LU-разложение, 845
LUP-разложение, 841
Алгебраическое дополнение элемента,
830
Аннулирующий вектор, 830
Вандермонда, 832; 930
Верхне-треугольная, 826
Вырожденная, 829
Вычитание, 827
Детерминант, 830
Диагональная, 825
Дополнение Шура, 846; 860
Единичная, 825
Инциденций, 613
Квадратная, 825
Минор, 830
Нижне-треугольная, 826
Нулевая, 825
Обратная, 828
Обращение, 853
Определитель, 830
Перестановки, 826
Положительно определенная, 831
Предшествования, 709
Произведение, 396
Псевдообратная, 863
Ранг, 829
Полный, 829
Симметричная, 826
Симметричная положительно определенная, 858
Сингулярное разложение, 868
Скалярное произведение, 827
Сложение, 827
Смежности, 611
Совместимость, 396; 827
Сопряженно-транспонированная, 858
Теплица, 949
Транспонированная, 611; 824
Трехдиагональная, 825; 865
Умножение, 827
Эрмитова, 858
Матрица инцидентности, 480
Матроид, 467
Графовый, 468
Матричный, 468
Оптимальное подмножество, 470
Медиана, 240
Взвешенная, 253
Метод
Деревьев рекурсии, 109; 115
Исключения Гаусса, 845
Выбор ведущего элемента, 847
Наименьших квадратов, 861
Основной, 121
Подстановки, 111
Подстановок, 109
Полларда, 1007
Форда-Фалкерсона, 742
Миллера-Рабина проверка простоты, 999
Многоугольник, 1054
Многочлен, 926
Множество, 256; 1202
Бесконечное, 1205
Динамическое, 256
Дополнение, 1205
Конечное, 1205
Мощность, 1205
Непересекающиеся множества, 1205
Несчетное, 1205
Объединение, 1203
Пересечение, 1203
Перестановка, 1212
Перманентное, 357
Полностью упорядоченное, 256
Пустое, 1203
Разбиение, 1205
Разность, 1203
Симметрическая разность, 791
Счетное, 1205
Частично упорядоченное, 1209
Модульная арифметика, 98
Модульное возведение в степень, 985
Монжа массив, 137
Монотонность функций, 98
Моргана законы, 1124; 1204
Мультиграф, 1217
Мультимножество, 1202
Мультипликативное обратное, 978
Н
Наибольший общий делитель, 958; 962
Наименьшее общее кратное, 967
Наименьший общий предок, 604
Наихудший случай, 69
Непересекающиеся множества, 582
Лес, 589
Объединение, 586
Представление, 585
Неравенство Буля, 1237
Неравенство Йенсена, 1241
Неравенство Крафта, 1224
Неравенство Маркова, 1243
Неравенство треугольника, 1158
Неупорядоченное биномиальное дерево, 562
Нечеткая сортировка, 218
Нормальное уравнение, 863
Нуль-единичный принцип, 805
Ньютона бином, 1229
О
Обход дерева, 317
В обратном порядке, 318
В прямом порядке, 318
Центрированный, 317
Объединяемая пирамида, 278
Ограничитель, 266
Однократно связанный список, 264
Оконечная рекурсия, 217
Округление чисел, 98
Оптимальная подструктура, 405
Оптимальное бинарное дерево поиска, 426
Основной метод, 121
Остаток, 957
Остаток от деления, 98
Остовное дерево, 469; 644
Отношение полного порядка, 1209
Отношение частичного порядка, 1209
Отношение эквивалентности, 1208
Отрезков дерево, 375
Отрезок, 375
Отрезок прямой, 1048
Очередь, 260; 262
Голова, 262
С двусторонним доступом, 264
С приоритетами, 190
Невозрастающая, 190
Неубывающая, 190
Хвост, 262
П
Парадокс дней рождения, 157
Паросочетание, 757
Максимальной мощности, 1184
Полное, 761
Паскаля треугольник, 1231
Перестановка, 1212; 1227
Перестановка Иосифа, 382
Перестановочная сеть, 820
Пирамида, 179
d-арная, 195
2-3-4-пирамида, 555
Биномиальная, 541
Высота узла, 180
Невозрастающая, 180
Неубывающая, 180
Объединяемая, 278
Свойства, 180
Фибоначчиева, 559
Пирамидальная сортировка, 178; 187
Пирамиды
Сливаемые, 537
Подграф, 1215
Подграф предшествования, 620; 668; 709
Подгруппа, 972
Генератор, 974
Истинная, 973
Подмножество, 1203
Подстановки метод, 111
Подстрока, 1227
Поиск в глубину, 622
Поиск в ширину, 613
Покрывающее дерево, 644
Покрытие путями, 787
Полином, 99; 926
Граница степени, 927
Коэффициенты, 927
Представление, основанное на
значениях в точках, 929
Представление, основанное на коэффициентах, 929
Сложение, 927; 931
Степень, 927
Сумма, 927
Схема Горнера, 929
Умножение, 927
Полларда метод разложения, 1007
Полуинтервал, 375
Полярный угол, 1053
Попарно взаимно простые числа, 960
Порядковая статистика, 240
Порядковой статистики дерево, 366
Порядок роста, 70
Потенциальная функция, 491
Правило Бленда, 906
Правило Горнера, 84
Правило произведения, 1227
Правило суммы, 1227
Преобразование
Бабочки, 944
Фурье
Быстрое, 938
Быстрое многомерное, 950
Дискретное, 933; 938
Чирп, 943
Префиксная функция, 1038
Приведение задач, 1089
Произведение
Векторное, 1049
Производящая функция, 135
Промежуток, 375
Пропускная способность, 735
Простое число, 956
Псевдокод, 58
Allocate_Object, 272
Any_Segments_Intersect, 1058
Approx_TSP_Tour, 1159
Approx_Vertex_Cover, 1154
BPS, 614
B_TREE_CREATE, 524
BJTreeJnsert_Nonfull, 527
B_Tree_Insert, 526
B_Tree_Search, 523
B_Tree_Split_Child, 525
Bellman_Ford, 673
Binomial_Heap_Decrease_Key, 552 Binomial_Heap_Extract_Min, 551 Binomial_Heap_Insert, 550 Binomial_Heap_Minimum, 544 Binomial_Heap_Union, 545
Binomial_Link, 545
Bit_Reverse_Copy, 946
Bubblesort, 83
BUCKET_SORT, 231
BU!LD_Max_Heap, 184
Build_Min_Heap, 187
Compute_Prefix_Function, 1039
Compute_Transition_Function, 1035
Consolidate, 568
COUNTING—SORT, 224
DFS, 624
Dag_Shortest_Paths, 677
Dequeue, 262
Dijkstra, 680
Enqueue, 262
Euclid, 963
Exact_Subset_Sum, 1177
Extended_Euclid, 966
Fastest Way, 393
Fib_Heap_Decrease_Key, 571
Fib_Heap_Delete, 575
Fib_Heap_Extract_Min, 565
Fib_Heap_Insert, 563
Fib_Heap_Union, 564
Finite_Automaton_Matcher, 1032
Floyd Warshall, 720
Free_Object, 272
Graham_Scan, 1065
Greedy_Set_Cover, 1166 HashJnsert, 300
Hash_Search, 301
Heap_Extract_Max, 191
Heap_Increase_Key, 192
HeapMaximum, 191
Heapsort, 188
Hopcroft_Karp, 791
Initialize Simplex, 916
Inorder_Tree_Walk, 318 lNSERTION_SORT, 59 Interval_Search, 377
Iterative_FFT, 946
KMP_Matcher, 1038
LUPJDECOMPOSITION, 850
LUP_Solve, 843
LU_DECOMPOSITION, 847
List_Delete, 266
ListJnsert, 265; 267
List_Search, 265; 267
MST_PRIM, 654
Matrix_Chain_Order, 401
Matrix_Multiply, 396
Max_Heap_Insert, 192
Max_Heapify, 182
Merge_Sort, 77
Merge, 73
Miller_Rabin, 1001
Minimum, 241
Modular_Exponentiation, 986
Modular_Linear_Equation_Solver,
977
Naive_String_Matcher, 1020
OS-Rank, 368
OS_Select, 367
Partition, 199
Permute_By_Sorting, 151
Pivot, 897
Pollard_Rho, 1007
Pop, 261
Pseudoprime, 997
Push, 261
Quicksort, 199
RB Delete, 351
RB_lNSERT_FlXUP, 343; 352
RB Insert, 342
Rabin_Karp_Matcher, 1026
RadixSort, 228
RandomizedPartition, 208
RandomizeD-Quicksort, 208
RANDOMIZED-SELECT, 243
Recursive_FFT, 939
Relabel_To_Front, 780
SegmentsJntersect, 1051
Simplex, 899
Stack_Empty, 261
STRONGLY-CONNECTED-COMPONENTS,
636
Topological_Sort, 633
Tree_Delete, 325
TreeJnsert, 324
Tree_Maximum, 321
Tree_Minimum, 321
Tree_Search, 320
Tree_Successor, 322
Witness, 999
Псевдопростое число, 997
Пузырьковая сортировка, 83
Р
Разложение на множители, 1006
Размер входных данных, 66
Размещение, 1228
Разрез, 747
Рандомизированный алгоритм, 143; 149
Распределение вероятностей, 1232
Расстояние редактирования, 435; 437
Расширяющееся дерево, 513
Реверс битов, 946
Рекуррентное соотношение
Метод деревьев, 115
Метод подстановки, 111
Основной метод, 121
Рекуррентное уравнение, 78; 109
Рекурсия, 72
Оконечная, 217
Решений дерево, 221
Ряд, 1192
Абсолютно сходящийся, 1192
Гармонический, 1194
Линейность, 1192
Приближение интегралами, 1199
Расходящийся, 1192
Сходящийся, 1192
С
Свертка, 929
Связанный список, 264
Символ Лежандра, 1014
Симплекс-алгоритм, 875
Система линейных уравнений, 839
Недоопределенная, 841
Обратная подстановка, 843
Переопределенная, 841
Прямая подстановка, 842
Решение, 840
Трехдиагональная, 865
Система разностных ограничений, 688
Скалярное произведение, 828
Скобочная структура, 626
Сливаемые пирамиды, 537
Словарь, 256
Случайная перестановка
С использованием обменов, 153
С использованием приоритетов, 151
С равномерным распределением, 152
Сопутствующие данные, 256
Сортировка, 46
Быстрая, 198
Вставкой, 58; 83
Выбором, 71
Карманная, 230
Нечеткая, 218
Пирамидальная, 178; 187
Подсчетом, 224
Поразрядная, 226
Пузырьковая, 83
Слиянием, 72
Сравнением, 220
Топологическая, 632
Устойчивая, 226
Сортировки задача, 174
Сортирующая сеть, 803
Глубина провода, 802
Нечетно-четная, 819
Провод, 800
Сортирующие сети, 800
Составное число, 957
Сочетание, 1228
Список
Дважды связанный, 264
Кольцевой, 264
Однократно связанный, 264
Связанный, 264
Список смежности, 610
Сплайн, 866
Сравнивающие сети, 799
Среднее значение, 1239
Стандартное отклонение, 1242
Стек, 217; 260
Глубина, 217
Стирлинга формула, 102
Строка, 1017; 1227
Префикс, 1019
Пустая, 1019
Суффикс, 1019
Структура данных, 50
Суффиксная функция, 1030
Схема аппроксимации, 1152
Схема Горнера, 929
Сюръекция, 1211
Т
Таблица истинности, 1111
Таблица Юнга, 195
Тензорное произведение, 828
Теорема
Байеса, 1236
Лагранжа, 973
Ферма, 983
Халла, 761
Эйлера, 983
Теплица матрица, 949
Топологическая сортировка, 632
Транзитивное замыкание, 722
Транспозиционная сеть, 819
Транспортная сеть, 735
Треугольник Паскаля, 1231
Тривиальный делитель, 956
У
Универсальное хеширование, 294
Универсум, 1204
Упорядоченная пара, 1206
Ф
Факториал, 102
Фаркаша лемма, 924
Ферма теорема, 983
Фибоначчи числа, 103; 13 5; 576; 964; 1013
Фибоначчиева пирамида, 559
Вставка, 563
Извлечение минимального узла, 565
Объединение, 564
Поиск минимального узла, 564
Потенциал, 561
Создание, 563
Список корней, 561
Структура, 560
Удаление, 575
Уменьшение ключа, 571
Уплотнение, 566
Формула Лагранжа, 931
Формула Стирлинга, 102
Функция
Аргумент, 1210
Вложение, 1211
Выпуклая вниз, 1241
Значение, 1210
Квадратичная, 69
Линейная, 68; 872
Множество значений, 1211
Монотонная, 98
Наложение, 1211
Область значений, 1210
Область определения, 1210
Обратная, 1212
Плотности вероятности, 1238
Полилогарифмически ограниченная,
101
Полиномиально ограниченная, 99
Префиксная, 1038
Приведения, 1107
Производящая, 135
Распределения вероятности, 234
Распределения простых чисел, 996
Суффиксная, 1030
Целевая, 687
Фурье преобразование, 933
Быстрое, 938
Дискретное, 938
X
Халла теорема, 761
Хаффмана код, 459
Хеш-функция, 285; 291
Метод деления, 292
Метод умножения, 293
Хеширование, 282
Вторичная кластеризация, 303
Двойное, 303
Идеальное, 308
Квадратичное исследование, 303
Коллизия, 286
Коэффициент заполнения таблицы, 288
Линейное исследование, 302
Открытая адресация, 300
Первичная кластеризация, 302
Последовательность исследований, 300
Простое равномерное, 288
Прямая адресация, 283
Равномерное, 302
С использованием цепочек, 286
Универсальное, 294
Хеш-функция, 291
ц
Целевая функция, 687; 873
Цифровая подпись, 990
Цифровое дерево, 333
Ч
Частное, 957
Чирп-преобразование, 943
Числа
Взаимно простые числа, 960
Гармонические, 1194
Кармайкла, 998
Каталана, 335; 398
Попарно взаимно простые числа, 960
Псевдопростые, 997
Фибоначчи, 103; 13 5; 576; 964; 1013
Численная устойчивость, 823
э
Эйлера </>-функция, 972
Эйлера теорема, 983
Эйлеров цикл, 642
Экземпляр задачи, 47
ю
Юнга таблица, 195
Я
Язык, 1097
Научно-популярное издание
Томас X. Кормен, Чарльз И. Лейзерсон,Рональд Л. Ривест, Клиффорд Штайн
Алгоритмы: построениеи анализ,2-е издание
Литературный редактор С.Г Татаренко
Верстка А.Н. ПолинчикХудожественный редактор С.А. ЧернокозинскийКорректоры Л.А. Гордиенко,ТА. Корзун
Издательский дом “Вильямс”.
101509, Москва, ул. Лесная, д. 43, стр. 1.
Подписано в печать 10.08.2005. Формат 70X100/16.Гарнитура Times. Печать офсетная.
Усл. печ. л. 104,5. Уч.-изд. л. 74,1.
Тираж 3000 экз. Заказ № 2937.
Отпечатано с диапозитивовв ФГУП “Печатный двор” им. А. М. ГорькогоФедерального агентства по печатии массовым коммуникациям.
197110, Санкт-Петербург, Чкаловский пр., 15.
АЛГОРИТМЫ ЯТнЖ^
ВТОРОЕ ИЗДАНИЕ
Томас Кормен. Чарльз Лейзерсон, Рональд Ривест и Клиффорд Штайн
Ряд книг, посвященных алгоритмам, отличается строгостью изложения материала, но страдает определенной неполнотой; другие книги охватывают огромный объем материала, но недостаточно строго излагают его.
Книга Алгоритмы: построение и анализ удачно объединяет в себе полноту охвата и строгость изложения.
В кт ь (робно {иссматрин 1етия множество разнообразных алгоритмов, их разработка и анализ, причем изложение доступно для читателей самого ра ною у|ювня юдготовки. Каждая глава книги относительно самодостаточна и может использоваться в качестве отдельной темы для изучения. Атгоритмы описаны простым человеческим языком и с применением псевдокода, который понятен любому; кто хоть в небольшой степени знаком с программированием, а пояснения принципов их работы даны без излишней математической строгости и требуют лишь злемент api 1 ых зн ан ий.
Первое издание данной книги давно стало стандартным справочным руководством для профессионалов и учебным пособием для университетов. Второе издание дополнено новыми главами, раскрывающими такие темы, как вероятностный анализ и рандомизированные алгоритмы, линейное программирование; кроме добавления нового материала, значительно расширен ранее представленный — пересмотру подверглись почти все ра зделы книги. Одним из таких важных изменений стало более раннее введение понятия инвариантов циклов и применение их для доказательства корректности алгоритмов. Авторы вынесли материал, посвященный математическим основам, из основной части книги в приложения и включили в начало книги новый материал, посвященный общим вопросам применения алгоритмов.
Издательский дом “Вильямс"www.williamspublishing.comИздательский дом “Вильямс"www.williamspublishing.comТомас Кормен — адъюнкт-профессор информатики в колледже Дартмута. Чарльз Лейзерсон — профессор информатики и электротехники в Массачуссетском технологическом институте, где также работает и профессор информатики Рональд Ривест. Клиффорд Штайн — адъюнкт- профессор организации производства и исследования операций в Колумбийском университете.
Издательский дом “Вильямс"
www.williamspublishing.com
Издательский дом “Вильямс"
www.williamspublishing.com
The MIT Press
Massachusetts Institute of Technology Cambridge, Massachusetts 02142 http://mitpress.mit.edu
-- <-— = 2000 с,
10укоманд / с
а компьютеру Б —
50 • 106 • 1g 106команд;—— ~ ЮО с.
10(команд / с
Как видите, использование кода, время работы которого возрастает медленнее, даже при плохом компиляторе на более медленном компьютере требует на по-
В начале каждой итерации цикла for в строках 2-5 подмассив Л [1..г] является невозрастающей пирамидой, содержащей г наименьших элементов массива Л [1..п], а в подмассиве Л [г 4- 1..п] находятся п — г отсортированных наибольших элементов массива А [1..п].
6.4-3. Чему равно время работы алгоритма пирамидальной сортировки массива А длины п, в котором элементы отсортированы и расположены в порядке возрастания? В порядке убывания?
6.4-4. Покажите, что время работы алгоритма пирамидальной сортировки в наихудшем случае равно Q (nlgn).
* 6.4-5. Покажите, что для массива, все элементы которого различны, время работы пирамидальной сортировки в наилучшем случае равно Q (nlgn).
лучения степеней 2 не рекомендуется, так как это приводит к возникновению высокочастотных
артефактов. Одним из методов получения размерности, равной степени 2, в обработке сигналов
является отражение (mirroring). Пусть п* — наименьшая целая степень 2, превышающая п; тогда
АЛГОРИТМЫ
ПОСТРОЕНИЕ И АНАЛИЗ
ВТОРОЕ ИЗДАНИЕ
ТОМАС КОРМЕН
ЧАРЛЬЗ ЛЕЙЗЕРСОН
РОНАЛЬД РИВЕСТ
КЛИФФОРД ШТАЙН
АЛГОРИТМЫ
ПОСТРОЕНИЕ И АНАЛИЗ
ВТОРОЕ ИЗДАНИЕ
Thomas H. Cormen Charles E. Leiserson Ronald L. Rivest Clifford Stein
INTRODUCTION TO
ALGORITHMS
SECOND EDITION
The MIT Press
Cambridge, Massachusetts London, England
McGraw-Hill Book Company
Boston Burr Ridge, IL Dubuque, IA Madison, WI
New York San Francisco St. Louis Montreal Toronto
Томас Кормен Чарльз Лейзерсон Рональд Ривест Клиффорд Штайн
АЛГОРИТМЫ
ПОСТРОЕНИЕ И АНАЛИЗ
ВТОРОЕ ИЗДАНИЕ
Москва • Санкт-Петербург • Киев 2005
ББК 32.973.26-018.2.75
В24
УДК 681.3.07
Издательский дом “Вильямс”
Зав. редакцией С.Н. Тригуб
Перевод с английского канд. техн, наук И.В. Красикова, Н.А. Ореховой, В.Н. РомановаПод редакцией канд. техн, наук И.В. Красикова
По общим вопросам обращайтесь в Издательский дом “Вильямс” по адресу:info@williamspublishing.com, http://www.williamspublishing.com
115419, Москва, а/я 783; 03150, Киев, а/я 152
Кормен, Томас X., Лейзерсон, Чарльз И., Ривест, Рональд Л., Штайн, Клиффорд.
В24 Алгоритмы: построение и анализ, 2-е издание. : Пер. с англ. — М. :Издательский дом “Вильямс”, 2005. — 1296 с. : ил. — Парал. тит. англ.
ISBN 5-8459-0857-4 (рус.)
Фундаментальный труд известных специалистов в области кибернетики достоин занять место на полке любого человека, чья деятельность так или иначе связана с информатикой и алгоритмами. Для профессионала эта книга может служить настольным справочником, для преподавателя — пособием для подготовки к лекциям и источником интересных нетривиальных задач, для студентов и аспирантов — отличным учебником. Каждый может найти в ней именно тот материал, который касается интересующей его темы, и изложенный именно с тем уровнем сложности и строгости, который требуется читателю.
Описание алгоритмов на естественном языке дополняется псевдокодом, который позволяет любому имеющему хотя бы начальные знания и опыт программирования, реализовать алгоритм на используемом им языке программирования. Строгий математический анализ и обилие теорем сопровождаются большим количеством иллюстраций, элементарными рассуждениями и простыми приближенными оценками. Широта охвата материала и степень строгости его изложения дают основания считать эту книгу одной из лучших книг, посвященных разработке и анализу алгоритмов.
ББК 32.973.26-018.2.75
Все названия программных продуктов являются зарегистрированными торговыми марками соответствующих фирм.
Никакая часть настоящего издания ни в каких целях не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами, будь то электронные или механические, включая фотокопирование и запись на магнитный носитель, если на это нет письменного разрешения издательства MIT Press.
ISBN 5-8459-0857-4 (рус.)ISBN 0-07-013151-1 (англ.)ISBN 5-8459-0857-4 (рус.)ISBN 0-07-013151-1 (англ.)© Издательский дом “Вильямс”, 2005
ISBN 5-8459-0857-4 (рус.)
ISBN 0-07-013151-1 (англ.)
ISBN 5-8459-0857-4 (рус.)
ISBN 0-07-013151-1 (англ.)
© MIT Press, 2002
ОГЛАВЛЕНИЕ
Введение30
Часть I. Основы43
Глава 1. Роль алгоритмов в вычислениях46
Глава 2. Приступаем к изучению57
Глава 3. Рост функций87
Глава 4. Рекуррентные соотношения109
Глава 5. Вероятностный анализ и рандомизированные алгоритмы140
Часть П. Сортировка и порядковая статистика173
Глава 6. Пирамидальная сортировка178
Глава 7. Быстрая сортировка198
Глава 8. Сортировка за линейное время220
Глава 9. Медианы и порядковые статистики240
Часть III. Структуры данных255
Глава 10.Элементарные структуры данных260
Глава 11.Хеш-таблицы282
Глава 12.Бинарные деревья поиска316
Глава 13.Красно-черные деревья336
Глава 14.Расширение структур данных365
Часть IV. Усовершенствованные методы разработки и анализа383
Глава 15.Динамическое программирование386
Глава 16.Жадные алгоритмы442
Глава 17.Амортизационный анализ482
Часть V. Сложные структуры данных511
Глава 18.В-деревья515
Глава 19.Биномиальные пирамиды537
Глава 20. Фибоначчиевы пирамиды558
Глава 21. Структуры данных для непересекающихся множеств581
Часть VI. Алгоритмы для работы с графами607
Глава 22. Элементарные алгоритмы для работы с графами609
Глава 23. Минимальные остовные деревья644
Глава 24. Кратчайшие пути из одной вершины663
Глава 25. Кратчайшие пути между всеми парами вершин708
Глава 26. Задача о максимальном потоке734
Часть VII. Избранные темы795
Глава 27. Сортирующие сети799
Глава 28. Работа с матрицами823
Глава 29. Линейное программирование869
Глава 30. Полиномы и быстрое преобразование Фурье926
Глава 31. Теоретико-числовые алгоритмы954
Глава 32. Поиск подстрок1017
Глава 33. Вычислительная геометрия1047
Глава 34. NP-полнота1085
Глава 35. Приближенные алгоритмы1151
Часть VIII. Приложения: математические основы1189
Приложение А. Ряды1191
Приложение Б. Множества и прочие художества1202
Приложение В. Комбинаторика и теория вероятности1226
Библиография1257
Предметный указатель1277
СОДЕРЖАНИЕ
Введение30
Часть I. Основы43
Введение44
Глава 1. Роль алгоритмов в вычислениях46
Алгоритмы46
Какие задачи решаются с помощьюалгоритмов?47
Структуры данных50
Методические указания50
Сложные задачи51
Упражнения52
Алгоритмы как технология52
Эффективность52
Алгоритмы и другие технологии54
Упражнения55
Задачи55
Заключительные замечания56
Глава 2. Приступаем к изучению57
Сортировка вставкой57
Инварианты цикла и корректность сортировки вставкой59
Соглашения, принятые при составлениипсевдокода61
Упражнения63
Анализ алгоритмов64
Анализ алгоритма, работающегопометодувставок66
Наихудшее и среднее время работы69
Порядок возрастания70
Упражнения71
Разработка алгоритмов71
Метод декомпозиции72
Анализ алгоритмов, основанных на принципе “разделяй и властвуй”78
Анализ алгоритма сортировки слиянием78
Упражнения81
Задачи83
Заключительные замечания86
Глава 3. Рост функций87
Асимптотические обозначения88
©-обозначения88
О-обозначения91
П-обозначения92
Асимптотические обозначения в уравнениях и неравенствах93
о-обозначения94
^-обозначения95
Сравнение функций96
Упражнения97
Стандартные обозначения и часто встречающиеся функции98
Монотонность98
Округление в большую и меньшую сторону98
Модульная арифметика98
Полиномы99
Показательные функции99
Логарифмы100
Факториалы102
Функциональная итерация102
Итерированная логарифмическая функция103
Числа Фибоначчи103
Упражнения104
Задачи105
Заключительные замечания108
Глава 4. Рекуррентные соотношения109
Технические деталиПО
Метод подстановки111
Как угадать решение112
Тонкие нюансы113
Остерегайтесь ошибок114
Замена переменных114
Упражнения115
Метод деревьев рекурсии115
Упражнения120
Основной метод121
Основная теорема121
Использование основного метода122
Упражнения123
* 4.4Доказательство основной теоремы124
Доказательство теоремы дляточных степеней125
Учет округления чисел130
Упражнения133
Задачи133
Заключительные замечания13 8
Глава 5. Вероятностный анализ и рандомизированные алгоритмы140
Задача о найме сотрудника140
Анализ наихудшего случая142
Вероятностный анализ142
Рандомизированные алгоритмы143
Упражнения144
Индикаторная случайная величина144
Анализ задачи о найме сотрудника с помощью индикаторных случайных величин146
Упражнения148
Рандомизированные алгоритмы149
Массивы, полученные в результате случайной перестановки151
Упражнения155
* 5.4 Вероятностный анализ и дальнейшее применение индикаторных случайных величин156
Парадокс дней рождения157
Анализ с помощью индикаторных случайных величин158
Шары и урны160
Последовательности выпадения орлов161
Задача о найме сотрудника в оперативном режиме165
Упражнения167
Задачи168
Заключительные замечания171
Часть II. Сортировка и порядковая статистика173
Введение174
Глава 6. Пирамидальная сортировка178
Пирамиды179
Упражнения181
Поддержка свойства пирамиды182
Упражнения184
Создание пирамиды184
Упражнения187
Алгоритм пирамидальной сортировки187
Упражнения188
Очереди с приоритетами190
Упражнения193
Задачи194
Заключительные замечания196
Глава 7. Быстрая сортировка198
Описание быстрой сортировки199
Разбиение массива199
Упражнения203
Производительность быстрой сортировки203
Наихудшее разбиение203
Наилучшее разбиение204
Сбалансированное разбиение204
Интуитивные рассуждения для среднего случая205
Упражнения207
Рандомизированная версия быстрой сортировки208
Упражнения209
Анализ быстрой сортировки209
Анализ в наихудшем случае209
Математическое ожидание времени работы210
Время работы и сравнения210
Упражнения213
Задачи214
Заключительные замечания219
Глава 8. Сортировка за линейное время220
Нижние оценки алгоритмов сортировки221
Модель дерева решений221
Нижняя оценка для наихудшего случая222
Упражнения223
Сортировка подсчетом224
Упражнения226
Поразрядная сортировка226
Упражнения230
Карманная сортировка230
Упражнения234
Задачи234
Заключительные замечания238
Глава9. Медианы и порядковые статистики240
Минимум и максимум241
Одновременный поиск минимума и максимума241
Упражнения242
Выбор в течение линейного ожидаемого времени243
Упражнения247
Алгоритм выбора с линейным временем работы в наихудшем
случае247
Упражнения250
Задачи252
Заключительные замечания254
ЧастьIII. Структуры данных255
Введение256
Глава 10. Элементарные структуры данных260
Стеки и очереди260
Стеки260
Очереди262
Упражнения263
Связанные списки264
Поиск в связанном списке265
Вставка в связанный список265
Удаление из связанного списка266
Ограничители266
Упражнения268
Реализация указателей и объектов269
Представление объектов с помощью нескольких массивов 269 Представление объектов с помощью одного массива270
Выделение и освобождение памяти271
Упражнения273
Представление корневых деревьев274
Бинарные деревья274
Корневые деревья с произвольным ветвлением275
Другие представления деревьев276
Упражнения276
ЗадачиТП
Заключительные замечания280
Глава 11. Хеш-таблицы282
Таблицы с прямой адресацией283
Упражнения284
Хеш-таблицы285
Разрешение коллизий при помощи цепочек286
Анализ хеширования с цепочками288
Упражнения290
Хеш-функции291
Чем определяется качество хеш-функции291
Интерпретация ключей как целых неотрицательных чисел 292
Метод деления292
Метод умножения293
*11.3.3 Универсальное хеширование294
Построение универсального множествахеш-функций297
Упражнения298
Открытая адресация300
Линейное исследование302
Квадратичное исследование303
Двойное хеширование303
Анализ хеширования с открытой адресацией305
Упражнения307
5 Идеальное хеширование308
Упражнения312
Задачи313
Заключительные замечания315
Глава 12. Бинарные деревья поиска316
Что такое бинарное дерево поиска317
Упражнения319
Работа с бинарным деревом поиска319
Поиск320
Поиск минимума и максимума321
Предшествующий и последующий элементы321
Упражнения323
Вставка и удаление324
Вставка324
Удаление325
Упражнения327
* 12.4 Случайное построение бинарных деревьев поиска328
Упражнения331
Задачи332
Заключительные замечания335
Глава 13. Красно-черные деревья336
Свойства красно-черных деревьев336
Упражнения339
Повороты340
Упражнения341
Вставка342
Анализ350
Упражнения350
Удаление351
Анализ356
Упражнения356
Задачи357
Заключительные замечания364
Глава 14. Расширение структур данных365
Динамические порядковые статистики366
Выборка элемента с заданным рангом367
Определение ранга элемента368
Поддержка размера поддеревьев369
Упражнения371
Расширение структур данных372
Расширение красно-черных деревьев373
Упражнения374
Деревья отрезков375
Упражнения380
Задачи381
Заключительные замечания382
Часть IV. Усовершенствованные методы разработки и анализа 383
Введение384
Глава 15. Динамическое программирование386
Расписание работы конвейера387
Первый этап: структура самой быстрой сборки389
Второй этап: рекурсивное решение391
Третий этап: вычисление минимальных промежутков времени393
Четвертый этап: построение самого быстрого пути394
Упражнения395
Перемножение цепочки матриц395
Подсчет количества способов расстановки скобок397
Первый этап: структура оптимальной расстановки скобок 398
Второй этап: рекурсивное решение399
Третий этап: вычисление оптимальной стоимости400
Четвертый этап: конструирование оптимального решения 403
Упражнения404
Элементы динамического программирования404
Оптимальная подструктура405
Перекрытие вспомогательных задач411
Построение оптимального решения414
Запоминание414
Упражнения417
Самая длинная общая подпоследовательность418
Этап 1: характеристика самой длинной общей подпоследовательности419
Этап 2: рекурсивное решение421
Этап 3: вычисление длины самой длинной общей подпоследовательности422
Этап 4: построение самой длинной общей подпоследовательности423
Улучшение кода424
Упражнения425
Оптимальные бинарные деревья поиска425
Этап 1: структура оптимального бинарного деревапоиска429
Этап 2: рекурсивное решение430
Этап 3: вычисление математического ожидания стоимости поиска в оптимальном бинарном деревепоиска431
Упражнения433
Задачи434
Заключительные замечания440
Глава 16. Жадные алгоритмы442
Задача о выборе процессов443
Оптимальная подструктура задачиовыборе процессов444
Рекурсивное решение446
Преобразование решения динамического программирования в жадное решение446
Рекурсивный жадный алгоритм449
Итерационный жадный алгоритм451
Упражнения452
Элементы жадной стратегии453
Свойство жадного выбора454
Оптимальная подструктура455
Сравнение жадных алгоритмов и динамического программирования456
Упражнения458
Коды Хаффмана459
Префиксные коды460
Построение кода Хаффмана462
Корректность алгоритма Хаффмана464
Упражнения466
* 16.4Теоретические основы жадных методов467
Матроиды467
Жадные алгоритмы на взвешенном матроиде470
Упражнения474
* 16.5Планирование заданий474
Упражнения478
Задачи478
Заключительные замечания481
Глава 17. Амортизационный анализ482
Групповой анализ483
Стековые операции483
Приращение показаний бинарного счетчика485
Упражнения487
Метод бухгалтерского учета487
Стековые операции489
Приращение показаний бинарного счетчика490
Упражнения490
Метод потенциалов491
Стековые операции492
Увеличение показаний бинарного счетчика493
Упражнения494
Динамические таблицы495
Расширение таблицы496
Расширение и сжатие таблицы499
Упражнения504
Задачи505
Заключительные замечания510
Часть V. Сложные структуры данных511
Введение512
Глава 18. В-деревья515
Структуры данных во вторичной памяти516
Определение В-деревьев519
Высота В-дерева521
Упражнения522
Основные операции с В-деревьями522
Поиск в В-дереве522
Создание пустого В-дерева523
Вставка ключа в В-дерево524
Упражнения528
Удаление ключа из В-дерева530
Упражнения533
Задачи533
Заключительные замечания536
Глава 19. Биномиальные пирамиды537
Биномиальные деревья и биномиальные пирамиды539
Биномиальные деревья539
Биномиальные пирамиды541
Упражнения543
Операции над биномиальными пирамидами544
Создание новой биномиальной пирамиды544
Поиск минимального ключа544
Слияние двух биномиальных пирамид545
Вставка узла550
Извлечение вершины с минимальным ключом551
Уменьшение ключа552
Удаление ключа554
Упражнения554
Задачи555
Заключительные замечания557
Глава 20. Фибоначчиевы пирамиды558
Структура фибоначчиевых пирамид559
Потенциальная функция561
Максимальная степень562
Операции над сливаемыми пирамидами562
Создание новой фибоначчиевой пирамиды563
Вставка узла563
Поиск минимального узла564
Объединение двух фибоначчиевых пирамид564
Извлечение минимального узла565
Упражнения571
Уменьшение ключа и удаление узла571
Уменьшение ключа571
Удаление узла575
Упражнения575
Оценка максимальной степени575
Упражнения578
Задачи578
Заключительные замечания579
Глава 21. Структуры данных для непересекающихся множеств581
Операции над непересекающимися множествами582
Приложение структур данных для непересекающихся множеств583
Упражнения584
Представление непересекающихся множеств с помощью связанных списков585
Простая реализация объединения586
Весовая эвристика587
Упражнения588
Лес непересекающихся множеств589
Эвристики для повышения эффективности589
Псевдокоды590
Влияние эвристик на время работы592
Упражнения592
* 21.4 Анализ объединения по рангу со сжатием пути592
Очень быстро и очень медленно растущая функция593
Свойства рангов594
Доказательство границы времени работы595
Потенциальная функция596
Изменения потенциала и амортизированная стоимость операций598
Упражнения601
Задачи601
Заключительные замечания605
Часть VI. Алгоритмы для работыс графами607
Введение608
Глава 22. Элементарные алгоритмы для работы с графами609
Представление графов609
Упражнения612
Поиск в ширину613
Анализ616
Кратчайшие пути617
Деревья поиска в ширину620
Упражнения621
Поиск в глубину622
Свойства поиска в глубину626
Классификация ребер628
Упражнения630
Топологическая сортировка632
Упражнения634
Сильно связные компоненты635
Упражнения640
Задачи641
Заключительные замечания643
Глава 23. Минимальные остовные деревья644
Построение минимального остовного дерева645
Упражнения649
Алгоритмы Крускала и Прима651
Алгоритм Крускала651
Алгоритм Прима653
Упражнения656
Задачи658
Заключительные замечания661
Глава 24. Кратчайшие пути из одной вершины663
Варианты664
Оптимальная структура задачи о кратчайшем пути665
Ребра с отрицательным весом666
Циклы667
Представление кратчайших путей668
Ослабление669
Свойства кратчайших путей и ослабления671
Краткое содержание главы672
Алгоритм Беллмана-Форда672
Упражнения676
Кратчайшие пути из одной вершины в ориентированных ациклических графах677
Упражнения679
Алгоритм Дейкстры680
Анализ684
Упражнения686
Разностные ограничения и кратчайшие пути687
Линейное программирование687
Системы разностных ограничений688
Графы ограничений690
Решение систем разностных ограничений692
Упражнения692
Доказательства свойств кратчайших путей694
Неравенство треугольника694
Влияние ослабления на оценки кратчайшего пути695
Ослабление и деревья кратчайших путей697
Упражнения700
Задачи702
Заключительные замечания706
Глава 25. Кратчайшие пути между всеми парами вершин708
Краткое содержание главы710
Задача о кратчайших путях и умножение матриц711
Структура кратчайшего пути711
Рекурсивное решение задачи о кратчайших путях между всеми парами вершин712
Вычисление весов кратчайших путей в восходящем порядке712
Улучшение времени работы714
Упражнения716
Алгоритм Флойда-Варшалла718
Структура кратчайшего пути718
Рекурсивное решение задачи о кратчайших путях между всеми парами вершин719
Вычисление весов кратчайших путей в восходящем порядке720
Построение кратчайшего пути720
Транзитивное замыкание ориентированного графа722
Упражнения724
Алгоритм Джонсона для разреженных графов726
Сохранение кратчайших путей726
Генерация неотрицательных весов путем их изменения • 728 Вычисление кратчайших путей между всеми парами вершин728
Упражнения730
Задачи731
Заключительные замечания732
Глава 26. Задача о максимальном потоке734
Транспортные сети735
Транспортные сети и потоки735
Пример потока737
Сети с несколькими источниками и стоками739
Как работать с потоками740
Упражнения741
Метод Форда-Фалкерсона742
Остаточные сети743
Увеличивающие пути745
Разрезы транспортных сетей746
Базовый алгоритм Форда-Фалкерсона749
Анализ метода Форда-Фалкерсона750
Алгоритм Эдмондса-Карпа752
Упражнения755
Максимальное паросочетание756
Задача поиска максимального паросочетания в двудольном графе757
Поиск максимального паросочетания в двудольном графе 758
Упражнения761
*26.4 Алгоритмы проталкивания предпотока761
Интуитивные соображения762
Основные операции764
Операция проталкивания764
Операция подъема766
Универсальный алгоритм766
Корректность метода проталкивания предпотока768
Анализ метода проталкивания предпотока770
Упражнения773
* 26.5 Алгоритм “поднять-в-начало”774
Допустимые ребра и сети775
Списки соседей777
Разгрузка переполненной вершины777
Алгоритм “поднять-в-начало”780
Анализ783
Упражнения785
Задачи786
Заключительные замечания793
Часть VII. Избранные темы795
Введение796
Глава 27. Сортирующие сети799
Сравнивающие сети800
Упражнения803
Нуль-единичный принцип805
Упражнения807
Битоническая сортирующая сеть808
Полуфильтр809
Битонический сортировщик810
Упражнения812
Объединяющая сеть813
Упражнения815
Сортирующая сеть816
Упражнения818
Задачи819
Заключительные замечания822
Глава 28. Работа с матрицами823
Свойства матриц824
Матрицы и векторы824
Операции над матрицами827
Обратные матрицы, ранги и детерминанты828
Положительно определенные матрицы831
Упражнения831
Алгоритм умножения матриц Штрассена833
Обзор алгоритма833
Определение произведений подматриц834
Обсуждение метода838
Упражнения839
Решение систем линейных уравнений839
Обзор LUP-разложения841
Прямая и обратная подстановки842
Вычисление LU-разложения845
Вычисление LUP-разложения848
Упражнения852
Обращение матриц853
Вычисление обратной матрицы из LUP-разложения853
Умножение матриц и обращение матрицы854
Упражнения857
Симметричные положительно определенные матрицы и метод наименьших квадратов858
Метод наименьших квадратов861
Упражнения865
Задачи865
Заключительные замечания867
Глава 29. Линейное программирование869
Политическая задача869
Общий вид задач линейного программирования872
Краткий обзор задач линейного программирования872
Приложения линейного программирования876
Алгоритмы решения задач линейного программирования 877
Стандартная и каноническая формы задач линейного программирования877
Стандартная форма878
Преобразование задач линейного программирования в стандартную форму879
Преобразование задач линейного программирования в каноническую форму882
Упражнения885
Формулирование задач в виде задач линейного программирования886
Кратчайшие пути887
Максимальный поток887
Поиск потока с минимальными затратами888
Многопродуктовый поток889
Упражнения891
Симплекс-алгоритм892
Пример симплекс-алгоритма893
Замещение897
Формальный симплекс-алгоритм899
Завершение905
Упражнения907
Двойственность908
Упражнения914
Начальное базисное допустимое решение914
Поиск начального решения914
Основная теорема линейного программирования920
Упражнения921
Задачи922
Заключительные замечания924
Глава 30.Полиномы и быстрое преобразование Фурье926
Полиномы926
Краткое содержание главы928
Представление полиномов928
Представление, основанное на коэффициентах929
Представление, основанное на значениях в точках929
Быстрое умножение полиномов, заданных
в коэффициентной форме932
Упражнения934
ДПФи БПФ935
Комплексные корни из единицы935
Дискретное преобразование Фурье938
Быстрое преобразование Фурье938
Интерполяция в точках, являющихся комплексными
корнями из единицы941
Упражнения942
Эффективные реализации БПФ943
Итеративная реализация БПФ944
Параллельная схема БПФ947
Упражнения949
Задачи949
Заключительные замечания953
Глава 31. Теоретико-числовые алгоритмы954
Размер входных наборов данных и стоимость арифметических вычислений955
Элементарные обозначения, принятые в теории чисел956
Делимость и делители956
Простые и составные числа956
Теорема о делении, остатки и равенство по модулю957
Общие делители и наибольшие общие делители958
Взаимно простые целые числа960
Единственность разложения на множители960
Упражнения961
Наибольший общий делитель962
Алгоритм Евклида963
Время работы алгоритма Евклида964
Развернутая форма алгоритма Евклида965
Упражнения967
Модульная арифметика968
Конечные группы968
Группы, образованные сложением и умножением по модулю969
Подгруппы972
Подгруппы, сгенерированные элементом группы973
Упражнения975
Решение модульных линейных уравнений975
Упражнения979
Китайская теорема об остатках979
Упражнения982
Степени элемента983
Возведение в степень путем последовательного возведения в квадрат985
Упражнения987
Криптосистема с открытым ключом RSА987
Криптографические системы с открытым ключом988
Криптографическая система RSA991
Упражнения995
*31.8 Проверка простоты995
Плотность распределения простыхчисел996
Проверка псевдопростых чисел997
Рандомизированный тест простотыМиллера-Рабина999
Частота ошибок в тесте Миллера-Рабина1002
Упражнения1006
*31.9 Целочисленное разложение1006
Эвристический p-метод Полларда1007
Упражнения1012
Задачи1013
Заключительные замечания1015
Глава 32. Поиск подстрок1017
Обозначения и терминология1019
Простейший алгоритм поиска подстрок1020
Упражнения1021
Алгоритм Рабина-Карпа1022
Упражнения1028
Поиск подстрок с помощью конечных автоматов1028
Конечные автоматы1029
Автоматы поиска подстрок1030
Вычисление функции переходов1035
Упражнения1036
* 32.4 Алгоритм Кнута-Морриса-Пратта1036
Префиксная функция для образца1037
Анализ времени работы1040
Корректность вычисления префиксной функции1041
Корректность алгоритма Кнута-Морриса-Пратта1043
Упражнения1044
Задачи1045
Заключительные замечания1046
Глава 33. Вычислительная геометрия1047
Свойства отрезков1048
Векторное произведение1049
Поворот последовательных отрезков1050
Определение того, пересекаются ли два отрезка1051
Другие применения векторного произведения1053
Упражнения1053
Определение наличия пересекающихся отрезков1055
Упорядочение отрезков1056
Перемещение выметающей прямой1057
Псевдокод, выявляющий пересечение отрезков1058
Корректность1060
Время работы1061
Упражнения1062
Построение выпуклой оболочки1063
Сканирование по Грэхему1065
Обход по Джарвису1071
Упражнения1073
Поиск пары ближайших точек1074
Алгоритм декомпозиции1075
Корректность1077
Реализация и время работы алгоритма1078
Упражнения1079
Задачи1080
Заключительные замечания1083
Глава 34. NP-полнота1085
NP-полнота и классы Р и NP1087
Как показать, что задача является NP-полной1088
Краткое содержание главы1091
Полиномиальное время1091
Абстрактные задачи1092
Кодирование1093
Структура формальных языков1096
Упражнения1100
Проверка за полиномиальное время1100
Гамильтоновы циклы1101
Алгоритмы верификации1102
Класс сложности NP1103
Упражнения1105
NP-полнота и приводимость1106
Приводимость1106
NP-полнота1108
Выполнимость схем1110
Упражнения1117
Доказательство NP-полноты1118
Выполнимость формулы1119
3-CNF выполнимость1122
Упражнения1126
NP-полные задачи1127
Задача оклике1128
Задача овершинном покрытии1131
Задача огамильтоновыхциклах1133
Задача окоммивояжере1138
Задача о сумме подмножества1140
Упражнения1144
Задачи1145
Заключительные замечания1149
Глава 35. Приближенные алгоритмы1151
Оценка качества приближенных алгоритмов1151
Краткое содержание главы1153
Задача о вершинном покрытии1154
Упражнения1157
Задача о коммивояжере1157
Задача о коммивояжере с неравенством треугольника1158
Общая задача о коммивояжере1161
Упражнения1163
Задача о покрытии множества1164
Жадный приближенный алгоритм1166
Анализ1166
Упражнения1169
Рандомизация и линейное программирование1170
Рандомизированный приближенный алгоритм для задачи о MAX-3-CNF выполнимости1170
Аппроксимация взвешенного вершинного покрытия с помощью линейного программирования1172
Упражнения1175
Задача о сумме подмножества1176
Точный алгоритм с экспоненциальнымвременем работы 1176
Схема аппроксимации с полностью полиномиальным временем работы1178
Упражнения1182
Задачи1182
Заключительные замечания1186
Часть VIII. Приложения: математическиеосновы1189
Введение1190
Приложение А. Ряды1191
А.1Суммы и их свойства1192
Линейность1192
Арифметическая прогрессия1193
Суммы квадратов и кубов1193
Геометрическая прогрессия1193
Гармонический ряд1194
Интегрирование и дифференцирование рядов1194
Суммы разностей1194
Произведения1195
Упражнения1195
А. 2 Оценки сумм1195
Математическая индукция1196
Почленное сравнение1196
Разбиение рядов1198
Приближение интегралами1199
Упражнения1201
Задачи1201
Заключительные замечания1201
Приложение Б. Множества и прочие художества1202
Б.1Множества1202
Упражнения1207
Б.2Отношения1207
Упражнения1209
Б.ЗФункции1210
Упражнения1212
Б.4Графы1213
Упражнения1217
Б. 5Деревья1218
Б. 5.1 Свободные деревья1218
Б.5.2 Деревья с корнем и упорядоченныедеревья1220
Б.5.3 Бинарные и позиционные деревья1221
Упражнения1223
Задачи1224
Заключительные замечания1225
Приложение В. Комбинаторика и теория вероятности1226
ВЛОсновы комбинаторики1226
Правила суммы и произведения1227
Строки1227
Перестановки1227
Сочетания1228
Биномиальные коэффициенты1229
Оценки биномиальных коэффициентов1229
Упражнения1230
Вероятность1232
Аксиомы вероятности1232
Дискретные распределения вероятностей1233
Непрерывное равномерное распределение вероятности 1234
Условная вероятность и независимость1234
Теорема Байеса1236
Упражнения1237
Дискретные случайные величины1238
Математическое ожидание случайной величины1239
Дисперсия и стандартное отклонение1242
Упражнения1243
В.4 Геометрическое и биномиальное распределения
1243
Геометрическое распределение
1244
Биномиальное распределение
1245
Упражнения
1248
* В.5 Хвосты биномиального распределения
1249
Упражнения
1254
Задачи
1255
Заключительные замечания
1256
1257127712571277Библиография
1257
1277
1257
1277
Предметный указатель
Введение
Эта книга служит исчерпывающим вводным курсом по современным компьютерным алгоритмам. В ней представлено большое количество конкретных алгоритмов, которые описываются достаточно глубоко, однако таким образом, чтобы их разработка и анализ были доступны читателям с любым уровнем подготовки. Авторы старались давать простые объяснения без ущерба для глубины изложения и математической строгости.
В каждой главе представлен определенный алгоритм, описывается метод его разработки, область применения или другие связанные с ним вопросы. Алгоритмы описываются как на обычном человеческом языке, так и в виде псевдокода, разработанного так, что он будет понятен для всех, у кого есть хотя бы минимальный опыт программирования. В книге представлено более 230 рисунков, иллюстрирующих работу алгоритмов. Поскольку один из критериев разработки алгоритмов — их эффективность, описание всех алгоритмов включает в себя тщательный анализ времени их работы.
Данный учебник предназначен в первую очередь для студентов и аспирантов, изучающих тот или иной курс по алгоритмам и структурам данных. Он также будет полезен для технических специалистов, желающих повысить свой уровень в этой области, поскольку описание процесса разработки алгоритмов сопровождается изложением технических вопросов.
В настоящем втором издании в книгу внесено множество изменений на всех уровнях, — от добавления целых новых глав до пересмотра отдельных предложений.
Преподавателю
Эта книга задумана так, что разнообразие описываемых в ней тем сочетается с полнотой изложения. Она может стать полезной при чтении разнообразных курсов, — от курса по структурам данных для студентов до курса по алгоритмам для аспирантов. Поскольку в книге намного больше материала, чем требуется
для обычного курса, рассчитанного на один семестр, можно выбрать только тот материал, который лучше всего соответствует курсу, который вы собираетесь преподавать.
Курсы удобно разрабатывать на основе отдельных глав. Книга написана так, что ее главы сравнительно независимы одна от другой. В каждой главе материал излагается по мере увеличения его сложности и разбит на разделы. В студенческом курсе можно использовать только более легкие разделы, а в аспирантском — всю главу в полном объеме.
В книгу вошли более 920 упражнений и свыше 140 задач. Упражнения даются в конце каждого раздела, а задачи — в конце каждой главы. Упражнения представлены в виде кратких вопросов для проверки степени освоения материала. Некоторые из них простые и предназначены для самоконтроля, в то время как другие — посложнее и могут быть рекомендованы в качестве домашних заданий. Решение задач требует больших усилий, и с их помощью часто вводится новый материал. Обычно задачи сформулированы так, что в них содержатся наводящие вопросы, помогающие найти верное решение.
Разделы и упражнения, которые больше подходят для аспирантов, чем для студентов, обозначены звездочкой (*). Они не обязательно более сложные, чем те, возле которых звездочка отсутствует; просто для их понимания может понадобиться владение более сложным математическим аппаратом. Для того чтобы справиться с упражнениями со звездочкой, может понадобиться более основательная подготовка или неординарная сообразительность.
Студенту
Надеемся, что этот учебник станет хорошим введением в теорию алгоритмов. Авторы попытались изложить каждый алгоритм в доступной и увлекательной форме. Чтобы облегчить освоение незнакомых или сложных алгоритмов, каждый из них описывается поэтапно. В книге также приводится подробное объяснение математических вопросов, необходимых для того, чтобы понять проводимый анализ алгоритмов. Для тех читателей, которые уже в некоторой мере знакомы с какой-то темой, материал глав организован таким образом, чтобы эти читатели могли опустить вводные разделы и перейти непосредственно к более сложному материалу.
Книга получилась довольно большой, поэтому не исключено, что в курсе лекций будет представлена лишь часть изложенного в ней материала. Однако авторы попытались сделать ее такой, чтобы она стала полезной как сейчас в качестве учебника, способствующего усвоению курса лекций, так и позже, в профессиональной деятельности, в качестве настольного справочного пособия для математиков или инженеров.
Ниже перечислены необходимые предпосылки, позволяющие освоить материал этой книги.
Читатель должен обладать некоторым опытом в программировании. В частности, он должен иметь представление о рекурсивных процедурах и простых структурах данных, таких как массивы и связанные списки.
Читатель должен обладать определенными навыками доказательства теорем методом математической индукции. Для понимания некоторых вопросов, изложенных в этой книге, потребуется умение выполнять некоторые простые математические преобразования. Помимо этого, в частях I и VIII этой книги рассказывается обо всех используемых математических методах.
Профессионалу
Широкий круг вопросов, которые излагаются в этой книге, позволяет говорить о том, что она станет прекрасным учебником по теории алгоритмов. Поскольку каждая глава является относительно самостоятельной, читатель сможет сосредоточить внимание на вопросах, интересующих его больше других.
Основная часть обсуждаемых здесь алгоритмов обладает большой практической ценностью. Поэтому не обойдены вниманием особенности реализации алгоритмов и другие инженерные вопросы. Часто предлагаются реальные альтернативы алгоритмам, представляющим преимущественно теоретический интерес.
Если вам понадобится реализовать любой из приведенных алгоритмов, будет достаточно легко преобразовать приведенный псевдокод в код на вашем любимом языке программирования. Псевдокод разработан таким образом, чтобы каждый алгоритм был представлен ясно и лаконично. Вследствие этого не рассматриваются обработка ошибок и другие связанные с разработкой программного обеспечения вопросы, требующие определенных предположений, касающихся конкретной среды программирования. Авторы попытались представить каждый алгоритм просто и непосредственно, не используя индивидуальные особенности того или иного языка программирования, что могло бы усложнить понимание сути алгоритма.
Коллегам
В книге приведена обширная библиография и представлены указания на современную литературу. В конце каждой главы даются “заключительные замечания”, содержащие исторические подробности и ссылки. Однако эти замечания не могут служить исчерпывающим руководством в области алгоритмов. Возможно, в это будет сложно поверить, но даже в такую объемную книгу не удалось включить многие интересные алгоритмы из-за недостатка места.
Несмотря на огромное количество писем от студентов с просьбами предоставить решения задач и упражнений, политика авторов — не приводить ссылки на
источники, из которых эти задачи и упражнения были позаимствованы. Это сделано для того, чтобы студенты не искали готовые решения в литературе, а решали задачи самостоятельно.
Изменения во втором издании
Какие изменения произошли во втором издании книги? В зависимости от точки зрения, можно сказать, что их достаточно мало или довольно много.
Большая часть глав первого издания содержится и во втором издании. Авторы убрали две главы и некоторые разделы, но добавили три новые главы и (кроме них) четыре новых раздела. Если судить об изменениях по оглавлению, то, скорее всего, можно прийти к выводу, что их объем достаточно скромный.
Однако эти изменения далеко выходят за рамки оглавления. Ниже без определенного порядка приводится обзор наиболее значительных изменений во втором издании.
К коллективу соавторов присоединился Клифф Штайн (Cliff Stein).
Были исправлены ошибки. Сколько их было допущено? Ну, скажем, несколько.
Появились три новые главы:
в главе 1 обсуждается роль алгоритмов в вычислениях;
в главе 5 излагается вероятностный анализ и рандомизированные алгоритмы; в первом издании эта тема упоминается в разных местах книги;
глава 29 посвящена линейному программированию.
Что касается глав, которые присутствовали в первом издании, в них добавлены новые разделы по таким вопросам:
идеальное хеширование (раздел 11.5);
два приложения динамического программирования (разделы 15.1 и 15.5);
алгоритмы аппроксимации, в которых применяется рандомизация и линейное программирование (раздел 35.4).
Чтобы поместить в начальную часть книги больше алгоритмов, три главы по основным разделам математики перенесены из части I в приложение (часть VIII).
Добавлено более 40 новых задач и 185 новых упражнений.
В явном виде были использованы инварианты цикла для доказательства корректности алгоритмов. Первый инвариант цикла используется в главе 2, и в дальнейшем в книге они применяются еще несколько десятков раз.
Переделаны многие места, где проводится вероятностный анализ. В частности, более десяти раз используется метод “индикаторных случайных величин”, упрощающих вероятностный анализ, особенно при наличии зависимости между случайными величинами.
Дополнены и обновлены заключительные замечания к главам и библиография. Библиография увеличилась более чем на 50%. Кроме того, упоминаются многие новые результаты, которые были достигнуты в теории алгоритмов после выхода первого издания.
Также внесены перечисленные ниже изменения.
В главе, посвященной решению рекуррентных соотношений, больше не содержится информация об итеративном методе. Вместо этого в разделе 4.2 на первый план выступают деревья рекурсии, сами по себе представляющие определенный метод. Авторы пришли к выводу, что использование деревьев рекурсии в меньшей мере связано с риском допустить ошибку. Однако следует заметить, что деревья лучше всего использовать для генерации предположений, которые затем проверяются методом подстановок.
Несколько по-иному излагается метод разбиения, который применялся для быстрой сортировки (раздел 7.1), и алгоритм порядковой статистики, математическое ожидание времени работы которого выражается линейной функцией (раздел 9.2). В данном издании используется метод, разработанный Ломуто (Lomuto), который наряду с индикаторными случайными величинами позволяет несколько упростить анализ. Предложенный Хоаром (Hoare) метод, который содержался в первом издании, включен в качестве задачи в главе 7.
Внесены модификации в обсуждение универсального хеширования в разделе 11.3.3, после чего оно интегрируется в представление идеального хеширования.
Значительно упрощен анализ высоты бинарного дерева поиска, построенного в разделе 12.4 случайным образом..
Существенно расширено обсуждение элементов динамического программирования (раздел 15.3) и жадных алгоритмов (раздел 16.2). Исследование задачи о выборе задания, которым начинается глава о жадных алгоритмах, помогает прояснить взаимосвязь между динамическим программированием и жадными алгоритмами.
Доказательство времени работы для объединения непересекающихся множеств заменено в разделе 21.4 доказательством, в котором точные границы определяются с помощью метода потенциалов.
Значительно упрощено доказательство корректности алгоритма из раздела 22.5, предназначенного для сильно связных компонентов.
Реорганизована глава 24, посвященная задаче о кратчайших путях из одной вершины: доказательства существенных свойств в ней вынесены в отдельный раздел.
В разделе 34.5 расширен обзор NP-полноты, приводятся новые доказательства NP-полноты задачи поиска гамильтонова цикла и задачи о сумме подмножества.
Наконец, почти каждый раздел подредактирован, в результате чего в них внесены исправления, упрощения, а также даны более четкие объяснения и доказательства.
Web-узел
Еще одно изменение по сравнению с первым изданием данной книги заключается в том, что теперь книга имеет свой Web-узел: http: //mitpress. mit. edu/algorithms/. С помощью этого Web-узла можно сообщить об ошибках, получить список известных ошибок или внести предложения; авторы будут рады узнать мнение читателей. Особенно приветствуются идеи по поводу новых задач и упражнений, однако их следует предлагать вместе с решениями.
Авторы выражают сожаление, что не могут лично ответить на все замечания.
Благодарности к первому изданию
Большой вклад в эту книгу внесли многие друзья и коллеги, что способствовало повышению ее качества. Выражаем всем благодарность за помощь и конструктивные замечания.
Лаборатория вычислительной техники Массачуссетского технологического института предоставила идеальные рабочие условия. Особенно большую поддержку оказали наши коллеги из группы Теории вычислений, входящей в состав лаборатории. Особую благодарность мы выражаем Баруху Авербаху (Baruch Awerbuch), Шафи Гольдвассеру (Shafi Goldwasser), Лео Рибасу (Leo Guibas), Тому Лайтону (Tom Leighton), Альберту Мейеру (Albert Meyer), Дэвиду Шмойсу (David Shmoys) и Эве Тардош (Eva Tardos). Благодарим Вильяма Энга (William Ang), Салли Бемус (Sally Bemus), Рея Хиршфелда (Ray Hirschfeld) и Марка Рейнгольда (Mark Reinhold) за поддержку в рабочем состоянии наших машин (DEC Microvaxes, Apple Macintoshes и Sun Sparcstations), а также за перекомпилирование текста в формате TgX каждый раз, когда мы превышали наш лимит времени, выделенного на компиляцию. Компания Machines Corporation предоставила частичную поддержку Чарльзу Лейзерсону (Charles Leiserson), позволившую ему работать над этой книгой во время отпуска в Массачуссетском технологическом институте.
Многие наши коллеги опробовали черновые варианты этого учебника, читая по ним курсы лекций на других факультетах. Они предложили многочисленные
исправления и изменения. Особую благодарность хотелось бы выразить Ричарду Биглю (Richard Beigel), Эндрю Гольдбергу (Andrew Goldberg), Джоан Лукас (Joan Lucas), Марку Овермарсу (Mark Overmars), Алану Шерману (Alan Sherman) и Дайан Сувейн (Diane Souvaine).
Многие ассистенты преподавателей, читающих курсы лекций по учебнику, внесли значительный вклад в разработку материала. Особенно авторы благодарны Алану Баратцу (Alan Baratz), Бонни Бергер (Bonnie Berger), Эдита Дагат (Aditi Dhagat), Берту Калиски (Burt Kaliski), Артуру Ленту (Arthur Lent), Эндрю Моултону (Andrew Moulton), Мариосу Папаефсимиу (Marios Papaefthymiou), Синди Филлипс (Cindy Phillips), Марку Рейнгольду (Mark Reinhold), Филу Рогевей (Phil Rogaway), Флавио Роузу (Flavio Rose), Эйри Рудичу (Arie Rudich), Алану Шерману (Alan Sherman), Клиффу Штайну (Cliff Stein), Сасмите Сюр (Susmita Sur), Грегори Трокселу (Gregory Troxel) и Маргарет Таттл (Margaret Tuttle).
Ценную техническую помощь оказали многие частные лица. Дениз Серджент (Denise Sergent) провела много часов в лабораториях Массачуссетского технологического института, исследуя библиографические ссылки. Мария Синсейл (Maria Sensale), библиотекарь из нашего читального зала, была всегда приветливой и готовой оказать помощь. Много времени, отведенного для работы над литературой при подготовке заключительных замечаний к главам, удалось сэкономить благодаря предоставлению доступа к личной библиотеке Альберта Мейера (Albert Meyer). Шломо Кипнис (Shlomo Kipnis), Билл Нихаус (Bill Niehaus) и Дэвид Вилсон (David Wilson) откорректировали старые упражнения, разработали новые и написали примечания к их решениям. Мариос Папаефсимиу (Marios Papaefthymiou) и Грегори Троксель (Gregory Troxel) внесли вклад в составление предметного указателя. Неоценимую поддержку этого проекта в течение многих лет оказывали наши секретари Инна Радзиховски (Inna Radzihovsky), Дениз Серджент (Denise Sergent), Гейли Шерман (Gayle Sherman) и особенно Би Блекбурн (Be Blackbum), за что авторы им благодарны.
Многие ошибки в ранних черновых вариантах книги были обнаружены студентами. Особую благодарность за внимательное прочтение мы хотели бы выразить Бобби Блюмоуфу (Bobby Blumofe), Бонни Эйзенберг (Bonnie Eisenberg), Раймонду Джонсону (Raymond Johnson), Джону Кину (John Keen), Ричарду Летону (Richard Lethin), Марку Лиллибриджу (Mark Lillibridge), Джону Пезарису (John Pezaris), Стиву Понзио (Steve Ponzio) и Маргарет Таттл (Margaret Tuttle).
Авторы благодарны коллегам, прорецензировавшим отдельные главы или предоставившим информацию по отдельным алгоритмам. Особая благодарность выражается Биллу Айелло (Bill Aiello), Алоку Аггарвалю (Alok Aggarwal), Эрику Баху (Eric Bach), Вашеку Чваталу (Vasek Chvatal), Ричарду Коулу (Richard Cole), Джоан Хастад (Johan Hastad), Алексу Исии (Alex Ishii), Дэвиду Джонсону (David Johnson), Джо Килиану (Joe Kilian), Дайне Кравец (Dina Kravets), Брюсу Маггсу (Bruce Maggs), Джиму Орлину (Jim Orlin), Джеймсу Парку (James Park), Тейну
Пламбеку (Thane Plambeck), Гершелю Сейферу (Hershel Safer), Джеффу Шаллиту (Jeff Shallit), Клиффу Штайну (Cliff Stein), Гилу Стренгу (Gil Strang), Бобу Тар- жану (Bob Tarjan) и Паулю Вонгу (Paul Wang). Несколько наших коллег также любезно предоставили нам задачи; особенно мы благодарны Эндрю Гольдбергу (Andrew Goldberg), Дэнни Слитору (Danny Sleator) и Умешу Вазирани (Umesh Vazirani).
При написании учебника авторам было приятно работать с издательствами The MIT Press и McGraw-Hill. Особую благодарность за моральную поддержку, помощь и терпение они выражают сотрудникам издательства The MIT Press Фрэнку Сэтлоу (Frank Satlow), Терри Элингу (Terry Ehling), Лари Кохену (Larry Cohen) и Лори Лиджину (Lorrie Lejeune), а также Дэвиду Шапиро (David Shapiro) из издательства McGraw-Hil. Наша особая благодарность — Лари Кохену (Larry Cohen) за выдающуюся работу по корректированию.
Благодарности ко второму изданию
Когда мы предложили Джули Сассман (Julie Sussman, Р.Р.А.) быть техническим редактором второго издания, то даже не представляли себе, насколько удачный договор заключаем. В дополнение к техническому редактированию, Джули с энтузиазмом взялась за редактирование нашего текста. Стыдно вспомнить, как много ошибок Джули обнаружила в ранних черновиках, хотя это не удивительно с учетом того, сколько их она нашла в первом издании (к сожалению, после его публикации). Более того, Джули пожертвовала своим собственным рабочим графиком, чтобы согласовать его с нашим, — она даже взяла с собой главы из нашей книги в поездку на Виргинские острова! Джули, мы никогда не сможем отблагодарить вас в достаточной мере.
Во время работы над вторым изданием книги авторы работали в отделе вычислительной техники в Дартмутском колледже и лаборатории вычислительной техники в Массачуссетском технологическом институте. Оба учебных заведения послужили стимулирующей рабочей средой, и авторы выражают благодарность своим коллегам.
Друзья и коллеги со всего мира вносили предложения и высказывали свое мнение, что помогло направить усилия в нужное русло. Большое спасибо хотелось бы сказать Сандживу Ароре (Sanjeev Arora), Джавиду Асламу (Javed Aslam), Гаю Блеллоку (Guy Blelloch), Авриму Блюму (Avrim Blum), Скоту Дрисдейлу (Scot Drysdale), Хэйни Фариду (Hany Farid), Халу Габову (Hal Gabow), Эндрю Гольдбергу (Andrew Goldberg), Дэвиду Джонсону (David Johnson), Янлинь Лю (Yanlin Liu), Николасу Шабанелю (Nicolas Schabanel), Александеру Шрайверу (Alexander Schrijver), Саше Шену (Sasha Shen), Дэвиду Шмойсу (David Shmoys), Дену Шпильману (Dan Spielman), Джеральду Джею Сассману (Gerald Jay Sussman), Бо-
бу Таржану (Bob Tatjan), Миккелю Торупу (Mikkel Thorup) и Виджею Вазирани (Vijay Vazirani).
Многие преподаватели и коллеги охотно делились с нами своими знаниями по теории алгоритмов. Особую признательность авторы выражают Джону Л. Бентли (Jon L. Bentley), Бобу Флойду (Bob Floyd), Дону Кнуту (Don Knuth), Гарольду Куну (Harold Kuhn), Кунгу (Н. Т. Kung), Ричарду Липтону (Richard Lipton), Арнольду Россу (Arnold Ross), Ларри Снайдеру (Larry Snyder), Майклу Шамосу (Michael I. Shamos), Дэвиду Шмойсу (David Shmoys), Кену Штайглицу (Ken Steiglitz), Тому Шимански (Tom Szymanski), Эве Тардош (Eva Tardos), Бобу Таржану (Bob Tarjan) и Джеффри Ульману (Jeffrey Ullman).
Авторы признательны за работу многим ассистентам, читающим курсы по теории алгоритмов в Массачуссетском технологическом институте и колледже г. Дартмут, включая Джозефа Адлера (Joseph Adler), Крэйга Баррака (Craig Barrack), Бобби Блюмоуфа (Bobby Blumofe), Роберто де Приско (Roberto De Frisco), Маттео Фриго (Matteo Frigo), Игала Гальперина (Igai Galperin), Дэвида Гупту (David Gupta), Рея Д. Айера (Raj D. Iyer), Небила Каэйла (Nabil Kahale), Сарфраза Хуршида (Sarfraz Khurshid), Ставроса Коллиопулоса (Stavros Kolliopoulos), Алена Лебланка (Alain Leblanc), Юана Ma (Yuan Ма), Марию Минкофф (Maria Minkoff), Димитриса Митсураса (Dimitris Mitsouras), Алина Попеску (Alin Popescu), Геральда Прокопа (Harald Prokop), Судипту Сенгупту (Sudipta Sengupta), Донну Слоним (Donna Slonim), Джошуа А. Таубера (Joshua A. Tauber), Сивана Толедо (Sivan Toledo), Элишеву Вернер-Рейсс (Elisheva Werner-Reiss), Ли Витти (Lea Wittie), Кван By (Qiang Wu) и Майкла Женга (Michael Zhang).
Компьютерная поддержка была предоставлена Вильямом Энгом (William Ang), Скоттом Бломквистом (Scott Blomquist) и Грэгом Шомо (Greg Shomo) из Массачус- сетского технологического института, а также Вейном Криппсом (Wayne Cripps), Джоном Конклом (John Konkle) и Тимом Трегубовым (Tim Tregubov) из Дартмута. Авторы также благодарят Би Блекбурна (Be Blackburn), Дона Дейли (Don Dailey), Ли Дикона (Leigh Deacon), Ирен Сибида (Irene Sebeda) и Шерил Паттон By (Cheryl Patton Wu) из Массачуссетского технологического института и Филлис Беллмор (Phyllis Bellmore), Келли Кларк (Kelly Clark), Делию Мауцели (Delia Mauceli), Семми Тревиса (Sammie Travis), Деба Уитинга (Deb Whiting) и Бет Юнг (Beth Young) из Дартмута за административную поддержку. Регулярную помощь также оказывали Майкл Фромбергер (Michael Fromberger), Брайан Кемпбелл (Brian Campbell), Аманда Эвбенкс (Amanda Eubanks), Санг Хун Ким (Sung Hoon Kim) и Неха Нарула (Neha Narula) из Дартмута.
Многие читатели любезно сообщили об ошибках в первом издании. Авторы благодарят перечисленных ниже людей, каждый из которых первым сообщил о той или иной ошибке: Лен Адлеман (Len Adleman), Селим Экл (Selim Aki), Ричард Андерсон (Richard Anderson), Жуан Андрейд-Цетто (Juan Andrade-Cetto), Грегори Бачелис (Gregory Bachelis), Дэвид Баррингтон (David Barrington), Пол Бим
(Paul Beame), Ричард Бигль (Richard Beigel), Маргрит Ветке (Margrit Betke), Алекс Блейкмор (Alex Blakemore), Бобби Блюмоуф (Bobby Blumofe), Александр Браун (Alexander Brown), Ксавье Кэйзин (Xavier Cazin), Джек Чен (Jack Chan), Ричард Ченг (Richard Chang), Чинхуа Чен (Chienhua Chen), Йен Ченг (len Cheng), Хун Чой (Hoon Choi), Дрю Коулс (Drue Coles), Кристиан Коллберг (Christian Collberg), Джордж Коллинз (George Collins), Эрик Конрад (Eric Conrad), Питер Цазар (Peter Csaszar), Пол Дитц (Paul Dietz), Мартин Дитцфельбингер (Martin Dietzfelbinger), Скот Дрисдейл (Scot Drysdale), Патриция Илай (Patricia Ealy), Яков Эйзенберг (Yaakov Eisenberg), Майкл Эрнст (Michael Ernst), Майкл Форменн (Michael For- mann), Недим Фреско (Nedim Fresko), Хал Габов (Hal Gabow), Марек Галецки (Marek Galecki), Игал Гальперин (Igai Galperin), Луиза Гаргано (Luisa Gargano), Джон Гейтли (John Gately), Розарио Дженарио (Rosario Genario), Майэли Гереб (Mihaly Gereb), Рональд Гринберг (Ronald Greenberg), Джерри Гроссман (Jerry Grossman), Стефен Гуттери (Stephen Guattery), Александр Хартемик (Alexander Hartemik), Энтони Хилл (Anthony Hill), Томас Гофмейстер (Thomas Hofmeister), Мэтью Хостеттер (Mathew Hostetter), Юй-Чун Xy (Yih-Chun Hu), Дик Джонсон- баух (Dick Johnsonbaugh), Марцин Юрдзинки (Marcin Jurdzinki), Набил Каэйл (Nabil Kahale), Фумияки Камайя (Fumiaki Kamiya), Ананд Канагала (Anand Kana- gala), Марк Кентровиц (Mark Kantrowitz), Скотт Карлин (Scott Karlin), Дин Келли (Dean Kelley), Сэнджей Канна (Sanjay Khanna), Халук Конук (Haluk Konuk), Дайна Кравец (Dina Kravets), Джон Кроутер (Jon Kroger), Бредли Казмаул (Bradley Kusz- maul), Тим Ламберт (Tim Lambert), Хенг Лау (Hang Lau), Томас Ленгауэр (Thomas Lengauer), Джордж Мадрид (George Madrid), Брюс Маггс (Bruce Maggs), Виктор Миллер (Victor Miller), Джозеф Мускат (Joseph Muskat), Танг Нгуйен (Tung Nguyen), Михаил Орлов (Michael Orlov), Джеймс Парк (James Park), Сионбин Парк (Seongbin Park), Иоаннис Паскалидис (Ioannis Paschalidis), Боз Патт-Шамир (Boaz Patt-Shamir), Леонид Пешкин (Leonid Peshkin), Патрицио Поблит (Patricio Poblete), Ира Пол (Ira Pohl), Стивен Понцио (Stephen Ponzio), Кьелл Пост (Kjell Post), Тодд Пойнор (Todd Poynor), Колин Препскиус (Colin Prepscius), Шолом Розен (Sholom Rosen), Дейл Рассел (Dale Russell), Гершель Сейфер (Hershel Safer), Карен Зайдель (Karen Seidel), Джоэль Сейфирес (Joel Seiferas), Эрик Селиджман (Erik Seligman), Стэнли Селков (Stanley Selkow), Джеффри Шаллит (Jeffrey Shal- lit), Грэг Шеннон (Greg Shannon), Мика Шарир (Micha Sharir), Саша Шен (Sasha Shen), Норман Шульман (Norman Shulman), Эндрю Зингер (Andrew Singer), Дэниел Слитор (Daniel Sleator), Боб Слоан (Bob Sloan), Майкл Софка (Michael Sofka), Фолькер Струмпен (Volker Strumpen), Лон Саншайн (Lon Sunshine), Джули Cac- сман (Julie Sussman), Астерио Танака (Asterio Tanaka), Кларк Томборсон (Clark Thomborson), Нильс Томмесен (Nils Thommesen), Гомер Тильтон (Homer Tilton), Мартин Томпа (Martin Tompa), Андрей Тум (Andrei Toom), Фельзер Торстен (Felzer Torsten), Хайенду Вэйшнав (Hirendu Vaishnav), M. Вельдхорст (M. Veldhorst), Люка Венути (Luca Venuti), Джайн Вонг (Jian Wang), Майкл Веллман (Michael Wellman),
Джерри Винер (Gerry Wiener), Рональд Вильямс (Ronald Williams), Дэвид Вольф (David Wolfe), Джефф Вонг (Jeff Wong), Ричард Ваунди (Richard Woundy), Нил Юнг (Neal Young), Гайан Ю (Huaiyuan Yu), Тайан Юксинг (Tian Yuxing), Джо Зачари (Joe Zachary), Стив Жанг (Steve Zhang), Флориан Щоук (Florian Zschoke) и Ури Цвик (Uri Zwick).
Многие наши коллеги написали подробные обзоры или заполнили длинные бланки опросов. Авторы благодарят Нэнси Амато (Nancy Amato), Джима Аспне- са (Jim Aspnes), Кевина Комптона (Kevin Compton), Вильяма Иванса (William Evans), Питера Гекса (Peter Gacs), Майкла Гольдвассера (Michael Goldwasser), Андржея Проскуровски (Andrzej Proskurowski), Виджея Рамачандрана (Vijaya Ramachandran) и Джона Райфа (John Reif). Мы также благодарим тех, кто участвовал в опросе и вернул его результаты. Это Джеймс Абелло (James Abello), Джош Би- нело (Josh Benaloh), Брайан Бересфорд-Смит (Bryan Beresford-Smith), Кеннет Бла (Kenneth Blaha), Ганс Бодлаендер (Hans Bodlaender), Ричард Бори (Richard Borie), Тед Браун (Ted Brown), Доменико Кантоун (Domenico Cantone), М. Чен (М. Chen), Роберт Цимиковски (Robert Cimikowski), Вильям Клоксин (William Clocksin), Пауль Калл (Paul Cull), Рик Декер (Rick Decker), Мэтью Дикерсон (Matthew Dickerson), Роберт Дуглас (Robert Douglas), Маргарет Флек (Margaret Fleck), Майкл Гудрич (Michael Goodrich), Сюзанн Гамбруш (Susanne Hambrusch), Дин Гендрикс (Dean Hendrix), Ричард Джонсонбау (Richard Johnsonbaugh), Кирякос Калоркоти (Kyriakos Kalorkoti), Шринивас Канканахалли (Srinivas Kankanahalli), Хикио Кох (Hikyoo Koh), Стивен Линделль (Steven Lindell), Еррол Ллойд (Errol Lloyd), Энди Лопес (Andy Lopez), Дайан Рей Лопес (Dian Rae Lopez), Джордж Лакер (George Lucker), Дэвид Мейер (David Maier), Чарльз Мартель (Charles Martel), Ксайнонг Менг (Xiannong Meng), Дэвид Маунт (David Mount), Альберто Поликрити (Alberto Policriti), Анджей Проскуровски (Andrzej Proskurowski), Кирк Прус (Kirk Pruhs), Ив Робер (Yves Robert), Гуна Сизараман (Guna Seetharaman), Стэнли Сел- ков (Stanley Selkow), Роберт Слоан (Robert Sloan), Чарльз Стил (Charles Steele), Джерад Тель (Gerard Tel), Мурали Варанаси (Murali Varanasi), Бернд Уолтер (Bernd Walter) и Альдин Райт (Alden Wright). Авторы хотели бы учесть все внесенные предложения. Единственная проблема заключается в том, что если бы это было сделано, объем второго издания мог бы превысить 3000 страниц!
Второе издание готовилось к публикации в ЫеХ2£. Майкл Даунс (Michael Downes) преобразовал ЬЯвХ-сценарии из “классической” версии UTgX в DTgX 2g и изменил текстовые файлы таким образом, чтобы в них использовались эти сценарии. Помощь в составлении текста в формате UTeX также оказал Дэвид Джонс (David Jones). Рисунки ко второму изданию созданы авторами в программе Mac- Draw Pro. Как и в первом издании, предметный указатель составлен с помощью Windex, — программы на С, написанной авторами, а библиография подготовлена с помощью BibTeX. Айоркор Миллз-Титти (Ayorkor Mills-Tettey) и Роб Лизерн
(Rob Leathern) помогли преобразовать рисунки в MacDraw Pro, а Айоркор также проверил библиографию.
Как и во время работы над первым изданием, сотрудничество с издательствами MIT Press и McGraw-Hill принесло авторам большое удовольствие. Редакторы Боб Прайор (Bob Prior) из MIT Press и Бетси Джонс (Betsy Jones) были терпеливы к нашим причудам и помогли преодолеть все препятствия.
Наконец, мы выражаем благодарность нашим женам Николь Кормен (Nicole Cormen), Гейл Ривест (Gail Rivest) и Ребекке Иври (Rebecca Ivry), нашим детям Рикки (Ricky), Вильяму (William) и Дебби Лейзерсон (Debby Leiserson), Алексу (Alex) и Кристоферу Ривест (Christopher Rivest), а также Молли (Molly), Ноа (Noah) и Бенджамену Штайн (Benjamin Stein), нашим родителям Рени (Renee) и Перри (Репу) Корменам, Джин (Jean) и Марку (Mark) Лейзерсон, Ширли (Shirley) и Ллойду (Lloyd) Ривестам, а также Ирен (Irene) и Ире Штайн (Ira Stein) за любовь и поддержку во время написания этой книги. Этот проект стал возможным благодаря поддержке и поощрению членов наших семей. С любовью посвящаем им эту книгу.
Томас Кормен (Thomas Н. Cormen), Ганновер, Нью-Гемпшир Чарльз Лейзерсон (Charles Е. Leiserson), Кембридж, Массачуссетс Рональд Ривест (Ronald L. Rivest), Кембридж, Массачуссетс Клиффорд Штайн (Clifford Stein), Ганновер, Нью-Гемпшир
От издательства
Вы, читатель этой книги, и есть главный ее критик и комментатор. Мы ценим ваше мнение и хотим знать, что было сделано нами правильно, что можно было сделать лучше и что еще вы хотели бы увидеть изданным нами. Нам интересно услышать и любые другие замечания, которые вам хотелось бы высказать в наш адрес.
Мы ждем ваших комментариев и надеемся на них. Вы можете прислать нам бумажное или электронное письмо, либо просто посетить наш Web-сервер и оставить свои замечания там. Одним словом, любым удобным для вас способом дайте нам знать, нравится или нет вам эта книга, а также выскажите свое мнение о том, как сделать наши книги более интересными для вас.
Посылая письмо или сообщение, не забудьте указать название книги и ее авторов, а также ваш обратный адрес. Мы внимательно ознакомимся с вашим мнением и обязательно учтем его при отборе и подготовке к изданию последующих книг. Наши координаты:
E-mail:info@williamspublishing. com
WWW:http: //www. williamspublishing. com
Информация для писем
из России:115419, Москва, а/я 783
из Украины:03150, Киев, а/я 152