Книга
← К списку книгЗагрузка разделов…
активнаАктивные записи участвуют в каталоге и синках. Неактивная книга скрыта, но не удалена из базы.
Книга
METHODES MATHEMATIQUES
DE L'INFORMATIQUE
Collection dirigee par J. L. LIONS
Professeur a la Faculte des Sciences de Paris
OPTIMISATION
THEORIE ET ALGORITHMES
JEAN CEA
Professeur a la Faculte des Sciences de Nice
DUNOD • PARIS • 1971
Ж. CEA
ОПТИМИЗАЦИЯ
ТЕОРИЯ
И АЛГОРИТМЫ
Перевод с французского л. г. гуринаПод редакцией А. Ф КОНОНЕНКО и Н. Н. МОИСЕЕВАС предисловием Н. Н. МОИСЕЕВА
Издательство «Мир»
Москва 1973
УДК 517.9 + 519.9
Книга молодого французского математика Ж- Сеа представляет собой второй том серии „Математические методы информатики", выпускаемой французским изд-вом Дюно под редакцией проф. Ж--Л. Лионса.
Автор с единых позиций рассматривает многочисленные методы оптимизации, удачно сочетая строгость математического анализа алгоритмов с умением ясно и просто изложить существо метода. Он приводит необходимые данные из функционального анализа и теории выпуклых множеств. Обладая богатым опытом решения практических задач оптимизации, автор сумел дать конкретные рекомендации по применению того или иного метода.
Книга будет интересна математикам, физикам, инженерам и экономистам, занимающимся решением задач оптимизации.
Редакция литературы по математическим наукам
0223-018
С 041 (01)-73
ж. Сеа
ОПТИМИЗАЦИЯ. ТЕОРИЯ И АЛГОРИТМЫ
Редакторы И. А. Маховая, А. А. Бряндинская
Художник А. Ясинский. Художественный редактор В. И. ШаповаловТехнический редактор Е. Н. Лебедева. Корректор В. И. Киселева
Сдано в набор 21/IX 1972 г. Подписано к печати 12/Ш 1973 г. Бумага Ж! 60 X 90V16=7,63 бум. л.
15,25 печ, л. Уч.-изд. л. 12,91. Изд. № 1/6810. Цена 1 p.fg к. Зак. № 340
ИЗДАТЕЛЬСТВО «МИР»
Москва, 1-й Рижский пер., 2
Ордена Трудового Красного Знамени Ленинградская типография № 2 имени ЕвгенииСоколовой «Союзполиграфпрома» при Государственном комитете Совета Министров СССРпо делам издательств, полиграфии и книжной торговли.
г. Ленинград, Л-52, Измайловский проспект. 29
Та четверть века, которая отделяет нас от момента появления первых вычислительных машин, была периодом, когда не только возникали новые научные направления, но и критически пересматривались многие концепции, которые считались классическими и незыблемыми. Я думаю, что эти 25 лет были по существу только началом процесса осмысливания того нового содержания научного анализа, которое вносится созданием ЭВМ, и будущее сулит нам дальнейшую и ускоряющуюся эволюцию и нашей манеры работать, и оценок результатов нашей деятельности.
Вначале электронная машина воспринималась как большой арифмометр, который позволяет чрезвычайно быстро производить вычисления. (Это обстоятельство само по себе было уже очень важным.) Позднее выяснилось, что ЭВ/М — это, кроме того, новая технология переработки информации и, следовательно, новый уровень принятия решений. Наконец, в последние годы появились периферические устройства, позволяющие вести диалог человек- машина, что превращает вычислительный комплекс в совершенно новый инструмент исследования.
Все эти обстоятельства оказывают прогрессирующее воздействие на многие стороны человеческой деятельности. Их влияние испытывают в той или иной степени все области знания, все научные дисциплины, и прежде всего, конечно, математика.
Реальная возможность быстро производить большое количество вычислений, т. е. эффективно решать многие задачи, обострила интерес к тем разделам математики, которые были связаны с вычислениями. Методы оптимизации, проблемы разностных аппроксимаций, методы решения краевых задач привлекают все большее и большее количество математиков, становятся базой решения разнообразных задач прикладного характера в физике, технике, экономике.
Однако широкое использование электронной вычислительной техники имело своим следствием не только быстрое развитие некоторых разделов математики. Тот естественный прагматизм, который свойствен любой научной дисциплине, поставил целый ряд новых вопросов, заставил по-новому отнестись к смыслу и целяги научного анализа. Приведу два примера.
В начале пятидесятых годов возникло понятие устойчивости разностных схем и появилось много работ, посвященных проблемам сходимости итерационных процессов решения задач математической физики. Этот круг вопросов вполне отвечал духу тпадипионной математики. Казалось очевидным, что устойчивый
сходящийся (к тому же достаточно быстро) процесс последовательных приближений—это хорошо! Казалось, что теория численного решения краевых задач исчерпывается исследованием устойчивости разностных схем и условиями сходимости предлагаемых алгоритмов. Однако очень скоро появились примеры устойчивых сходящихся процессов, в которых уже через несколько шагов итерационного процесса при их реализации на ЭВМ фиксировалась машинная бесконечность!
Такая же ситуация имела место и в теории оптимизации. Утверждение, что сходимость — это главное качество предлагаемого алгоритма, казалось вначале очевидным. Однако очень скоро обнаружилось, что это качество не является ни достаточным, ни необходимым для эффективного окончания вычислений, т. е. главной цели, ради которой создавался алгоритм.
Здесь не место подробно обсуждать причины подобных казусов. Ограничусь лишь одним замечанием. Классическая теория всегда оперирует с понятиями непрерывной математики, а процессы, реализуемые в ЭВМ, по существу дискретны. В частности, шаг алгоритма всегда больше некоторого конечного числа, а машинная бесконечность на самом деле вполне конечна.
Такое несоответствие оценок, даваемых теорией, с результатами прикладного характера требовало новых мерок, новых точек зрения.
Сейчас в этом направлении ведутся интенсивные поиски. Широко используется возможность машинного эксперимента, появляются работы, где изложение алгоритмов ограничивается их описанием на „содержательном^ уровне, делаются попытки рассматривать процесс вычислений как некоторый управляемый процесс и как следствие развития адаптивных концепций в построении способов реализации вычислительных процессов и т. д.
Во всяком случае, понимание того факта, что классическое представление о сходимости алгоритмов как об основном содержании теории вычислительных процессов нс соответствует требованиям к анализу, которые выдвигает практика, является активным стимулом научных поисков.
Обсуждая эти проблемы, я хотел бы категорически отвергнуть любой нигилизм в отношении тех принципов, которые выработаны в математике. Выяснение характера сходимости есть и всегда останется важнейшей информацией о содержании вычислительного процесса. Речь идет не об игнорировании исследований классического характера, а о необходимости найти и правильно сформулировать новые аспекты теоретического анализа, дающие ту информацию, которая необходима для более полной характеристики изучаемого процесса.
Книга профессора Жана Сеа, посвященная методам отыскания экстремумов функций, написана в классической манере. Она имеет подзаголовок „теория и алгоритмы66, и понятие „теория66
автор определяет вполне однозначно — как исследование сходимости. Он не приводит ни одного содержательного примера, не обсуждает прикладного значения изучаемого материала. Никаких комментариев—классическая манера изложения в лучшем стиле французской школы. Сеа излагает алгоритм четко и лаконично, затем дает доказательство его сходимости. В книге нет недоказанных утверждений; автор закрепляет позиции и не ставит вопросов. Это основное качество и, если угодно, достоинство книги.
Однако это вовсе не значит, что книга оторвана от практики и представляет собой одно из многочисленных эссе в области „теории оптимизации66. Прагматическая основа его работы, несмотря на кажущуюся ее абстрактность, видна всюду. Прежде всего это определило выбор материала, подбор алгоритмов — приведены апробированные на практике хорошо изученные схемы. Всегда очень интересны обсуждения модификации алгоритмов, а также короткие наводящие соображения. Наконец, само изложение алгоритмов носит характер блок-схем, и эти страницы могут служить не только учебником, но и справочником.
Все алгоритмы оптимизации излагаются применительно к функциям, определенным в нормированных пространствах. Несмотря на это, изложение очень легкое и четкое и нс требует от читателя специальной подготовки. Весьма короткое ясное и нестандартное изложение элементов функционального анализа, достаточное для изучения книги, составляет содержание первых двух глав.
В работе много оригинальных результатов, принадлежащих автору и его ученикам (двойственность в теории недифференцируемых функционалов и др.). К сожалению, автор совсем не делает ссылок на многочисленные работы советских авторов. В списке литературы содержатся только переводы известной книги Л. В. Канторовича и Г. П. Акилова, статьи Е. С. Левитина и Б. Т. Поляка и еще ссылка на работу Б. Н. Пшеничного, которая должна появиться, — и все!
Поэтому к книге надо относиться нс как к монографии, характеризующей сегодняшний уровень развития методов оптимизации, а скорее как к работе, которая отражает интересы автора.
Тем не менее ни переводчик, ни редакторы не сочли уместным сколь-нибудь серьезно исправлять и комментировать работу проф. Сеа. Это очень цельное и законченное сочинение. Исправлен лишь ряд опечаток и дано несколько дополнительных ссылок на работы советских авторов.
Н. Н, Моисеев
Предисловие
Понятие „оптимизация66 уже прочно вошло в жизнь: если у рассматриваемой задачи есть много решений, то естественно выбирать то из них, которое квалифицируется как лучшее. Математически проблема оптимизации описывается множеством U и функцией /, определенной на U со значениями в R. Таким образом, речь идет о том, чтобы найти решение и, такое, что
ugU, )
7(н) <J (у) Vyet7. J (*)
Множество U представляет собой множество возможных способов достижения определенной цели или множество способов функционирования какой-нибудь системы. В прикладных задачах часто принадлежность к U выражается при помощи некоторых ограничений. Поэтому U нередко будет называться областью ограничений (или множеством точек, где ограничения выполнены). Функция / представляет собой критерий, который предопределяет наш выбор из множества возможных решений. В задаче (*) речь идет о том, чтобы выбрать решение и, которое минимизирует значение J на множестве U. Если заменить J на —/, то задача минимизации преобразуется в задачу максимизации. На практике функцией J могут быть стоимость, выработка, прибыль, время и т. д.
Отметим, что решение задачи (*) не обязательно существует. В этом случае ищут реализуемое решение и, такое, чтобы / (и) было „достаточно близко" к inf J (у).
V
Множество U описывается обычно с помощью уравнений и неравенств, которые связывают различные параметры системы. Однако сложные системы с трудом поддаются формализованному описанию, а полученные модели — численному исследованию. В таком случае довольствуются моделями, которые представляют собой упрощенное описание физической реальности. Однако с появлением все более и более мощных вычислительных машин появляется возможность работать над более сложными моделями. В общем случае невозможно получить аналитического выражения для оптимального решения поставленной задачи оптимизации. Поэтому обычно задача сводится к поиску численного приближенного решения, поиск же численных методов тесно связан с возможностями вычислительных машин.
В этих методах, как правило, основная идея заключается в том, что решение „большой" задачи сводится к решению последовательности подзадач, которые обычно содержат лишь одну переменную. В настоящее время все больше и больше используются методы.
основанные на декомпозиции „большой" задачи на задачи меньшей размерности (это связано с возможностью проводить параллельные вычисления на современных ЭВМ). Другое направление развития численных методов посвящено устранению трудностей, связанных с наличием ограничений. Попытки исключить эти ограничения привели к созданию методов штрафных функций. Отметим, что использование этих методов приводит к тому, что изменяется природа исходной задачи. Другой способ подсказан специалистами по механике и экономике; он заключается в замене данной задачи новой задачей, называемой двойственной.
Чтобы облегчить чтение этой книги, мы привели в гл. 1 весь необходимый математический аппарат. В частности, введены понятия банаховых и гильбертовых пространств, линейных непрерывных операторов, сильной, слабой и слабой* топологий, компактности; приведена также теорема Хана—-Банаха.
Глава 2 посвящена дифференцированию по Гато и Фреше. Эти понятия важны потому, что они позволяют приступить к исследованию задач независимо от размерности пространств, в которых эти задачи поставлены.
В главе 3 ставится вопрос о поиске минимума функционала при отсутствии ограничений. С достаточно общей позиции мы излагаем методы, которые нам кажутся наиболее интересными.
Глава 4 посвящена задачам с ограничениями. Мы подробно останавливаемся только на случае выпуклых функций и ограничений, так как общий случай еще довольно беден результатами. Сходимость алгоритмов доказывается везде, за исключением § 1, п. 5, где дано беглое описание некоторых методов. Методы штрафных функций и декомпозиции изучаются в §§ 2 и 3.
Наконец, в гл. 5 мы касаемся вопросов теории двойственности, связанных с использованием теоремы Хана—Банаха и теоремы о минимаксе. Здесь приведены достаточно общие примеры.
Почти все методы, изложенные в книге, были опробованы численно. Однако сравнение численных методов — вопрос очень тонкий, и в данной книге мы на нем не останавливались. Интересующихся этой проблемой мы отсылаем к работе Колвилла [22].
Эта книга возникла из курсов лекций, которые я прочел на естественном факультете университета в Ренне (1966—1967, 1967—1968), в Калифорнийском университете в Лос-Анджелесе (1968—1969) и Летней школе по численному анализу (июль, 1969). Я благодарю дирекции этих учреждений, а также студентов, которые своими замечаниями и советами позволили мне улучшить этот курс.
Ж.-Л. Лионс любезно согласился включить эту работу в серию, которой он руководит, за что я ему весьма признателен. Я благодарю издательство Дюно за его замечательную работу.
Ж. Сеа
Глава 1
Элементы функционального анализа
БАНАХОВЫ ПРОСТРАНСТВА
Везде далее через Л обозначается поле действительных чисел либо поле комплексных чисел. Все пространства, введенные в этой главе, являются векторными пространствами над Л. Мы не будем уточнять вид поля Л и пространства над этим полем, за исключением тех случаев, где это необходимо.
Определение банаховых пространств. Простейшие свойства
Полунормой на векторном пространстве V называется отображение р из V в множество неотрицательных действительных чисел R+, такое, что
(Nl)P^y)=\MpW Vve^ УЛеЛ,
(N2)р(« + у)<Р(«) + р(у) У^, у eV.
Говорят, что р является нормой на У, если наряду с условиями (N1), (N2) выполнено
(N3)и е У, р(у) = 0=фу=0.
Учитывая (N1), условие (N3) можно записать в виде
veV, р(у) = 0Ффу = 0»
Норму на V обычно обозначают через || • ||и или || • ||. Нормированным векторным пространством называется векторное пространство с заданной на нем нормой. Расстояние между двумя элементами и и у нормированного векторного пространства определяется по формуле
d(и, у) = || у —• и\\.
Открытым шаром радиуса г с центром в точке и называется множество элементов у ее У, таких, что
d (и, у) < г.
В нормированном векторном пространстве топологию определяет система открытых множеств, каждое из которых является объединением открытых шаров, причем всякая окрестность точки ueV есть множество, содержащее открытый шар ненулевого радиуса с центром в точке и. Понятие сходимости следующее: последовательность уп сходится к у при п->оо, если
lim I' ул —- у || = 0;
такая сходимость называется сильной (в отличие от других понятий сходимости, которые будут введены далее).
Напомним, что последовательностью Коши в пространстве V (рассматриваемом в сильной топологии) является последовательность ип, которая удовлетворяет условию
Уе > О BN (s), такой, что 1tn, п> N (е) =И вт — Е < 8- /
Векторное нормированное пространство называется полным, если всякая последовательность Коши этого пространства сходится в нем (к элементу этого пространства).
Определение 1.1. Полное нормированное векторное пространство называется банаховым пространством.
Пример 1.1. Пространства R^ и Сп (действительное и комплексное ^-мерные пространства).
Пусть х = (xb *.. х^ е Rn. Положим
известно, что пространство Rn с определенной таким образом нормой полно.
Тот же самый факт имеет место для пространства Сп с нормой
х = (хь ... х„)е С", ■
/ пV/2■
1И1= 2|хЛ .
V=1)
Пример 1.2. Обозначим через % ([0, 1]) пространство вепре рывных функций на замкнутом отрезке [0, 1] со значениями в С.
Определим в У норму
1411 = sup ШЧ1-(1.1)
х е [0, 1]
(Читателю предлагается проверить, что условия (Nl), (N2), (N3) выполнены.) Покажем, что это пространство полно. Пусть („ — некоторая последовательность Коши в У; тогда
Ve > О 3W (е), такой, что 1п, т> N(ie^^fn — fm\\<e. /
Из определения нормы следует, что
Уе > О HN (е), гакой, что1
п, т > N (8)=^| /„(х) — fm(x) j< е Vx е [0, 1]. J ^'^
Поэтому для каждого х числовая последовательность fn(x) является последовательностью Коши. Следовательно, существует число, обозначаемое f(x), такое, что
lim fn(x) = f(x).
П-^оо
Переходя в (1.2) к пределу при т->оо, получим:
Vs > 0 ЗУ(е), такой, что1
—НЧ1<е Ухе [0, 1]. J
Таким образом, / является равномерным пределом функций, непрерывных на [0, 1]. Отсюда следует, что f непрерывна; значит, feV и V полно. Следовательно, пространство ^[О, 1] с нормой, заданной формулой (1.1), является банаховым пространством.
Пример 1.3. Пусть р удовлетворяет условию 1 < р < + оо. Обозначим через 1Р пространство последовательностей а = = (а0, «1, ..., ак, ...) элементов Л, таких, что
S I ак \р < + оо. £s=0
Покажем, что
/ оо\1/р
ll«!lP=Sl^H(1.3)
\^=0/
является нормой и что таким образом нормированное пространство 1Р является полным пространством.
Легко проверить, что если а, belp, то a-Vbelp. Соотношение (NI) также выполнено. Для того чтобы проверить соотношение (N2), докажем сначала две леммы.
Лемма 1.1. Пусть а, р > 0, р>1,Тогда
а * 6^Ь . Р Р
^Достаточно положить у — а • р^о-р) и показать, что минимум функции —У достигается при y=lj
Лемма 1.2. (Неравенство Гёльдера.)
Если а е lp, be 1Р\ то
р=0
Доказательство. Положим
В силу леммы 1.1 имеем
1°Л1 < К1р , iw'II а ||р. || 6 ||р, p-klg p'A\b^- '
Отсюда, суммируя по к, получаем
у I акЧ I /1 । А = 1
^ II а Ир1II b ||р' р р' '
Убедимся теперь, что выполняется соотношение (N2). Если а, b е 1Р, то
II# + ь |Г = 2 I ak 4* ^й |р ^ 2 I ак 4- ь^ |р 4 ай 14" р й=0к=0
4- 2 I 1Р 1 4 bk |. 6=0
Полагая с^ = | ak 4- Ьь |р-1, имеем с е 1Р', так как
(
со\Up'/ 00М/р'
2 1«б4-Мр-1,р'= 2 1^4-^f=\\a-Vb\\pip'.
6=0/\к=0/
Далее, дважды используя лемму 1.1, получаем
II а 4- b ||р < || с ||р, || а ||р + II с ||р, || b ||р < || а 4- b \fp' (|| а ||р +1| b ||р), откуда
1|а + 6||р<||а||р4-||6|1Р.(1.5)
(Это так называемое неравенство Минковского.)
Покажем теперь, что 1Р — полное пространство. Пусть ап = ^, ..., а^, ...) —некоторая последовательность Коши в 1Р, Тогда имеем:
Ve > 0 3^ (е), такой, что 1
т > N (е)=^||ап — от|| < в. /^‘^
При фиксированном k числовая последовательность а^ является последовательностью Коши. Следовательно, существует число а^, такое, что
lim а^ = ак,П-> ОО
Далее (1.6) можно записать в виде
Vs > О ЗУ (е), такой, что '
m > М (е) =Ф 2 I а-1 ~ а*ь К < ^р.
к^ 11
В частности, если q обозначает некоторое целое положительное число, то
Vs > О 3N (s), такой, что ’
q•
т > N (s) =Ф 2 I " аТ Г < s^
Переходя к пределу при т->оо и затем при д->оо, получим
п > N (е) => 2 I а-ъ Г < &Р> откуда имеем
аг 1Р,'
Пт ап = а в 1Р. ‘
П-^со■
Следовательно, пространство 1Р с нормой, определенной по формуле (1.3), является банаховым пространством. ■
Пример 1.3'. Случай пространств 1Р с р = \, р = Л-°°. Для а е I1 имеем
II a Hi = 5 I а* I-
Если яеГ и последовательность ак ограничена, то полагаем 11^1100= sup \аь\.
k=0, . . ., ОО .
Легко проверяется, что пространства Z1 и /°° с только что введенными нормами являются банаховыми.
Пример 1.4. Пространства Lp (й) (или £р(й)); 1^р< + °°< Здесь й означает некоторое открытое множество в Rn. Элемент множества й обозначается х = (х1? ..., хп\ Мы скажем, что функция /е//(й), если f измерима и
J | f(x) \р dx = j | f (xb ..., x„) \p dxx ... dxn<-Voo
QU
(интеграл понимается в смысле Лебега). Положим
HflLp,Q =ПиМ1Р^Т/Р-(1-7)
\Q/
Можно показать, что таким образом нормированное £/(Й) является банаховым пространством, й
Введем еще несколько классических понятий и определений. Пусть в банаховом пространстве V определены две нормы, которые обозначим соответственно || • || и ||| • |||. Предположим, что имеет место
«II у IK III у ИКРНуЦ Vy^y.
где а и р —два фиксированных числа, которые удовлетворяют неравенству
О < а ^р < 4-00.
В этих условиях окрестность любой точки не изменяется; следовательно, топологии, связанные с этими двумя нормами, одни и тс же. Такие нормы называются эквивалентными.
Нетрудно проверить, что замкнутое векторное подпространство пространства Банаха снова будет пространством Банаха. Аналогичные выводы справедливы для произведения (конечного) банаховых пространств и для факторпространства банахова пространства по замкнутому подпространству.
Определение 1.2. Подмножество V банахова пространства V плотно в У, если
Ми eV, Vs > 0 3^^^, такой, что || м — у || < в.
Эквивалентным образом можно сказать, что У плотно в К, если
Ми eV ЭъпеУ, такая, что \imen = u в V.
п->оо
Определение 1.3. Говорят, что пространство V — сепарабельное, если оно содержит плотное и счетное подмножество.
Двойственность. Слабая непрерывность
Рассмотрим пространство линейных и непрерывных операторов. Пусть V и Q —два нормированных векторных пространства. Напомним, что оператор А называется линейным оператором, действующим из V в Q, если
А (и 4- у) = Аи 4- Ае Ми, е eV,
А(Хи) = ХАиV и eV, VA е А.
Оператор А называется непрерывным, если
ип—>и и V^>Aun->Au в О при м->оо.
Принимая во внимание линейность оператора, для его непрерывности достаточна его непрерывность в начале координат, т. е. достаточно выполнения условия:
Vs > О HN, такое, что \\u\\v^N^\\Au\\Q<e.
Если a eV, v =^ 0, тогда jj^|<:jV, откуда
1|Ло||<-^-||о|| Vo.
Итак, линейный оператор непрерывен тогда и только тогда, когда существует фиксированная константа М, 0 ^ М < + со, такая, что
II Ду ||q < М || у ||7 У у е V.
В таком случае положим
II Ау ||п
Принимая во внимание линейность, достаточно рассмотреть верхнюю грань на шаре единичного радиуса: ||у||^1.
Легко проверяется, что || Л || является нормой на пространстве линейных непрерывных операторов, действующих из V в Q.
Определение 2.1. Пространство $У, Q) — пространство линейных непрерывных операторов, действующих из V в Q, с нормой (2Л).
Предложение 2.1. Если V — нормированное векторное пространство, Q —банахово пространство, то $ (У, Q) — банахово пространство.
Доказательство. Пусть Ап — некоторая последовательность Коши в 9? У, Q). По определению
У 8 > 0 3^(8), такой, что )
rn > N (е) =$>|| Л„ — Лот || < е, J^’^
что приводит к
п, m > N (е)|1 (Л„ - Лт) у ||<е|| и ||.(2.2)'
Поэтому последовательность Апх) является последовательностью Коши в полном пространстве Q. Обозначим через Ас предел Апс. В силу линейности Ап оператор А также линеен. Переходя к пределу при m ~> оо в (2.2), получим
/г>^(8)^||Лпу-Лу||<8||у||.(2.3)
Следовательно, для достаточно большого п
I! Ас || < || Ди - Апс || +1! Апс (| < в || с || +|| Ап |||| у ||;
но в силу (2.2) ||Л/г||^у < + 00• Итак, оператор А непрерывен. Линейность А очевидна; следовательно, А е S7 (V, Q). В силу (2.3) имеем
У8 > О 3N (s), такое, что 1n>N^^\\An-A\\<e. )
Следовательно, НшД^ = Д в $У, Q).
Предложение 2.2. Пусть V — нормированное векторное пространство, Q — банахово пространство, последовательность Ап г ^^(У, Q). Предположим, что:
Апс сходится при п—>оо ^е^Т, V — плотное подмножество в У;
и) II Л„||<с < 4- °° Vn.
Тогда
Апу сходится при и-»оо Vy е V.
jj) полагая Лу = Игл Лгау, имеем Ле 3 (V, Q).
Доказательство. Пусть v е У. Имеем:
|| Л„у — Ату || < II Л„У — Anq || + || Anq — Amq || +1| Amq — Ату || <
< с II У — q II + II A^q — Amq || + с || у — q || V? ее 7.
Можно выбрать q е Т тзк^ образом, чтобы Цу — q\\ была произвольно малой. Можно далее выбрать п и т достаточно большими, чтобы Anq — Amq было произвольно мало (так как Anq сходится!). Это означает, что последовательность Апс является последовательностью Коши. Так как Q полно, Апс сходится при п-^оо. Положим
Ас = lim Апс.
П-»оо
Ясно, что А — линейный оператор, действующий из V в Q. Более того,
.|| Ау ||= lim || Апу ||,
П —^ оо и так как
||Л„у|Ю1|у||, получим
|| Ло 1ЮII о ||.
Следовательно, Ае5(7, Q).
Определение 2.2. Пусть У — нормированное векторное пространство над Л. Сильным сопряженным (топологическим) называется пространство 3 (У, Л) и обозначается через У7.
Иначе говоря, элемент из V'— это линейная непрерывная форма на У. В дальнейшем будут приняты обозначения: значение формы L в точке у будет обозначаться через Lc, L(c) или (L, у); кроме того, положим (см. (2.1))
l|Z-ll = sup-LM.,(2.1)'
О €3 у У II у v О
Следствие 2.1. Пространство, сопряженное к нормированному векторному пространству, является банаховым. Фактически речь идет о частном случае предложения 2.1, где Q = R или С. В
Пример 2.1. Пусть р таково, что 1^р< + оо, и пусть р' связано с р равенством 1/р + XI р' = 1. Покажем, что
(ipY = lp\
Первый случай: 1 < р < + со. Пусть ек) к = 1, 2, — канонический базис в пространстве 1Р:
ек = ^ ..., О, 1, 0, ...),)
находится на ^-м месте. J
Если а = (аь ..., аь ...), то можно написать, что п
а = lira S «а • ек.
п-»оо ^=1
Пусть теперь f^^y. Положим bk = tkeuY получим: п f(a) = lim ^ak-bk.
П-^оо ^=1
Введем теперь С” е Г следующим образом:
сп = ^,
0, если bt = 0,
С? = l^f1 --Др если W0, 0, если i > п;
(С" — конечная последовательность, следовательно, С" г 1ру Мы
имеем
|cN = (|Z?dP'"1’ 1</<rt’-
1 l 0,i > п,
1 1 lo, i > n,
откуда
Ucn)=ii\bif, is=l
( n\Цр In\l/p
IIC”||P= SiMp'"1)p = 2l^lp' •
V=1/\i=l/
Тогда соотношение | / (Сп) |^||/|| • || С" [| запишется следующим об-
разом:
n[ n\l/p
2l^ip'<llHl- SlMp' .
1=1\i=l/
Откуда, упрощая при помощи равенства 1/р4-1/р' = 1, имеем:
/ n\llpz
v=l/
Из полученного неравенства следует, что b — (b^ b2, ...)elp и II b |lfP' < || f И(;Ру.
Обратно, пусть b е 1Р'. Тогда Va е 1Р имеем в силу неравенства Гёльдера
нА <MZP-IIHZP'.
Можно определить f е ЦРУ равенством
f(efe) = 6fe,и предыдущее неравенство приводит кllfllW<l|6IA
Итак, можно отождествить элемент f из (1РУ и элемент b из 1Р'.
Второй случай-. р=Х. Пусть feCPy. Положим теперь
( ууу, если bi #=0 и если I = п,
0 в других случаях;
имеем
I|C"IIZ-<1. J
Соотношение |/(Сп) |^||/1| • ||СП|| приводит теперь к
AKIlfll Vn.
Следовательно, b г I”. Обратно, каждому ЬеГ можно поставить в соответствие / е (Z1/.
Таким образом, можно отождествить ФУ и V”.
Заметим следующее:
(р'У = р (1 <р < + °°)>
Мы видели, что (Р)' = Iм, но не верно, что (1”У = Iх.
Пример 2.2. Можно доказать, что пространство, сопряженное к Lp^, есть Lp (Q), где 1 ^р < + оо, 1/р + \)р' = 1.
Поскольку векторное пространство V' является нормированным векторным пространством, можно определить его сопряженное пространство, которое обозначается через V" и называется вторым сопряженным к И.
Определение 2.3. Последовательность о„ слабо сходится к о при п-> оо, если
lim о,(и„) = v^v) Vv' eV'.
П->оо
Следующее обозначение будет удобным для выражения слабой сходимости:
х)п->х) при п->оо
(мы будем говорить иногда: уп сходится кив слабой топологии пространства V\
Заметим следующее: если х)п сходится ков сильной топологии пространства У (т. е. Нш|| оп — о ||7 = 0), тогда vn сходится П-> оо
к о и в слабой топологии (доказательство очевидно). Обратное, вообще говоря, не верно. Однако можно проверить, что в случае конечномерных пространств обе топологии совпадают.
3. Теорема Хана—Банаха
Аналитическая форма теоремы
Определение 3.1. Сублинейной формой на линейном действительном векторном пространстве Й называется отображение р из V в R, удовлетворяющее условиям
р(Лу) = Л-р(у) V^eR+, Vye7,
р(и + v)^p(u) + р(у) V«, и eV.
Полунорма является частным случаем сублинейной формы.
В действительном случае говорят, что линейная форма f на V мажорируется функцией р, если
f(y)<p(y) Vo е V.
Теорема 3.1 (действительный случай). Пусть
V — векторное пространство над R, р — сублинейная функция на V, М — векторное подпространство пространства V, f — линейная форма на М.
Предполагается, что / мажорируется формой р на М.
Утверждение
Существует линейная форма g на V, мажорируемая р, которая продолжает f (т. е. f(y) = g-(y) VoeM).
Доказательство. Обозначим через Р множество пар (/г, Я), где Н — векторное подпространство пространства V, содержащее М, и h — линейная форма на Н, мажорируемая р и продолжающая f. Одна такая пара есть (f, А4), следовательно, Р не пусто. Ясно, что Р индуктивно по отношению к упорядочению
( Н с Н',
{h, Н) < (/г', Н') ^ .,,
'* х 1'( h продолжает h.
Следовательно, по теореме Цорна!), Р содержит по крайней мере один максимальный элемент, который обозначим через ^g, G). Достаточно показать, что G=V. Предположим, что G^V, тогда существует w ^ V, w ф G. Обозначим через Gx множество элементов вида у + Xw, у G, X е R, и положим
gi(u + M = gi(«) + a-^I
т. е. Gj продолжает G, g^ продолжает g. Следовательно, если мы сможем выбрать а таким образом, чтобы gt мажорировалась функцией р, мы получим противоречие с тем результатом, что (g, G) — максимальный элемент. Покажем, что такое а существует. Для того чтобы gj мажорировалось функцией р, необходимо и достаточно, чтобы
g (у) + ей < р (у + Xw) My^G, WeR.
Если X > 0, то после деления на X и принимая во внимание сублинейность, это неравенство записывается ^следующим образом:
g (и) + а ^ р (и + w) VueG.
Если же X < 0, то после деления на —- X получим
g (и) — а ^ р (и — w) Vu^ G.
Мы должны, следовательно, выбрать такое а, что
g (и) — р (и — w) ^ а ^ р (и + w) — g (и) Ми е G.
Такой выбор возможен, так как
g (и) + g (у) = g (и + у) < р (м 4- у)< р (u — w) + р (у + w), откуда
g(u) — р(и — to) ^ р (у + w) — g-(y) V», yeG,
и, следовательно,
sup (g («) — р (и —w^X inf (р (« + w) — g («)). и e Gи e Q
Теорема 3.2 (обший случай). Пусть
V — векторное пространство над R или С,
р — полунорма на У,
М — векторное подпространство пространства У,
/ — линейная форма на М;
предполагается, что р мажорирует f на М в следующем смысле:
I fW \ ^pW Vv е М.
!) См., например, Данфорд Н. и Шварц Дж., Линейные операторы. Общая теория, ИЛ, М., 1962. — Прим, перев.
Утверждение,
Существует линейная форма g на V, которая продолжает f и мажорируется полунормой р на V:
fW = gW lg(v)Kp(c) VueV.
Доказательство. Действительный случай непосредственно выводится из теоремы 3.1.
Рассмотрим комплексный случай. Можно записать f(v) в виде/ (у) = fi (у) + zf2 (у), |fi (у) G R, f2(y)eR. J
Так как f(zy) = if (у), то'
/г(У) = — h(M 1fi(y) = + f2(^), i
и, следовательно, f можно записать следующим образом: f(y) = f, (у) — ifi (iv).
Имеем
1Л(у)1 = И(у)Кр(у) Х/иеМ.
Следовательно, ft мажорируется полунормой р на М. Можно в таком случае использовать теорему 3.1. Исходя из элементов fb р и пространств У и М (рассматриваемых как векторные пространства над R), получаем, что существует линейная форма gb такая, что
51 (у) = fi (у) VyeM, gi(o)<p(o) \/у е У.
Положим
g (у) = Я1 (у) — igt <М-
Так как gi(v) = fi (у) Vy е М, то получим
5(y) = f(y) ЧуеМ.
Более того, положив
g(y) = peie, р^О, имеем
P=l g(v) \ = g (e-^uf = g^e-^v") = igv fie-^yy,
но p e R, следовательно,
P=l g(y) 1==^1(е-г6У),
и так как р мажорирует линейную форму gb то
I g (у) I = 51 (е-геу) < р f.e-^yf = р (у).
Для завершения доказательства остается лишь проверить, что форма g линейна, ж
Некоторые следствия
Следствие 3.1.
Пусть М — векторное подпространство нормированного векторного пространства У. Пусть nV е Mz; тогда существует с' е Vz, такой, что
vz(v) = mz(v) VveM, 1
11^11 = 11 mH.J
Доказательство. Линейная непрерывная форма о->т'(у), определенная на М, удовлетворяет неравенству
I m,(y)KIIт'||-|М.
Если определить
р(у) = 11 т'ИЧМ,
то условия теоремы 3.2 оказываются выполненными. Следовательно, существует линейная форма с', определенная на V, которая удовлетворяет соотношениям
cz (и) ~ nV (v) VoeM,| xV^ К || nV || -II у || Ууе V.
Значит, vzeVz и || ^11^11 т1|. Но ясно, что И^Ц^ЦтЦ, откуда получаем соотношения (3.1).
Следствие 3.2. Пусть V — нормированное векторное пространство, w е У, w =/= о. Тогда существует форма с' е У', удовлетворяющая условию
(3.2)(3.2)11^11=1,X)Z (йУ) =|| W ||.
(3.2)
(3.2)
Доказательство. Положим М = R • w = {m \m = Xw, X е R} и nV ^nV = X • || w ||, если m = Xw. Следовательно, имеем ||m1|=l и nV (^) = ||^||. Для завершения доказательства остается лишь применить следствие 3.1.
Следствие 3.3. Если У — нормированное векторное пространство и x)z^ = 0 Vt/еУ', тогда ^ = 0.
Доказательство. Согласно следствию (3.2), если w =£= 0, то существует у^У7, удовлетворяющий (3.2), откуда 11^11 = 0, поскольку по предположению у'(^) = 0 ^uz е V'.
Следствие 3.4. Пусть У — нормированное векторное пространство, Л40 — замкнутое подпространство пространства V. Пусть w е У и w ^ Мо. Тогда существует cz е У', удовлетворяющий
y'(mo) = O VmoeAlo, 1
(Умножая х/ на некоторый скаляр, можно добиться, чтобы
Доказательство. Отметим сразу, что ш ^= О, так как иначе w е Мо. Положим
d = inf || w — m0||.
ГПо G Mo
Так как w ^ Mo и Mo замкнуто, то d > 0. Обозначим через M подпространство, порожденное w и Ма:
M^m = Xw-V т0> Л е R, mQ е М^
В случае Л ^= 0 имеем
А // ^0 W
Ш = Х ( 22/ — (~ ,
\\Л //
и, следовательно,
||m|| = |Z|-|w-(^)|>|Ab d.(3.4)
Определим теперь линейную форму mz, положив
т' (т) = Х • d.
Сразу получим
nV ^ = d =^ 05|
mz(mo) = O ^т0^М0. J^’^
Более того,
| т'^ М Ad |<|| AN • -^ <||Xw ||,
так как d ^|| w — 0|| = || w ||. Если А ^ 0, то в силу (3.4)
| т'(т) | = | т'(Xw + т0) |=| X |d^||m||.
Резюмируя изложенное выше, получаем, что т удовлетворяет (3.5) и
| т'(т) |^|| т|| ^тгМ.(3.6)
Чтобы найти и', удовлетворяющее (3.3), достаточно использовать следствие 3.1.
Следствие 3.5. Пусть V — векторное нормированное пространство. Если V' сепарабельно, тогда и V сепарабельно.
Доказательство. Пусть о'п, п = \, 2, ..., — последовательность, плотная в единичном шаре пространства V',
Напомним, что если o'eV', то
110'11= sup | и'(и) |,
11 с ||=1
и, следовательно, Ve > О Зу е У, такой, что
1Ы1=1,|
(1 — е)||у'||<| у'(у) |. j
В частности, для 8 = 4 Зу е У, такой, что
1М=1,ylly'll^l у'(у) 1- .
Следовательно, можно подобрать последовательность уп, такую, что
Н^||=1,
у II V« IKI У'п(Уп) I- .
Обозначим через М замкнутое подпространство, порожденное у„. Оно сепарабельно по построению. Покажем, что М V. Если М N= V, то существует w е V, w ^ М, и, согласно предыдущему следствию, существует у' е V', такой, что
IKH-i,'
| у' ^ | #= 0,1
у'(т) = 0 ^теМ. ■ В частности, уЧу^ = ^ Vn, откуда
И^1 уп(Уп) К! У»(Уп) — «Чу») 1 + 1 уЧу^ I,
т. е.
■^IK IKIK ~ °'H Vr.
Можно выбрать у'п таким образом, что lim II у'п — у'|| = О,
поскольку предполагалось, что последовательность у'п g V' плотна в шаре единичного радиуса. Следовательно, соотношение ||у'||=1, последние неравенство и равенство противоречат друг другу, из чего заключаем, что Н = V.
Дополнительные сведения для геометрической формы теоремы Хана — Банаха
Пусть / — линейная форма на векторном пространстве 17. Напомним, что ядро N формы f определено следующим образом:
N = {у 1 у е У, / (у) = 0).
Заметим, что две линейные формы, которые отличаются друг от друга лишь умножением на константу, имеют одно и то же ядро.
Предположим, что форма не равна тождественно нулю. Следовательно, существует w s У, такой, что f(w)=L Пусть и — некоторый элемент из 17. Положим
П = С — f(v)w.
Имеем
=— f (у)= о.
Следовательно, n^N. Таким образом, каждый элемент уеУ представим в виде
у = Л^+^, ^R, n^N.(3.7)
(Можно проверить, что это представление единственно.) В таком случае говорят, что коразмерность подпространства N есть 1. Наоборот, пусть N —■ подпространство пространства У коразмерности 1. Покажем, что оно является ядром некоторой линейной формы f. По определению имеет место представление (3.7), которое в силу единственности может быть записано в виде
У =Лу • W + Пу.
Положим
f(o) = ^.
Тогда имеем
f (тг) = 0 Mn^N, >
и ясно, что отображение y->f(y) линейно. Следовательно, искомый результат получен.
Определение 3.2. Гиперплоскость — это ядро некоторой ненулевой линейной формы (или, согласно предыдущему, подпространство коразмерности 1). Афинная гиперплоскость — это подмножество вида и Ц- N, где и — элемент из У и N — гиперплоскость. Можно показать, что если f — линейная форма на У, as R, то множество
Н = ^\f(v) = a, у s У}
является афинной гиперплоскостью. Обратно, каждой афинной гиперплоскости можно поставить в соответствие пару f, а (определенную с точностью до умножения на константу). Будем говорить, что f(y) = a есть уравнение гиперплоскости (афинной).
Говорят, что два множества Л и В из У разделены гиперплоскостью f(y)=a, если А (соответственно В) находится в полупространстве [у|у s У, f(y)^a} и В (соответственно Л) — в полупространстве (y|ysy, f(y)^a}. Если As{y|ysy, f(y)>a}, а В с{у|у еУ, f (у) < а} (т. е. неравенства строгие), то говорят^ что Л и В строго разделены гиперплоскостью.
Определение 3.3. Пусть V — векторное пространство, А — подмножество из V, we А. Говорят, что w является ^-внутренней [) точкой подмножества А, если У у е V Эе > 0, такое, что wA~bc еА Vd: | д | < е.
Определение 3.4. Пусть А — выпуклое множество векторного пространства V. Предположим, что 0 есть ^-внутренняя точка А. Калибровочной функцией множества А называется функция из V в R, определенная следующим образом:
p(y) = inf^, Л ^ R+, такое, что се ХА.
[Напомним, что А выпукло, если Va, be A, Убе [О, 1] имеем 6^ + (1 - 6)6e/L] Поскольку 0 является с-внутренней точкой А, множество таких X не пусто и, следовательно, р(у) определена. Более того, нетрудно показать, что
p(y)>0 ^ceV,
р^ = 0, р(у)<1 ^еА,р^>\ Уу^Д.
Геометрическая форма теоремы
Предложение 3.1. Калибровочная функция выпуклого множества А векторного пространства У является сублинейной функцией на У (предполагается, что 0 есть у-внутренняя точка Д).
Доказательство. Надо показать, что
р^ = Хр^ y^eR+ Уу^У, 1р (и + у) ^ р (и) + р (у) ^и, v eV. /
Первое соотношение очевидно; проверим второе. Пусть 8 > О, ^о > р(у) ^^о8> Хх> р^^Хх-~ г. Точки и принадле
жат А, и так как А выпукло, то точка ;—гч- ^о(Е-| + МтМ], Ао + Ai L и \ Ло /\ Ai /J
т. е. —гг-("+0)) принадлежит А. Следовательно, Ло *Т Л1
и -j- У ЕЕ {Xq Д- А-j) А и
р (и + у) ^ ^о + ^1 ^ р (и) + р (у) + 2е.
Так как е—произвольное положительное число, искомый результат получен.
!) В оригинале для этого понятия используется слово Jnterne". — Прим, перев.
Следствие 3.6. Пусть У — векторное пространство, А — выпуклое множество, имеющее 0 в качестве у-внутренней точки, и — точка, не являющаяся у-внутренней точкой А. Тогда
Р («)>1.
Доказательство. Так как и не является у-внутренней точкой, то существуют у и е > 0, такие, что
О <д<е=Ф^ + дУ А.
Принимая во внимание (3.8), получаем
р(и + ди) > 1.
Но из сублинейности р вытекает, что
К р (и + ду)< Р W + др (у).
Так как д можно брать произвольно малым, получаем искомый результат.
Теорема 3.3. Пусть
V — векторное пространство над R,
N и М — два выпуклые множества из У, такие, что:
М содержит по крайней мере одну у-внутреннюю точку,
N не содержит никакой у-внутренней точки из М*
Утверждение.
Существует гиперплоскость (афинная) Я, которая разделяет М и N.
Доказательство. Можно предполагать, что 0 есть с-внутренняя точка М (общий случай может быть сведен к данному сдвигом всего пространства). Пусть w^N; положим
А = w -V М — N
(Л, следовательно, является множеством элементов вида w + tn — п> m^ М, neNY
Первый шаг. Покажем следующее:
О является у-внутренней точкой Л, 1w не является у-внутренней точкой А. /
Заметим, что А содержит М, следовательно, 0 является с- внутренней точкой А. Если бы w была у-внутренней точкой Л, переносом получили бы, что 0 является у-внутренней точкой для М — М, что приводит к противоречию. В самом деле, пусть у#=0, тогда еу е 7И — Я для достаточно малых е, откуда
ev = m — n, m^M, n^N, т. е.
п + 8У m
"14-814-8*
Если у г N, то в силу выпуклости ” ^^ е N. С другой стороны, так как М выпукло и 0 является с-внутренней точкой М, можно проверить, что ——8^0, является с-внутреннеи точ- кой М. Окончательно ” +еу находится в N и является с-внут- ренней точкой М, что противоречит предположению.
Второй шаг. Пусть р — калибровочная функция множества Л, w не является внутренней точкой этого множества. В силу следствия 3.6
р И>1.(3.9)
Всегда можно найти линейную форму f, определенную на множестве Rw = ^и\х)— Xw, Л е R}, такую, что
f И = р(®).
Тогда для Л ^ 0:
f (Xw) = Xf (w) = Хр (^) ===== р (Xw), и для X < 0
f (Xw) = Xf (w) ^ 0 ^ р (Xw).
Следовательно, на Rny
f(y)<p(y).
Используя аналитическую форму теоремы Хана — Банаха, можно продолжить f на все пространство: существует линейная форма F, определенная на V и удовлетворяющая условию
F(v) = f(y) Vv^Rw, 1
Е(у)<р(у) VyeV. J(3'10)
Отсюда, в частности, следует:
F (w -|- m — n) ^ p (w + m — n\ me M, neN, и, так как w -\- m — n e А, имеем
F (w + m — n) ^ 1 ;
из чего заключаем, что
FH + EH-E^Xl или
р (да) + F (m) — F (ti) ^ 1.
Принимая во внимание (3.9), получим
F(m)<F(n) >imeM, VneN.
Для завершения доказательства достаточно выбрать а, такое, чтоsup F (m) ^ а ^ inf F (и).
темneN
Следствие 3.7. Пусть
И — векторное нормированное пространство над R,
М и N — выпуклые множества из У, такие, что:
М имеет по крайней мере одну внутреннюю точку,
N не содержит никакой с-внутренней точки из М.
Утверждение. Можно найти FeVz (топологически сопряженное пространству V) и а е R, такие, что
F (m) < а ^ F (п) Ут еМ, Ут N, 1
W1 <3JI>
Доказательство. Достаточно показать, что F е У'. Мы знаем, что Л включает в себя множество М, которое содержит шар В радиусом г с центром в 0 (если 0 — внутренняя точка Му Следовательно, имеем
p(D^ = inf Х^ infу г ХАу гКВг
Х>0Х>0
что дает вместе с (3.10)
F (у) ^ Р (у) ^ -^ Vue У.
Отсюда заключаем, что F г V'.
Следствие 3.8. Пусть
V — нормированное векторное пространство над R,
N — выпуклое замкнутое подмножество в V, mV и u^N.
Утверждение. Можно найти Fe F' и а е R, такие, что
F (и) < а ^ F (п) ^mN, ]
До.}<3J2)
Доказательство. Существует шар М с центром в и радиусом г > 0, который не пересекается с N (поскольку N замкнуто и и ф N). Элемент и является внутренней точкой в М. Из следствия 3.7 вытекает (3.11). Достаточно показать, что F(u)<a. Так
Следова-Следова-как F ^ 0, существует точка 2, такая, что F(z) = L
Следова-
Следова-
2 ^ а, откуда2 ^ а, откудательно, и 4- j^- z е М и F (и + ^
2 ^ а, откуда
2 ^ а, откуда
F (ц) ^ а — гF (ц) ^ а — гF(^F(^= а= аа.а.
F (ц) ^ а — г
F (ц) ^ а — г
F(^
F(^
= а
= а
а.
а.
Следствие 3.9. Пусть V — нормированное векторное простран- ство на^; R, М — выпуклое подмножество в V. Если N сильно замкнуто, то оно также слабо замкнуто, и наоборот.
Доказательство. Докажем только не очевидный факт, что из сильной замкнутости следует слабая. Предположим, что N сильно замкнуто. Пусть ип, п = 1, 2, ..., —последовательность, слабо сходящаяся к и при п->оо. Покажем, что ueN. Если и ^ N, то существует пара F, a, F е V' и а е R, такая, что
F (у) ^ a Vo е Н,
F (и) > а и, в частности, F^u^^a Чп, F (и) > а.
Следовательно, невозможно выполнение равенства
lim F (ип)~ F(u),
П-^оо
что противоречит и^-^и. Следовательно, u^N и N слабо замкнуто.
4. Рефлексивность. Слабая компактность. Слабая* сходимость
Мы покажем, что существует некоторое каноническое „про- должение“ / из V в У". Более точно: имеет место
Теорема 4.1. Существует оператор 7, действующий из V в У", обладающий следующими свойствами:
/ — линейный, непрерывный, инъективный, II/уIk=11»II/ My^v.
Доказательство. Пусть дано у из V. Рассмотрим отображение у'->уДу), где у' — некоторый элемент из V'. Имеем
k^kiM/ - и ик
Следовательно, у' -> у' (у) — линейная непрерывная форма на V'. Обозначим через /у эту форму. По определению
/у (o') = уДу\
Ясно, что у-^/у — линейное отображение из У в V". Более того,
имеемимеем|| 7 У Ik = SUp -у-гй— < sup o'e/' II у II/' у'е/'|| 7 У Ik = SUp -у-гй— < sup o'e/' II у II/' у'е/'II У II/ 1 II У II/'II У'II/'II У II/ 1 II У II/'II У'II/'II У II/.II У II/.
имеем
имеем
|| 7 У Ik = SUp -у-гй— < sup o'e/' II у II/' у'е/'
|| 7 У Ik = SUp -у-гй— < sup o'e/' II у II/' у'е/'
II У II/ 1 II У II/'II У'II/'
II У II/ 1 II У II/'II У'II/'
II У II/.
II У II/.
С другой стороны, в силу следствия 3.2 из теоремы Хана — Банаха существует и' е V', такое, что
ll«'ll/'=l, 1
и'(у) =|| У ц. J
Следовательно,
мт— .up
V' S у/ II V Цу'и ||у/
т. е.
II /у 1к = П у II/.
Предположим, что 7у = 0. Тогда предыдущее соотношение приводит к у = 0. ■
Таким образом, можно идентифицировать V с подпространством IV из V", где IV обозначает множество, состоящее из элементов /у, у е V.
Определение 4.1. Говорят, что V рефлексивно, если IV = Vzz словами, если можно идентифицировать V и VZZY
Предложение 4.1. Пусть V — рефлексивное банахово пространство. Тогда Vz — также рефлексивное банахово пространство.
Доказательство. Так же как мы идентифицировали V и Vz\ можно идентифицировать Vz и Vzzz, следовательно, Vz рефлексивно.
Предложение 4.2. Пусть V — рефлексивное банахово пространство. Тогда всякое его замкнутое подпространство М рефлексивно.
Доказательство. Пусть М — замкнутое подпространство пространства V.
Первый шаг. Если у' е Vz, обозначим через у' сужение *ог на М\
*oz (m) = vf (m^ Vm^M.
Ясно, что m-> у'(m) — линейное непрерывное отображение на Мв
Второй шаг. Пусть mzz е Mzz. Тогда отображение az mzz (vz)
является линейной непрерывной формой на Vz, поскольку оно составлено из линейных и непрерывных отображений x)z~>i)z~> -> mzz (у'). Следовательно, существует у^еУ7, такое, что
у//(у/) = mzz (vzY
а так как JV = VZZ, существует m е V, такой, что
cz (m) = mzz (uz).(4.2)
Третий шаг. Покажем, что m е Л4. В самом деле, в противном случае в силу следствия В.4 из теоремы Хана — Банаха нашлось бы uz, такое, что
uz е Vz, uz ^пг) ^ 0, uz (п) = 0 Mm М.
Следовательно, в частности, z/™-0. Тогда, выбирая в (4.2) vz = uz> получим
Оuz (m) = mzz (^z) = т,/ (0) = 0.
Четвертый шаг. Так как т^М, имеем
t>z (т) = ОЦт), и равенство (4.2) принимает вид
uz (m) = mzz (6Z),УгУ e V.
Но, согласно следствию 3.1 из теоремы Хана—Банаха, всякая форма nV е Mz может быть продолжена до некоторой формы x)f ^VS такой, что т' = х/. Следовательно,
тЦт^=== rnzz (jnz),Mmz ^ М'.
Таким образом, любой элемент тУ из M,z можно идентифицировать с некоторым элементом т из М. Следовательно, М рефлексивно.
Очень важным свойством рефлексивных пространств является следующее свойство.
Теорема 4.2. Если У — рефлексивное банахово пространство, то из всякой ограниченной последовательности в У можно выделить подпоследовательность, слабо сходящуюся к элементу из У. (Этот результат иногда формулируют следующим образом: единичный шар рефлексивного банахова пространства слабо (секвенциально) компактен.)
Доказательство. Пусть cn^V, ||tUl^c< 00 Vn. Покажем, что существуют элемент и е У и подпоследовательность ит выделенная из последовательности о„, такие, что
ип сходится слабо к и^У.
Пусть М т- векторное подпространство в У, порожденное элементами с^. Оно сепарабельно по построению. Кроме того, оно рефлексивно, поскольку всякое замкнутое подпространство рефлексивного пространства рефлексивно (предложение 4.2). Следовательно, второе сопряженное пространство МУ сепарабельно и, наконец, Mz сепарабельно, так как сепарабельно его сопряженное (следствие 3.5). Пусть и'^ m= 1, 2, ..., —последовательность, плотная в шаре единичного радиуса в Mz. Исходя из uzm и и^, мы построим искомую подпоследовательность диагональным процессом. Имеем
№)1<К1ЫЫ1<«К1-
Следовательно, числовая последовательность п-*и'х (yj ограничена. Из нее можно выделить сходящуюся подпоследовательность. Это сводится к выделению подпоследовательности из последовательности у„:
и'х^х^ сходится в A (R или С) при и-*со. (4.3)!
Аналогично
Выбирая подпоследовательность у2, „ из подпоследовательности у!]Я, имеем
и2(у2 и) сходится в Л при п->оо.(4.3)2
Продолжая описанную процедуру, после р-го шага получим:
«р (ур „) сходится в Л при п-»оо.(4.3)р
Положим
Uq — Uq,q-
По построению uq принадлежит всем подпоследовательностям {Ур.га, и=1, 2, ...}, таким, что p^q. Следовательно, если мы выберем некоторое произвольное р и зафиксируем его, то
Up(»9) сходится в Л при </-^оо.
Определим и", полагаяи" е М",^ = U' kUq) ^и' е
Известно, что имеет место соотношение (см. теорему 4.1)
Следовательно,
и" (Ир) сходится в Л при q->oo;
последовательность и', р=\, 2, ..., плотна в шаре единичного радиуса из A'F;
Согласно предложению 2.2, последовательность и" (и') сходится
Vm' е М', и, кроме того, если и" определено равенством u"(X) = lim ^(^Т д->оо
то и'-> и" (и') — непрерывная линейная форма на М\ следовательно, и" г М/\ Пусть и -- элемент из М, такой, что
и" (и'} = и^ (и) ^и' г М\
(Такой элемент и существует и единствен, так как М рефлексивно.) Следовательно,
и7 (и) = и77 (и7) = lim u7q (и7) = lim и7 (uq) У и7 е М7, ' q->ooq->oo•
U^M, Uq^M.-
Пусть теперь х)7 г. V7 и uz —сужение х)7 на М. Так как и, uq^NU то
X)7 ^ — X)7 (и),
v4uq)=t>4uq), а из равенства
vz (w) = lim a7 (uq)qследует
х)7 (и) = lim х)7 (tiq) Mx)7 е V7.q
Определение 4.2. Пусть V —- нормированное векторное пространство, пусть V7 — его сопряженное пространство. Слабая топология V7 определяется следующим образом: мы скажем, что последовательность v7n е V7 сходится при п->оо к х)7 ^V7 в слабой* топологии V7, если
lim x4 (v) = х/ (у) Уу е VП->оо
[будем говорить также, что и'п сходится слабо* к у' при п->оо, и обозначать: Уп -^ уД Следует отметить, что слабая сходимость в V' означает следующее: у'п -> у', если
lim у" (v'n) — v" (и') Уу" е V".
Следовательно, слабая сходимость в V7 использует элементы из И", в то время как слабая5- сходимость использует элементы из V. Однако если V рефлексивно, то V = V", и эти два понятия совпадают. Они различаются, например, в случае
V = LX и ¥'=!", так как V * V".
Теорема 4.3. Пусть V — сепарабельное нормированное векторное пространство. Тогда из каждой последовательности, ограниченной в V', можно выделить подпоследовательность, сходящуюся слабо* к некоторому элементу из V'.
Доказательство. Пусть у„ — ограниченная последовательность в V':
II у» IK С,и пусть vm — последовательность, плотная в единичном шаре(она существует, так как V сепарабельно). Диагональным про-
цессом (см. доказательство предыдущей теоремы) получаем после-довательность ^ = ^^, которая обладает следующим свойством:и^Ур^ сходится при ^->оо, Ур.
Полагая
и'^р) = Hm Uq (фр),(4.4)
q->oo имеем
I u^Up) | —lim| uq(vp) |,.
q и так как
I и'^ К1|ур II, то
I иЧир) КII уРЦ.
Кроме того,
и' (Ур + у») = и' (Ур) + и' ^yq\и' (аУр) = аг/ (ур).
Поскольку последовательность ур плотна в шаре единичного радиуса из V, то можно определить по непрерывности и'(у) Уу е V, и окончательно и' г V'. Принимая во внимание (4.4), получим
и'(v) = lim uq (у) УуеУ.
q->oo
Докажем теперь утверждение, которое будет постоянно использоваться в дальнейшем.
Предложение 4.3. Пусть V — рефлексивное банахово пространство. Пусть и^ т=\, 2, последовательность элементов из V. Предположим, что
имеет только одну слабоимеет только одну слабоWumW^c <-V оо Ут, последовательность и} предельную точку и.
имеет только одну слабо
имеет только одну слабо
Тогда последовательность ит слабо сходится к и при т->4-оо.
Доказательство. Предположим, что ит нс сходится к и. Тогда существуют подпоследовательность ит' последовательности ит и элемент f е V\ такие, что последовательность (f; ит^ не сходится к (f; и). [Символ (;) означает двойственность между V и V'.] Следовательно, можно найти е > О, /еГ и подпоследовательность Ums такие, что
I (f; tw — ит} | > 8 > О Ут.
Но так как последовательность tw ограничена, а V рефлексивно, можно выделить такую подпоследовательность и^^ которая сходится слабо к некоторому элементу из V. По предположению
этим элементом может быть только и, следовательно, lim (f; Um" — ^) = О, что противоречит предыдущим неравенствам, я
Аналогично, используя теорему 4.3, получим
Предложение 4.4. Пусть V — сепарабельное банахово пространство. Пусть ит, m = 1, 2, ..., — последовательность элементов из V. Предположим, что
II ит || < с < + оо Vm, последовательность ит имеет только одну слабо* предельную точку.
Тогда
эта последовательность сходится слабо* к и при т-> + °°-
Практически предложение 4.3 можно использовать, например, следующим образом: из последовательности ит е У', II ит || с < + оо Vm выделяем подпоследовательность, которая сходится к элементу и. Показываем, что и не зависит от подпоследовательности (потому что, например, и является единственным решением некоторой задачи). Таким образом, условия предложения 4.3 оказываются выполненными. Я
ГИЛЬБЕРТОВЫ ПРОСТРАНСТВА
Мы переходим к изучению банаховых пространств, обладающих специальными свойствами.
Определения и элементарные свойства
Определение 1.1. Пусть V — векторное пространство над полем Л (R или С). Отображение f из V X V в Л является эрмитовой формой в комплексном случае (симметричной в действительном случае), если она удовлетворяет следующим соотношениям:
f(«j+MH(«b»),]
Ци, 01 + а2) = Ж »1) + Ж Ж J
f ^и, у) = Л • f (и, V), 1
Ци, Xv) = Х • Ци, у), j
Ж о) = Ж и\
(Заметим, что второе и четвертое соотношения выводятся из трех оставшихся.)
Если f ~ эрмитова форма, легко получаются следующие соотношения.
Случай А = R:
4/(м, у) = /(и + у, » + у) — Ци — у, и —у).(1.1)
Случай А = С:
4/(и, у) =f (и + у, и + у) — f (и — у, и — у) +
+ if (и + /у , и + zy) — if (« — io, и — iv). (1.1)' Определение 1.2.
Эрмитова форма называется положительной, если
Vy е V имеем f(y, у)^0.
И) Эрмитова форма называется положительно определенной, если
Vy eV имеем Цо, у)^0, |
/(у, у) = 0=>у = 0. J
■ Предложение 1.1. Если f — положительная эрмитова форма из V X V в А, то имеет место неравенство Коши—Шварца
| f (и, у) |2^ f (и, м) • f (у, у) Ми, у е V.(1.2)
Доказательство. Если /(м, у) = 0, то неравенство (1.2) следует из того, что Ци, uf^O. Предположим, что Ци, у) =# 0, и положим
n Ци, у)
I f (и, У) | •
Имеем, в частности, для всех действительных Я
f(0M + Xy; Su-\-Wj>Q или
ё-е-ж ы) + л-ё-ж у) + л-о.ж, uf-v^-W. »)>о,
что по определению 6 приводит к
Ци, иН^МШ, у)| + Л2/(у, у)>0 VAeR.
Если Ци, у) = 0, предыдущее неравенство влечет за собой Ци, у) = 0, т. е. случай уже изученный.
Если f(y, у) > 0, то условие неположительности дискриминанта квадратного трехчлена относительно X совпадает с (1.2).
Определение 1.3. Скалярным произведением на V называется положительно определенная эрмитова форма из У X И в А.
Будем обозначать скалярное произведение следующим образом: (и, у), ((«, у)), (и, оЦ, . . .
Пусть (и, у) — скалярное произведение. Положим
II и II = (и, и)'\(1.3)
Отсюда сразу вытекают следующие свойства:
II «11^0,'
||w|| = 0=^m = 0, •
М = |Л|-||»||. •
Покажем, что
11« + у||<11ы|1 + 1|у||.
Имеем
IIи + о||2 = (и + у, и + у) = 11 и|р + (и, у) + (у, u) + IIуII2 =
= 11WIP + 2 Re(«, у) + 1|у|р.
Используя неравенство Коши — Шварца, получим 1|и+у|Р<Ци||2 + 1|у||2 + 2||й|М|ц|| , отсюда следует, что
||ы + у1К11м|1 + 11у II.
Предложение 1.2. Отображение »->||м||, определенное по формуле (1.3), является нормой на V.
Заметим, что неравенство Коши — Шварца можно записать в следующем виде:
К», у) КН «II-II У II Vu.oeV.(1.2/
Таким образом, наличие скалярного произведения позволяет ввести в векторном пространстве норму, порожденную скалярным произведением. Обратное в общем случае неверно: норма в векторном пространстве, вообще говоря, не определяется некоторым скалярным произведением.
Можно показать, что необходимое и достаточное условие того, чтобы норма определялась некоторым скалярным произведением, имеет вид
(1.4)(1.5)(1.5/(1.4)(1.5)(1.5/|| и + у |Р +1| и — у ||2 = 2|| м |р + 2|| у |р Ми, y^V.
(1.4)
(1.5)
(1.5/
(1.4)
(1.5)
(1.5/
Скалярным произведением в этом случае является
(и, у) = J {II и + У ||2 — II и — У Ц2},
если А = R,.
или
(и, у) = ^ (II и + у н2 — II и — VII2 + /|| и + z'y IP — Z|| и — iy II2}, если Л = С.
Определение 1.4. Полное векторное пространство с заданным в нем скалярным произведением называется гильбертовым пространством. (Пространство полно в топологии, порожденной нормой, которая определена скалярным произведением.)
Гильбертово пространство, следовательно, является частным случаем банахова пространства.
Пример 1.1. Гильбертово пространство R".
Если ^ = (хь ..., xj, у — (уъ уп), то полагаем
(*. Укп = 2 xtyt.
R Z=1
Имеем
хуг= 2 ^ .(1.6)
\z=l /
Можно проверить, что R^ — гильбертово пространство.
Пример 1.2. Гильбертово пространство Р.
Напомним, что и s Р, если и = ^иХ) иъ ...), и^ К и 2 I ^z Р
Z=1 ограничена. Положим
(и, и)^2 = 2 Wz ‘ Оц(1-7)
Это равенство имеет смысл, так как S I «z Р и S I У/ Р ограни- Z=1Z=1
чены. Легко проверяется, что (1.7) действительно определяет скалярное произведение. В § 1 было показано, что /2 полно в норме
(1.8)
е. в норме, определяемой скалярным произведением.
Пример 1.3. Гильбертово пространство L2(0, 1). Если и, ueL2(0, 1), полагаем
(1.9)
и
(1.Ю)
В пространстве С ([0,1]) (непрерывные функции на [0, 1] со значениями в Л) (1.9) также определяет скалярное произведение. Но пространство не полно в норме, определяемой этим скалярным произведением.
Определение 1.5. В гильбертовом пространстве V два элемента и и о называются ортогональными, если (и, и)у = 0.
Заметим, что
(и, и) = 0 =ф|| и ± О II2 = II и |р + IIУ IP.(1.10)'
Действительно,
||и±и|р = (и±у, и + у) = || ы ||2 ± (и, у)±(у, ы) + 1|У |Р = ||ы|Р + Цу ||2.
Проекция в гильбертовом пространстве
Проекция на выпуклое замкнутое непустое подмножество
Теорема 2.1. Пусть К — выпуклое замкнутое непустое подмножество гильбертова пространства V над полем Л (R или С). Пусть mV и d = inf || и — и ||. Тогда существует единственный
элемент w К, такой, что
й = ||и~Н-(2.1)
Доказательство. Будем доказывать теорему в случае, когда z/ = 0. Пусть ип, n=V 2, ..., —последовательность, такая, что
ип^Д, п-= 1, 2, ..., 1
lim || ип || = d.I
П->со'
Так как К выпукло, то “2™_^zl ^ /< и, следовательно,
||-^Ц-^|>^, V», m.
Однако из соотношения (1.4) имеем
II um - ип IP = 2 (II ип IP + II Um IP) - II ип + um IP < 2(II un IP + II um IP) - 4d2.
Устремляя и и m к + oo, получим
lim || и„ — zzm || = 0.
n, m-^oo
Следовательно, un, n=X, 2, является последовательностью Коши. Так как V полно и /( замкнуто, существует w г К, такое, что = lim um
П->оо
ll®|| = lim||«„|| = d.
Проверим единственность w. Предположим, что
wb w2^ К, 1
IIWY || = || ®2ll = d. J
Тогда
^<|-^Ц^|< 4 ii ^in-^n^iMd.
Следовательно,
II + ^2 II2—
И
II wx — w2 IP = 2 (II wx IP + II w2 IP) — II wx + w2 IP = 0,
отсюда следует, что wx = w2.
Определение 2.1. В обозначениях теоремы 2.1 элемент w называется проекцией и на К. Иногда используют следующее обозначение:
w = Ри.
Теорема 2.2 (характеристические свойства проекции).
Следующие три соотношения эквивалентны:
w е К,II и — w |К|| и — у ||Х/уеД,
we К,Ке(ы — w, у — ш)< 0Х/уеК,
we К,Р,й^и — у, w — v)'^-QХ/иеД.
Прежде чем доказывать теорему, заметим, что если w удовлетворяет одному из этих соотношений, то выполнено первое и, следовательно, w совпадает с проекцией и на К.
Доказательство. Мы будем доказывать теорему в действительном случае (A = R).
(1)=^(П). Пусть у е К. Тогда (1—6)су + 6у — ® + 6(у—су) е К для 6 е [0, 1] и ||н — су |Р^|| и — (су + 9(о — су)) |р, или
|| и — су ||2 ^ || и — w |р — 26 (u — w, у — су) + В21| у — су |р.
Следовательно,
2(н —су, и — су)^ ВЦ у — су |р Х/уеК, V0, В е [0, 1].
Устремляя В к нулю, получаем (II).
(П)=^(Ш). Если (u — w, v — w)^.O, то
(и — У + У — СУ, о — су) ^ 0, т. е.
(и — у, у — су) +1| у — су |р ^ 0.
Отсюда следует (III).
(Ш)=ф(1). Пусть у е К. Тогда су + В (о—су) е К V6 е [0, 1] и (и — (су + 6 (у — су)); су — (су + В (у — су))) ^0 V8 е [0, 1].
После элементарных упрощений приходим к
6II У — СУ |р ^ (и — СУ, У — w).
При 9™>0 получим
(u — w, у — w) ^ О, т. е.
(и — w, у — и + и — w)^0,
\\и — w^^^u — w, и — и).
Используя неравенство Коши — Шварца, имеем
ll^ — ^IKi!^ —у ||. и
Получим теперь два других соотношения, имеющих место для проекции на замкнутое выпуклое множество. Даны и, у g V и обозначим через Ри и Ру проекции этих элементов на К* Следовательно, имеем
Re (и — Ри, k — Ри)^ О V^^K, 1
Re(y — Py, к-Ру^О Мк^Д. 1
Выберем к —Ре, затем к —Ри и, складывая почленно эти два неравенства, получим
Re [(и — Ри, Ру — Ри) + (v — Ру, Ри — Ру)") ^ О, т. е.
Re и + Ри + у — Ру, Ри — Ру) ^ 0.
Окончательно имеем
|| Ри - Ру ||2 < Re (Ри -Ру, и- у).(2.2)
Отсюда в силу неравенства Коши — Шварца следует, что
\\Ри-Ру\\<Д\и--у\\,(2.3)
т. е. проектирование является сжатием. и
Следствие 2.1. Пусть К —выпуклое подмножество в гильбертовом пространстве V (действительном или комплексном). Тогда необходимым и достаточным условием сильной замкнутости К является его слабая замкнутость.
Доказательство.
Предположим, что К слабо замкнуто. Пусть ипЕК, п = 1,2 ..., такова, что Иш ип = и в сильной топологии. Покажем, что и е К» П->оо
В самом деле, тогда Нт ип = и в слабой топологии и, следова- П->оо
тельно, в силу слабой замкнутости К иг К.
Предположим, что К сильно замкнуто. Пусть ип г К, п=\, 2такая, что lira ип = и (в слабой топологии). Пока-
П-^оо
жем, что и г К. Прежде всего заметим, что отображение о -*(и, ш)
линейно по определению и непрерывно в силу неравенства Коши — Шварца. Следовательно, если и^-^и, то
lim ^ип, w) — (u, w) ^weV.
П->оо
Поскольку К сильно замкнуто, то определен оператор проектирования Р, и для ^ип имеем
Re (и — Ри, ип -— Ри) ^ 0.
Так как ип^и, то, переходя к пределу при п—>оо, получаем
Re ku — Ри, и — Ри) ^ 0.
Следовательно, и = Ри и и ^ К. S
Проекция на замкнутое векторное подпространство
Ограничимся изучением действительного случая.
Определение 2.2 Пусть М — замкнутое векторное подпространство гильбертова пространства V. Тогда М1 есть множество элементов из V, ортогональных всем элементам из М:
M^^lweV, (w, у) = 0 VugM).
Пусть Р — оператор проектирования из К на М. Приведем соотношение (II):
Ри еМ, (и — Ри, v — Ри) < 0 У у ^ М.
Но элемент у представим в виде у = ± ф + Ри, ф е М. Отсюда получаем, что
(и — Ри, ± ф)<0 Уф е М
и, следовательно,
(и — Ри, ф) = 0 УфеМ
Известно, что (II) определяет проекцию и что элемент Ри единствен. Следовательно, УиеУ существует один и только один элемент из М, такой, что
^и — w, ф) — 0 Уф е М.
Этот элемент является проекцией и на М. Предыдущее соотношение показывает, что
u — w^M1 или и — Ри^М1.
Обратно, если и — w^M1, то w = Pu. Это означает, что можно каждый элемент и е V представить в виде
у = т + ^1> m^M,(2.4)
и это представление единственно. Можно записать (2.4) в форме и = Ри + Qu,(2.4/
где Q — проекция на М\ Можно также проверить, что (М1) = М.
Теорема 2.3. Пусть М — векторное замкнутое подпространство гильбертова пространства V, Р — оператор проектирования, действующий из V на М. Тогда Р является линейным непрерывным оператором, таким, что
(2.5)(2.5)Р = Р%
(2.5)
(2.5)
(Ри, у) —(и, Pv) \fu, о eV.
Обратно, всякий оператор Р е 3 (V, V), удовлетворяющий (2.5), является оператором проектирования, действующим из V на PV.
Доказательство. Нетрудно проверить, что Р линеен. Непрерывность следует из того, что Р является оператором сжатия. Очевидно, Р = Р2. Более того, обозначая через Q проекцию на М1, получаем
(Ри, v) = (Pu, Ри -|- Qv) — (Pu, Pv) = (Ри-\- Qu, Ри) —(и, Ри).
Обратно, положим M = PV. Так как Р линеен и непрерывен, то М является векторным подпространством V. Покажем, что иеМ^и = Ри.(2.6)
В самом де не, если и е М, то по определению существует о eV, такой, что и = Ри, и в силу (2.5) получаем
и — Ро — РРо — Ри.(2.7)
Если vm е V и Pom->w при пг-»оо, то в силу непрерывности Р имеем
PPom^ Pw при m->oo, т. е.
Pvm->Pw, при пг-><х>.
Следовательно, М замкнуто. Пусть Р — проекция из V на М и Q' — проекция из V на М1. Покажем, что Р = Р.
Если и е М, то в силу (2.7) имеем у = Ру и у = Ру. Следовательно, Ру =Ру.
Если у е М1, то Ру = 0. Более того, в силу (2.5) (Ру, Ру) —(у, Ру) = (у, Ру) = 0, так как у е М1, РуеМ. Следовательно, Ру = 0 и Ру = Ру. Если у е V, то у представим в виде v = Py-\-Qy и используем оба предыдущих случая.
Можно сформулировать аналогичную теорему, заменяя (2.5) на
Р = Р\ 1
IIЛ <1. )(2,5/
Ортогональные семейства в гильбертовом пространстве
Ортогонализация Шмидта
Определение 3.1. Семейство элементов и^ Ае/, гильбертова пространства V является ортонормированным, если
( 0, если A V,
' к' к*х ( 1, если А = А, где / — множество индексов. Заметим, что иг линейно независимы. В самом деле, если
2 а.их =0, то
2 Oi4,„ 4 = 0 = а/, / = 1, .... п.
Предложение 3.L Каждой последовательности иь .,., ип линейно независимых элементов из V можно поставить в соответствие последовательность ортонормированных элементов wXl ..., wn.
Доказательство. Положим
^1 = ^1,
Уп + 1Ч.АА 2л || у ||2
Покажем по индукции, что 4ип существуют и ортогональны. Предположим, что 4, г = 1, ..., п, ортогональны и не равны нулю, что всегда выполняется при п=\. Тогда vn+v существует. Более того,
(у»+ь У/)==(н„+1, у/)- ^’^ 11^И2 = 0, /=1, п.
Следовательно, х)и /= 1, ..., пД- 1, ортогональны. Предположим, кроме того, что on+i = 0. Тогда
п
^ + 1Zj II у. ip yi
чточто3.2.3.2.противоречит линейной независимости щ. Следовательно, 0. Остается лишь положить
что
что
3.2.
3.2.
" И II
Строение гильбертова пространства
Определение 3.2. Семейство их, Хе!, гильбертова пространства V является тотальным (или полным) в V, если
(о, uJ = 0 )
Пусть IF — векторное подпространство, порожденное их> пусть W — его замыкание в V, Р и Q — операторы проектирования на W и на IF1. Имеем Уу е F
у = Ру + Qy,
и по построению
(Qy, щ) = 0 MX^L
Следовательно, Qy = 0 и
у™ Ру Уу е V,
т. е. V = W, или, иначе говоря, подпространство, порожденное некоторым полным семейством, плотно в V. Используя эту терминологию, мы можем сказать, что пространство сепарабельно, если оно содержит счетное полное семейство.
Предложение 3.2. Если в гильбертовом пространстве V содержится полное и счетное семейство ип, п = 1, 2, ..., то в нем также содержится семейство wn, п=\> 2, ..., —полное, ортонормированное и счетное.
Доказательство. Можно предположить, что ип, п=\, 2, ..., линейно независимы. Тогда построим wn с помощью процесса 3.1 и покажем, что
(у, w^ "О Мп^у = 0.
Действительно, если (у, ^) = 05 то (у, оп) = 0, п=1,2, .... Соотношение (3.1) приводит к равенствам: (у, ^) = 0, п=\, 2, ..., откуда следует, что у = 0. ■
Используя теорему Цорна, можно показать, что всякое гильбертово пространство {содержащее по крайней мере один ненулевой элемент) содержит полное ортонормированное семейство.
3.3. Равенство Парсеваля
Предположим, что V сепарабельно. Следовательно, существует полное ортонормированное семейство wn, п= 1, 2, .... Пусть u^Ve5 поскольку пространство, порожденное wn, плотно в И,
элемент и можно приблизить последовательностью и =^anw , тт п
где лишь конечное число коэффициентов а^ отлично от нуля. Отсюда следует, что проекция Рти из и на подпространство, порожденное wx, ..., wm, сходится к и при т->оо. Положим
Ри.
тт п
Согласно характеристическому свойству (II)' проекции, имеем
(и — Рти, Wj) — Q, /=1, ..., т.
Отсюда следует, что
т. е.
ат = («- ®/)>т’
и, следовательно, т
Рти = 5 (и, wn) • wn.(3.2)
п=1
Более того, имеем
т
II Pm« IP = S I («, О Г-(3.3)
Так как Рти->и при т->оо, приходим к
Нт || Рти ||2 = || и |Р,
т. е. справедливо равенство
Sl(«, ®„)P=HIP,(3.4)
п=\
называемое равенством Парсеваля. Итак, доказана
Теорема 3.1. Последовательность wb ..., wn полна в гильбертовом пространстве V, если для любого и eV, определив Рти по формуле
Рти = S («.
имеем
lim || Рти — и |р = От-»оо
И
II«II2 = SI (и, WnX р.
П=1
Теорема о представлении Рисса. Рефлексивность
Теорема 4.1. Пусть V — гильбертово пространство, L — непрерывная линейная форма на V (L ^V'). Тогда существует единственный элемент uL^V, такой, что
Ыо) = (о, nJ Му eV, 1
Ш1Г=1К11Г J'
Обратно, каждый элемент и eV определяет линейную непрерывную форму Lu, такую, что
L„(y) = (у, и) Му е V и
Доказательство.
Единственность uL. Если L(y) = (y, «J = (y, и^ Му, то
(у, И] — и^ = 0 Ми и, следовательно,
«1 — и2 = 0.
Существование uL. Можно считать, что L ф 0. Обозначим через У ядро L: M = (y|yeV, L(y) = 0}. Это замкнутая гиперплоскость, и размерность ЛН равна 1. Пусть weN1. Положим
Имеем:
если yeN, то А(у) = (у, uL) = 0;
если у е N1 или у = Xw, то
L (у) = XL lw\
(у, u^ = X^w, ^^ w\ = MAyi>Y
' и \ II w||2/ х '
Отсюда следует, что
L(y) = (y, и^.
Если у eV, достаточно разложить у на yN-V yNi, чтобы получить
L(y) = (y, uL\
Более того,
IIL ||F = sup | L (у) | = sup | (у, u^ I < sup || у IHJ uL [KU uL ||, D t>U<lII у !К1ЫК1
l|L|| z= sup |L(y)|= ^(-Лч-) =(пД"’ «£)=11«4И-
Следовательно, l| L [ф/|| Ul lip»
Обратное очевидно. Ц
Пусть \н — пространство, сопряженное к V. Теорема Рисса устанавливает взаимно однозначное соответствие между V и V\ которое сохраняет нормы. Таким образом, можно отождествить V и У' как абстрактные пространства, но не как векторные пространства, так как соответствие u->Lu антилинейно1). Действительно, так как
LKu (у) = (^, Хи) = X (v, и) = X • Lu (у) Vv е У.
Однако можно отождествить У и V", т. е. теорема Рисса показывает, что
каждое гильбертово пространство рефлексивно.
В гильбертовом пространстве понятие слабой сходимости определяется следующим образом:
и^-^и при п-> оо^{иП) o)->{u, о) Vv^y при п->оо.
Так как гильбертово пространство рефлексивно, можно использовать теорему о слабой компактности (теорема 4.2 § 1).
Если || ип || с < + оо, п = 1, 2, ..., то существуют и е У и подпоследовательность ип„ такие, что
ип,-^и при tV->-V°°*
Полубилинейные формы
Определение 5.1. i) Полубилинейной формой на гильбертовом пространстве У называется отображение и, о->а(и, v) из УХУ в Л (Л = R и С). Это отображение линейно по и и антилинейно по с.
Полубилинейная непрерывная форма на У — это полубилинейная форма, которая удовлетворяет неравенству
\а(и, 0|<М>||и||Ч|У|| Чи, v,(5.1)
где константа М не зависит от и и V,
Примером полубилинейной непрерывной формы является скалярное произведение.
Каждой полубилинейной непрерывной форме можно поставить в соответствие оператор Де^(У, У) и обратно. В самом деле, пусть а (и, с) — полубилинейная форма. Так как отображение о~>а{и,х)) антилинейно и непрерывно, существует по теореме Рисса элемент Аи е У, такой, что
а (и, v) = (Au, v) Vv.(5.2)
9 Отображение и —> Lu называется антилинейным, если L (их + и^) = = Lux + Lu^, и L {Хи) = XLu> где X — число, сопряженное к Л. — Прим, ред»
Так как отображение и-^а^а, v) линейно, то линейно и отображение и->Аи. Аналогично можно показать, что оператор А непрерывен. Следовательно, А г ^(У, У). Обратно, если А^.$ (У, У), то ясно, что и, v->^Au, у) является полубилинейной непрерывной формой.
Пусть и, v -> а (и, у) —* полубилинейная непрерывная форма, тогда можно определить второй оператор, полагая
а (и, ^ = ^и, Л'у) Viz.(5.3)
Действительно, так как и-^а^и, и) линейно и непрерывно, то существует А*хз е У, удовлетворяющий равенству (5.3). Можно проверить, что А* е $ (У, У). Итак, если А е $ (У, У), то А определяет форму (Аи, у), которая порождает оператор А*^^^, У), такой, что
^Аи, с) = (и, A*v) Ми, v.(5.4)
Определение 5.2. i) Если A^$^V, У), то оператор А*, определенный по формуле (5.4), называется сопряженным оператором к А;
если Ле^(У, У) и А* — А, то оператор А называется самосопряженным;
ш) если Ле^(У, У) и А*А = АА*, то оператор А называется нормальным.
Определение 5.3. Полубилинейная форма а (и, у) на У называется коэрцитивной !) (эллиптической) на У, если
Re a (v, v) ^а|| у Ц V^ey,(5.5)
где константа а не зависит от у и а >0.
Теорема 5.1 (Лакс — Мильграм)2). Пусть У — гильбертово пространство на A (A = R или С); пусть и v-*a(u, у) — полубилинейная непрерывная и коэрцитивная форма на У. Эта форма определяет оператор А е $ (У, У), имеющий обратный А”1 е $ (У, У).
Доказательство. Доказательство проведем в действительном случае. Из предположения непрерывности и коэрцитивности следует, что
| а (и, у) К М • || и || * || v || Viz, у е У,(5.6)
а (у, с) >а|| v ||2 W е У; а > 0.(5.7)
Оператор А определен равенством
(Au, v) = a (и, и) Vv е У.(5.8)
J) В советской литературе для обозначения этого свойства используется термин положительная определенность (см. Михлин [3]). — Прим. ред.
Подставляя и = Аи в (5.8), получаем
II АиЦ2 = а(и, Au)<M-||u|M|Au||,
из чего заключаем, что
|]Au||<M.||u||, т. е.
MIKAL(5.9)
Подставляя о = и в (5,8), получаем
(Аи, и)~а (и, и).
Отсюда следует, что
|| Аи ||.Ц и || > а || и ||2, т. е.
||Аи||>а-||и[| VueV.(5.10)
Покажем теперь, что оператор А действует из V на V, т. е. покажем, что уравнение
Au = f
имеет по крайней мере одно решение при feV. Пусть у е R. Положим
Т^и — и — ^ (Аи — /).
Покажем, что Ту является сжимающим отображением для некоторых значений у:
\\Т^и-Т^\^ = \\и-у-ЧА(и-^\^
Положим и — v = w, тогда
|| Т^и — Туо II2 = || w—у Аф |р = || ф|| 2—у (Аф, ф)—у (ф, Аф) + у2|| Аф ||2.
Принимая во внимание (5.7) и (5.9), получим
|| Т^и - Т^у ||2 < || ф ||2 • (1 - 2уа + W)-
Если у е ] 0, 2а/М2[, то
|| Гуи - Т^у \^cY-\\u-y ||2 Ми, у е V
ису<1, причем cY минимальна при ^ = а?М2. Следовательно, выбирая у = а/М2, будем иметь наилучшее возможное сжатие.
Выберем у е ] 0, 2а/М2[. Так как TY — оператор сжатия, то по теореме о неподвижной точке существует и г V, такое, что
и = TYu.
Отсюда следует, что
и = и — у • (Аи — /) или
Au = f.
Так как в силу (5.10) это уравнение имеет лишь одно решение, то А имеет обратный оператор А"1. Принимая во внимание (5.10) и выбирая u = A"1u) получаем
[|л~М<^1М v^y.
Отсюда следует, что
(5.Н)
Замечание. Пусть f е V, и пусть для решения уравнения Au = f*
применяется следующий сходящийся итеративный метод:
(5.12)(5.12)и0 — произвольная точка в V, Um^ J^m = ит _^ ^Дит __ ^
(5.12)
(5.12)
Можно показать, что ит->и при т->оо.
Дадим теперь приложение теоремы Лакса— Мильграма и теоремы Рисса.
Следствие 5.1. Пусть V — гильбертово пространство. Пусть и, v -> а (и, и) — полубилинейная, непрерывная и коэрцитивная форма, пусть v —>L (v) — антилинейная и непрерывная форма на V. Тогда существует единственный элемент и из У, такой, что
а (и, v) = L (у) Уу е V.а (и, v) = L (у) Уу е V.(5.13)(5.13)
а (и, v) = L (у) Уу е V.
а (и, v) = L (у) Уу е V.
(5.13)
(5.13)
Доказательство. По теореме Рисса соотношение (5.13) можно записать в виде
(Ли, v) = (f, у) Vv е У,
т. е. Au = f.
По теореме Лакса — Мильграма это уравнение имеет единственное решение.
Семейство гильбертовых пространств: пространства Соболева
Дано открытое множество Q в Rn с границей Г. Элементы из Rn обозначены через х = (хь ..., х^. Пусть ф — функция, определенная в Q со значениями в R. Тогда замыкание К^ множества {а;| х е Q, ф (х) =^ 0} называется носителем ф. [Следовательно, 7<ф — наименьшее замкнутое множество, содержащее точки, где ф не равно нулю.] Напомним, что в R/z множество компактно, если оно ограничено и замкнуто.
Определение 6.1. Через S)(Q) обозначается пространство функций (р: Q->R (или С), бесконечно дифференцируемых с компактными носителями, содержащимися в Q.
Мы не будем описывать топологию пространства S)(Q). Однако заметим, что если ф eS(Q), то ф тождественно равна нулю в некоторой окрестности границы Г. Приведем пример, имеющий важное значение для дальнейшего изложения. Функция фе^)^), где
J 0, если | х | ^ 1,Ф(^) —| 6-i/(i-ixP)^ если । % |<
Лемма 6.1. 0(Q) плотно в L2(Q) (очевидно, S(Q) содержится в L2(Q)).
Предположим сначала, что fеС!(й). Положим х\ = (%ъ ..., хп\ dx\ = dx2 ... dxn. Имеем
J1kdx = /
Q
п раз
= j ... Jj ^ (х) ф (x) dxx Уфе^(й).
(»-1)разе-(*1)
Интегрируя по частям, имеем
и, так как ср равно нулю на Г, получаем 6+(xi)e+(xi)
УфВ®(Щ.
e-(xDб-(Х)
Окончательно
^а®.(6.D
QЙ
Предположим теперь, что f е С1 (й), g е С° (й) и
J g^dx= — Jf -^dx V»s0(Q).(6.2)
aа
Тогда, принимая во внимание (6.1), получим
что приводит к равенству
Итак, если регулярные функции f и g удовлетворяют (6.2), тогда g имеет производную
Обобщим этот результат. Пусть р = ^р\, ..., рп)> Pt~ целые числа, неотрицательные для /=1, ..., п. Положим
Можно проверить, что если f и g „достаточно" регулярны и если J ^rfx = (—1)|р| • Jf -Dp^dx Уфе0(Й), (6.3)
ТО g = Dpf.(6.4)
Соотношения (6.2) и (6.3), которые характеризуют дифференцирование в обычном смысле, дают возможность расширить понятие
производной. Предположим, что f и g — функции из L2^); тогда интегралы j g<p dx и j f • Dpq> dx существуют. Если условие (6.3) оа
выполнено, то мы скажем, что g является производной Dpf функции f в смысле обобщенных функций (говорят также: слабая производная) ’)• Следует заметить, что если функции „достаточно" регулярны, то производные в смысле обобщенных функций совпадают с обычными производными.
Определение 6.2. Пространство Соболева Нт^й), т^О, целое, определяется следующим образом:
iigH,;i®^ueI?№, Dpue L2^) Чр,\р\^т.
Другими словами, иеН"1^), если иеЕЧй), и существуют функции gpe.L2^), |p|^m, такие, что
J gP4dx = (— l)lPl J ?Dpq>dx Уфе^(й), аа
где gp обозначают Dp^.
Когда m = 0, H4&) = L2W
Теорема 6.1. Пространство Н™^) со скалярным произведением
((«. v))Hm (Q) =2 (Dpu, Dpu) Q(6.5)
0< | P к tn
является гильбертовым пространством.
Доказательство. Нетрудно проверить, что (6.5) является скалярным произведением. Проверим, что пространство полно в норме, определенной этим скалярным произведением. Пусть us — последовательность Коши, тогда
lim || щ — щ\?= О
S, /-> + ооГОД
ИЛИ
Ит 2 \\Dpus-Dput\L=0.
s, Z->4-oo jp)<mL
Следовательно, при фиксированном p последовательность Dpus является последовательностью Коши в L4Q). В силу полноты пространства L2(Q) для всех р, \р\^т существует точка ир е gL2(Q), такая, что
ир = lim Dpus в L2 (й),
и = limas в L2(Q) (случай р — (0, .. .,0)).^'^
S-» ОО
*) Говорят также: обобщенная производная. — Прим, ред
Достаточно показать, что up = Dpu. Тогда (6.6) повлечет за собой и^Нт^ и limws — и в Нт k^Y Имеем
S-» ОО
J Dpus-q)dx = (-V)m J us-Dp^dx M^eS^\
Переходя к пределу и принимая во внимание (6.6), получаем
J up^dx = (—1)*р^ j и • Врф dx Уф S)(Q),
отсюда следует, что up = Dpu.
Определение 6.3. Я^ (О)—замыкание 2Дй) в Нт (Q).
Отметим, что если и г ^т (й){), то, идентифицируя и со своим сужением на Q, имеем ^^Ят(й). Для ие^^Дй) определяется след ^и от и по формуле
ум = (уои, ..., Ym-1«), где
/ х д1 (и (х))
Y,«U) =—V^M хе Г;
ytu — производная порядка i от и в направлении нормали п на Г; уогг —сужение и на Г. Когда 1/еЯт(й), можно тоже определить след у^- На самом деле определение следа на Ят(й) получается продолжением по непрерывности интуитивного определения следа на пространстве ^^Y Мы не будем говорить о том, в каком пространстве лежит след \и, так как это увело бы нас слишком далеко в сторону.
Пример приложений (в действительном случае). Пусть V = ЯДй), f задана в L2(QY Положим
п
а (и, у) = ^и, и^нч^ = 2 J DtU ' Div dx + J и • у dx, t=l Qй
L (v) = J f • v dx,
Эти элементы удовлетворяют всем предположениям следствия 5.1. Следовательно, существует точка и, единственная в ЯДй), такая, что п
2 J Dtu • Dty dx + J и • у dx = | f • о dx Му еНх (Q). (6.7) z=i ааа
9 Пространство непрерывных функций, т раз непрерывно дифференцируемых. — Прим. реде
Дадим интерпретацию этого факта (формальную, так как мы будем предполагать, что все элементы регулярны!). Интегрирование по частям приводит к
Г (— Аи + ц) у dx + f 4^- * у0У do = f f • ц dx Уу e H1 (Q). vd UlLe/
йгg
Если сначала рассмотреть ys^(Q), то
J (— Au + t^ ^dx = j f • qp dx Уф e ^(Q) QQ
и, следовательно, — Au-V u = ^ в Q.(6.8)
Если теперь взять какое-то и из ЯI(Q), то, принимая во внимание (6.8), имеем
J ^ Y°u ^ = 0 Vy е нх ^ г
из чего заключаем, что
-^- = 0 на Г.(6.9)
Таким образом, когда элементы регулярны, (6.7), (6.8) и (6.9) эквивалентны; речь идет здесь о задаче Неймана. Рассматривая ту же самую задачу (6.7) в Tfo(^), мы получили бы задачу Дирихле.
Глава 2
Дополнительные сведенияо дифференцировании
Дифференцирование по Гато
Определения
Даны два банаховых пространства V и Н и оператор Л (не обязательно линейный), причем А задает некоторое отображение из V в Н.
Определение 1.1.
т-гтгizЛ (и + 0ф) — Л (а)
Пусть для и eV, ф е V, отношение 1—^ — имеет
конечный предел при 6-» О, который обозначим через А'(и, ф). Тогда А'(и, ф) называется G-дифференциалом оператора А в точке и в направлении ф [или дифференциалом Гато].
Если А'(и, ф) существует для любого q>eV, то отображение А называется G-дифференцируемым в точке и.
Если А'(и, ф) существует для каждого ф е V и оператор ф-^ЛЦы, ф) линеен и непрерывен, то этот оператор называется G-производной оператора А в точке и.
Далее будем использовать обозначение:
Л'(м, ф) = А' (.и) • ф, где
A'(u)e^(V, Н\
Заметим, что и eV, ф е V, 6 е R, А'(и, ф) е Н, и, следовательно, А' — оператор, действующий из V X V в Н.
Пример 1.1. Рассмотрим V = LP(Q?), р>1, где й — открытое множество в R”. Пусть t-* g (О — функция класса С1, такая, что
|§(01<С-П|р V^R, 1
|^(01<С-ПГ'.1
Положим
I (ы) = J g (и (х)) dx NueLp (Q).
Эта запись имеет смысл, так как
J g (и (х)) dx < J| g(u (х)) | dx < c J | и (x) |p dx < + co вaa
VugL?(Q).
Имеем
J (м + 0ф) = J g (и (х) + 6ф (х)) dx =
= J g (и (х)) dx + 6 J g' (и (х) + 0 (х) ф (х)) ф (х) dx, □g
где О<0(х)<0, если, например, 6 положительно. Отсюда
^--^---™(^ = J g' (ы (х) + 9 (х) ф (х)) ф (х) dx,
О < 0 (х) < 0..
Можно проверить, что
lim6->0lim6->0g' (и (х) + 0 (х) <р (х)) ф (х) dx = J g' (и (х)) ф (х) dx.
lim
6->0
lim
6->0
Следовательно,
7' (м, ф) — J g' (и (х)) ф (х) dx.
Определение 1.2.
/.х т-г,А' (и + Оф,— А' (и, ф)
) Пусть для и, ф, ф е И отношение ——!——
имеет конечный предел при 0->О, который обозначим через А'Цщ ф, ф). Тогда этот предел называется вторым G-дифференциалом А в точке и по направлениям ф и ф.
(И) Если А" (щ, ф, ф) существует при любых ф и ф, то отображение А дважды G-дифференцируемо в точке и.
Заметим, что в определении G-дифференциала не предполагается, что он является линейным по ф или ф. Однако легко проверить, что
Л'(и, Х<р) = ХА'(щ ф) УЛ,Агг ки, Лф, цф) = ЛцЛЛ/(w, ф, ф) УЛ, ц.
Формула конечных приращений и формула Тейлора
Изучение начнем с частного вида операторов — функционалов, т. е. 7: V->R.
Предложение 1.1. Если функционал 7: 7~>R G-дифференцируем Ми + 6ф, 9 е [0, 1] в направлении ф, то существует 0 е ]0, 1[, такое, что
J (и + ф) = 1 (и) + Jf(u + 0ф, ф).(1.1)
Доказательство. Положим / (0) = / (к-ф 0ф). Функция / определена на R со значениями в R. Ее производная равна /Чб) — — 7'(м + 6ср, ф), так как
/0\ _ ит f (6 + 6) — f (6) _ |im Z (и + Оф + бф) — / (м + 6<p) _
' V j 6->066->06
= 7'(м-ф 0ф, ф).
Следовательно, имеем
f(lW(0)+l-m 0е]О, 1[,
что по определению f совпадает с (1.1). а
Предложение 1.2. Если функционал 7: V-»R дважды G-дифференцируем Ум-ф Оф, 6 g [О, 1] в направлениях ф, ф, то существует 0 е ]0, 1[, такое, что
J (м + ф) = J (и) + Г (и, ф) + ЧД" (и + 6ф, ф, ф).(1.2)
Доказательство проведем аналогично предыдущему, заметив только, что
/"(0) = /"(и + 0ф, ф, Ф).■
Изучим теперь случай операторов. Предположим, что А действует из банахова пространства V в банахово пространство Н. Пусть g — некоторый элемент из пространства Н', сопряженного к Н. Тогда к функционалу u-^g, Аи) можно применить предыдущие результаты (символом ( , ) обозначается двойственность между Н и Н'\
Предложение 1.3. Если оператор А: V -> Н G-дифференцируем ^и + 0ф,0 g [0, 1] в направлении ф, то MgeH' существует 0 (которое зависит от g), 6 е ]0, 1[, такое, что
(g, А (и + ф)) = (g, Au) + (g, А' (и + 0ф, ф)>.(1.3)
Доказательство. Положим
U^Wg, А (м-ф Оф)).
Тогда (1.3) следует из равенства
f' (6) = <§> А' (и + 0ф, ф)).■
Аналогично можно доказать
Предложение 1.4. Если оператор A: V-*H дважды G-дифференцируем Уи + Оф, 0 е [0, 1] в направлениях ф, ф, то 'Vg^H' существует 0 (которое зависит от g), 0 е ]0, 1[, такое, что
(g, A(«-фф))=(g, Azz) + (g, АДи, ф))+4(g, А"(и+9ф, ф, ф)). (1.4)
Вообще говоря, равенство
А (и -ф ф) = А (и) -ф А' ^и -ф 0ф, ф), 0 G ]0, Ц
несправедливо в случае операторов. Исходя из предложения 1.3, получаем
Предложение 1.5. Если оператор А: V —> Н G-дифференцируем У^ + 9ф, 9е[0, 1] в направлении ф, то существует 9 е ]0, 1[, такое, что
||Л(^ + ф) — Л (&)!)#< II Л/(^ + 9ф, ф||я.(1.5)
Доказательство. По теореме Хана — Банаха существует g^H7) ||§||я, = 1, такое, что
IIА ku + ф) — А (и) ||я = (g, А ku + ф) — А ku)).
Для этого элемента g, используя формулу (1.3), получаем
(g, А (и + ф) — А (и)) = (g, ЛН^ + бф, ф)>, 9е]0, 1[.
Отсюда
II Л (и + ф) — А (и) \\н|| А7 (и + 9ф, ф) Цд-. к
Аналогично доказывается, что существует 9 е ]0, 1[, такое, что
|| А (и + ф) ~ А (и) — А' ku, ф)||я<у||Л"(Ы + 0ф, ф, ф)||я. (1.6)
Определение 1.3. Пусть / — функционал, I; У —> R, G-дифференциал Г^и, ф) линеен и непрерывен относительно ф. Тогда обозначим через grad У (и) [градиент J в точке и\ элемент из V7, такой, что
Д (и, ф) = (grad / (и), ф) Уф ^ У.(1.7)
В случае гильбертовых пространств можно будет отождествить gradJ(w) с элементом, также обозначенным grad J (и) е У, таким, что
J7(u, ф) = (grad У (w), ф) Уф & У,(1-7/
где (., .) —скалярное произведение в У.
Будем использовать также обозначения
grad / (и) = J7 (и) = G (и).
Определение 1.4. Пусть / — функционал, /: y->R, и G-дифференциал J77 (и, ф, ф) является линейным и непрерывным по ф и ф. Тогда обозначим через Н (и) оператор, действующий из У в V7, такой, что
/77(и, ф, ф) = (Я(^)ф, ф).(1.8)
Оператор Н (и) — гессиан функционала / в точке и. Будем также использовать обозначение: Н (и) = J77 (и).
Предложение 1.6. Если градиент функционала /: У ~> R существует и равномерно ограничен на выпуклом подмножестве U из У, то
I 7 (^) — / (v) | < М • || и — v ||к У и, и ^ U. (1.9)
Доказательство, В силу (1.1) имеем
11 (м)—7 (у) |=| Г (и+9 (и — и), v—«) 1=1 U' («+9 (у — и), у — и)) | < < || Р (и + е (у - и)) || • IIУ - и II < М • II и - и ||.
Используя (1.5), можно получить аналогичный результат в случае операторов.
Выпуклость и G-дифференцируемость
Предложение 1.7. Если функционал J; Е—>R G-дифференцируем в У, тогда 1) и 11) эквивалентны, Hi) и iv) эквивалентны: 1) 7 — выпуклый в V, и) 7(у)>7(ц) + 7'(н, у — и) Ми, и eV, ill) 7 — строго выпуклый в V, iv) 7 (у) > 7 (м) + 7' (к, у — и) Ми, и eV, и ф у.
Доказательство.
1)=Ф11). По предположению
(м + 9(у - «))<7 (и) + 9 (7 (у) - 7 («)), 9 е [О, I]. Отсюда
и при 9->0+ получим
Р (и, у — w) ^ 7 (у) — 7 («).
ii)=^i). Применяя два раза 11), имеем
7 (и) ^ 7 (м + 9 (у — и)) + Р (и + 9 (у — ы), и — [и -f- 6 (у — «)]), 1
7 (у) > 7 (и + 9 (у — и)) + Р (« + 9 (у — и), у — [и + 9 (у — и)]), J или
7 (w) ^ 7 (м + 9 (у — «)) — 97' (и + 9 (у — и), у — u),1
(у) ^ 7 (и + 9 (и — и)) + (1 — 9) Г (и + 6 (у — и), у — и). JУмножая эти неравенства на (1—0) и 9 и складывая, получаем(1 - 9) 7 (и) + 0/ (у)5> 7 (и + 9 (у - и^, 0 е ]0, 1 [.
Ш)=ф1у). Если и ^= у, имеем 7(и + 0(у-м))<7(«) + 9(7(у)-7(и)), 0 е ]0, 1[, отсюда
7 (у) - 7 («) >#
Но 7 — выпуклый, и, следовательно, в силу 11) имеем ни^^ь-и^-т ^г<щ v_и)>
Отсюда
7 (у) — 7 (и) > Г («, у — «) У«, у е V, и =/= у.
iv)=^iii). Аналогично ii) =^i); только в этом случае мы имеем строгие неравенства при и =# у, из чего и следует строгая выпуклость.
Предложение 1.8. Если функционал 7: y~>R дважды G-дифференцируем на У и
7" (», ф, ф) ^ О Ум, ф е У,(1.Ю)
то 7 — выпуклый на V. Если J" (и, ф, ф) > 0 Уф =# 0, Ум, то J— строго выпуклый.
Доказательство. Имеем по формуле Тейлора
J (у) = 7 (и) + Г (м, у — и) + у J" (и + 9 (v — м), у — и, у — и), I
9 е ]0, 1[.)
Вместе с (1.10) это дает, что
7 (у) ^ 7 (и) + Г (и, у — и).
Используя предложение 1.7, получаем искомый результат. Аналогичное доказательство имеет место и в случае строгой выпуклости. ■
Пример 1.2. Пусть У—-гильбертово пространство, и, у-»а(и, у)— билинейная, симметричная, непрерывная и коэрцитивная форма. Последнее свойство означает, что | а (у, и) |^= а|| у |ф У у е У; а > 0. Пусть у -*L (у) — линейная непрерывная форма на V. Полагаем
7 (ы) = -~ а (и, и) — L (и).
Имеем
Г (и, ф) = а (и, ф) — L (ф), 7" (и, ф, ф) = а (ф, ф) = а (ф, ф), отсюда
J"(u, ф, ф) = а(ф, ф)^а||ф||^ Ум, ф е У.
Таким образом, 7 («) —строго выпуклый функционал. ■
Слабая полу непрерывность снизу и G-дифференцируемость
Теорема 1.1. Если функционал 7: У-> R выпуклый и его первый G-дифференциал /'(и, ф) линеен и непрерывен по ф, то 7 слабо полунепрерывен снизу.
Доказательство. Предположим, что при п-*оо vn-^v в У слабо. Мы должны показать, что
Ит 7 (у„) > 7 (и).(un
П->ОО
Согласно предложению 1.7, имеем
J (««) > / (ы) + Г (и, vn — u) = J (и) + (Г (и), ип — и)
и, поскольку ф^/^м, ф) = (/'(«), ф) линеен и непрерывен, получаем
lim (/'(«)> ип — и) = 0,
из чего и вытекает неравенство (1.11). а
Заметим, что, согласно предложению (1.8), / будет слабо полунепрерывен снизу, когда, например,
J" (и, ср, ф)^0 Уп, ф е V
и Ф->Г(и, ф) линеен и непрерывен.
Перестановка операций дифференцирования
В очень простом случае, когда /: R2->R, мы знаем, что при некоторых предположениях регулярности имеет место
ЬЧ ЬЧ
bx by by bx 1
е. можно изменить порядок дифференцирования. Мы сейчас докажем аналогичное свойство в случае дифференцирования по Гато.
Пусть функционал /: V -> R, где V — банахово пространство. Покажем, что справедлива
Теорема 1.2. Если G-дифференциал J" (и, ф, ф) существует Уф, феГ и ^u^U, где U •— открытое множество из Г, a J" (и, ф, ф) непрерывен по и в U Уф, фе У, то
Г'(и, ф, ^ = ГДи, ф, ф) ^u^U.(1.12)
Доказательство. Будем придерживаться плана доказательства аналогичной теоремы в случае функций. Положим
Qa, р = 1ПМ + а 1 Ф + Р 1 ^) — П“ + «ф) — / (« + Р^) — / (И)]
и получим два других выражения для Qa, р. Мы будем предполагать, что и, и + сир, и + аф + РФ находятся в U. Имеем
Са,р = П« +РФ)-/(«), где
/ (о) = У (и + аф) — J (о).
По формуле конечных приращений имеем
Са.^Г^ + ^РФ- РФ)> 61^]0, 1[, или
Qa. R = /'(« + «Ф + е^ф, РФ) — J4U-V 91РФ- РФ).
Еще раз применив формулу конечных приращений, получим Qa. р = I" U + 6ФФ + 02аф, РФ, Оф), | е„ е2е]о, ц,J
или
Qa, р =(« + 01РФ + ВгОф, ф, ф), 1
91, 02^)0, 1[.J
Аналогично можно получить
Qa, р = а ' Р^" (“ + 9зРФ + 64«Ф- ф, Ф), 1
03, е4е]0, 1[./
Отсюда
/" (и + Э^ф + 92аф, ф, ф) = Г' (и + 93Рф + 94аф, фф), 1
9lt 02, 93, 64 е ]0, 1[.(
При а-»0, £->0 в силу непрерывности Г(д, ф, ф) по и получим J" (и, ф, ф) = 7//(«, ф, ф). е
Следствие 1.1. Если G-дифференциал J" (и, ф, ф) существует Уц е U, Уф, ф G У, где U — открытое множество пространства V, и он непрерывен по и, ф, ф и линеен по ф, ф, то гессиан (оператор Н (и)) симметричен.
Доказательство. По определению
J" (и, ф, ф) = (Я (м) ф, ф).
Используя (1.12), получим
(Я(ц)ф, ф) = (77 (и) ф, ф) Уф, феУ.
Замечание 1.1. Предыдущая теорема дает необходимое условие для того, чтобы оператор А: V -* V' был градиентом функционала /: V -> R. Известно, что
(grad 7(н), ф) = (С(м), ф) = 7'(м, ф) Уф g V.
Дифференцируя, получаем
(О' (м, ф), ф) = /"(и, ф, ф).
Если (1.12) имеет место, то, принимая во внимание (1.10), приходим к
(ОДи, ф), ф) = (С'(«, ф), ф).
В частности, если G'^u, ф) линейна по ф, то
(О'(и), ф, ф) = (С/(«)ф, ф) Уф, ф G I/.(1-13)
Следовательно, оператор G, который является градиентом достаточно регулярного функционала, удовлетворяет (1.13). Обратно, можно показать, что если G — оператор, действующий из У в V',
G'(п, qp) существует *^ueU, Уф ^ V, оператор ^-^G^u^ ф) линеен, (О'(и, ф), ф) непрерывен в точке и е U Уф, ф е У, (G^u, ф), ф) = ^0' (и, ф), ф) Уф, ф ^ V, то G — градиент функционала J; V -» R. Этот функционал с точностью до аддитивной постоянной определяется равенством
/(«)= J (Д («о + < (к — »о))> и —«о)^- (1-14) о
Линейность оператора ^-*А'^и, ф)
Можно доказать следующий результат 'см. Вайнберг [2]). Если Уф е У дифференциал А'(и, ф) существует в окрестности и0, и-*АЦи, ф) непрерывен в точке ий, ф->Д/(и0, ф) непрерывен в точке ф = 0, то оператор ф-»Д'(«о> ф) линеен (и непрерывен).
2. Дифференцирование по Фреше
Определения
По-прежнему обозначим через V и Н два банаховых пространства и через А — оператор, действующий из V в Н.
Определение 2.1. Пусть для и eV существует линейный непрерывный оператор, действующий из V в Н, обозначаемый ф-^-Д'(«, ф), такой, что
(2.1)
Тогда А' (и, ф) называется Е-дифференциалом оператора А в точке и. Будем также использовать обозначение
А' (и, ф) = А' (и) • ф, где
A4u)e$(V, Н^.
Оператор А'(д) является F-производной оператора А в точке и. Заметим, что (2.1) можно представить в форме
А (и + ф) = А (и) + А' («) • ф -ф || ф ||^ • е (и, ф), ] lime (и, ф) = 0.I (2-1)
ф->0j
Пример 2.1. Пусть / — функция, определенная на Rrt со значениями в R. Если х, у г Rn и / дифференцируема в обычном смысле, то
Пример 2.2. ствующий из VПример 2.2. ствующий из VЕсли А — линейный непрерывный оператор, дейв Я, то
Пример 2.2. ствующий из V
Пример 2.2. ствующий из V
А'(и, <р) ^ Аф,А" (и, ф, ф) ^0.
Пример 2.3. Как и в примере 1.2, И — гильбертово пространство, и, v->a(u, у) —билинейная симметричная непрерывная форма, у —>L (у) — линейная непрерывная форма. Положим
Л»)=|«(®- v) —L(v).
Имеем
J (м + ф) = J (и) + {«(«> ф) — Л(ф)} + уа(ф, ф),
отсюда
11 (и + ф) — 1 (и) - {а (а, ф) — L (ф)} | 1 I а (ф, т) | ^ 1 ^ м „й» Т “TFT- ^ т • И ф
[если | а (и, v) | ^ М • || и || • || и || Ми, и е V].
Следовательно,
/'(и, ф) = о(и, ф) — Л (ф), I" (и, ф, ф) = а (ф, ф).
Замечание 2.1. Классические теоремы о дифференцировании суммы, произведения, функции от функции можно распространить на случай /•'-производных.
Соотношение между F-дифференциалом и G-дифференциалом Пусть ф — фиксированный элемент из V, ф ф 0. Заменяя в (2.1) ф на Оф, получим
I! Л (м Ч-еф) — л (ы) — ел" («. Ф) [I/, лhmз—я—я~ =0
е->о6-НфНк
или
II А ки + 6ф) - А (и) - ОД' (и, ф) ця .hmё— = 0.
е->о8
Следовательно, имеет место
Лемма 2.1. Если существует /•’-дифференциал, то существует G-дифференциал, и, более того, эти два дифференциала совпадают.
Сразу отметим, что обратное неверно. Однако справедлива
Теорема 2.1. Если G-дифференциал А? ^и, ф) существует Уфе1/ и для всякого и, принадлежащего окрестности Т (w0) элемента uQ, несли ^и^Ж(и0) оператор ф->Л'(щ ф) линеен и непрерывен и Уф е V оператор и->АЧи^ ф) является непрерывным оператором, действующим из V \и^ в Я, то F-дифференциал существует. ^
Принимая во внимание определение 1.1, iii), можно сказать, что если G-производная существует и непрерывна, то F-произ- водная существует (и, само собой разумеется, совпадает с G-производной по лемме 2.1).
Глава 3
Поиск минимума функционала
Введение
Эта глава по существу посвящена приближенному решению задачи минимизации без ограничений. Решение находится построением последовательности итераций, причем для получения каждой последующей итерации необходимо минимизировать числовую функцию одной переменной. Действительно, если ит — т-я итерация, сначала определяется „направление” w^ а затем выбирается и^х^ tim —9mwm из множества элементов вида ^т Р^т-
Итак, построение каждой итерации разбивается на два этапа: выбор wm и выбор рш. Поиск wm (и, может быть, рт), возможно, потребует вычисления некоторых производных, так что будем различать несколько семейств методов.
Первое семейство. Производные не используются. Эти методы называются иногда прямыми методами. Чаще всего этими методами пользуются при решении задач в конечномерном пространстве. Они играют важную роль.
Второе семейство. Используются первые производные. Вообще, когда при движении „направо” p->um — pwm (р^О) функция стоимости убывает, тогда направление —wm называется направлением спуска, а соответствующие методы называются методами спуска. (Отметим, что первое семейство методов также входит в рамки методов спуска, однако такая терминология обычно употребляется в случае, когда используются производные.)
Третье семейство. Используются вторые производные. В действительности ниже речь будет идти главным образом о методе Ньютона.
Все элементы, введенные далее, являются действительными»
L Минимум функционала
В этом пункте будут изложены как критерии существования и единственности минимума функционала, так и примеры.
Рассматривается функционал I*. У-^R, где V означает банахово пространство. Обозначим через [/ подмножество пространства V.
Определение 1.1
Мы скажем, что /(^ — относительный минимум функционала J в U, если й е U и существует окрестность Z (и) точки й, такая, что
' Ци^Ци) N/u е U П Г W
Мы скажем, что /(^ — абсолютный минимум / в [/, если й е U и
/(£)</(u) Xfu^U.
Теорема 1.1. Пусть К — рефлексивное банахово пространство, функционал / слабо полунепрерывен снизу, U — подмножество, ограниченное и слабо замкнутое; тогда существует по крайней мере один абсолютный минимум в U.
Доказательство. Пусть / — нижняя грань множества Ци), u^U. Величина I может быть равна — оо. Пусть ^ — минимизирующая последовательность, т. е.
lim J (ип) = 1, ип^ U»
П->оо
Так как un^.U и U ограничено, последовательность ип ограничена. Так как V рефлексивно, то можно выделить подпоследовательность ип^ такую, что
UrV-^Й при П,->+°°-
Но U слабо замкнуто, следовательно, u^U. Так как I слабо полунепрерывен снизу, имеем
Цй^ ^\\га ЦиП'\
следовательно, /(й)</. Но так как / — нижняя грань Ци^ и и е U, получаем
1^ = 1.
Отсюда следует, что / конечно и /(//) — абсолютный минимум J (и) на U. В
Замечание 1.1. В случае когда V — конечномерное пространство, эта теорема означает, что каждая непрерывная функция на замкнутом ограниченном множестве достигает по крайней мере один раз своего минимума.
Теорема 1.2. Пусть У — рефлексивное банахово пространство, / слабо полунепрерывен снизу и
lim / (и) = + оо.(1.1)
ИМ -» + оо
Тогда существует по крайней мере один абсолютный минимум.
Доказательство. Пусть / — нижняя грань функционала J (и); естественно, что / < + 00• Пусть ^ — минимизирующая последовательность:
/ = lim Ци^.
П-> ОО
Покажем, что последовательность || ип || ограничена. В противном случае существовала бы подпоследовательность ип>, такая, что
Нт ||^||= + °°- Тогда предположение (1.1) влекло бы за собой п'-^оо
Ит/(^) = + оо, а значит, Z == +оо! Имеем, следовательно,
IKIKM< + °° V/1.
Таким образом, утверждение сводится к тому, чтобы показать, что J (и) имеет абсолютный минимум в шаре и = ^и \и^У? ||н||^Л1}. Этот абсолютный минимум существует в силу теоремы 1.1. В
Теорема 1.3. Пусть U — открытое множество из V.
i) Если й е U, й — относительный минимум J в U и функционал / G-дифференцируем, то
Г(щф) = 0 Уф^У.(1.2)
п) Если / — выпуклый и дифференцируемый функционал, то j) всякий локальный минимум является глобальным минимумом;
jj) соотношения (1.3) и (1.3)' эквивалентны:
Ци^Ци} VugV, й^У,(1.3)
Г (й, ф) = ОУф s У, й^У;(1-3/
jjj) если, более того, / — строго выпуклый, тогда (1.3) и (1.3)' имеют самое большее одно решение й в У.
Доказательство
По предположению
7(й)^/(н + 0ф) Уф ^ У, 9 „достаточно мало“, 9>0;
отсюда
/ (ц “У 6ф) * / (й) Q 0 Q
Переходя к пределу при Э->0, получаем
/'(й, ф) >0 Уф е У.
В частности,
/Дй, —ф) ^0, значит,
Г(д, ф) = 0 Уф е У.
И) Пусть й таково, что 1^ является локальным минимумом. Согласно i), имеем (1.2). Но из выпуклости J следует
/(у) >/(й) +/'(й, v — и) УуеУ;
подставляя ф — и — й в (1.2), получаем
Ц^>Цй> Vu^V.
jj) Достаточно проверить, что (1.3)' влечет за собой (1.3). Доказательство аналогично доказательству пункта j).
jjj) Если Цих^ = Ци^ <. J ^ Mu^U и если их^и^ то условие строгой выпуклости функционала J приводит к
J (^2) > / (^1) + И (^1? ^2 — ^1)*
Однако 1Дих, и2 — ^1) — 0, поскольку J (и^ — минимум; значит, 7(h2)>H«i)-■
Замечание 1.2. В случае когда ^-^Г^и, ф) линейно и непрерывно, условие (1.2) принимает вид
grad/(zz) —0.(1.2)z
Теорема 1.4. Пусть
V — рефлексивное банахово пространство,
/' (и, ф) линеен и непрерывен относительно ф для всех и.
ГЦи, ф, ф) удовлетворяет условию
Г(и, ф, ф) >11 ф II-х(Нф II) Mu^V, Уф е F, (1.4) где функция t~>^^ положительна и
Пт %(0 = + оо.(1.5)
Z-> 4-00
Тогда функционал I имеет по крайней мере один абсолютный минимум в V.
Если, более того, %(0>0 У^ > О, то абсолютный минимум достигается в единственной точке пространства V [и нет других относительных минимумов].
Доказательство
Первый шаг. Из предположения iii) следует выпуклость J (предложение 1.8 гл. 2). Тогда предположение ii) и теорема 1.1 гл. 2 показывают, что Ци^ слабо полунепрерывен снизу.
Второй шаг. Согласно формуле Тейлора, имеем
/(и) = 7(0)+ 7'(О, u>-V^I"^u, и, и).
В силу предположения ii) существует М, такое, что
11Д0, и) |<Л4 -U||.
По предположению iii).
ГД^и, и, п)>||и||-х(1!^||)? отсюда
Ци} >7(0) — М • I'и II + Ун м у ■ %(hdl)-
Учитывая (1.5), получаем
Пт 7 (и) = +
II W II ОО
Третий шаг. Предположения теоремы 1.2, таким образом, удовлетворены, из чего следует существование абсолютного минимума.
Четвертый шаг. Установим единственность минимума. Предположение х(0>0 V/> 0 показывает, что Z — строго выпуклый, из чего следует единственность минимума.
Замечание L3. В многочисленных приложениях обычно полагают
X (О = at,
где а — фиксированное строго положительное число, т. е. неравенство (1.4) принимает вид
7" (и, ф, ф) ^а • || ф IP Уф е V.(1.4)
Пример 1.1. Пусть Q —• открытое множество из R" с границей Г. Напомним, что Н1 (й) определено следующим образом:
иен^йШиеша), о^и^Ттт^ьЧ^, г = 1п
(речь идет об обобщенных производных).
Пространство НЦО^ является гильбертовым пространством со скалярным произведением
((и, ^)) = (н, ^О^^Ч- 2 Ц-Ч^ц D^^^.(1*5)
Пусть f — элемент из L2 (Q). Положим
7(») = 1||г<,(й)-(Л v)L4Qy(1.6)
Непосредственной проверкой убеждаемся, что
/'(и, ф) = ((и, ф)) —(f, ф),7" (и, ф, ф) = ((ф, ф)).
Предположения теоремы 1.4, очевидно, выполнены. Следовательно, существует единственный элемент й^ Н1 (Q), такой, что
Цй)<Ци) Уи^Н1^).(1.7)
В силу теоремы 1.3 й удовлетворяет равенству
Г (и, ф) = 0 Уф^ЯЦО).
Итак, ((«, Ф» = (А Ф) УфеЯЧй),(1.8)
и, более того, задачи (1.7) и (1.8) эквивалентны [следовательно, (1.8) имеет единственное решение]. Соотношение (1.8) записывается в виде
(1<(1<2
(1<
(1<
1=1 U 11йЙ
Уф е Я1 (Q).
Предположим, что используемые функции „достаточно" регулярны, тогда интегрирование по частям в (1.8)' приводит к формуле Грина
(1.8)"(1.8)"j (— Ай + й! ф dx + J ^ ф do = J
(1.8)"
(1.8)"
ЙГЙ
Уф е Я1 (fi),
где -^— производная й в направлении внешней нормали к Г, do — поверхностная мера на Г. Окончательно (1.8)" приводит к задаче Неймана:
— Ай + й = / в Q,
на г-
Пример 1.2. Пусть А — линейный дифференциальный оператор. Определим рефлексивное банахово пространство У, положив
u^V^u^L4Q\ Au^Lp^\
где Q —открытое множество из Rn и р> 1. Положим
II w Ну = II ^ 11^2 ^ + || Аи Н^р (□).
Введем числовую функцию t->g^t\ определенную на R и обладающую следующими свойствами:
g(t) >а| / \р V/, а > 0,(1.9)
^ЧОКРИГ1, g(o) = o,1(1 1о)
t~>gz(t) является возрастающей функцией. J
Из (МО) немедленно вытекает
|£(0КУ'ШР,(Ы1)
Положим
J W = J g <Ли 00) ^ + 4 J I и (^) I2 ^ ™ f f W и (х) dx, (1.12)
где / — функция из А2 (Й),
Когда ueV, I (и) имеет смысл. В самом деле, имеем
I / («) К Y / I Au (х) |р dx + Т J | и (х) |2 dx + [ | f{x) • и (х) | dx,
ИЛИ
I J W I ^ V • II Au \\PLP^ + у II и IL,2 (Й) + II f lk2(Q) * II U IL2 (^) •
Мы сейчас покажем, что можно применить теорему 1.2, и, следовательно, существует u^V, такой, что
Ци^Ци} Mu^V.Ци^Ци} Mu^V.(1.13)(1.13)
Ци^Ци} Mu^V.
Ци^Ци} Mu^V.
(1.13)
(1.13)
Первый шаг. Покажем, что J — строго выпуклый функционал и G-дифференциал ^—>Г^и, ф) линеен и непрерывен (из теоремы 1.1 гл. 2 вытекает, что J слабо полунепрерывен снизу). Как в примере 1.1 гл. 2, в силу предположения (1.10) придем к
/' (и, ф) = J g' (Ли (х)) • Дф (х) dx + J и (х) ф (х) dx — йй
— J /(х)ф(х)б/х.(1.14)
й
Более того, имеем
I (о) = J {и) + j g' {Аи (х) + 0 (х) (До (х) — Аи (х))) X
(1.15)(1.15)X (Ду М — Au (х)) dx + j и (о — и) dx + g
(1.15)
(1.15)
f (о — u)dx,f (о — u)dx,+ у j (у — «)2 dx — Jgg
f (о — u)dx,
f (о — u)dx,
0<0<е(х)< 1.е(х)< 1.
0<
0<
е(х)< 1.
е(х)< 1.
Так как функция t-*gr (/) возрастающая, для 6(х)^0 имеем g' {Аи (х) + 6 (х) (До (х) — Аи (х))) (До (х) — Аи (х)) >
> g' {Аи (х)) (До (х) — Аи (х)).(1.16)
Следовательно, формула (1.15) принимает вид
J (о) > / (и) + J g' {Аи {х^ (До (х) ~ Аи (х)) dx + g
+ [ и (о — и) dx + Т. J (о — uf dх — J / • (о — и) dx (1.17) ggg
или
/ (и) > / (u) 4- J' {и, о — и) + у II У — и Ид2 (В) >
>1{и)-у]'{и, У-и).(1.17)'
Второй шаг. Покажем, что
Hm J (и) = + 00 •h и || ~> ОО
В силу (1.9) приходим к
J (tz) a J | Au \pdx + — J | и |2 dx — J f • udx,
т. e.
/ (uj ^ а 41 Au il^/7^ 4" у II ^ 1L2(Q) II f II/,2 (□) * II ^ IL2 (Q)>
откуда следует искомый результат, в
Используя теперь теорему 1.2 в 1.3, заключаем, что следующие задачи эквивалентны и имеют одно и только одно решение:
1^СЦи) Mu^V,(1.13)
Г(и. ф) = 0УфеУ.(1.18)
Заметим, что (1.18) записывается в виде
J gz (Ай) Лф dx + J й^йх = J i^dx Уф e V. (1Л8/
Замечание 1.4. Если положить
^ (и, ф) = J gf (Аи) Лф dx 4- J пф dx,£2п
то оператор ^->а(и, ф) будет линейным и непрерывным оператором, действующим из У в R. Следовательно, существует оператор Л, действующий из У в У7, такой, что
а(и, ф) = ^Аи, ф) У и, ф.
Используя (1Л7), можно проверить, что оператор А строго монотонный.
Пример 1.3 (обобщение предыдущего примера).
Даны m дифференциальных операторов Аь /=1, ..., т. Определим У, положив
и е У ^Atu е LPl (Q), /=!,..., m; zz^E2(Q),
m
где pt > 1 Vz.
Зададим функции t-> gt (/), z = 1, ..., m, удовлетворяющие соотношениям, аналогичным (1.9), (1.10), и положим
Ци) — ^ j gi (Л,-») dx -ф у 11 и I2 dx — J f • и dx. (1.19) Z=J £2£2й
Можно проверить, что существует единственный элемент и ^ V, такой, что
^v^V(1.20)
и
^ J g- ^А * A-Ф ^х + J йф dx = [ f • Ф dx Уф е V. (1.21) 1=1 ООQ
Некоторые частые случаи
Примеры 1.1 и 1.2 являются частными случаями примера 1.3»
Пример 1.3.1.
Определим V, положив
и е V ^DtU е L2(Q), 1=1, .п, ueL2$, u^L4(Q).
Следовательно, V = Нх (Q) П L4 (□). Выберем
^+1(^=4^I
тогда
И“) = 4 5 / ^DiU ^ ^ + 4 / (“ w)2 dx +
/1=1 Q2
+ 4 / 2 WY dx — ^ f • и dx.QQ
Мы знаем, что решение задачи
J^)<J(z/) Mu^V
единственно, причем это решение й является решением задачи
V [ DiiiDi ф dx + | йф dx + J й3ф dx = J f • ф dx Уф е V, z=i QQQQ
или в дифференциальной форме
Ай + й + й3 = f в О, ]
-т- = 0 на Г.
апJ
Пример 1.3.2.
ueV^DitieL2p ^, z = l, • п; ueL4^, p>L
Выберем
Ml
И
5 \ Diu \2р dx \ и f f • udx.
1=1 QQQ
Мы знаем, что существует й — единственное решение задачи /(й^К.и) Ми, и оно же будет решением задачи
^ J | DiU [2р~2 Dtu • D^ dx + J и • ф dx = J f • ф dx Уф e V. i=l QQQ
Общие методы поиска минимума (с использованием производных)
Постановка задачи. Дан функционал J: V~>R, где V обозначает банахово пространство. Требуется найти точку и eV, такую, что
7 (и) ^7 (у) Уу е V.
Обычно задается и0 е V и строится последовательность ит, т~\, 2, ..., которая при некоторых предположениях будет сходиться к и. Во всех случаях будем иметь
/(«m+i)</W Vm.(2.1)
Конечно, будет предполагаться, что функционал J (у) ограничен снизу. Следовательно, неравенство (2.1) приводит к
lim [7 (ит) — J (ит+1)] = 0.(2.2)
т-> 4-оо
Поиск и^х является задачей минимизации функции одной пере" менной. Действительно, при заданном направлении wm нужно минимизировать 7 на множестве точек и^ — ^wm [или, что эквивалентно, um-VgwmY При этом определяется число рт и полагается
^m+l :™ ^rn 9 т * ^т*
Используя формулу Тейлора, получаем
7 (^m4-i)7 ^и^ р7 (zzm, w^ -|- . . . .
Для того чтобы J (ит+х) < 7(цт), необходимо выполнение условия ^т1Чит, w^>Q. В нашей задаче минимизации функции одной переменной можно ограничиться случаем р^О, если соответствующим образом выбрать знак wm. Следовательно, мы должны иметь
рт > О, Г^т. wm)>0. Если не существует wm, такого, что J'(um, wm> > О, значит, Г ^т> ф) = О Уф, и тогда ит будет, вообще говоря, искомой точкой. Итак, направление wm должно подчиняться условию
/ ^umi w^ )> О,
т. е. для „достаточно малого“ положительного р должно выполняться / (ит — pwm) < J (ит\ Направление — wme таком случае называется направлением спуска.
Из соотношения (2.2) следует
Wm pm-J4um, ®m) = 0,(2.3)
что при разумном выборе рт приведет к
limZz(nm, wm) = 0.(2.4)
Вообще говоря, wm должно выбираться таким образом, чтобы из (2.4) следовало
Пш / (^/и, ^^) О Уvmi |||| ^ с < -р оо,(2.5)
Если последовательность ит ограничена, то можно выделить подпоследовательность, слабо сходящуюся к й, и при некоторых предположениях условие (2.5) приведет к
V кй, ф) = 0 УФеК(2.6)
Кроме того, при выполнении некоторых условий получим:
7(й)<7(у) VvgE(2.7)
Итак, сходящийся итерационный процесс можно построить в четыре этапа.
Первый этап*, выбор направления wm, ||^||=1, такого, что
i' ku^ w^ > О,| g.
lim Jz(wm, ^) = 0=^limГ<ит, ст) = 0 ^omeV, 11^11=1. P ' '
Определение 2.1.
Если (2.8) имеет место, мы скажем, что выбор wm является сходящимся.
Второй этап. Выбор числа рт [или выбор точки итлл на прямой Um — pWmV такого, ЧТО
Pm > 0, / (^т)^ (^т+1) > О,1
Пш [/ (^т) J (^т+1)1 = 0 ^ И^ ^ (^т> ^т) “О. /
Определение 2.2. Если (2.9) имеет место, мы скажем, что выбор р является сходящимся,
В результате сходящегося выбора ) w и р будем иметь (2.5).
Третий этап. Исследуется, является ли I достаточно регулярным для перехода от (2.5) к (2.6).
Четвертый этап. Исследуется возможность перехода от (2.6) к (2.7).
Сходящийся выбор направления w
Напомним, что при заданном ит необходимо выбрать направление wm, такое, что Г ^ит, w^ > 0 и
lim7'(«m, wm) = 0 => Нт J' (ит, vm) = Q Уут: ||ут||=1.
В дальнейшем, если это не приведет к двусмысленности, индекс т будет опускаться,
Мы сейчас опишем несколько алгоритмов, обозначенных через wALGl, ^ALG2, ....
wALGl. Градиентный метод.
Предположим, что отображение ^->Г^и, ф) линейно и непрерывно. Следовательно, существует элемент, обозначенный gradJ(w) или Г^\ или G (й^ такой, что
Г^и, ^^{g^, ф) Уф eV,(3.1)
где (. , .) обозначает двойственность между V и V'. Предположим также, что V рефлексивно. Тогда, согласно теореме Хана- Банаха. существует w е V" = V, ||аа||=1, такой, что
|| G (u) ||r = (G (и), ш).(3.2)
Отсюда следует, что
(G (и), ®) >| (G (и), ф) | Уф е У, || ф || = 1(3.2/
или
/Цы, ^^ЫЦи, ф)| УфеГ, ||ф||=1.(3.2)"
В градиентном методе выбирают направление to, удовлетворяющее (3.2). В силу (3.2)" выбор w является сходящимся.
Замечание 3.1. Если 17 — гильбертово пространство, то можно идентифицировать grad 7(и) с элементом из V:
Г (ы, ф) = (grad 7 (н), <р)у = ((Ци), ф)^ Уф г У,
и в этом случае
WWGWGWII G № ГII G № Г(3.3)(3.3)
W
W
GW
GW
II G № Г
II G № Г
(3.3)
(3.3)
Таким образом, направление спуска — направление, противоположное градиенту.
Замечание 3.2. Если V — банахово пространство, предыдущий выбор имеет скорее теоретическое, чем практическое значение, так как на самом деле поиск w приводит к решению нелинейной задачи.
Замечание 3.3. Если функционал / достаточно регулярный, имеем
Ци — рш) = / (to — р/' (и, w) + ~ рЧ" (и, w, w) + • • • .
Выбирая w из условия (3.2)", получаем направление, по которому первая вариация максимальна для бесконечно малого р. Речь идет, следовательно, о наилучшем локальном выборе или об оптимальной политике в малой окрестности р. Обычно этот выбор является недостаточно эффективным в малой окрестности минимума, однако он удобен из-за простой реализации.
ayALG2. Метод сопряженных градиентов.
Опишем общую идею метода сопряженных градиентов. В дальнейшем на большом количестве примеров мы более подробно изучим самые важные для практического применения свойства этого метода. Предполагается, что функционал / достаточно регулярный, чтобы выполнялось
Ци-V ^ == Ни")-У <G UY ф) + у<Я(м)ф, ф)+ ..
Пусть уже построено приближение uin = um-x-V Pm-x^m-v Как и в градиентном методе, определим Ют-ч^ II ®m-v2ll= L и выберем wm в виде
где А определяется из условия
<Яlu^w^ wm_x> = Q.
Это означает, что два последовательных направления сопряжены относительно поверхности второго порядка
(Я (мт)ф, ф)= 1.
^ALG3. Метод вспомогательного оператора.
На каждой итерации вводится оператор В^ который может зависеть от индекса итеоаиии. Мы будем поедполагать. что эти
операторы имеют обратные и что имеет место равномерная регулярность операторов Вт.
115^11^6?, где d — фиксированная константа МтЛ
<Втф, ф> all фII2 УфеУ;а>0.J ^'^
Предположим, что
Г (ит, ф) = (G (и^, <р) Уфе У.
Пусть ит(пг-я итерация) построено. Вводим zw полагая (Bmzm, ф) = (G (mJ, ф) Уфе У(3.5)
ИЛИ
-1?(3.5)
2т === Вт G {Um)‘ J Полагаем
^=таг-
Покажем, что такой выбор wm — сходящийся.
В силу (3.5) имеем
^т, ®m)==^BmZm, W„^ = (вт2т, ц ^ ц ) и, принимая во внимание (3.4), получаем
Если Нт/'(мт, ayJ = 0, то предыдущее неравенство приводит к lim||2m|| = 0.(3.7)
Равенство (3.5) можно записать в виде
I ^т> ^т) I к^т^пичто в совокупности с (3.4) приводит к^пг> ®т) ^ d • || Zm || • || Ут ||,из чего в силу (3.7) следует, что11П1 / (м^, У^II ^т II1 •
Замечание 3.4. Рассмотрим случай, когда У — гильбертово пространство. Тогда G(um) идентифицируется с элементом из У. Пусть wm удовлетворяет условию: 11^11== 1,
/A W(318)
\|lG(«m)|| ’ W^Q> 0 Vm'
Мы предположили, что G (ит) ^ 0, иначе выбор точки р и направления w можно считать оконченным. Мы можем, разумеется, предположить, что
WG^^W^c < + оо Vm.
Тогда всегда имеется возможность определить элементы В^ гт из wALG3 таким образом, чтобы wm совпадало с направлением, построенным с помощью wALG3. Другими словами, всякий выбор направления w^ удовлетворяющего (3.8), является сходящимся. Определяем гт, полагая
^т =’ II G (u^ ||.
Обозначим через Рт подпространство в V, порожденное элементами вида цС (ит) + 1гт, и через Qm — ортогональное дополнение к Рт в V. Можно идентифицировать Рт и R2, т. е. элементы G ^и^ и zm с двумя векторами из R2. Если 6т — угол между этими векторами, то, согласно (3.8), будем иметь cos0m^a>O Vm. Обозначим через Rm оператор вращения, который переводит хт в G ^ит) (точнее, образы zm и G (ит) из R2). Имеем
Rm ^т) == G (м^),
II 2т\\ = \\ G {и JH,
<R.P, P)>"llplF Чр^^т-
Пусть дано некоторое у из V. Разложим и:
У == Рт 4~ Чт> Рт ^т> Чт Qm’
и определим Вт, положив
ВтХ) = RmPm 4” Чт*
Имеем
(5тУ, У) = (RmPm 4“ Чт’ Рт 4~ Чт) ~ (.Rmpmi Рт) 4" кЧт> Чт) ^
>«Н Рт IP 4" II Чт IP-
Отсюда
(втх), у)>р||у|р, 1
₽ = min {а, 1}. j
С другой стороны,
II Smy IP = II RmPm 4- Чт IP = II RmPm IP + II Чт IP = II Pm IP + II 4m IP = II У IP, значит,
II Bm ||=1.
Наконец, имеем
Brn^m = Rm^m = G ^m)>
Условия (3.4) и (3.5)' оказываются выполненными. Следовательно, выбор из условия (3.6) является сходящимся (речь идет о направлении wm, удовлетворяющем (3.8)). и
Итак, можно сказать, что выбор любого направления отличного от „почти ортогонального'6 градиенту (см. (3.8)), будет сходящимся.
Замечание 3.4С Пусть wm удовлетворяет соотношениям (3.8). Непосредственной проверкой убедимся, что этот выбор является сходящимся. Имеем
<G^um\ wm^^-\\G(um)\\.
Следовательно,
lim 1Цит, wm)~0=$ lim || G (и^ || = 0, т -> оот-> оо
что приводит к
Иш / (Дт, Ут) :=::: О VУпг» II ^т II ^^ I • m > оо
Замечание 3.5. Если V = Rn, то Вт — положительно определенная матрица. Более того, если В^ симметрична, мы покажем, что ее можно определить, произведя следующие операции:
заменить переменные,
выбрать в качестве направления wm направление градиента (относительно новых переменных),
возвратиться к старым переменным.
Опустим для простоты описания индекс пг. Если В — симметричная положительно определенная матрица, то существует регулярная матрица С, такая, что
в-^с.с\
Произведем замену переменных
и —Си.
Минимизируемый функционал преобразуется в /(Су). Можно проверить, что
(3.9)(3.9)grady / (Су) = С* grad^ / (и), и — Си.
(3.9)
(3.9)
Таким образом, в пространстве переменных у градиентом функционала является С* graduJ (и).
В пространстве переменных и это направление преобразуется в СС* graduJ (и) или В""1 grad / (м), что и является выбором направления, удовлетворяющего (3.5)'. Такая интерпретация описанного метода позволяет назвать его методом переменной метрики, 3
Рациональный выбор матрицы В позволяет ускорить сходимость. Однако при практической реализации метода этот выбор задруднителен. Приведем простейший пример, иллюстрирующий этот метод. Пусть надо минимизировать
> х2) = I £2" •
В пространстве а-ов градиентом является
f 2Х!
I а2 ’
I Ь2 •
Прямая р -> х° — pG (х°) не проходит, вообще говоря, через начало координат, и, следовательно, нельзя достигнуть начала координат за одну итерацию. Сделаем замену переменных:
Х1 = ауъ
^2 = Ьу2.
Имеем
Цу^ У2)^у1 + у I
Спуск по градиенту относительно переменных yi приводит в начало координат за 1 итерацию. В
w ALG 4.
Этот алгоритм является важным частным случаем c^ALG3. Выберем в качестве направления w, такое, которое будет использовано в методе Ньютона.
Предположим, что ф, ^-> J" (и, ф, ф) является билинейной, непрерывной и коэрцитивной формой на множестве ^u\mV, J (u)^J {и^}. Это означает, что выполнено равенство
Г'^и, ф, ^ = ^Н ^и^, ф) Уф, ф е V,
где H^^SkV, V'\ и, более того,
(Я(и)ср, ф) >а • ||ф||2 Уф eV.
В алгоритме wALG3 выберем вспомогательный оператор в виде
Bfn = H(umY(3.10)
Другими словами, zm определено из условия (см. (3.5))
J'4um, zm, ^ = r<um, ф) Уф eV.(3.11)
Положим
В силу сделанных предположений относительно /" выбор wm является сходящимся.
Замечание 3.6. Если заранее не известно, что форма (Я(^)ф, ф) является коэрцитивной, нужно убедиться, что направление wm отличается от „почти ортогонального” градиенту (см. (3.8)].
4. Сходящийся выбор р (или выбор точки в направлении спуска)
Нам понадобятся в дальнейшем следующие предположения:
(Н1) Г^и, о) равномерно непрерывна относительно и У u ^ V, 1М=1.
(Н2) Иш 7(и) = + оо.
У V П > оо
(НЗ) функционал / — выпуклый.
При описании каждого алгоритма мы уточним, какие из предположений будут использованы.
Предположение (Н1) означает следующее: Уе > О 36(e) > О, такое, что
\\и — и||<6(е)=ф| Г (и, ф) — Г (о, Ф)|<8 Уф, IIФ 11=1.
Определение 4.1. Пусть / е R+ -> у (/) е R+ — некоторая заданная функция. Мы скажем, что функция у сходящаяся, если
^->Оффу(/т)->О (при т-^ + оо).
Отметим, что в (4.1) функцию 6(e) можно выбрать сходящейся; для этого достаточно положить:
6 (в) = sup 6, || и —- У IX 6 =ф I Г (и, ф) — Г (у, ф) К 8 Уф, || ф || = 1,
и
6 (е) = min [б (е), е).
Везде далее будем предполагать, что функция 6(e)—сходящаяся.
Лемма 4.1. Если функция у(£) сходящаяся, то /*у(0 также сходящаяся.
Доказательство. Очевидно, при т->оо имеем
^т 0* V (^/м) ~> 0.
Обратно, предположим, что 1т • у (tm)-^0. Если tm не стремится к 0 при т->0, то можно выделить подпоследовательность tms такую, что
^>«>0, 1tm'^ (fm'}0, /
что приводит к
tm'
^а > О,
«V (М^О,
и так как у сходящаяся, мы пришли к противоречию: ^^«>0 и ^->0. Н
Введем некоторые обозначения:
(4.2)(4.2)^р ” ^ (^т “~ Р^т)?
(4.2)
(4.2)
7р := / к^-т Р^т> ^т)>^■^ р^ к^пи * ^ к^т Р^т)'
Предположив, чтоПредположив, что/ к^тл ^т) > 0,/ к^тл ^т) > 0,(4.3)(4.3)
Предположив, что
Предположив, что
/ к^тл ^т) > 0,
/ к^тл ^т) > 0,
(4.3)
(4.3)
мы должны выбрать рт таким образом, чтобы J кит) — / (wm+1) > 0 и
Пт^^) —/(^+1)) = 0=$> lim J7^ ^J = 0, т~>оо
где
^т+1 ^т Рт^пг
Опустим индекс т. Тогда в предыдущих обозначениях выбор р будет называться сходягцимся. если
П > 0, Мр > 0,)
Нт А/р = 0 =Ф Пт /о = 0. J
Теорема 4.1. Пусть выполнено предположение (H1F). Тогда справедливы следующие утверждения:
i) Всякий выбор точки р, такой, что
(4.4)(4.4)AJp>yU6),
(4.4)
(4.4)
где у ~~ сходящаяся функция, является сходящимся.
И) Пусть выбор точки р сходящийся, тогда выбор другой точки р, такой, что
Д7р^Со.А7р,(4.5)
является сходящимся (с0 — фиксированная константа, с0 > 0). ш) Всякий выбор р, такой, что
y(/9y(/9Р С 6 (с/о),Р С 6 (с/о),(4.6)(4.6)
y(/9
y(/9
Р С 6 (с/о),
Р С 6 (с/о),
(4.6)
(4.6)
является сходящимся (у — сходящаяся функция, фиксированная константа с удовлетворяет условию 0 < с < 1).
Доказательство.
i), ii) Очевидно, что
Д/р -> О =Ф у (/6) -> 0 =ф (/о) -> О,Д7р_>0фД/р ->О=^ /6-*0.
(4.7)(4.7)ш) Первый шаг. По формуле конечных приращений имеем Д/р = / (zz) — / (м — рю) = р/' (и — рю) = р/р, О < р < р,
(4.7)
(4.7)
и поскольку ||ю||—1, р^д(с/о), то имеем р^6(с/о). Отсюда
I /р/о I ^^ cJ(J.
В частности,
/р ^^ (1о,
следовательно,
Д/р>(1-с)р-Л.(4.8)
Второй шаг. Используя левое неравенство (4.6), приходим к
Д/р^(1 - с) /5-у (/6).Д/р^(1 - с) /5-у (/6).(4.9)(4.9)
Д/р^(1 - с) /5-у (/6).
Д/р^(1 - с) /5-у (/6).
(4.9)
(4.9)
Но так как функция у сходящаяся, то /->/• у(/) — также сходящаяся, и, следовательно, согласно утверждению i), выбор р сходящийся. ■
Отметим, что в (4.6) предполагается, что y(/)^6(c/)V/. Можно также выбрать у(/) = cfitt), где с<С]^1. Тогда
с,д(с/')^р<б(с/').с,д(с/')^р<б(с/').(4.5/(4.5/
с,д(с/')^р<б(с/').
с,д(с/')^р<б(с/').
(4.5/
(4.5/
Замечание 4.1. Вообще говоря, функция /->6(/) не задана в явном виде. Следовательно, на первый взгляд кажется, что предыдущая теорема является практически мало полезной. Однако далее мы дадим приемы, которые позволяют находить выбор точки р, удовлетворяющей (4.6), без точного знания д.
Практическое использование теоремы
Описанные далее алгоритмы будут обозначены через pALGl ..., причем всегда будем считать выполненными условия (Н1) и (Н2).
pALGl.
Пусть р такова, что•
Р > 0,'
(4.Ю)(4.Ю)/р=0,
(4.Ю)
(4.Ю)
Ци — рю)^/(и — рю) Vp е [0, р]. ■
Покажем, что такой выбор является сходящимся. Сразу же заметим, что этот выбор содержит, в частности, первый относи-
положен перед первым относительным минимумом) и наконец абсолютный минимум. Можно выбрать одну какую-нибудь из трех точек рь р2, р3.
Jo
Покажем, что
р>д(сД) V^e]0, 1[.(4.11)
Действительно, в противном случае
I р*^ о I ^^ с/о
или
I /о I ^^ ^о, т. е.
< с.
В силу (4.10)з приходим к
А/р<А/0 Vpe[0, р].
В частности, можно выбрать р — р — d (do) е [0, р], следовательно,A/о ^ А/0.
В силу утверждения ш) теоремы 4.1 выбор р сходящийся. Согласно пункту ii), выбор р также является сходящимся.
pALG2 (алгоритм при известной функции д).
(4.12)(4.12)Предположим, что J удовлетворяет условию Липшица: I /' (и, Ф) — 1' (у, ф) I ^ М • || и — и ||, Уф^У, || ф |1=1.
(4.12)
(4.12)
В этом случае имеем
Иы —^^И^^^^Чм, Ф) —^Ч», ф)1^е v<p, ||ф||=1.
Можно, следовательно, выбрать
Ц0 = 4г.(4.13)
и в силу утверждения i) теоремы 4.1 всякий выбор р, удовлетво' ряющий
С 1 т/т/
С3(414
О < с,, с3 < 1,
является сходящимся.
pALG3 (уточнение предыдущего алгоритма).
Предположим, что существует константа М > 0, такая, что
(4.15)(4.15)7 (u — pay) ^ 7 (и) — pj'^u, w) + у р2М • || а» ||2, Vu, w eV, ре R.
(4.15)
(4.15)
Заметим, что неравенство (4.15) выполняется, если, например, | J"(u, ф, ф) |<М • ||ф||2 Ум, феУ.(4.16)
Так как ||и>||=1, имеем
Д7Р >р/6 — yP2AL zo Первый выбор. Выберем р = р = -^ . Величина р доставляет минимум функции р -> 7 (м) — р/' (и, w) + у p2AL Таким образом, имеем
, м п 1 / J'A2А/»>р75--Гр2 = у^) ;
это и доказывает, что выбор р является сходящимся.
Второй выбор. Пусть с г ] 0, 1 [, и пусть р удовлетворяет неравенствам
Нетрудно показать, что
Следовательно, всякий выбор р, удовлетворяющий (4.17), является сходящимся. ■
Предыдущий алгоритм может быть обобщен на случай, когда
J (и — pay) ^ 7 (ы) — рГ (и, ау) + у р?Т (и, ау, р),
где функционал Т является достаточно регулярным.
pALG4 (некоторая модификация алгоритма, предложенного Голдстейном [3]).
Дано фиксированное число с, такое, что 0 < с < 1. Пусть h е R таково, что
А > 0,
(1-с)/6, I(1-с)/6, I(4.18)(4.18)с) 76-с) 76-Мнh
(1-с)/6, I
(1-с)/6, I
(4.18)
(4.18)
с) 76-
с) 76-
А7^н , 2й
Покажем, что кажем, чтоПокажем, что кажем, чтовыбор р = h является сходящимся. Для этого по-выбор р = h является сходящимся. Для этого по-Действительно,Действительно,2/z>d(c76).в противном случае в силу (4.8)2А ^ д(с7б) =>>( 1 - с) 2/Д5,2/z>d(c76).в противном случае в силу (4.8)2А ^ д(с7б) =>>( 1 - с) 2/Д5,(4.19)(4.19)
Покажем, что кажем, что
Покажем, что кажем, что
выбор р = h является сходящимся. Для этого по-
выбор р = h является сходящимся. Для этого по-
Действительно,
Действительно,
2/z>d(c76).
в противном случае в силу (4.8)2А ^ д(с7б) =>>( 1 - с) 2/Д5,
2/z>d(c76).
в противном случае в силу (4.8)2А ^ д(с7б) =>>( 1 - с) 2/Д5,
(4.19)
(4.19)
т. е.
^>(1-с)76,
что противоречит (4.18)3.
Тогда, используя (4.18)2 и (4.19), приходим к
А7/г>-^76д(с76),
и, согласно утверждению 1) теоремы 4.1, выбор h является сходящимся. Заметим, что если
(4.20)(4.20)^•>(1-с)76,
(4.20)
(4.20)
/г ^ у (76) [у ~ сходящаяся функция], то выбор h является сходящимся, так как
А7/г>(1 -с)7бу(7б)
(теорема 4.1,1). ■
Как использовать эти результаты? Опишем алгоритм, где таг определяется числом т > О, причем т может меняться от одной итерации к другой.
После конечного числа итераций условия (4.18) оказываются выполненными. Действительно, если в начале ~~ ^(1 — с) /6, то вводятся числа т/ = 2/т, /=1, 2, ..., и Ишт^ + оо. Следова- 1-^00
тельно, lim J (и — т;^) = оо и для некоторого значения /. Имеем /->оо
А/тAJT
——^0, следовательно, —— < (1 — c^Jq.
М,ЧМ,Ч<(l-c)J^<(l-c)J^Если k — первое значение, для которого
М,
Ч
М,
Ч
<(l-c)J^
<(l-c)J^
то, согласно алгоритму, имеем р™-—. Если же неравенство
-^<(1-^
выполняется сразу, то вводятся числа т/ = —т, J=l, 2, . такие, что Нтт; = 0. Следовательно, /->оо
Нт —— = /о.
/-»оо Т/
Итак, для / „достаточно больших^ имеем
А7Т
-7L>^-cH«.
Пусть k — первое значение /, для которого AJ^ >(1 — е)/'. Тогда, согласно алгоритму, р —т^ В обоих случаях условие (4.18) выполнено.
Можно модифицировать этот алгоритм для того, чтобы использовать возможную ситуацию (4.20). Для этого в месте, отмеченном знаком *, включаем следующую модификацию.
Да
Голдстейн предложил именно этот алгоритм, где полагалось сначала т = /6. Более того, он использовал 4(f) = t.
Замечание 4.2. Описанные алгоритмы имеют скорее теоретическое, чем практическое значение, так как поиск указанного р весьма затруднителен на практике. Более того, предложенные алгоритмы требуют вычисления производных /о(н, w1). Ниже будут рассмотрены случаи, в которых правило выбора шага значительно упрощается. Для этого необходимо сделать предположения о выпуклости, а
Рассмотрим прежде всего несколько достаточно общих случаев. Мы будем предполагать, что / выпуклый (то есть мы предполагаем, что выполнено условие (НЗ)).
Случай 4.1. Пусть нам известно к > 0, такое, что
В этом случае положим р = h и покажем, что этот выбор является сходящимся. Пусть р > 0, такое, что
J (и — pw) ^ J (и--pw) Vp^O.
Согласно (4.21), имеются две возможности
О < р < h,(4.22)!
h < р < 2/z.(4.22)2
Рассмотрим случай (4.22)2. Так как функция ^->Ци — pw) выпукла, то для р ] /z, 2h [ кривая р -> J (и — р^) находится выше прямой
р->/W-p —.
Отсюда
Ци-^>ЦиХп7 Vp^[A, 2/г],р^>А/р Vps[/z, 2/г],
причем
2А7л>А7р Уре]/г, 2й[.
В частности, для р = р приходим к
А/к 5^ "2" А/0.
Так как выбор р = р сходящийся, то и выбор р = /г также сходящийся.
Аналогичные рассуждения можно провести и в случае (4.22)[.
Случай 4.2. Известны h > 0 и £^2, k — целое, такое, что
i й1 2h > • • ■ > J hh> 1.
Покажем, что выборы p = kh и р = (^ — 1)/г являются сходящимися. Действительно, по определению р имеем
^-X^h^p^k^-X^h.
Но, согласно (4.11),
д(с/6) < р Vee ]0, 1 [, значит, д(с/0<(й + X^h,
и так как й^2, то
уд(сД)<(А;- l)h.
Положим1
р = уд(с/о).
Так как
р^(^ — 1)Л^р, то имеем
Zp ^ J(a-da ^Jp и AZp ^ А/(6-1)й.
Так как выбор р = р сходящийся, выбор р = (& — 1)й также является сходящимся. Более того, в силу (4-23) имеем
^•^(6—1) А ^ ^ kh"
Следовательно, выбор р = kh является сходящимся.
Случай 4.3. Существует h, такое, что
Блок-схема программы вычисления по алгоритму pALG5.
Покажем, что выбор p = h является сходящимся. Действительно, если
Лл/2 ^
то можно использовать рассуждения случая 4.2 с шагом h!2 и fe = 3. Выбор р >(& — 1)А/2 = h является также сходящимся, если
/з/г/2 >
Можно использовать рассуждения случая 4.2 с шагом h]2 и к = 2.
Выбор p = kh!2 = h, таким образом, является сходящимся.
pALG5.
Основная идея этого алгоритма следующая: испытывают р = А. Если J(u — pw) убывает, добавляют h к р и так далее. В случае когда J^u — hw) ^ I ^и\ делят шаг пополам и так далее.
pALG6.
Может оказаться, что поиск р является очень дорогостоящим в pALG5, если Zo > Jh > ... > Jun &> достаточно большим. Может быть, предпочтительнее вычислять Zo, Jh, J2h, Л^, Z8A, ... .
В блок-схеме pALG5 достаточно заменить часть, начинающуюся со знака *, на
pALG7.
Если выбор р является сходящимся, можно испытать р = -^-р, i е [— А, + А], где значение N фиксировано. Если
то выберемто выберем/(«--^■р)^ (“-^р)м»
то выберем
то выберем
Можно найти другие модификации алгоритма, которые дают другие сходящиеся алгоритмы.
Замечание 4.3. В описанных случаях известен интервал (а, Ь\ такой, что „наилучшие" р, р = р находятся в (а, Ь\ Мы увидим далее, как сократить длину этого интервала.
Замечание 4.4. Мы предполагали, что ||^||=1. Фактически незначительная модификация этих алгоритмов допускает их использование и в случае Ц^Ц^ 1.
Замечание 4.5. Ясно, что условие рт — Wu^ — ит\\^.г, где г —заранее фиксированное число, г > 0, ничего не меняет в сходимости алгоритмов. Это может лишь облегчить построение мт+ь так что ограничение играет роль лишь тогда, когда ит „далеко" от минимума. Однако с практической точки зрения не исключена возможность, что это условие в некоторых случаях могло бы ускорить сходимость.
Замечание 4.6. Фактически условия на / были использованы лишь при рассмотрении множества
(у |у е V, 7(у)</(у0)}.
Сходимость
Пусть надо минимизировать J (у), у е V. По заданному иоеУ строится последовательность ит, причем переход от ит к мт4) осуществляется следующим образом. Направление wm выбирается с помощью одного из алгоритмов ®ALGz, г = 1, 2, ..., затем, используя какой-либо алгоритм pALG/,/= 1, 2, ..., выбирают ргП. Этот выбор будет зависеть, очевидно, от свойств J.
Теорема 5.1. Мы предполагаем, что J удовлетворяет предположениям, которые использовались при построении алгоритмов pALG/ и ®ALGZ. Тогда выполнены следующие утверждения:
Если 7 ограничен снизу, функционал и->1' (и, ф) слабо непрерывен для любого ср е V, тогда каждая слабо предельная точка последовательности ит удовлетворяет условию
ф) = 0 Уф е V. (5.1)
Если J ограничен снизу, lim /(у) = + оо, / — выпуклый, ПуЦ-> ОО
имеет градиент и пространство У рефлексивно, то функционал / достигает минимума в каждой слабо предельной точке последовательности ит и существует по крайней мере одна такая точка.
Hi) Если, более того, 7 — строго выпуклый, то 7 достигает минимума в единственной точке и и, более того, последовательность ит слабо сходится в V:
Пт ит = а. (5.2)
Доказательство.
Так как J (и) ограничен снизу, то Ци^ убывает; получаем Иш [7 (нт) ^ (^т+1)] = 0, т-»оо
и, следовательно, алгоритмы wALGi и pALG/ приводят к
Нт Г (ут,ит) = 0 Мут, || ут ||=1,(5.3)
отсюда
lim 7' (ит, ср) = 0 Уф е V.
Предельным переходом получаем равенство (5.1).
По теореме 1.1 гл. 2 из утверждения ii) следует, что J —- слабо полунепрерывен снизу. Тогда в силу выпуклости и дифференцируемости
7 (у) ^7 (^m) Н" J ^mt ^ ^тХ
7(У)>/Ы + 1|У-Мт||-/,(«т. Т™?»)' М
\ II у ит II /
Но последовательность ит ограничена [так как lim Z(y) = 4-oo], Hull -> ОО
следовательно, из равенства (5.3) вытекает, что
Нт || у - ит || • Г (ит, ^^ j = °'(5-5)
Пусть и — слабо предельная точка, ит-->и при т'-*оо. Используя (5.4) и (5.5), в силу слабой полунепрерывности снизу J приходим к
Z(y)^ lim J (ит') ^ J (и) Му е V.
т^^оо
Заметим, что, так как V рефлексивно и ит ограничена, то существует по крайней мере одна слабо предельная точка.
Ш) В силу утверждения jjj) теоремы 1.3 гл. 3 существует не более одной точки и, такой, что Z(u)^Z(y) Му.
Метод Ньютона
Мы изложим этот метод для случая гильбертовых пространств (распространение на случай рефлексивных банаховых пространств производится непосредственно).
Пусть V — гильбертово пространство, и пусть Z: V -> R — функционал, имеющий градиент G и гессиан Н. Зададим w0 е V и определим
П0 = {у| у е= V, Z(y)<Z(M0)J.
Предположим, что
(//(у) Ф, ф) ^ а IIФII2 Уфе У, Му eUQ, а>0,(6.1)
ИIIН (У) || УуеПа.(6.2)
Задача. Требуется найти йеУ, такое, что
J(u)<J(v) Vv^V.(6.3)
Ясно, что это эквивалентно
HeU0,1,
/(й)</(у) Vy е ий. J^‘^
Известно, что при выполнении условий (6.1) и (6.2) задача 6.3 имеет единственное решение й, которое является также решением уравнения
С(й) = 0.(6.3)"
Найдем приближенное решение уравнения (6.3)". Для этого предположим, что построено uw (m-я итерация).
По формуле конечных приращений имеем
(G (й), ф) = (G (ит), ф) + (Нт (й — ит), ф),
Нт = Н (ит + 9 (й — ит)), Вер, 1[. .
Пусть приближение ит достаточно близко к й. Тогда в силу (6.3)" приходим к
0 G (и^ 4" Н т (й ит), 1
Поэтому в качестве следующего приближения к й можно взять и^х —- решение уравнения
Gm 4" Н т (ит^_\U^ = 0,1
Нт = Н(ипг\ Gm = G(Um\ J( }
Заметим, что в силу условий (6.1) и (6.2) оператор Нт имеет обратный.
Методом Ньютона называется следующая процедура: дано иа, строится последовательность ат, ] „1(6.5)
Где итд_у ~ Н mGт*
Замечание 6.1. Практически речь идет о методе спуска: выбор направления w производится с помощью вспомогательного оператора Нт\ величина шага определяется из условия pm ^ЦЯт^^Ц. Неизвестно, является ли выбор р сходящимся. Однако можно показать, что сходящимся выбором является р^ = CoB^^G'Jf; при этом, например, £?0 = —-. Тогда вместо процедуры (6.5) получим
^0 ’ Нт Gm. Я(6»6)
Сделаем дополнительное предположение
II U — v II<-1II G (и) || =^|| Н (у) — Н (м) 1К а • с, ^ ^ Vzz е U^ V^ е У, где константа с принадлежит ]0, 1[.
Замечание 6.2 (о предположении (6.7)). Дадим простой критерий справедливости (6.7). Предположим, что гессиан Н равномерно непрерывен. Тогда существует б, такое, что
II и - У ||< б (8) =^ II Н (У) - Н (и) || < 8.
В частности,
II м — у IK б (ас) =Ф|| Н (у) — Н (и) И ^ а • с.
Следовательно, если —1| G (м) ||^ 6 (ас), то (6.7) имеет место. Отметим, что если и достаточно близко к й, то || G (и) || не сильно отличается от || G (й) ||, т. е. от нуля, и, следовательно, и „достаточно близко“ к й=^|| G (и) ||^аб (ас) Ф|| Н (и) — Н (у) Ц^ас.
Итак, предположение (6.7) имеет смысл, если начальная точка и^ достаточно близка к й,— это главный недостаток метода Ньютона. Заметим, что первые итерации можно строить по (6.6), а последующие — по (6.5).
Теорема 6.1. Если выполнены условия (6.1), (6.2) и (6.7), то: i) существует единственный элемент й, удовлетворяющий (6.3); ii) существует единственный элемент и^х е Uo, удовлетворяющий (6.5);
Ш) более того,
lim || rzm — й || = 0(6.8)
и
"дУ II ^7П+1 ^m II ^ II ^mU || ^ ”ёУ I' ^т + 1^т II- (6-9)
Доказательство. Покажем, что цт+1 г Uo. Положим
^7tn == ^ (^т) “~ к^тл-х)*
Имеем
1 (^m+l)^^^ k^m) + (Gms ^m-VX^ml+|№m k^m^-X^■m)s ^m-vX ^m)s 1
^m "" G ^UmV Hm = H {um -j- 0 ^Um-v 1 ”” ^m))> 0]0, 1 [,
что дает в силу (6.4)
^^m{^m * (^/724-1 ^m^s ^m-vX ^m)^ k^mV^m-V\ ^m)» ^m+X ^m)>
Mm ^ (^m ^m-VX ^m)> ^m+1 ~“ ^m) 4”
4" V ^Hm Hm) (um^.i ^m)i ^m-^X ^mb
Отсюда следует в силу (6.1), что
A^m ^~2" II ^m+1 ^т IP 2*11 Нт Н т || • || Um+i Um |j~. (6.10)
Но
II V^m + 0 (^т + 1^т)] ^т II ^^ 6 || U^^j Um || =
= е||я^ст||<|ц бт||<1|| ст||.
Следовательно, в силу (6.7) имеем
1|Ят~Яш||<аг.
Используя (6.10), получим
Д7т>у(1-с)-||ит+1-ит|р.(6.11)
Это показывает, что /(wm) ^/(мт+1) и, следовательно, J(u0)^ ^/(«m), т. е. ит+х е UQ. Более того, так как / (й) ^ J (ыт+1) ^ </(«т), то
ПшА7т = 0(6.12)
и, следовательно,
lim||Mm+i — tzm|| = O.z6.13)
Установим справедливость неравенства (6.9). Имеем
(Gm, ф) = (G (й), ф) + (Ят (wm — й), ф),
Ят = Я(й + 6 (мт —й)), 0е]0, 1[. .
Из (6.3)" и (6.4) следует, что
(Ят k^m-V 1 ~“ ^т)> ф) === (^т ^т Й), ф).(6.14)
Положим ф = ит — й. В силу (6.1) и (6.2) имеем
О II ^тИ IP ^ ^ II ^т+1 Нт II ' II Нт Й ||,
откуда следует правое неравенство (6.9)
II ^т ^11 ^ а II ^т +1Пт ||.(6.9)п
Выбрав ф = ит+1 — ит, приходим к левому неравенству (6.9). ■ Уточним скорость сходимости. Предположим, что существует возрастающая функция б, такая, что
||Я(м)-Я(У)||<б(||м-У||).(6.15)
Например, || Н (и) — Н (v) || ^ М • || и — у ||.
Теорема 6.2. Если условия (6.1), (6.2), (6.7) и (6.15) выполнены, то
II ит+х — й IK -^ II ит — й II б (II ит — й II).(6.16)
Доказательство. В силу (6.14) Имеем
Wm 5 k^m-V\ "~ ^)? ф) := ~" кНщ к^пг^)> ф) “Ь кНщ * к^пг "" ^)? ф)*
Выбирая ф = ит+1 —й, приходим к
& II ^m+i ^ IP ^ IIНm ~* Нm || • || um ~” й || • || нт+1 й ||
ИЛИ
II ^т+1 ^11 ^ ^"11 ^т ^ II * II Hm Н т ||.
Из (6.15) получим
Нт+1 — й IK ~|| ит — й II • 6 (II [й + 6 кит — Й)] — ит II).
Но функция 6 является возрастающей, следовательно,
II ^m-M ^т II ^ "^ II ^т ^ II * 5 ( || Um U || ).
Замечание 6.3. Обычно Нтд(/) = 0. В этом случае сходимость типа (6.16) называется сверхлинейной. Более подробно метод Ньютона изложен в работе Канторовича [3].
Метод сжимающих отображений (функционал У — строго выпуклый)
Предположим, что У — гильбертово пространство. Кроме того, для линейных и непрерывных дифференциалов дважды К-диф- ференцируемой функции используем следующие обозначения:
Г (м, ф) = (G (н), ф),
I" (и, ф, ф) = (Я (н) ф, ф).
Теорема 7.1. Пусть
(Я (м) ф, ф) ^а|| ф |р Vu, феУ;а>0,(7.1)
|| Я (и) ||< М Ум е У.(7.2)
Тогда оператор Т является оператором сжатия для всякого 1л 2а
-у е J0, -др [ , причем
7 = 1 - VG,(7.3)
Т (и) = и - yG (и).(7.3)'
Доказательство. Имеем
|| Ти - То ]р -1| (и - о) - у (G (а) - G (о)) ||2,
|| Ти - То ||2 = || и - о ||2 - 2у (G <й) - G (и), (и - о)) +
+ y2||G(«)-G(o)||2. (7.4)
Используя формулу конечных приращений, получаем
(G (и) — G (у), ф) = (Я (у + 0 (и — у)) (и — у), ф), 0 г ] 0, 1 [.
Полагая ф = ы —у, имеем в силу (7.1)
(G(u) — G(y), и — у) = (Я(у + 9(и — y^tu — у), и — у) ^а||и—у ||2.
Аналогично при ф = О(м)~ G(y) приходим к
|| G (zz) — G (у) ||^ Л1 • || м — у ||.(7.5)
Используя два соседних неравенства и равенство (7.4), получаем
|| Ти - Ту |р < || и - у ||2 [1 - 2уа + у2М2].(7.6)
]
2а Г
0, -др- имеем 1 — 2уа + у2Л12 < 1, и, следовательно, Т является оператором сжатия. Разумным выбором у является
(7-7)
откуда
||Гм — Гу ||^|| м — у ||"|Д 1 --^.(7.8)
Следствие 7.1. Если выполнены условия теоремы 7.1, то:
Задача определения такого и е У, что ЦиХ-Ци) Vu^V, имеет единственное решение.
Последовательность ит, построенная следующим образом: м0 — произвольный элемент из У, 1
сходится сильно К U При Ш">оо.
Доказательство. Утверждение i) является непосредственным следствием теоремы 1.4; ii) вытекает из теоремы 7.1.
Следует отметить, что при построении минимизирующей последовательности по (7.9) используется градиентный метод с постоянным выбором р.
Напомним теперь метод релаксации, часто используемый при решении дискретных аналогов уравнений в частных производных. Пусть в Rn задана симметричная и положительно определенная матрица Д:
(Дф, ф) „>а||ф||2 Уфе^,
R R(7.10)
||Д|!<М, а > 0.
Пусть
У(у) = 1(Ау, y)-(f, у),
где f задано в Rn, и пусть требуется решить задачу поиска и, такого, что
Известно, что эта задача эквивалентна решению уравнения
Au = t(7.11)
Полагаем
• A = D-E-E\
где D — диагональная матрица, Е — треугольная матрица.
Представим с помощью этих обозначений некоторые уже известные методы.
Метод Якоби;
Z)Mm+1 = (£ + £*)um + f(7-12)
или
Чщ+1^^ Чщ О (Aum f). |
Метод Гаусса — Зейделя:
ф — E')um+1 = E*um-Vf(7.13)
или
чт+1 = чт- ф -ЕГЧАчт-!У(7.13)'
Метод релаксации (с параметром w, где да — положительное число):
(±D-£).«m+1 = ((±- 1)/) + £*)мт + /(7.14)
ИЛИ
^m+I ” ^m^j eVAum /].(7.14)'
В работе Р. С. Варги [11] доказана
Теорема 7.2. Методы Якоби, Гаусса —- Зейделя и метод релаксации с ^е]0, 2[ сходятся, если матрица Л симметрична и положительно определена.
Отметим, что эти три метода относятся к типу методов спуска со вспомогательным оператором. Действительно, Аит — f является градиентом функционала J. Эти же методы относятся также к типу методов сжимающих отображений.
Положим
B = I — D-1A,
Bi=I -ф-Е)"1 А,
В„ = 1 -^X-D-E^ ' А, дае]0, 2{.
Можно показать, что нормы этих трех матриц строго меньше единицы. Следовательно, справедлива
Теорема 7.3. Матрицы В, Bb Bw соответствуют операторам сжатия (строгого), если А —- симметрична и положительно определена.
Методы типа сопряженных градиентов
Метод сопряженных градиентов был предложен Хестенсом и Штиффелем в 1952 г. При некоторых предположениях с помощью метода Галёркина можно свести решение задачи минимизации /(у) в V к решению задачи минимизации J(у) в Vm, где Vm — подпространство из 17 размерности tn. [Мы рассмотрим этот метод во введении к следующей главе.] Последняя задача значительно упрощается при рациональном выборе базиса. Метод сопряженных градиентов позволяет построить рациональный базис. Проиллюстрируем сказанное на примере.
Пусть А — симметричная и положительно определенная матрица п X я, и пусть / ge Rn. Положим
/(У) = 1(ДУ, v)R„-(f, o)r„.
Известно, что задача минимизации /(о) в R" эквивалентна решению уравнения
Au = f в R".(*)
Пусть построен базис w0, wlt ..., w^ в R", обладающий следующими свойствами:
( 1, если г = /,
(Awt, wA n — b: i = \ n • , •(**)
\ i, i^n i, 1 i q, если t -г- j.v /
[Заметим, что в R2 векторы w0 и avt называются сопряженными относительно кривой второго порядка, описываемой уравнением (Aw, ^)r2 = L]
Полагая
п—1
и =2 tllWu
мы должны получитьмы должны получитьi=O
мы должны получить
мы должны получить
П — 1
2 ulAwt = f, i=0
откуда
w—i
2 и1 • Aw{, т=о
Принимая во внимание равенство (**), имеем
и1 = (f, wA п, I = 0, ..., п — 1, следовательно,
/=0к
Итак, если известны w^ то решение поставленной задачи тривиально. Заметим, что матрица А — это гессиан функционала /, который в квадратичном случае является константой. В общем случае это некоторая функция. Более того, явное вычисление Н (й) может оказаться очень дорогостоящим, так как необходимо вычисление вторых производных от I»
Метод сопряженных градиентов удовлетворяет следующим принципам:
Метод применим, даже если функционал / не является квадратичным.
Когда функционал квадратичный
метод позволяет строить Д-сопряженные векторы ^0, ^ь ..., которые удовлетворяют (*, *),
используется лишь вычисление первых производных от J (и не требуется, следовательно, вычисления гессиана), — решение задачи в Rz получается за п итераций.
Метод сопряженных градиентов использует лишь первые производные и в общем случае. S
Мы рассмотрим теперь два наиболее интересных частных случая метода. Знаменитый и эффективнейший метод Давидона — Флетчера — Пауэлла и вариант метода, введенный недавно Б. Н. Пшеничным.
Вычисление обратной матрицы (I)
Обозначим через А симметричную, положительно определенную матрицу (а^), h /=L •• •> п* Говорят, что два вектора и и v являются А-сопряженными (или сопряженными), если
(Аи, ^^п = ^Аи = 0.
Лемма 8.1. Если отличные от нуля векторы w0, ..., wn_x Д-сопряжены, то они Линейно независимы.
Доказательство» Действительно, эти векторы отличны от нуля и ортогональны для скалярного произведения
\и, ^\^п = (Аи, с) = ^Аи,
Введем теперь матрицы С^, Dk\
к—1*к—1*Dk = I-Ck.A.Dk = I-Ck.A.(8.1)(8.1)
к—1*
к—1*
Dk = I-Ck.A.
Dk = I-Ck.A.
(8.1)
(8.1)
Имеем соотношения
Cft+i — Ск +Cft+i — Ск +wkAwkwkAwkVoШдЛа-оVoШдЛа-о&к + 1 — Dk&к + 1 — Dk«А^кУ.wkAwk«А^кУ.wkAwk(8-2)(8-2)dx=i-cx-a.dx=i-cx-a.
Cft+i — Ск +
Cft+i — Ск +
wkAwk
wkAwk
Vo
ШдЛа-о
Vo
ШдЛа-о
&к + 1 — Dk
&к + 1 — Dk
«А^кУ.wkAwk
«А^кУ.wkAwk
(8-2)
(8-2)
dx=i-cx-a.
dx=i-cx-a.
Теорема 8.1.
i) Если отличные от нуля векторы wt, z = 0, ..., к — 1, Л-со- пряжены, то
(8.3)(8.3)CkAwj = Wj, j = Q, ..., к—1, DkWj = 0.
(8.3)
(8.3)
ii) При k — n имеемii) При k — n имеемСп = А"\ |Dn = 0. JСп = А"\ |Dn = 0. J
ii) При k — n имеем
ii) При k — n имеем
Сп = А"\ |
Dn = 0. J
Сп = А"\ |
Dn = 0. J
Доказательство.
к—\*Y WjWtAwjк—\*Y WjWtAwjПо определению
к—\*
Y WjWtAwj
к—\*
Y WjWtAwj
CkAw] =
z=o "t*™i
и так как векторы Л-сопряжены, то
CkAwtCkAwtw^AWfw*jAwjw^AWfw*jAwjWpWp
CkAwt
CkAwt
w^AWfw*jAwj
w^AWfw*jAwj
Wp
Wp
Если k = n, то
DnWj = 0, / = 0, ..., n — 1.
Но n векторов Wj Л-сопряжены и отличны от нуля; по лемме 8.1 они линейно независимы. Следовательно,
Dn = 0 или
1-СпА = ^
откуда следует, что С„ = Л *.
Замечание 8.1. В предыдущем построении можно заменить wk на pwk. Это не изменит вид матриц Ск и Dk.
Построение А-сопряженных векторов
Алгоритм 8.1. Пусть вектор w0 задан. Это позволяет получить Сх и Dx. Пусть wb ..., wk_x построены. Это позволяет получить Ск и Dk. Мы предполагаем, что векторы w^ j = 0, ..., А — 1, Л-сопряжены, отличны от нуля и удовлетворяют условию (8.3). Построим wk) Ck±Xi Dk+V Пусть у е Rn, такой, что Dkc + 0. Положим
=(8-5)
и проверим, что ту0, ..., wk Л-сопряжены и отличны от нуля:
фкуУ Aw, = y*DkAwj = у* (1 - АСк") Ато8 =
= y*Awj — у*A (CkAwj) = у* Aw, — y’AWj = 0.
Если Dky = 0 Vo, то Dk = 0, т. e. 1— CkA = 0 и Ck = A-1.
Замечание 8.2. Обозначим через Dk вектор-столбцы Dk. Если у = е, (j-й элемент канонического базиса R"), тогда
Dke, = Dk.
Таким образом, можно брать в качестве Dwk ненулевой вектор- столбец Dk.
Минимизация квадратичной формы (I)
Пусть требуется минимизировать
7(о) = Т(ДУ) y^n — Q, o)R„ = yoMo — f*v,
где матрица А симметрична и положительно определена. Известно, что задачи:
найти и ее R”, такое, что
/(п)</(у) №eRn,(8.6)
и решить уравнение
Аи = ^(8.6/
эквивалентны. Более того, они имеют единственное решение.
Естественно, чтобы решить (8.6), достаточно решить линейную систему (8.6)'. Рассмотрим итеративный метод для решения (8.6), где / — функционал, не обязательно квадратичный. Этот метод характеризуется тем, что:
используются лишь первые производные от J,
— в квадратичном случае решение получается после конечного числа итераций.
Описание итерации. Пусть дано ит\ построение и^х осуществляется в три этапа:
. Вначале положим xQ = um, Do=\, Со —0.
Наилем наплавление спуска. Для этого построим последо-
вательности х^, Dk, Ck, k — 1, ..., п. Предположим, что уже найдены хк, Dk, Ck. Далее пусть у6 таково, что
Тогда положим иТогда положим и®й = ^>куи ^ 0 •g, = gradJ(x/) V/®й = ^>куи ^ 0 •g, = gradJ(x/) V/
Тогда положим и
Тогда положим и
®й = ^>куи ^ 0 •
g, = gradJ(x/) V/
®й = ^>куи ^ 0 •
g, = gradJ(x/) V/
где Хк N= 0.Если 7)^ = 0, 3. Положимгде Хк N= 0.Если 7)^ = 0, 3. Положим(8.7)
где Хк N= 0.
Если 7)^ = 0, 3. Положим
где Хк N= 0.
Если 7)^ = 0, 3. Положим
то выберем Сп = Ck.
(8.8)(8.8)Чщ-vX = ^m PmCngm,§т = §га<Щит\
(8.8)
(8.8)
где рот выбрано „оптимальным11 образом.
Теорема 8.2. Пусть J — квадратичный функционал, и — решение (8.5), и0 — произвольное начальное приближение и р0 = 1; тогда
Hj = и.
Доказательство. На втором этапе, согласно алгоритму 8.1, определятся Л-сопряженные ненулевые векторы.
По теореме 8.1 известно, что
сп —л-1.
Исходя из этого, на третьем этапе получается
их = CnGx —ах — Л-1 (Аих — f) = A-if = и.
Замечание 8.3. На втором этапе Л""1 определяется без вычисления А. Далее используют модифицированный метод Ньютона, повторно не вычисляя обратную матрицу.
Замечание 8.4. Можно избежать также запоминания двух матриц Dk и Ск. Например, в [6] Б. Н. Пшеничный так строит последовательность zb что 2n = Cngm. При этом в (8.8) достаточно заменить Cngm на zn.
Минимизация произвольного функционала (I)
Можно построить последовательность ит следующим образом. Пусть и0 задано. Предположим, что построены иь ..., и2т-х. С помощью изложенного выше сходящегося итеративного метода
строим и2т. Далее определяем направление Cng2m (или zj и вычисляем «2т+Р
^2m+l^2т Р2тСп§2т>
J (^2/п+1) ^ ^ (^2т рСпЙт) Vp ^ R.
Выбор м2т обеспечивает сходимость, выбор «2т+1 ускоряет сходимость и приводит к конечному числу итераций в случае квадратичного J. Заметим, что если
Vm,Vm,^пЯ^т 82пг \_
Vm,
Vm,
ll^mll’ ll^mll/^
то достаточно сделать для р2т сходящийся выбор.
Вычисление обратной матрицы (II) (Флетчер — Пауэлл [6])
Опишем другой метод обращения матрицы А, причем в этом случае введенные матрицы предполагаются симметричными и положительно определенными. Предположим, что построены ненулевые и сопряженные векторы да0, ..., wn_x, симметричные матрицы Нъ Нк, такие, что
HkAwi = Wj V/<&.HkAwi = Wj V/<&.(8.10)(8.10)
HkAwi = Wj V/<&.
HkAwi = Wj V/<&.
(8.10)
(8.10)
Например, можно положить Нк = Ск. Тогда для того, чтобы построить Нк+Х, достаточно использовать (8.2)
Hk+i =Hk-VHk+i =Hk-VwkAwkwkAwk
Hk+i =Hk-V
Hk+i =Hk-V
wkAwk
wkAwk
Однако мы рассмотрим более общую конструкцию, использующую матрицу Вк
Нк+х=НкЛ--4-^Вк.(8.11)
®кА®к
Матрицу Вк подберем так, чтобы:
Нк+Х была симметричной;
и, кроме того, Hk+xAwj^Wj, j<k+l.(8-12)
Когда j = k,
H^x^Wk = wk = H^Awk + -——h B^Aw^
ИЛИ
B^Aw^ + HkAwk = 0.
Следовательно,
и тогда (8.12) выполняется VZ s R” и для j — k. В силу симметрии выберем Z = HhAwk. Отсюда
к <AwkYHkAwk 'к <AwkYHkAwk '(8.13)(8.13)
к <AwkYHkAwk '
к <AwkYHkAwk '
(8.13)
(8.13)
Когда j < к, имеемЯ&+1Лгу; = Н kAWj +Когда j < к, имеемЯ&+1Лгу; = Н kAWj +М^Ъ) _ HkAVhA (нкА®У^Лк>6^Аш^*НкАшкМ^Ъ) _ HkAVhA (нкА®У^Лк>6^Аш^*НкАшк
Когда j < к, имеем
Я&+1Лгу; = Н kAWj +
Когда j < к, имеем
Я&+1Лгу; = Н kAWj +
М^Ъ) _ HkAVhA (нкА®У
^Лк>6^Аш^*НкАшк
М^Ъ) _ HkAVhA (нкА®У
^Лк>6^Аш^*НкАшк
Но w^Aw^—O и H.Aw=w. следовательно.
Итак, в силу (8.11) и (8.13) матрица Нк+Х удовлетворяет (8.12)
Начало построения матрицы Нк. Полагаем Яо = / и определяем Нх по формуле (8.11) при 6 = 0:
ayo^oAwo^Awoy
Н1 — 1Н————^—— •
w0Awq(Афо) Awo
Непосредственной проверкой убеждаемся, что Нх симметрична и удовлетворяет соотношению (8.10). Следовательно, справедлива
Теорема 8.3. Пусть заданы Н6 = 1 и ненулевые сопряженные векторы ау0, ..., wn_x. Тогда по формулам (8.11) и (8.13) можно построить последовательность симметричных матриц Нх, ..., Нп, удовлетворяющих (8.10), причем
Hn = A"\(8.14)
Отметим, что последнее равенство вытекает из условия {Н^А — /) Wj = 0, / = 0, ..., п — 1, и из того факта, что п векторов Wj линейно независимы.
Предложение 8.1. Матрицы Нк положительно определены.
Доказательство. Это верно для Но = 1. Предположим, что это верно до номера 1г. Покажем, что /f^+I положительно определена:
у*Я&+1у = уШ +у*Я&+1у = уШ +n*w^w*kv w*kAwkn*w^w*kv w*kAwk” нkAa)dHkA®kf °^к)" Нк(Ашк)” нkAa)dHkA®kf °^к)" Нк(Ашк)
у*Я&+1у = уШ +
у*Я&+1у = уШ +
n*w^w*kv w*kAwk
n*w^w*kv w*kAwk
” нkAa)dHkA®kf °^к)" Нк(Ашк)
” нkAa)dHkA®kf °^к)" Нк(Ашк)
Определим два эквивалентных скалярных произведения в R": П'
(ц, о) = UV = 2 Мгу(,[м, у] = (ЯАм, у).
и соответствующие им нормы
II м 11 = (u, tz)v\[«] = [«, ы]'/2.
Полагая y = Awk, приходим к
или
у*#й+1Уу*#й+1УlyP (®L Aw^lyP (®L Aw^
у*#й+1У
у*#й+1У
lyP (®L Aw^
lyP (®L Aw^
Согласно неравенству Коши — Шварца, имеем
[у, i/KN • [у], отсюда
y*//fc+1y^0 Vy.
Кроме того, если v*Hk+]v = 0, то
(8.15)(8.15)[ур • [ур — [у, </Р = о, (у, йУ6) = 0.
(8.15)
(8.15)
Но тогда, как известно, у = KAwk, K(Awk, wk) = Q.
Так как ^Awk, wk")>0, то Л = 0 и у=0. В
Займемся теперь построением последовательности wk. В алгоритме 8.1 была выбрана wk = Dkv, yeR",
Используем эту идею еще раз:
^к+1=Нк+хо.
w^Aw^w^vw^Aw^w^vПредположим, что w0, ..., wk Л-сопряжены. Имеем
w^Aw^w^v
w^Aw^w^v
(®‘АН^ Ашк фкАчо^У^к? НккА®^
Принимая во внимание равенство HkAw: = Wj, j < k, сопряженное соотношение и равенство w^Aw^ = 0, / #= ^, приходим к w‘AHfe+1v = wjy, / < к, и
w^AH^v = да*у, / = к.
Итак, доказано
Предложение 8.2. Пусть w0 — произвольный элемент R”. Можно следующим образом построить последовательность ненулевых и Л-сопряженных векторов. Будем считать известными векторы
(8.19)(8.19)^&+i>^&+i>(8.20)(8.20)(8.21)(8.21)(8.22)(8.22)(8.23)(8.23)(8.24)(8.18) и А —(8.24)(8.18) и А —
(8.19)
(8.19)
^&+i>
^&+i>
(8.20)
(8.20)
(8.21)
(8.21)
(8.22)
(8.22)
(8.23)
(8.23)
(8.24)
(8.18) и А —
(8.24)
(8.18) и А —
wQ, ..., wk матрицы Нх, ..., Hk+x, и пусть вектор Уй+1=0 удовлетворяет условию
VA+1 e R",
®A+i = o, i^k, yfe+1^o.
(8.16)
Тогда
m6+i = Hk+1vk+x.
(8.17)
Минимизация квадратичной формы (II)
Пусть требуется минимизировать функционал
/(У) = уИу, y\n—Q, у)к« = уУ*Ау — у*-/,(8.18)
что сводится к решению уравнения Au — f.
Алгоритм 8.2 (Флетчер — Пауэлл). Начальное приближение и0, Но, ®0 выбрано так, что
Но = 1,
и0 произвольно,
w0 = grad J (иф = Auo — f.
Предположим, что построены uk, Hk, wk. Построим ^6+ь чуа+п Строим «й+ь полагая
«А+1 = Uk — $kWb
где pft удовлетворяет условию
I <ик — pkw^ <Jluk — pw^ Vp.
Введем несколько обозначений, упрощающих запись:
Wk = — Pfe®fe, gk = grad J (uk) = Auk — L
Vk = ^6+i — gk = A ■ wk.
Строим Hk+i и ty6+i, полагая соответственно
„„ , ®k®kН^Н^)'
Пк^х — пкл——г-,
®кУк УкНкУк
wk+i = Hk+1gk+1.
Теорема 8.4. Если J (у) — квадратичная форма
симметричная положительно определенная матрица, то алгоритм 8.2 обладает следующими свойствами:
Последовательность ик является минимизирующей последовательностью.
116
Если и удовлетворяет Ци^<Л ^ V^eK, то существует к^п, такое, что
ш) Матрицы Нк симметричны, положительно определены и удовлетворяют условию
HkAwj = wh j < к, Н^А"1.
iv) Векторы Wj Л-сопряжены и отличны от нуля.
Доказательство. Конструкция матриц такая же, как в п. 8.4.
Первый шаг. Если для ш ^ п имеем gm = 0, то Аит = f и ит = и.
Второй шаг. Если Vm^ft, gm ^ 0, покажем, что векторы w^ ненулевые и Л-сопряженные. Предположим, что это верно для й0, ..., wk. Покажем, что это верно для wQ, ..., w^v В силу предложения 8.2 достаточно проверить, что
w'jg^ 1=0, /<&.(8.25)
В силу выбора р/ имеем
^/+1=0 V,.(8.26)
Но
gfe+i —A^w^-V-+ t&y+i) + gj+v
Следовательно, (8.25) эквивалентно
®H(®* + ••• +®/+i) + s^/+i=°-(8-25У
Векторы w0, ..., wh Д-сопряжены, и в силу (8.26) равенство (8.25)' справедливо. Отметим, что если ^+1 =/= 0, то в силу положительной определенности матрицы Н^+х получим Wk+l #= 0. Более того, Pfe+1#=0, иначе g*www = Q ^ g\+xliwgb+x =0, т. е. §■^+1 = 0. Следовательно,
^+i = Pa+№+i Ф 0.
Итак, векторы w, отличны от нуля и Д-сопряжены.
Третий шаг. Можно теперь использовать все результаты из п. 8.4, в частности равенство Нп = Д-1. Следовательно,
®П = A~xgn = Д"1 (Д«„ — /) = «„ — Д"7 = Un — и, ип^.х = ип р,г ^иа и).
Наилучшим выбором р„ будет р„=1, откуда
^пА-Х =:= ^*®
Замечание 8.5. Соотношение (8.23) однородно относительно wk и, следовательно, относительно wk. Это означает, что для вы-
числения Н^ можно использовать произвольное р^. Действительно, выбор р& по формуле (в.21) используется лишь для того, чтобы проверить соотношение (8.25), аналогичное (8.16).
Если р^ вычислены неправильно, то векторы wk не будут Д-сопряженными и отличными от нуля, а выводы предыдущей теоремы будут ошибочны. Можно избежать вычисления р^ по формуле (8.21), поступая следующим образом.
Пусть известны w0, ..., wk. Точку м^+1 выберем на прямой uk — $wb uk+Y^uk (выбор р предполагается сходящимся). Такой выбор позволяет построить Я&+1. Далее выберем у, такое, что w*y = 0, у =£ 0, /< к.
Наконец, положим
юк+1=Нк+1у.
В силу предложения 8.2 можно проверить, что предыдущая теорема верна и в этом случае [за исключением, быть может, пункта I), но можно выбрать о таким образом, чтобы условие i) также выполнялось].•
Минимизация функционала (II)
Используется та же самая конструкция, что и в случае квадратичного функционала, если гессиан функционала положительно определен на множестве 7(v)^Z(u0). Можно показать, что матрицы Нк положительно определены.
Действительно, речь идет о методе вспомогательного оператора. Мы знаем, что этот метод сходится, если операторы равномерно коэрцитивны, что имеет место в многочисленных случаях.
Замечание 8.6. В методе Флетчера — Пауэлла необходимо искать „оптимальное" р на каждой итерации, что очень затруднительно в задачах управления. В варианте, предложенном Пшеничным, на промежуточном этапе для поиска А-1 можно выбирать произвольное Я6, что оказывается более выгодным. Однако проблема определения р требует более тщательного изучения.
9. Прямые методы
Метод называется прямым, если он не требует вычисления производных. Пространство предполагается конечномерным
7 = Rn,
и е V ^и = (иь ..., zzj.
Чтобы избежать всяких неясностей, будем обозначать ит последовательные итерации, полагая
Um = (и^, .... и^.
Алгоритм 9.1 (метод покоординатного спуска).
Основная идея этого метода состоит в том, что фиксируются все компоненты, кроме одной, которая выбирается таким образом, чтобы минимизировать /. Иначе говоря, задается произвольное и0, а переход от ит к um+l производится следующим образом: определяют ы<”+1 для Z=l, 2, ..., п из условия.
/..., и^и^1, и^+1,)
..., и^и^ и^^, |(9.1)
Voz е R.)
Предположение 9.1. Предполагается, что градиенты G (и) и Н (и) непрерывны, следовательно, ^и, фeR имеем
/ (м + ф) = / (и) + (G (и), ф)к» +1 (Я (м 4- 0ф) Ф, ф).(9.2)
Более того, предполагается, что
(Я (н) ф, ф) а • || ф |р Уф е R" VasR", а > 0, 1
||G(«)||<A1 VizeR”./(913)
Теорема 9.1. По предположению (9.1) задача: определить и е R", такое, что
/(«)</(у) УгеГ,(9.4)
имеет единственное решение. Более того, алгоритм 9.1 позволяет построить последовательность ит, которая сходится при т->оо.
Доказательство. Остается доказать только сходимость алгоритма.
Первый шаг. В силу предположения (9.3) имеем
II ит || ^ с ^ + оо Vm.
Более того, J (у) ограничен снизу числом J (и).
Второй шаг. Для упрощения записи обозначим
цт+1,1 = Сит+1 . um+\ um . цт\
\ 177 I ' Z7 Пр
Заметим, чтоЗаметим, чтоф"1 = (... О, uf — и^\ 0, ...).
Заметим, что
Заметим, что
Mm+1, Z-1 — цт+1. I _[_ ^т.
По формуле Тейлора имеем
■ТД\Н\и + 9, ф; )ф/ , ф,- > 0 < 6; < 1.
Принимая во внимание вид ф^, получим
(G (Wm+I’ 1\ ф'и) =(G (Wm+I’ 1\ ф'и) =д!dutд!dut(um+1-^(nf(um+1-^(nf— «*+>)= о,— «*+>)= о,
(G (Wm+I’ 1\ ф'и) =
(G (Wm+I’ 1\ ф'и) =
д!dut
д!dut
(um+1-^(nf
(um+1-^(nf
— «*+>)= о,
— «*+>)= о,
ибо в силу (9.1)
(9.5)(9.6)(9.5)(9.6)^-И+,’') = о.
(9.5)
(9.6)
(9.5)
(9.6)
Следовательно, принимая во внимание (9.3), имеем
J (и™*’1-1~^ — J (иР^- 1) — ^^а\иР — UT+1 р, lim || = 0.
Третий шаг. Так как последовательность ит ограничена, то из нее всегда можно выделить сходящуюся подпоследовательность
ит—> w в R” при т'-хх».
Но с учетом (9.6) приходим к
um+ixw в R" при т'->-|-оо, г=1, ..., п.
Переходя к пределу в (9.5), получаем
"^-И = 0, /=!,..., п.(9.7)
Мы знаем, что по предположению (9.3) задача (9.4) имеет единственное решение и что это решение характеризуется равенством (9.7). Следовательно, w = u. Так как w не зависит от выбора подпоследовательности ит, то ит сходится к и.
Один частный случай. Пусть А — симметричная, положительно определенная матрица и f — элемент из Rn. Положим
/(У)=4(му)—(f-у)-
Тогда решение задачи (9.4) является также решением уравнения
(9.8)(9.8)Au — f.
(9.8)
(9.8)
Уравнение (9.8) эквивалентно равенству (9.5), которое в этом частном случае имеет вид
Равенство (9.9) соответствует методу Гаусса—Зейделя.
Замечание 9.1. Предположения (9.1) довольно ограничительны; следовательно, этот метод пригоден лишь в очень редких случаях. Когда функция J не является достаточно регулярной, алгоритм (9.1) может не сходиться. Как видно из нижеследующего рисунка:
um = uQ Чт, и, следовательно, имеет место „остановка** алгоритма в точке u = uQ.
Именно для того, чтобы устранить этот недостаток, Розен- брок был вынужден модифицировать предыдущий метод.
Алгоритм 9.2 (вращение координат. Метод Розенброка).
Пусть построены zz^"1 и ит. Поиск ц^4*1 производится в три этапа.
Изменяют координаты, вводя новую ортонормированную систему таким образом, чтобы первая ось имела направление ит_ит-1е
Для вычисления uw+1 используют алгоритм 9.1 (с новыми осями).
Возвращаются к старой системе координат.
Алгоритм 9.3 (локальные вариации или метод Хука и Дживса)*).
Единичный вектор z-й оси в Rn обозначим через et.
Оператор локального поиска
- На основе трех элементов Z, у, р построим элемент RLz/.
J; y = R^R,|
У е R", р е R+ RLz/ ее Rrt. J
Положим у^ = у. Через ух обозначим одну из трех точек у^-—реХ) z/°, #° + Р5ь в которой I минимален. Если значения J в точке у0 и другой точке совпадают, то выбираем у1 = у0. Таким же образом строим z/2, уп (вводя последовательно е^ ..., еп\ Полагаем
RLz/ = z/n.
!) Независимо от указанных авторов метод локальных вариаций был развит в работах Черноусько Ф. Л., Крылова И. А., Баничука Н. В. и Петрова В. М. (см., например, [8]). — Прим. ред.
Заметим, что значения функционала монотонно убывают
причем если
то у" = у0 (так как если функционал не увеличивается, то выбирается третья точка y°Y Итак, для оператора RL справедливо
Z(RLy) = Z(t/)^RLy = у,(9.19)
и, обратно,
К^У — У^ЦУ^НУ ^9ei\ i=l,...,n.(9.11)
Описание схемы
Вычисления методом локальных вариаций проводятся по следующей схеме. Строится последовательность точек, причем построение начинается с элементов ^° и р0. Далее вычисляется
V1: U^ = RLV°.
Если v1 = и °, то вычисления заканчиваются, в противном случае вычисляются у2, у3, .... Предположим, что построены Vй-1, ук; тогда
если J (RL (2ик — и^1)) < J (vk\ то
v^+I = RL (2^ —у*”1),
иначе y^+I = RLy^.
Вычисления заканчиваются, если yW = yk (^—конечное число), так как в этом случае u^+1 = RL^^ = ик и в силу (9.11) имеем
Z(o6XZ(v6 ± ре,), 1=1,(9.12)
Итеративный метод
Дан функционал Z: R = R"->R. Требуется минимизировать Z на R”. Пусть даны м0 и р > 0. Строим последовательность ыь м2> • • • следующим образом:
их — последняя варьируемая точка, построенная по описанной схеме начиная с м0, р;
м2 — последняя варьируемая точка, построенная при ий = их с шагом р/2;
и так далее; наконец,
ит — последняя варьируемая точка, построенная при ий = ит_х с шагом р/2т-1.
Теорема 9.2. Пусть выполнены условия:
J (и), дЛдщ, 1=1, ..., «. — непрерывные функции,
Z — строго выпуклый,
Z (ы) -* + оо при ||«|| -> -|- оо.
Тогда задача: определить и е R", такое, что
Z(^XJ(v) Vv е Rn,
имеет единственное решение. Более того, последовательность ит, построенная с помощью алгоритма 9.3, сходится к и при т->оо.
Доказательство. Нужно только доказать сходимость алгоритма.
Первый шаг. В силу предположения iii) и Цит")^Ци^ последовательность ит ограничена.
Второй шаг. Так как точка ит — последняя варьируемая точка, то в этой точке справедливо соотношение (9.12), в силу которого имеем
Z(tim)</(«m±^T^),1 = 1п.(9.13)
Из (9.13) немедленно выводим, что существуют 9?1 е [—1, +1], такие, что
— « +6i т^гг^ =0, 1 = 1,(9.14)
Третий шаг. Так как ит ограничена, существует сходящаяся подпоследовательность ит\ такая, что
lim ит' = w,т* ->со
и, следовательно,
11m (ит' + еГ• ^) = w.
В силу (9.14) имеем
-^И = о, /=1,
Следовательно, w = и и Ит ит = и.
т-^оо
Замечание 9.2. Если функция / „недостаточно" регулярная, возможна преждевременная „остановка" вычислений (см. замечание 9.1).
Алгоритм 9.3' (отличается от предыдущего этапом ускорения сходимости).
Пусть уже построены ук и матрица Ай. Положим
6 (у) = grad / (у).
Исследуем уравнениеИсследуем уравнениеАкук = G (УкуАкук = G (Уку
Исследуем уравнение
Исследуем уравнение
Акук = G (Уку
Акук = G (Уку
Если это уравнение имеет решение у\ то положим
ук, 0 — ук — OkyY
где ок выбрано таким образом, чтобы
J ^k’^^I V^Y
Можно было бы, например, выбрать „оптимальное" ок из условия
J (vk — окук) (vk — оук) Vo R.
Затем строятся у^, ..., v^, как в алгоритме 9.3. Более того, строится матрица А^ следующим образом. Обозначим через AkJr^ Z-й вектор-столбец матрицы Л^+1. Положим
при ук, I -4_ ук, Z —1
И
1р
при tAz = и1^ ^Y ■
Очевидно, что и в этом случае справедлива теорема 9.2. Более того, если /(у) — квадратичная форма, то решение определяется первой итерацией (с о=1).
Дополнения
Ускорение сходимости (см. [10])
Рациональный выбор р
Обозначим через рт число, такое, что
^ Y^m ’ Pm^m) ^ ^ ^m P^m)*
Вводя фиксированное число к и полагая
^т+1 == ^m kpmWm>
Стейн добился лучших результатов по сравнению со схемой градиентного метода:
^m+l == ^m Pm^m*
Тот же прием можно использовать в методе Гаусса—Зейделя (см. алгоритм 9.1 и его частный случай — схему (9.9)). Пусть й^1 определено равенством
Тогда положим:
^+1 — ит _|_ р (й^+1 — U^.
Подходящим выбором чить заметный выигрыш Р. С. Варги [II]).Подходящим выбором чить заметный выигрыш Р. С. Варги [II]).параметра релаксации р можно полу- в сходимости ит к и (см. работу
Подходящим выбором чить заметный выигрыш Р. С. Варги [II]).
Подходящим выбором чить заметный выигрыш Р. С. Варги [II]).
Рациональный выбор ^
Во-первых, ускорения сходимости можно добиться введением подходящего вспомогательного оператора (с изменением метрики в пространстве).
Во-вторых, изучение градиентного метода в случае квадратичных форм приводит некоторых авторов к построению такой модификации этого метода, которая позволит найти решение за конечное число итераций (см. метод Флетчера — Пауэлла, метод Пар- тана, а также работу Форсайта и Моцкина [10]).
Поиск, минимума функции одной переменной (см. работы [9]
Предполагается, что функция х->/(х) определенна, непрерывна и строго выпукла в интервале (а, Ь\
Следовательно, существует единственная точка х е [а, 6], такая, что
Vxe[a, b\
Речь идет о том, чтобы, вычисляя значение f в некотором числе точек, найти интервал „достаточно" малой длины, в котором находится х. Идея метода такова: вводятся с и d, такие, что а < с < d < b, вычисляется /(с) и ЩУ-
если /(c)<f(d), то хе(а, dY если f (с) = f(d), то х g (с, d), если f(c)>f(dY то x<G(c,bY
С помощью вычислений функций в точках с и d мы уменьшили длину интервала, в котором находится х. Предположим, что х е (a, dY Вводя точку с и новую точку, мы снова уменьшим интервал и так далее. Из многочисленных результатов, полученных на эту тему, для случая, когда число точек вычисления f известно заранее, следует отметить „оптимальный" метод, использующий числа Фибоначчи. В других случаях используется метод „золотого сечения". Вульф предложил следующий метод.
Пусть х е [а, 6]. Введем числа:
(ЮЛ)(ЮЛ)с =а + г2(Ь —• а), )d = а + г (b — a). j
(ЮЛ)
(ЮЛ)
гдегдег = 1(/5- 1).г = 1(/5- 1).(10.2)(10.2)
где
где
г = 1(/5- 1).
г = 1(/5- 1).
(10.2)
(10.2)
Если /(с)^/^), полагаем ах = а, bx = d.
Если Нс)> ЦсГ), полагаем ах — с, bx = b.
Попадаем в начальную ситуацию с меньшим интервалом (ах, Ьх\
Выбор г по (10.2) приводит к тому, чтоприах = а,bx = d
будем иметь dx = с, а в случае ах = с, bx = bполучаетсясх= d.
Следовательно, одно из двух чисел Цс^, f(dx) уже известно, т. е. для каждого уменьшения интервала локализации корня достаточно вычислить значение / в одной новой точке.
10.2.2.
Предполагается, что функция f(x) определенна, непрерывна и строго выпукла в [0, + оо[. Вообще говоря, в методах типа градиентного вычисляются f(0) и /'(0). Речь идет о том, чтобы найти х^О, такой, что
f^<f^ Vx>0.
Вообще говоря, вычислив f(xj для хх > 0, где хх задан, и осуществив параболическую интерполяцию по точкам xo = O, f (х0), f'(x0), H^i), мы получим приближенное значение х. Введя две точки хх и х2, можно сделать кубическую интерполяцию, как это предлагается Давидоном.
Глава 4
Минимизация с ограничениями
Введение
Теперь мы изучим задачу минимизации выпуклого функционала, когда на переменную наложены выпуклые ограничения. (В настоящее время известно сравнительно немного результатов исследования задачи минимизации при невыполнении условия выпуклости.) В § 1 показано, как строить приближенное решение задачи с помощью последовательности итераций, удовлетворяя при этом ограничениям. В § 2 решение задачи с ограничениями сведется к решению задачи без ограничений. В § 3 изучаются различные способы декомпозиции.
Напомним некоторые теоремы, доказанные в гл. 3.
Теорема 0.1. Если У — рефлексивное банахово пространство, функционал J слабо полунепрерывен снизу (с. п. н. с.), U — ограниченное слабо замкнутое подмножество У, то существует по крайней мере один абсолютный минимум / в U.
Теорема 0.2. В теореме 0.1 можно заменить предположение об ограниченности U условием
lim /(о) = + °°» ууЦ-^оо
Теорема 0.3. Если помимо условий теоремы 0.1 предполагается, что функционал J строго выпуклый, а множество U выпуклое, то имеет место существование и единственность абсолютного минимума.
Докажем, что справедлива
Теорема 0.4.
Если / G-дифференцируем в U, U — выпуклое подмножество банахова пространства У, и е U и если
7(ц)<7(и) VeeG,(0.1)
то
Г(ц, у —ц)>0 MdgU.(0.2)
Если, кроме того, функционал J выпуклый, то (0.1) и (0.2) эквивалентны.
Доказательство
Действительно, в силу (0.1) имеем
V8^[0, 1], Mx)^Ut
следовательно,
/(« + 6(9-«))-/(«) ^0 V0 е ]0) Ц, Vу sи,
и когда 0->О+, приходим к (0.2).
и) Если функционал J выпуклый, то достаточно использовать соотношение
/(у) > J (и) + Г^и, и — ы) Уу,
чтобы получить это утверждение теоремы, g
Замечание 0.1. Если U не выпукло, можно обобщить предыдущий результат, вводя следующее понятие: направление у называется касательным к U в точке и, если существует последовательность ит е U и последовательность рт > 0, такие, что
(0.3)(0.3)limp,,, = 0,
(0.3)
(0.3)
hm —= у.
9т
В этом случае можно показать, что
Г (и, у)>0
для всякого направления у, касательного к U в и.
Теорема 0.5. Если J = Jx-V 12, причем Jx, J2 выпуклы, J2 является G-дифференцируемым, U выпукло и если и s U, то i) и ii) эквивалентны:
0 /(«)</(и) VveG,
Ux (у) — Jx (w)) + J^u, v — u)^0 ^"oeU.
Доказательство. Докажем, например, что i) =Ф ii). Пусть и sU. Для 0 е ]0, 1[ имеем
д (“) Ч- ^2 (^) '^ А (^ Ч- 0 (у —* «)) Ч- Д (и Ч- 0 (уц)).
В силу выпуклости Jx получаем
Jx (и Ч- 0 (у — «)) ^ /1 (и) Ч- 0 (/1 (у) — /1 (и)).
Следовательно,
Л (ы) Ч" А (н) ^ ^i W Ч~ 6 (Л (у) — Л (и)) Ч" Л(и Ч~ 6 (у — «)).
Тогда для 0 е ]0, 1]
о<(/i (у)-/1 («))Ч- A<L±0(^)kiAW .
Устремляя 0 к нулю, получаем ii). ■
Опишем общий метод, который позволяет аппроксимировать решение бесконечномерной задачи решением некоторой конечномерной задачи.
Метод Галерки на1)
Пусть У — рефлексивное банахово пространство, имеющее счетный базис. Предположим, что задан базис У : еь i=\,%, .... Пусть векторы et линейно независимы и для всякого и е У существуют скаляры и^, такие, что
т
lim S uTei = м в К (сильно).
т-> + со t—О
Мы обозначим через Vm т^^^о^ подпространство У, порож- т
денное векторами ev, ..., em. Полагая мт=5м?ге., получаем 1=0
(ОЛ)(ОЛ)VueV Эит е Vm, такое, что
(ОЛ)
(ОЛ)
Пт |[ ит — и Цу = 0.
т-> оо
Пусть U — выпуклое замкнутое подмножество пространства V и Um — выпуклые замкнутые подмножества в Vm. Предполагается, что
(0.5)(0.6)(0.5)(0.6)Ум е U Зит е Um, такое, что
(0.5)
(0.6)
(0.5)
(0.6)
Нтит = и* в V слабо /^Нтит = и* в V слабо /^Пт || ит — и Цу = 0, т-> оо
Нтит = и* в V слабо /^
Нтит = и* в V слабо /^
Два последних предположения определяют понятие близости U и Uw.
Пусть, наконец, задан функционал ое1'->/(у)ЕР, имеющий градиент G (и) и Н (и). Более того, предполагается, что
| <Н(и)<$>, ф)КМ -ЦфЦ-ЦфЦ Уф, ф, и eV, М < + оо, |
<Я(и)ф, Ф>>а||фЦ2 Ум, ф^У; а > 0./
Задача Р. Определить ueU, такое, что Z(m)<Z(v) MoeU.
Задача Рт. Определить ит е Um, такое, что ЦитХЦу) MueUm.
!) В отечественной литературе этот метод принято называть методом Бубнова — Галеркина по имени профессора Бубнова, которому принадлежит его идея.— Прим. ред.
Докажем, что справедлива
Теорема 0.6.
Решение задачи Р (а также Рт) существует и единственно, ii) Более того,
lirn || ит — и |( = 0.
т->оо
Доказательство. Из соотношения (0.7)2 следует, что функционал I выпуклый и
lim Z(v) = + oo.(0.8)
II и ||~> ОО
Так как Z дифференцируемый и выпуклый, то Z —с. п. н. с. функционал и, следовательно, предположения теоремы 0.3 выполнены. Отсюда вытекает существование и единственность и и ит.
Пусть последовательность ут s Um такова, что
Игл || ут — и || = 0.(0.9)
т->оо
По формуле Тейлора имеем
Z (Рт)=^ (“)+(G (“)> ^т ^) 4" "2^Н (и -f- 9m(ym u)) (um и), ут ы),
6m S]O, Ц,■
что вместе с предположением (0.7) приводит к
lim Z(vm) = Z(«).(0.10)
т-»оо
По определению точки ит имеет место неравенство (^т) ^ ^т\ следовательно,
J (ит) < с < -ф оо Vm.
Но тогда в силу (0.8) получим
H«mlKcl < + 00 Vm.
Значит, существует подпоследовательность ит> последовательности ит и элемент и е V, такие, что
lim ит' = и* в V слабо, 1
tW U^, и* eV. )
По предположению (0.6) отсюда следует, что и* eU. Так как Z — с. п. н. с., имеем
Ци*^^ lim Нит-\(0.11)
mf->oa
Используя (0.10), получим
7(О<Л«) («,»*е1/).
Следовательно, и = и*, более того, lim ит = и' = и в V слабо.(0.12)
т-»оо
Поскольку
J {^т)==^ (^)~К^ (и), «т U) -|- ^- (Д ^"V^mV^tn ^))> ^т ^)> ^т “)>
Лте]о, 1[,.
то в силу (0.7) получим
"^ fl Urn ”" ^ IP ^С [7 («т) ~7 (ti)] ” (G («), Um U^).
Используя (0.10) и (0.12), приходим к равенству
lim || ит — ы|| = 0.
т->оо
Заметим, что для доказательства нам понадобилось только лишь свойство (0.4) подмножества Vm. Следовательно, можно рассмотреть более общее определение Vm, используя в этом определении т произвольных базисных векторов е7\ ■
Замечание 0.2. Для преобразования бесконечномерной задачи в конечномерную чаще всего используются два общих метода:
— метод Бубнова — Галеркина,
— мет'од конечных разностей.
Эти методы оказываются эквивалентными в „большом" пространстве, содержащем исходное.
Мы не будем останавливаться на описании метода конечных разностей, так как это приведет к необходимости уточнения природы элементов (см. об этом, например, Обин [20], Сеа [20]).
ПРИБЛИЖЕННОЕ РЕШЕНИЕ ЗАДАЧИ МИНИМИЗАЦИИ
Обобщение метода Франка и Вулфа (см. [12]).
В случае когда минимизируемый функционал — квадратичный, а ограничения линейны, можно использовать метод Франка — Вулфа.
Данные и предположения.
V — гильбертово пространство, U — замкнутое выпуклое подмножество в V.
Строго выпуклый функционал o-*J(u) определен на V и имеет градиент G и гессиан Н, причем
(Я(ы)Ф, Ф)>«||ф|р Уф^7;а>0 4ueU (1.1) и
||Д(ы)1КМ 4u<=U.(1.2)
Задача 1.1. Определить ueU, такое, что
/ (u)^J (у) Vue U./ (u)^J (у) Vue U.(1.3)(1.3)
/ (u)^J (у) Vue U.
/ (u)^J (у) Vue U.
(1.3)
(1.3)
Мы знаем, что эта задача имеет единственное решение (теорема 0.3). Более того, если и0 — произвольная точка в U и
7(у)</(м0),
то в силу (1.1) и (1.2) имеем
1|у|Кс< 4-оо.
Следовательно, можно предполагать, что множество U ограничено в V.
Решение, полученное в результате m-й итерации, обозначим через ит. Положим
/tn == J (ит)> '
(1.4)(1.4)Gm — G ^и-т),Иtn^2 Н (Дт)-
(1.4)
(1.4)
Построение направления спуска. Пусть Т — выпуклое замкну
в V, имеющее 0 в ка- d > 0 — его диаметр (d = например, выбрать F =в V, имеющее 0 в ка- d > 0 — его диаметр (d = например, выбрать F =тое и ограниченное подмножество честве своей внутренней точки. Пусть = шах || и — у ||, и, у е У). Можно, = {у|уеУ, ||у||^у| или в случае
в V, имеющее 0 в ка- d > 0 — его диаметр (d = например, выбрать F =
в V, имеющее 0 в ка- d > 0 — его диаметр (d = например, выбрать F =
y = R"
можно определить
У = 1 у | у е R", | Уг- КУ = 1 у | у е R", | Уг- Кd2V2 ’d2V2 ’/ = 1п/ = 1п
У = 1 у | у е R", | Уг- К
У = 1 у | у е R", | Уг- К
d
2V2 ’
d
2V2 ’
/ = 1п
/ = 1п
Положим
Um = ^\y eU, у — ПщеГУ Пусть ут — элемент Um, такой, что
Ут т)1
(Gmt ^>(0mt Ут) VV^Umt J или иначе
Ут ^ Umt
k^mt ^^m) ^ (^mt Ут ^m) Vo ^Uт*
Пусть zm ™~ элемент U, такой, что
^т ^ U>1
k^mt Ут ’ ^mi "^ С ^Gm, Zm U^, J где G — положительная фиксированная константа»
Например, можно выбрать zm — ym, G = l. Определим направление спускаНапример, можно выбрать zm — ym, G = l. Определим направление спуска(1.8)(1.8)Выбор точки в направлении спуска.
Например, можно выбрать zm — ym, G = l. Определим направление спуска
Например, можно выбрать zm — ym, G = l. Определим направление спуска
(1.8)
(1.8)
Введем р^, положив
Pm = max Р1
Vp, такого, что um + pwm gU. j
Введем р^, такое, чтобы выбор рт = р^ был Тогда для задачи минимизации J (v) в V полагаем
pm = min (р^, р^ и
^т+1 == Чщ ~Ь Рт®т-
(1.9)(1.9)сходящимся.сходящимся.(1.10)(1.10)(1.11)(1.11)Теорема 1.1. При выполнении сформулированных предположений
(1.9)
(1.9)
сходящимся.
сходящимся.
(1.10)
(1.10)
(1.11)
(1.11)
задача 1.1 имеет одно и только одно решение;
И) описанный выше алгоритм сходится, т. е.
Ит || ит — и ||и = 0.
т^оо
Доказательство. Докажем сначала существование направления wm.
Из (1.6)' и (1.7) следует, что
(Gm, V Um) ^ (Gm, ym Um) ^ C (Gm, Zm Um) Vv G Um*
Выбирая y = um, имеем 0 X(?m, 2т —um).
Если (Gm, zm — ит) = §, то (Gm, с — и^^О \fv^Um и, следовательно,
(Gm, v — u^^O Vv^U.
По теореме 0.4 ит — решение задачи, т. е. ит = и.
Если (Gm, zm — и^ < 0, то zm =^= итп направление wm = лг^—^тЧ является направлением спуска.
Первый шаг. Мы сейчас покажем, что
Пш (Gm, zm ■ и^ = 0.(1.12)
т->со
Имеем
J (?/) 5^ * • • 5^ J (О-т-{Л 5^ J CU-tn) ^^ • * • ^^ J («о)(1.13)
и, в частности,
lim Mm = lim (J (um) — J (um+1^ = 0.(1.14)
Случай pm = p^.
По определению сходящегося выбора р из равенства (1.14) следует, что
и, так как последовательность ||zm — итЦ ограничена, приходим к (1.12).
Случай рт = ргт.
Отметим, что
z„GU=^u„ + p«v Еу Уре[0, ^т-итП
Следовательно, в этом случае
(1.15)(1.15)Р^ ^ II ^т —~ ^т II > 0,
(1.15)
(1.15)
^т Р/и ^ ^т*
Если 7 (ит + pim • w^ < I (ит + р^ • wm\ то
7 (Um) -Цит + Рт^т^ > 3 ^т^ ~ 3 К + Р^^т),
и так как выбор р^ сходящийся, то из теоремы 4.1 гл. 3 следует, что выбор рт также сходящийся. Итак, мы снова пришли к первому случаю рт = р^, следовательно, соотношение (1.12) справедливо.
Пусть J ^ит + p>J > J ^ + p^w^. Этот случай изображен на рисунке.
Полагаем
A/m = J т-J(Um) "Л “m + Pm^m)’
^т = 1Ы-Цит^^т>тогда^ mPm
ИЛИ
<116)
Так как выбор p^ сходящийся, то для всех сходящихся выборов р, изученных в гл. 3, существует функция 8->у(е), такая, что
Pm И y(e)^0 Ve > О, е -* 0+ => у (е) -* 0; у(е)-»0=^е-*0.
Следовательно, в силу (1.16) имеем АЛ^Рт ^(|| а из (1.14) следует, что
i™pI,v(|g„-,'U)-0-<LI7)
Если limр^ = 0, то в силу (1.15) lim||zOT — «т| = 0, и мы снова приходим к (1.12).
Если lim р^ #= 0, то существуют подпоследовательность р^, и е > 0, такие, что
P^eXL
Тогда из (1.17) вытекает, что
lim у (|| Gm, —||) = О
и, следовательно,
Нт фт' — wm^ = 0.
Отсюда получаем (1.12), поскольку последовательность \\zm' — ит' || ограничена. Так как предел не зависит от выбора подпоследовательности, то равенство (1.12) справедливо во всех случаях.
Второй шаг. Если и — решение задачи 1.1, то можно найти *от е Um, Хт е R, такие, что
^ ™" ^т " ^т к^т ^т)?
Хт^С <-^ оо Мт, Лт^0. Но
J (zz) = J ^и^ 4" k^tm ^""^т^ 4" *2* кН к^т 4" ® (^ ^т)) к^ ^т), к^ ^т\ что вместе с предположением о коэрцитивности влечет за собой
/ (zz) ^ / к^т) 4" к^тл ^ ^ш) 4" ^ II ^ ^т 1Р> или
1 к^ .^^ к^т) 4" ^т к^тл ^т " ^т) 4 ^ II ^^т 1Р»
Но тогда в силу определений zm и и получим
О ^ J к^) J к^т) ^ С • Хт • (Gm, Zm ZZ^) 4 2* II ^ ^и IP или
СХтк^тл ^т ™ ^т) *^ "2" II ^^т!Р*
Принимая во внимание тот факт, что Лт ограничена и что lim kGm$ ^т ит) = 0, имеем
Нт || ит — и || = 0.
Замечание 1.1. В случае линейных ограничений поиск направления спуска на каждой итерации представляет собой некоторую задачу линейного программирования. Когда ограничения нелинейны, положение усложняется. Действительно, в этом случае поиск ут сводится к решению уже нелинейной задачи. Однако благодаря выбору zm) удовлетворяющему (1.7), нет необходимости вычислять точное значение ут> а можно ограничиться некоторым приближением, полученным в результате нескольких итераций.
Метод линеаризации
Пусть V — гильбертово пространство, и пусть даны £ + 1 выпуклых функций, определенных на V со значениями в R у -> Jt (у), z = О, 1, ..., к.
Определим выпуклое множество U следующим образом:
oeL-'^/!(o)^0, i=\,...,k.
Задача 2.1. Определить и е U, такое, что
/о(«)</о(у) Vue U.(2.1)
Предположения и обозначения.
Предполагается, что Д — выпуклый функционал, имеющий градиент Gt и гессиан Ht, z = О, ..., к, причем
II Go (и) || + || Но (и) || <М УреД, |
И/УДи^КМ Уи е Д, 1=\, ..., к, j’
(Я0(и)ф, ф)>а-||ф||2 Уф eV, Уи е U\ а > О, |
(ЯДи)Ф, ф)у>0 Уф eV, VogU,J ’
где U — множество, „немного большее", чем U, UcU, U — внутренность множества U. Далее будет показано, как выбирать U. Предполагается, что существует Z, такое, что
A(Z)<0, I = 1,...,к.(2.4)
Естественно, можно предположить, что Z Ф и.
Описание алгоритма.
Выберем и0 е U. Построим последовательность um Е U, такую, что Игл || ит — и || = 0. Положим
Fi=Wm\ GT=Gt(um\ НГ-НЛит).
Пусть V — выпуклое, замкнутое, ограниченное подмножество V, имеющее 0 в качестве своей внутренней точки. Пусть d — такое число, что 0 <|| у ||< d < + оо Уо е F. Далее нам придется предположить, что d „достаточно большое".
Выберем в качестве U следующее множество:
U — (и | у г V, и = w + ф, да е U, || ф || < d].
Множество Кт — это множество z е V, as R, таких, что
(2.5)(2.5)^? + (О™, z — ит) 4- а < О, z = 1, ..., к, (.Gq, z — Um^-Va^ О, Z — Um Е Т.
(2.5)
(2.5)
Задача Рт. Определить aw zm е Ктл такие, что
а,п^а Ча, zsKm.а,п^а Ча, zsKm.(2.6)(2.6)
а,п^а Ча, zsKm.
а,п^а Ча, zsKm.
(2.6)
(2.6)
Отметим, что эта задача имеет по крайней мере одно решение. Выделим из множества решений одно, которое обозначим ^mi ^т*
Положим
и
p^supp, um + pwineu.(2.8)
Введем р^, такое, чтобы выбор р^ в задаче минимизации 70 в V (направление спуска задается формулой (2.7)) был сходящимся.
Положим тогда
pm = min{p^ р^},(2.9)
^т-П— Чт 4“ 9т®т-(2.10)
Теорема 2.1. При сформулированных условиях: i) задача 2.1 имеет единственное решение и, И) более того,
Пт \\ит — «11 = 0. т->оо
Доказательство теоремы опирается на следующие леммы.
Лемма 2.1. Если 70 (zz) < 70 (ит), то можно найти ут, етеКт> причем ет > 0.
Доказательство. Пусть lm и Гт, такие, что
(2.И)(2.И)7 (zz) <^ 1т < 1т ^$ 7о (Мщ), 1т<1№
(2.И)
(2.И)
Введем ут и 6me[0, 1] следующим образом:
Ут (1^т) Ч 4" ^т^г
^0 ^Ут) ^ ^-т-
Принимая во внимание свойства функционала 70 и соотношения (2.11), получаем, что 9т существует и единственно, причем О < 9m < L Имеем
Ji Ш = Ji ((1 -9т) и + 9mZ) < (1 - 9 J Ji W + 9mJi (^) < О, для i = 1, ..., к, так как 0 < 9т < 1, 7/ (Z) < 0.
Следовательно, в силу выпуклости функционалов, получим
0 2> Im Im^ 1т ^0 := J0 ^Ут)^0 ^ (^0 , Ут U^.
Положим
(2-12)(2-12)(2.13)(2.13)®т тЗХ Ут ^т)’ Ч (Ут)’(Ут)}'
(2-12)
(2-12)
(2.13)
(2.13)
Ясно, что
®т > 0, 0>^JT^№. Ут"^ °>ет + № Ут"итУ
Следовательно, ут, ет е Кт> ет> 0 (отметим, что d„достаточно большое", так что ут~ ит^Т\
Лемма 2.2. Если /о’>/о(и) и zm, am — решение задачи Рт, то существует р„. > 0, такое, что
O^P<P.m=^UmA-pUm — Um)eU,(2.14)
2т Ч-т 0,(2.15)
(G^, Zm - Um) < 0.(2.16)
[Это означает, что гт — ит одновременно является и допустимым направлением, и направлением спуска.]
Доказательство. Пара zm, am удовлетворяет соотношениям (2.5). Но пара ут, гт, существование которой вытекает из леммы (2.1), принадлежит Кт- Следовательно, ат^8т> О, отсюда, используя (2.5), получим
/Г + (ог, zm — и^ + 8т < О, /= 1, ..., к,
(Go , 2т ~ ^т) 4™ ^т ^ 0,(2 17)
^т > 0.
Из соотношений (2.17)2 и (2.17)4 следует (2.15) и (2.16). По формуле Тейлора имеем
/1 кит 4" Р (^m — НтД = JT + р (GF, 2т — ^т) +
4 2~ кН г к^т 4“ РтР к^т ^т)) * к^т ^т)» 2т ^mh
Рт^]0, 1[.
Но || zm — ит || ^ d, так как zm — ит^Т и гессиан Hi ограничен. Отсюда следует, что
/( кит 4“ Р к^т — ^m)) ^ J? 4" Р (^Г, Zm — ^т) 4” “^“ Afrf2.
Используя (2.17)!, получим
Zi(um + p(2nt-«m))<J?1-p(/r + sm) + 4W t = lк.
Исследование знака квадратного трехчлена относительно р показывает, что для
т т+
О^Р^РГ. РГ=
имеет место
Zi кЧт Н~ Р к^тЧпгЙ ^ ®»
Действительно *), рассмотрим функцию
„ . (D / ,л — У + е ++ е)2 - 2 • Md2y
Мй2
^ Эти исследования можно опустить, проверив только, что
Ф^^ттр, -^ j Wy^O.
где числа е, М, d заданы и, кроме того, е > 0, М > 0. Легко проверяется, что:
— функция Ф определена и непрерывна для всякого у ^ 0,
— Ф(у)>0 Vz/<0,
- lim Ф(у) = + 1.
Таким образом, полагая
т) (s) = min Ф (z/), имеем
Г) (е) > 0 Уе > 0.
Следовательно,
°<n(em)<P^> Z=I> к* и тем более
0^Р<Т](8т)=^Л(«т + р(гт — UmK0, /=1А, |
ет > 0 Ф т] (ет) > 0.J
Полагая рт = т](ет), приходим к (2.14).
Доказательство теоремы.
Следует заметить, что сформулированная задача имеет единственное решение и. Установим сходимость ит к и. Последовательность /0(«т) убывает и ограничена снизу числом J0(,u), поэтому она сходится. Положим
1 = lim J0(um\т->оо
Первый случай; l = J0(u), т. е. J0(m) = lim /0(ыт)-
т->оо
Используя формулу Тейлора и принимая во внимание коэрцитивность /0, получаем
I0 (^т) ^ /о (^) Ч" «?0 (^), «т ~ «) Н 2" II ^m ” ^ IP*
Но по определению и
(G^u), v-u)>0 Vo е U.
В частности, это справедливо для о = ит. Отсюда следует, что
/о ^tn) ^^^0 (^) “Ь "2" II ^т — II >
и, так как lim J0(um') = J0(u')) получаем m->oo
lim || ит — и || = 0.т->оо
Второй случай*. I > 70 (и).
Покажем, что это неравенство приводит к противоречию. Действительно, имеем
/0 (^m) ^ ^ ^ /0 \^Y
Пусть V таково, что Jq^u) < Г < /, U<Jq^zY Тогда в лемме 2.1 можно выбрать
Vm ^^ ^ ^т ==: V.
Следовательно, можно построить элементы ут, ет е Кт* В частности, можно выбрать
его = е > 0.
Тогда (2.18) принимает вид
0 ^ Р ^ Л (6) =У ^i ^т “Ь Р (^т^тУ) ^ 0, I == 1, . • ., k,
т] (е) > 0, т. е.
(2.19)(2.19)0<р<ц(в)^н„+р(?„-«„)Е(/ Vm,
(2.19)
(2.19)
Л (е) > 0.
Аналогично (2.17)2 приводится к виду
(Go1, zm - ит^ + е < 0 Vm.(2.20)
Отсюда следует, что zm — ит N= 0.
Из неравенства (2.20) вытекает
-||Oom||-Hm-«m|l + e<0,
8 ^ || Go || 1 |1 ^т Um || М • || Zm U-m II;
т. е.
^-^1|2т-Ыт||.(2.21)
Значит, условие (2.19) можно переписать следующим образом:
0^p<^-.n(8)^Hz„ + p^^|^4Gt/ Vm,
11 m ml1(2.19)'
"^■Л(е)>0.
В силу (2.20) получим
Но (XWzm — UtnW^d, 0 < II G” II < М, следовательно,
(2.22)
Напомним, что
^/п+1 = ^т Н~ Pm®m> ^т ^^ ц ^т
И ЧТО
pm = min{p^, р^}.
В силу (2.19)' имеем
Рт>^--Ч(е)>0.
Случай Рт = Р1т.
Здесь
0<-^-n(e)<Pm<P^,
и, следовательно, выбор рт сходящийся (см. п. 4 гл. 3).
Действительно, принимая во внимание выпуклость /0 и полагая
Д/р == /о (ltm -j- pt^m) —— /q (^щ),
получаем, что либо
д/р >д/рС,
т т
либо
Во всех случаях имеем
Д/р ^ со ^рс > С0'> О»тт
и, следовательно, выбор рт сходящийся.
Случай Рт = Рст.
Выбор рт, сходящийся по определению р^.
Следовательно, во всех случаях выбор рт сходящийся. Таким образом, метод работает так же, как и при минимизации /0(у), без ограничений со сходящимся выбором точки р и направления да (см. (2.22)). В этом случае, как известно, имеет место равенство
lim ^Gq, фт) = 0 Vq)n, Il<pw||=l.
т^оо
В частности,
Пт || = 0, что находится в противоречии с (2.20) (так как ||zM —«m|Kd и 8 > 0).
Замечание 2.1. Описанный метод принадлежит к типу методов, названных Зойтендейком методами возможных направлений ’). Отметим, что в этой модификации не используется процедура антизигзаг.
Замечание 2.2. Множество У введено для того, чтобы задача Рт имела всегда по крайней мере одно решение, по существу, для того, чтобы последовательность zm — ит была ограниченной. Зойтендейк называет ограничение zm — ите.У ограничением нормализации. Можно ввести вместо У множество Ут, такое, что задача Рт имеет по крайней мере одно решение, а последовательность zm — um равномерно ограничена.
Замечание 2.3. Полагаем а0 = т], а, = ... =а*=1.
Тогда соотношения (2.4) записываются в виде
UjT-V^.z-uAI-Vo^O, Z = 0, .... к,
I г г 1 \ Z ’ m/J 1|(2 5/
илиилиZ — ит Е У,
или
или
(2.5)"(2.5)"{max [а/™ + (G™, z - ыт)]} + а < 0, Z — ит Е У.
(2.5)"
(2.5)"
Если z фиксировано, оптимальным значением ст (г) числа а является следующее:
<r(z) = - max [а/7 + (G™ z - «J],
т. e. решение am задачи Pm удовлетворяет равенству = maX I™ mfХ [“/Г + (G7, 2 * UJ]}•
Последнее равенство можно переписать в виде
- »m = min max ^J™ -V^z- wm)],om = max min [-- (G™, z - «„)],
Z = 0, 1, ..., k,
!) Многочисленные результаты как по обоснованию метода возможных направлений, так и по его практическому применению получены С. И. Зуховицким (см., например, [14]). — Прим. ред.
Для определения zm используется метод центров (который будет описан в следующем пункте).
Интуитивно ясно, что ищется точка 2, „самая внутренняя" в области
-v.”+№".=-o<o, ' г — ит е У.
Замечание 2.4. Пусть г > 0. При построении ит+\ наложим ограничение 0 ^ рт ^г. В этом случае в определении множества Кт (или в определении направления спуска) можно опустить индексы I, для которых шар с центром в ит радиуса г содержится в множестве
{у | у е У, It (у) < 0}.
Предположим, что
II 6/ИЖ17Л(У) IK М VvetZ, /=1, .... к.
Тогда, применив формулу Тейлора, получим
h kUm + РФ) < JT + РМ + 4 рХ .
УфеУ, ||ф||=1.
В частности,
Ji (ит 4- РФ) < 1? + гМ + 4 Г^М,
Уф eV, ||ф||<1,
Ур, О^р^г.
Полагая
ц (г) = гМ + 4 f2^, приходим к
/Г< — p.kr^Jikum + рф)<0 Уф, ||ф||=1, Ур, 0<р<г.
Следовательно, можно исключить в определении Кт индексы I, для которых
JT^-^W
1(2.23)
ц (г) = гМ + у r2M,
так как при произвольном г>0 ц(г) также больше нуля.
Замечание 2.5. Если и и ы0 — внутренние точки U и V — {и||| у ||^ I, у е И}, то описанный метод является градиент-
ным методом. При отсутствии ограничений он также совпадает с градиентным методом.
Замечание 2.6. Предположим, что ограничения на Ji^ линейны. Тогда в определении Кт можно неравенство
IT 4- kGT> 2 — ит') 4- оО
заменить на
Формулировка теоремы не изменяется.
Если все ограничения линейны, а функционал /0 — квадратичный, то приходим к методу Франка — Вулфа.
Замечание 2.7. Можно ввести фиксированные коэффициенты ^ >0 и выбрать в качестве Кт следующее множество:
r + (G',”, г<7со.
Когда функционал К линеен, можно брать ^=0.
Замечание 2.8. Аналогично можно задать множество К mi введя положительные константы ^ > 0, где
7” + (О"+/=16.
В этом случае по-прежнему справедлива теорема 2.1.
Замечание 2.9. Описанный метод спуска использует лишь допустимые направления. Можно, следовательно, рассмотреть вопрос о применении этого метода в случае отсутствия предположения о выпуклости функционалов и ограничений.
Метод центров с переменным параметром усечений *)
Речь идет об одном обобщении, предложенном Тремольером [18], метода центров Хуарда [18]. Мы проиллюстрируем этот метод на достаточно простом примере.
Пусть заданы вогнутые непрерывные функции Jt, 1 = 1, ..., &, определенные на Rr (со значениями в R). Определим выпуклое замкнутое множество U следующим образом:
{/ = {о|/;(о)>0, г = 1, .... ^}.
’) Новая редакция этого пункта отличается от сообщения автора в Летней школе численного анализа (июль 1969 г.). Этой редакцией автор обязан Тре- мольеру, за что горячо его благодарит.
Предполагается, что:
множество U имеет по крайней мере одну внутреннюю точку и ^ = {у | Zz (у) > О, 1=\,...,кУ,(3.1)
кроме того, задана непрерывная строго выпуклая функция /0, такая, что
lim J0(v) = +oo.(3.2)
II t>ll-> 00
Тогда из теоремы 0.3 вытекает, что следующая задача имеет единственное решение.
Задача 3.1. Найти иеУ, такое, что
/о(«)<7о(у) VveC/.(3.3)
Более того, в силу (3.1) справедлива
Лемма 3.1. Множество (у | у е U, Jo (у) ^ /} V/ > /0 (и) содержит точку у, такую, что
Л (у) > 0, i = 1, ..., k, )
!M<L)(ЗЛ)
Алгоритм. Пусть и0 е U и /0 = 70 (но). Предположим, что ит и 1т построены. Осуществим переход от ит к ит+1 и от 1т к /т+1 следующим образом. Положим
Фт(у) = (/т-/о(у)) • П Л(у), .(35)
Um = \y ,У eU, MuXlmY .
Согласно предположению (3.2), Um — ограниченное замкнутое множество.
Непрерывная функция у->Фт(у) по крайней мере один раз достигает своего максимума в Um. Обозначим через zzm+1 и н^+1 точки, такие, что
фт кит^ > фт (у) Vy е и tn, J^
(3.7)(3.7)Ыт+1 ^т’ А)(Ыт+1) ^ ^0 (Ыт+1)
(3.7)
(3.7)
(хотя бы одна точка ы^+1 всегда существует, так как можно положить м^+1 = um+vy Зададим некоторое число гт (называемое параметром усечения), такое, что
0<е^гт<1. (3.8)
Число е вводится для того, чтобы воспрепятствовать стремлению последовательности (rm) к нулю.
Наконец положим
” ^т Гт Vm ^o(^m+l)]’^‘^
Теорема 3.1. При сформулированных условиях задача 3.1 имеет единственное решение и. Более того, описанный алгоритм сходится, т. е.
Нт || ит — и || = 0.
т-> оо
Доказательство. Последовательность lm убывающая по построению. Более того, имеем
/о (w) ^ . . . ^ 1m ^ • • • ^ Zq.
Отсюда заключаем, что
Пш (Zm /^^i) == 0 т->оо
и в силу (3.7), (3.8) и (3.9)
Пт (/т ^о (^m+i)) — 0*(3.10)
т-»оо
Так как Zo (um) ^ Jo (м0), последовательность ит ограничена (см. (3.2)). Следовательно, произведение
П Ji («m+i) ограничено.
Используя (3.10), получаем
lim Фт (пт_^1) = 0.(3.11)
т-»оо
Положив
/= Нт Z0(nm), т-»оо придем к неравенству
J0 (^) ^^ ^^ J0 ^tn)WU
Покажем, что Jo (и) = /.
Предположим, что /0(п)</, и убедимся, что это невозможно. По лемме 3.1 множество {и |о е U, Z (и) ^ Z} имеет внутреннюю точку у, которая тем более является внутренней точкой Um.
Отсюда следует, что
Фт (^m+1) ^ ®т (у)-
Но
кк
Фт (У) = Vm " /о (У)) П Ji (У) >U-J0 (У)) П Ji (У) = С,
I'—1Z"-!
а в силу (3.4)
с>0.
Значит,
®m (^m+l) ^ Фт (У) ^ С )> 0 VШ,
что противоречит (3.11). Следовательно,
/0 («) = / = lim 10<ит\т-»оо
Так как последовательность ит ограничена, из нее можно выделить сходящуюся подпоследовательность
lim unv = u, т' -> оо
и так как U замкнуто, то и е [7. Болес того, по непрерывности имеем
J0(u)= lim Jq(ит>) = Jq (и).т'->оо
Следовательно, функционал /0 достигает минимума в точке и*» Но задача 3.1 имеет единственное решение, т. е. и = и. Так как и не зависит от выбора подпоследовательности, то lim ит™и\ т~>оо
Замечание 3.1. Поиск мт+1 сводится к задаче максимизации без ограничений. Действительно, для каждого и, принадлежащего границе Um, Фт(о) = 0, а для всякого и, принадлежащего Um, Фт (°) ^ 0. Построим последовательность ит, р, которая будет сходиться к um+v Выберем итй = и'т (начав с ийй = и^. Так как lmU'm“т+1 Uт- Т0
0 ^ Фт (^т, о) < Фт (^т, 1) < Фт (^т, р) • • •
и автоматически граница множества Um будет исключена при поиске ыт, 1, итЛ, ... ,
Замечание 3.2. Можно модифицировать вид функции Фт(о) следующим образом. Пусть az, a,^d>0 (z = 0, ..., к) — числа зависящие, вообще говоря, от т. Положим
к
Фт (У) = Гт - /о (<°П Ui(3.12)
Теорема верна и для такого вида функции Фт(о).
Замечание 3.3. В методе, изложенном выше, максимизируется положительная функция, равная нулю на границе множества Um. Это нас приводит в „самую внутреннюю** из точек Um — в точку мт+1. Хуардом эта точка была названа центром множества Um. Можно также минимизировать (или максимизировать) функцию, которая обращается в + оо (или в — оо) на границе Um, например функцию к
= 1т~Ц (v) + £(3-13)
ИЛИ
т
Фт (у) = а0 log (/m — Jo (у)) + 2 «г log h (у).(3.14)
Замечание 3.4. Если взять и'п+х = ит+х и rm = 1, то описанный метод полностью совпадает с методом Хуарда.
Если принять и'т+х = ит+х п гт = е, где е достаточно мало, процесс позволяет приближенно определить кривую, лежащую внутри выпуклых ограничений. Эта кривая начинается в точке м0 и кончается точкой и*. Определение точки и^^, отличной от ыт+1, из условия максимизации разности /(цт+1)— /(z^+1) позволяет, положив гт близким к 1, значительно ускорить процесс сходимости.
При описании алгоритма способ определения «^+1 не уточняется. На практике можно использовать процесс экстраполяции, выбирая в качестве исходной точки точку ит+1. Например, можно минимизировать 70(у) на отрезке прямой, соединяющем ит и нт+1 и содержащемся в Um.
Схема, которая приводится ниже, иллюстрирует процесс минимизации /(х) при ограничениях gx (х) ^0, g^x) ^0, х е R2. Имеем
Фт to = Vm — f to) gi to 1 gi to-
Поиск x2 осуществляется на прямой Х[Х2, Хз — на прямой х2х3 ... . Точка хт+1 определяется из условия максимума функции Фт(у), например с помощью градиентного метода с начальным приближением Хщ.
xt — /-й центр; х\ — /-я точка, полученная в результате процесса экстраполяции, начатого из точки х^
Минимизация в произведении пространств
Постановка задачи
Пусть Vi — гильбертово пространство и Щ — выпуклое и замкнутое подмножество в V[ для всех / = 1, ..., к. Полагаем
к
г = П^,
ки = Цщ.<=i
Элементы множества V имеют вид у = (уь ..., yft), yt е Vi, г= 1, ..., к, причем
((и, у))= 2 (К, ^vz=i1
Пусть задана билинейная форма и, v^a(u, v), определенная на VX^> непрерывная, симметричная и коэрцитивная, следовательно,
| а(и, у) |<М-ЦиЦ'Цу IIVw, у е 7,(4.1)
а (и, у) = а(о, и)Vh, у eV,(4.2)
а (у, у) >а-II у II2Му eV,(4.3)
где а > 0, + оо > М > 0.
Пусть задана линейная функция y-»L(y), определенная и непрерывная на V. Полагаем
7(у) = уа(у, у) — L (у).
Задача 4.1. Определить и е U, такое, что
J^<J (у) Му е U.(4.4)
Используя теорему 0.3 и теорему 0.4, получаем, что справедлива
Теорема 4.1.
Задача 4.1 имеет единственное решение и.
Это решение характеризуется тем, что
а (и, у — и) — L (у — и)^0 Муе U, 1
и.}<4'5)
Напомним формулу Тейлора в общем случае:
J (у) = / (и) + ((G (w), у)) + у ((Я (и + в (о — «)) (у — и), у — ы)), ,
6е]0, 1[,.
где G — градиент и Н — гессиан функционала J. В данном случае эта формула принимает вид
J (у) = / (^) -j- \^а (и, у — и) — L (у —- и^ + ^ а (у — и, и — и). (4.6)
Если // — решение задачи 4.1, то, принимая во внимание (4.5), получим
J (у) > J (и) + " а (у — и, v — и) М*о ^U(4.7)
и, используя (4.3), имеем
/(y)>/(u) + |||y-«||2 VyetZ.(4.8)
Построение приближенного решения задачи
Пусть и0 s U. Построим последовательность ит, т=1, 2, .... Переход от ит к um+v происходит в 1г этапов. Найдем сначала м^+1, затем определим ир+1,..., наконец u^+I. Компонента ир+1 является решением (единственным) задачи минимизации в Up найти ир+х е Up такое, что
/(и^1, ..., и^1, и^и™^
(4.9)(4.9)Dp U^v .... U^,
(4.9)
(4.9)
Vdj e U^
Обозначения'.
rrm, j z x / m+1m+1mm\ n
D e U ^ У — («1, . • •, U/-1 , Vj, Ul+1, . . ., Uk ), У/ S Uj,
um> i = ^up^, ..., up+x, up+v ..., U^).
Отметим, что um-1 ^ um’!- Поэтому задача (4.9) формулируется следующим образом: найти ит*s s Um’1, такое, что
/(«'”■ 0 </(у) ^D^Um'!.(4.9)<
Теорема 4.2. При сформулированных условиях последовательность ит сходится к и в V слабо при пг->оо.
Доказательство.
Первый шаг. Последовательность / (ит-!) — убывающая по построению, следовательно,
У (и)У (и)< J (ит’ №) < J (ит’ i) << J (ит’ №) < J (ит’ i) <<У(ц°),(4.10)<У(ц°),(4.10)
У (и)
У (и)
< J (ит’ №) < J (ит’ i) <
< J (ит’ №) < J (ит’ i) <
<У(ц°),(4.10)
<У(ц°),(4.10)
т. е.
lim [7 ^ /+1) - J <ит> /)] = 0.(4.11)
т-> оо
Более того, учитывая коэрцитивность, получаем
\\и1П'Ц\<.с <-V оо Мт, ь(4Л2)
Второй шаг. Покажем, что последовательность ит*1 — ит*/'~1 сильно сходится к нулю при т-> + °°- Применим соотношение (4.8) к задаче (4.9)', заменив и на ит^ и у на um'i~\ Имеем
у II Um- /-* — ит- 1 IK / (um> /-*) — / (wm- /).
Используя (4.11), получаем
lim || ит-1-1 — ит- / П = 0(4.13)
т-»оо
для /= 1, •. к, [иж-° = ит].
Третий шаг. Извлечение сходящейся последовательности.
В силу (4.12) существуют элемент w е V и подпоследовательность иж'- i последовательности ит-’, такая, что
lim иж’>i = w в У слабо.
т'->+оо
Используя (4.13), получаем
lim um'-i = w в У слабо, / = 0, 1, ..., к. (4.14) m,'->-Voo
Отметим, что w е U, так как U замкнуто и выпукло, следовательно, слабо замкнуто.
Четвертый шаг. Пусть и} — некоторый элемент из Uj. Положим
У/ = (0, ..., 0, V/, 0, ..., 0)еУ
Стандартный элемент г е Um*1 имеет вид
2 = (ы«+1,ур иж+1, ..., иж^
и
2 — um-1 = (0, ..., 0, У/ — и^1, 0, ..., 0) = д. — й^1.
Соотношение, аналогичное (4.5), для задачи (4.9)' записывается в виде
а(ит’}, 2-ит’^-Ькг-ит’^>0 Mz^U^1,(4.15)
следовательно,
a^um>i, д} — йж+^~ Цд( — й^+^^О Ma^Up (4.15)'
т. е.
а (ит- i, 6^ — L (0, — й^1) > а {ит- i, йр’^
MUj^Uj.(4.15)"
В силу (4.14) мы можем перейти к пределу только лишь в первом члене (4.15)". Чтобы устранить это затруднение, сложим неравенства (4.15)" для /=1, ..., к, введя разности ит — и'"-1 (которые стремятся к нулю в силу (4.13)). Прежде всего
a(um-i, Hf+i) = a(um+i, йу1+') + а(ит-1 ~ ит+\ й^1^ и к
имеем(4.16)(4.16/имеемимеем(4.16)(4.16/имеемккккВведя новые обозначения, перепишем (4.16) в виде
имеем
(4.16)
(4.16/
имеем
имеем
(4.16)
(4.16/
имеем
кк
кк
/?т ^ Sm + Тт.
В силу (4.14) переход к пределу в (4.16) дает
к
lim Rm = 2 [° (®, ^h — L{vj — Д^, т'-^ооj=l
или в других обозначениях
lim Rw = a (w, o') — L(v — w).
Принимая во внимание (4.12) и (4.13), получаем
Нт Тт' = 0.
И, наконец, в силу симметрии а (и, и) и условия (4.14),
HmS”1' ^а (w, w).
Окончательно приходим к
а (да, у) -L(u, w^^a^w, да) Vy е U,
что и показывает, что w = u. Так как решение и единственно, то вся последовательность ит сходится к и (а не только под. последовательность ит'У
Приложения
В трех последующих примерах исследуется случай, когда K = Rn и
/ (у) = 4 (Лу> y)R" “ ^’ у)к"’
где Л — симметричная, положительно определенная матрица f — вектор из R".
Пример 4.1. Покоординатный метод Гаусса — Зейделя.
Речь идет о решении уравнения Au = f. Известно, что эта задача эквивалентна следующей:
найти и е Rn, такое, что
Ци)<Цо) VveR".
Можно проверить, что и^+1 определяется по формуле
иГх=4Ц- S 2 vt-hA* (4л?)
11 I Ki.i>jJ
Теорема 4.2 устанавливает сходимость этого метода. Аналогично можно изучить блочный метод Гаусса — Зейделя.
Пример 4.2. Метод Гаусса — Зейделя с ограничениями.
Заданы числа а;, Ь;, / = 1, ..., п, такие, что
—- оо ^ а, ^ Ь; ^ + оо.
Требуется минимизировать функционал при ограничениях
Oi^Uj^bj(4.18)
(другими словами, у е U^t)j е Uj = \ар ^/1> / = 1> •••> »)•
Определим и^^, положив
и^' е ру, ЬД,1
/(U^1, ..., Иу1"^*, u^v ..., u^^J^u^x, .... и^1х, х)ри”), >
MOj Е [Ц/, 6J.J
Далее, пусть
(см. (4.17)).
Можно проверить, что
[ аресли Шр+'^-а.,
ы«+1 _. Proj^^ й ^йу1+1 = { м^1, если а}<.йр+'<.Ь,, (4.19) | bpесли Ь^йр^Р
Эффективность этого метода практически та же, что и метода Гаусса — Зейделя.
Отметим также задачу решения системы уравнений в частных производных, которая после их дискретизации подходит под схему этого примера. Пусть Q — открытое множество в R" с границей Г. Пусть задана feL2(Q). Речь идет о том, чтобы минимизировать квадратичную форму
I (у) = у II у Н/г (й) У > ^L1 (й)
при ограничении уоу^О, где у0 обозначает след о на границе Г множества й. (О дискретизации см. Обин [20].)
Пример 4.3. Приложение к квадратичному программированию.
Пусть В — матрица размера р X и и g — элемент Rp. Требуется минимизировать / (у) при ограничениях
Во — g >0.
Можно проверить, что это эквивалентно решению следующей задачи (называемой двойственной к предыдущей).
Минимизировать
у (Л-1 (в‘о + /), В*о + t\P - (g, о^р
при ограничениях v^O, у е R^. Эта задача была изучена в примере 4.2.
Другие методы
Дадим краткий обзор некоторых методов. Мы не будем доказывать их сходимости (за исключением метода 5.1).
Методы, использующие проекцию на область ограничений (см. Голдстейн [3], Лионс [3])
Мы изложим этот метод на сравнительно простых примерах. Заметим, что он эффективно применяется для решения довольно ограниченного круга задач.
Пусть V — гильбертово пространство, и, и -> а (и, у) — билинейная, симметричная, непрерывная и коэрцитивная форма, т. е.
а (и, у) = м(у, и) V и, и eV,(5.1)
|м(м, у)КМ-||мМу|| Vm, yeV, М < + оа, (5.2)
а (о, у) >а • || у ||2 Vy е V, а > 0.(5.3)
Пусть f — фиксированный элемент из V. Положим
У (у) = у а (у, у) — (f, y)v.
Пусть теперь U — замкнутое выпуклое подмножество в V.
Требуется определить и, такое, что
и е U,1
/(«)</(») VueU. /^
Известно, что эта задача имеет единственное решение и, которое характеризуется тем, что
и е U,1
а (м, у — м) — L (у — м) ^ о Vo е U. /^‘^
Идея метода аппроксимации, который мы изложим, заложена в доказательстве теоремы Лакса — Мильграма. Удобно ввести А е $ (V, V), положив
(Дм, у) = й(м, у) Vm, у eV.
Известно, что А = А* и А-1 е S’ (V, У). Обозначим через Р оператор проектирования из V на U. Предположим, что этот оператор легко реализуем численно, в противном случае предложенный метод теряет практический интерес (это именно то затруднение, которое ограничивает область применения метода). Идея алгоритма заключается в том, что ищется м, удовлетворяющее (5.4)' или неравенству
(Au - f, у - м) > 0 Уу е И.(5.4)"
Пусть w s V и м —его проекция на U: u = Pw. Мы знаем, что (м — w, у — и) ^0 ^yeU.
В связи с этим определим
и — w = у (Дм — f), у^О,
и так как u = Pw, то
и = Р (м — у (Ди — /)).и = Р (м — у (Ди — /)).(5.5)(5.5)
и = Р (м — у (Ди — /)).
и = Р (м — у (Ди — /)).
(5.5)
(5.5)
Если и удовлетворяет (5.5), ясно, что оно является решением нашей задачи, так как в этом случае и удовлетворяет (5.4)", Предложенный алгоритм является классическим:
(5.6)(5.6)и^ дано,
(5.6)
(5.6)
Um+1 — р ^ит _ у (Аит ~ f)).
Мы видели, что в доказательстве теоремы Лакса — Мильграма оператор и->Ти = и — у (Ли — f) осуществляет строгое сжатие для уе]0, 2а/М2[. Так как Р — оператор сжатия, то оператор и->РТи является оператором строгого сжатия и схема (5.6) сходящаяся.
Метод отсекающих плоскостей Келли [15]
Пусть V — гильбертово пространство, и предположим, что на V определены к выпуклых функций со значениями в R: v~>Jt (у), i = 1, ..., к. Определим замкнутое выпуклое множество (7, положив
i= 1, ...,к.(5.7)
Пусть задан линейный непрерывный функционал
/ (и) = (с, vV
(Введя новую переменную, всегда можно свести задачу к эквивалентной задаче, но с линейной функцией цели). Найдем минимальное значение / на множестве U.
Краткое описание алгоритма
Выбирается и0^У.
Линеаризуются ограничения. Вводится множество U^ такое, что
-о ее (Jo О х) е 7, Jt (и^ + (G?(и0), у — и0)<0, / = 1, ..., к, где Gt (у) — градиент Jt (у), вычисленный в точке у. Тогда щ является решением задачи
ил ее и0,
Переход от ит к итИ происходит следующим образом. Для поиска ит было определено открытое множество Um_v Определим теперь множество Um. Пусть значение индекса / таково, что 7/(цт) = max Ji(um). Тогда Um определяется с по- z=i,k
мощью замены в определении Um_x ограничения, связанного с Jb на ограничение
11 ^т) 4“ (G/ (Цщ), уи^ ^ 0»(5.8)
Таким образом, цт+1 определяется как решение задачи
^m+l Утл|
При подходящих предположениях (в основном о выпуклости) Келли показал сходимость описанной схемы.
Сделаем теперь некоторые замечания.
Интуитивно ясно, что при т—>+оо выпуклое множество Um все больше и больше приближается к выпуклому множеству U в той его части, где находится решение.
Может случиться так, что ит не будет определено (так как в этом случае Um_\ не ограничено). Тогда достаточно добавить неравенство, которое ограничивает Um_x, например II у ||^£< + оо, где с „достаточно велико11.
Еще не найден „оптимальный11 вариант этого метода. Возможны вариации в выборе ограничений, определяющих ит_х.
Преимущества метода следующие:
— каждая подзадача является задачей линейного программирования;
— необязательно выбирать начальное приближение из множества U.
В заключение отметим, что этот метод не работает в случае, когда ограничения и функция цели не выпуклы или когда желательно, чтобы ит находилось в U.
Аналогичный метод предложен А. А. Капланом !).
5.3. Метод приведенного градиента
Этот метод предложен Вулфом [21] (см. также П. Фор и П. Хуард [21]).
Постановка задачи
Дана числовая функция у е RR+I->Ц-о) е R, матрица А, имеющая р строк и п + р столбцов, матрица-столбец b с р элементами. Полагаем
у е U^v s ^^р, у^О, Ду = Ь.
Требуется определить mU, такое, что
J(u)^J(y) Vy eU.
$) Для случая V = Rn В. П. Булатовым разработан метод аппроксимации границ области, примыкающий по своей основной идее к методу, изложенному выше (см. [15]). — Прим. ред.
Обозначим через Аи 1= 1, ..., n-V Р вектор-столбцы матрицы А и предположим, что всякая подсистема из р векторов, взятая в множестве Аъ ..., Л„+р, линейно независима. Такую подсистему мы назовем базисом. Переменные Ut с теми же индексами, что и векторы базиса, называются базисными переменными^ оставшиеся — небазисными переменными (иногда вместо базисная переменная говорят базисная компонента).
Обозначения*.
с ^ х, у х е Rn, у е Rp,
Аи = b ^ By + Сх = Ь,
где В — матрица, составленная из базисных векторов Л/, С —матрица из небазисных векторов, вектор у составлен из базисных компонент вектора у, х — из небазисных компонент вектора у. Отметим, что матрица В регулярная (так как Л/ линейно независимы), и, следовательно,
y = B~4-CxA-bY
Тогда можно выразить базисные переменные через оставшиеся и свести решение задачи к задаче меньшей размерности, в которой принимают участие лишь небазисные переменные. Полагаем
XeU'^xX y = B~x(-Cx + b)^0, zeR",F^ = I^, где и^х, у, у = В-х Gx-V Ь\
Итак, первоначальная задача формулируется следующим образом: определить х е Ur, такое, что
F^^F^ ^x'^Ur.
Полагаем теперь
xeUb^xelf, y = B-4-Cx^bY>Q,
х е Urto^x е R", х ^0.
Имеем
Ur = Urbf\Uhb.
(Ur — область ограничений, „приведенная11 к небазисным переменным; Ub учитывает ограничения ыг-^0, ut — базисные компоненты; U^ учитывает ограничения ut ^0, ut — небазисные компоненты; F — функция цели, полученная после исключения базисных переменных).
Описание алгоритма
Опишем переход от одной итерации к другой.
Вначале даны:
— базисные векторы, отмеченные индексами ('е/,
— вектор и е U, разложенный на х и у. Предполагается, что
УУ0,
У
У
т. е. что х находится внутри UV
В конце итерации мы должны иметь новый базис, помеченный индексами из 7, и вектор и, такой, что у > 0 (где х е Оь). Заменяя и на и и I на 7, начинаем новую итерацию и т. д.
Так как у > 0, для всякого направления d в R" существует pd > 0, такое, что
B"*(-C(x + pd) + 6)>0,
Vp е (0, pd\ т. е.
х ф- pd е UЬ)vp Е (о, рД
Следовательно, надо искать направление спуска из точки х, не принимая во внимание UV Положим
Точка d является проекцией градиента в точке х на множество Urhb(x>0\
Если d = 0, тогда и удовлетворяет классическим необходимым условиям минимума и будет решением, если рассматриваемый функционал и ограничения выпуклы.
В приведенной задаче имеют место различные случаи.
Если с? =# О, то переходим к действиям, описанным ниже. 3) Полагаем
p6 = supp, х + pd е Ub,phb = sup p, x + pd e Uh, ъ>p = min(p6, ph,b\
Отметим, что р» > О и р^, ь > 0, так как х — внутренняя точка Ub и <1=^0. Следовательно, р > 0. Определяем р, полагая •
E(x + pd) р е [0, р]E(x + pd) р е [0, р]< F (х + pd) Vp е [0, р],
E(x + pd) р е [0, р]
E(x + pd) р е [0, р]
(мы заменим [0, р] на [0, + 00 L если р = + оо). Полагаем
х' = х + pd,
у' = В~\-Сх'+Ь), •
й^х', у'..
Итак, построена новая итерация й. Определим новый базис, введя I.
Если р < р6, тогда х' — внутренняя точка UV В этом случае базис и разложение не меняются:
1=1, х = х', у = у', й^х', у'.
Если р = рь, тогда s базисных переменных yi равны нулю,
0 = ^,=0 = ^,=l^s^р. Упорядочим переменные
0 = ^,=
0 = ^,=
У is ^ У is+t ^ * * * ^ У ip*
x'i^... >x'is>... >xin>Q.
Из предположения о том, что каждое подмножество из р векторов, взятых в множестве Ль ..., Арл.п, линейно независимо, следует, что среди переменных у/ и х\ имеется самое большее п переменных, равных нулю, или, другими словами, имеется по крайней мерс р положительных переменных. Следовательно,
°<^+1
Определим
(А> * • * > ч, is^u • * * > iP)>
X = (х^, . . . , A? , l/i*, . . ., у] У\’ s’ Jis + rJ jp)
Следовательно, мы исключили s базисных компонент, которые обратились в нуль, и ввели в базис s новых компонент из небазисных компонент точки и. Осталось лишь вернуться к этапу 1) С / — I И х = х.
Замечание 5.1. Естественно, можно выбирать направление спуска отличным от направления градиента. Можно, в частности, вводить процедуры, ускоряющие сходимость.
Замечание 5.2. Обобщение этого метода состоит в предположении, что ограничения нелинейны. Метод называется тогда ОПГ (обобщенный приведенный градиент, см. [21]).
Метод последовательного приведения
Далее последуют только эвристические рассуждения. Построим некоторую комбинацию градиентного метода с методом минимизации в произведении пространств. Начинаем итерацию, задавая базис и точку х е Ur$ Делаем N итераций минимизации в произведении пространств. Полагаем 2° = х и строим 2m+1, исходя из 2т,
F(гГ1, ..., 2^v, z^v ..., z^F^\ ..., z^, tp z^xz^ V/,, такого, что (zT^, ..., z?’4;1, tn z?,,, ..., z^^LF, (zf14"1, ..., z™+x, z^, .z^eUr.
Полагаем
x' = zN, y' = B"\- Cx' 4- b), u^x', y\
Далее производим изменение базиса так, чтобы исключить базисные переменные, которые „имеют тенденцию" обращаться в нуль. Можно улучшить работу метода, изучив два вопроса:
выбор N,-
выбор нового базиса.
Замечание 5.3. Если Ur — U^.b = {х|л: ^ 0}, то метод совпадает с методом Гаусса — Зейделя с ограничениями. Этот метод особенно эффективен при решении задач в частных производных после их дискретизации. Следовательно, этот вариант метода приведенного градиента может оказаться весьма полезным.
Замечание 5.4. Описанный метод также распространяется на нелинейный случай.
Метод проекции градиента (метод, предложенный Розеном; см. [13])
Даны функции
v s R" -> J (о) е R и и е Rn -* Jt (v) = 2 аи iyj " b{
для z = 1, ..., q.
Полагаем
veU^J^KO, z = l, .q, или
у e U^Au — 6 <0.
Задача. Требуется минимизировать функционал / на множестве U.
Прежде всего сформулируем общую идею этого метода. Пусть um е U. Предположим, что ит удовлетворяет р ограничениям /;(цт) = 0 для р индексов z, скажем, для i^L Вообще говоря, градиент J, вычисленный в и^ будет направлен внутрь множества U. Следовательно, предусматривается, что для некоторого числа индексов z равенства Z/(zzm+1) —0 останутся выполненными в ит+1 и что „хорошие'* направления спуска не нарушают этих ограничений (иначе говоря, точка будет перемещаться по границе Щ. Ищется направление спуска в многообразии размерности п — р, заданном уравнениями
Zz (и)--Z^ (zzm) = 0,
Если такого направления не существует, то ищется направление в многообразии размерности п — р + 1 и так далее, до тех пор, пока мы либо найдем направление спуска, либо убедимся, что ит —- решение задачи. Направлением спуска является проекция градиента Z, вычисленного в точке ит, на рассматриваемое многообразие. Опишем конспективно этот алгоритм, следуя Вулфу (см. книгу Абади [3]).
Полагаем
М=Цам^ IeU. i=lf п.
Это подматрица матрицы Л, имеющая размер р X п. Мы будем предполагать, что все квадратные подматрицы матрицы Л регулярны. Исходя из этого предположения, можно показать, что матрица М • М* также регулярна. Полагаем
р = 1 -М‘<м • МТ’М.
Можно проверить, что Р — оператор проектирования в R" на многообразие размерности п — р, заданное уравнениями Ji (о) — Ji ^ит^ = = 0, tel, или в другой записи Мо = 0 (см. о проектировании в § 2 гл. 1).
Описание алгоритма
Зададим начальные приближения и и I. Построим новую итерацию и и I.
Положим
d = -P-G, G = grad J (м).
Пусть d^O (т. е. существует направление спуска в многообразии, заданном уравнениями Мо = 0).
Полагаем
р = sup р, u-Vpd^U, и определяем р по формуле ре[0, р],1
J (и + pd) ^ J (и + pd) ур е [0, р]. / Полагаем
й = и + pd.
Если некоторые новые ограничения выполняются со знаком равенства, то расширяем / до 7 и переходим к 1) с и и Т в качестве начального приближения.
Пусть d = 0 (нет направления спуска в многообразии, заданном уравнениями Мс = 0У В этом случае имеем
PG = 0, или
G — МЧМ • МТ1 MG = 0.'
Полагая
Х = (М- М()-1 MG, получаем
G = М‘Х.
Тогда, обозначая Gt-= grad J,-(и), имеем
G = "21Х£0£.lei
Введем 7; = 0 \ji^I, т. е. такого, что 7Z (и) <0. Имеем, следовательно,
G = ^Сь
Jt (й) — 0 у z ее /,
XL = 0, It (zz) < 0 yz ^ I.
Если все Xi отрицательны или равны нулю, то и удовлетворяет классическим необходимым условиям минимума и итерации заканчиваются.
Если некоторые Xt положительные и если k^I таково, что X^^Xt ^i^L то в качестве / выбираем множество индексов из/, за исключением к. Возвращаемся к 1) и начинаем новую итерацию с начальным приближением и и 7.
Для более полного изучения этого метода и его обобщений следует обратиться к Розену [13].
Метод возможных направлений (или иначе „feasible direction method“, созданный Зойтендейком [14])
Мы не будем описывать метод, которым руководствовались в п. 2. Отметим только, что речь идет о самом общем методе среди методов спуска (с ограничениями), на каждой итерации которого определяется направление, являющееся одновременно направлением спуска:
[7 (и + Р^) < / («) VP е [0, р], р > 0]
и допустимым направлением:
Vu + pd г U VP — [0, р], р > 0].
Для детального изучения этого метода мы рекомендуем читателю книгу Зойтендейка [14] и статьи Д. М. Топкиса, А. Вей- нота [14] и Е. Полака [14].
Другое семейство методов
Изложим теперь идею, лежащую в основе одного семейства методов минимизации. Пусть требуется минимизировать I (у), уеН" при ограничениях Д(у)^0, г = 1, ..., к. Предположим, что ит находится на границе области ограничений U. Тогда для некоторых I е{1, 2,..., к^, скажем для tel, будет Д(мт) = 0 (в более общем случае можно рассматривать — вт ^ 7г (ит) ^ 0, 8т > 0).
Мы скажем, что направление t е R", |^|Rn=l является касательным к U в точке и№ если существует непрерывная кривая в
U, проходящая через ит и имеющая 1 в качестве касательной в точке ит. Пусть G ^и^ — градиент функции Z, вычисленный в ит.
Определим 1т следующим образом:
1т — касательная к U в ит,'
/Q (^m) v/О (^т) Д ’
V/, касательного к U в ит.
Определим теперь плоскость Рт и область Um по формулам
X) ЕЕ Рт^т* ^ ^т Ч~ ^Gт Ч™ ^/п»^$ Р' ^ ^>
Um = U(\Pm.
Найдем теперь итлл в Um* Поиск проводится в следующих трех направлениях:
выбор гт>
выбор /т, или направления, „достаточно близкого” к tm, выбор цт+1 в Um.
§ 2. МЕТОДЫ ШТРАФНЫХ ФУНКЦИЙ
Изложение метода
Данные и предположения. Обозначим через V и Q два рефлексивных банаховых пространства, через Zo — функцию, определенную на У, слабо полунепрерывную снизу (с. п. н. с.) со значениями в R, через Zz (z = 1, ..., -р) — функции, определенные на V со значениями в R, непрерывные в слабой топологии пространства У, через Zz(z=p+1, .^) — функции, определенные на V со значениями в Q, непрерывные в слабых топологиях пространств V и Q. Предположим, что
lim Z0(y) = 4-oo.(1.1)
!| о [[ -> оо
Введем
U = М ЬД^^^ z= 1, ..., р, Zz(v) = 0, i — p + 1, ..., k, ^еУ}.
(1.2)
Будем считать, что U непусто. Определим при е > 0, и^У, / s Rp
Je(^Wo(t0 34 X I.MyW/l2+ 2 II Jt (у)IM- (1.3) 6 U=i«=Р+1Q)
Задача 1.1. Определить и е U, такое, что
,4(«Х/о(у) Vyet/.
(1.5)(1.5)Задача Lie. Определить и&, ^g1zXR^ такие, что 4К ^8)<4(^ О V^, t^vx^.
(1.5)
(1.5)
Докажем, что справедлива
Теорема 1.1, При сделанных предположениях:
задача 1.1 имеет по крайней мере одно решение и;
задача 1.1е имеет по крайней мере одно решение и8, ts;
каждая слабо предельная точка последовательности иг является решением задачи 1.1;
кроме того,
lim/0(н8) = /0+).(1.6)
е-> 4-0
Доказательство.
Пусть ит — последовательность, минимизирующая J в U. В силу предположения (1.1) последовательность ит ограничена. Следовательно, можно выделить подпоследовательность ит^ такую, что
Ит ит' = и в V слабо.
т'->оо
Тогда получаем
/о М < Пт /о kum^ = inf /0 (у),т'->ооveu
Ji (и*) = lim Ji ^ит^ < 0, i = 1, ..., р,
Ji (и) = lim Ji (ит') = 0, i = р + 1, ..., k.
Отсюда следует, что и — решение задачи 1.1.
Для доказательства этого утверждения нам потребуется лемма 1.1, которая будет доказана позже.
Лемма 1.1. Имеет место равенство
(1.7)(1.7)lim Z8 (и, /) = + оо.
(1.7)
(1.7)
II у 11 + Ш 11-> + °°
Функция /Е — с. п. н. с. и удовлетворяет (1.7). Тогда по теореме 0.2 задача Lie имеет по крайней мере одно решение, которое будет обозначаться us, t6.
Если в (1.5) выбрать у = и, ti = Ji^, то
7о +е) +7о +е) +ркШ (ме) II2Z=1i^p-VlркШ (ме) II2Z=1i^p-VlJ(M,J(M,(1.8)(1.8)
7о +е) +
7о +е) +
рк
Ш (ме) II2
Z=1i^p-Vl
рк
Ш (ме) II2
Z=1i^p-Vl
J(M,
J(M,
(1.8)
(1.8)
следовательно,
7о (“е)7g (w),
(1.9)(1.9)I Ji («е) — ^ | С 6 (70 («) — 7o (u8)), i = 1, • • •, p,
(1.9)
(1.9)
II Ji ku^ ||2 C e (70 (w) — 70 («6)), i = p 4- 1, • • •, ^•
Отметим к тому же, что
HsI^ + hNI^C^ + ^ Vs>0(1.10)
(в противном случае условия (1.7) и (1.8) противоречивы). Можно проверить, что из (МО) и того предположения, что Jq — с» п. н. с., вытекает
— оо < С1 </0 («е) Vs.(1.11)
Можно выделить подпоследовательности и^, F, такие, что
Пт и6' = и* в V слабо,)
Ит^ = Г в R^./(1Л2)
Так как /0 — с. п. н. с., то
70 («*) < Нт /0 (иЕ')
8'-» 0
и в силу (1.9)1 получаем
J0(«e)<W(1.13)
Принимая во внимание (1.11), (1.12) и слабую непрерывность 1^1=1, ..., р), из (1.9)2 найдем
Ji (и*) = Нт Ji (и^ =1*1, z = 1, ..., р.
Но
it = Нт $ ^ 0,
следовательно,
№)<0, /=1, ..., р.(1.14)
Аналогично в силу (1.9)3
1^=0, Z = p+1, -..X.(1.15)
Согласно (1.13), (1.14), (1.15), точка и* является решением задачи 1.1.
Пусть / — предельная точка последовательности Jo(uO, в > 0. Следовательно, существует последовательность и8-, такая, что
Пт /0 («в') = I.
Пусть ив--, /8" — подпоследовательность, выделенная из и8>, t6'. Так же как и при доказательстве утверждения Ш), имеем
Нт и8« = и в V слабо
и
Jо (и ) — Jо (и), 1
ueU. J
Но
/0 («*) ^ Пт 70 (не") = Нт /0 (%") = I
и, принимая во внимание (1.9), получаем
следовательно,
Z = /0(u) = inf Zo (у),у е U
Так как предел I не зависит от выбора подпоследовательности, то
Hm Jo (и8) = Jo (и) = inf Jo (у).
u s U
Доказательство леммы 1.1.
Прежде всего в силу того, что J8(v, О^-М^) и
lim Jq^ = "V°°.
И У II -» оо
имеем
(1.16)(1.16)Нт /6(у, /) = + оо.
(1.16)
(1.16)
11 У II -* ОО
Предположим, что у ограничено и ||Z||-»oo. Тогда, принимая во внимание слабую непрерывность функций Ju /=1, ..., р, легко получаем
(1.17)(1.17)р
(1.17)
(1.17)
Hm Si Ji (у) —1{ |2 = + оо.
IKH” 1=1
Из (1.16) и (1.17) следует (1.7). ■
Замечание 1.1. Полезно посмотреть, где и какие предположения используются в предыдущем доказательстве.
Jo
г1
z=l, .... р
Z^p+i,к
Существование и
с. и. н. с.
С. и. н. с.
с. н.
Существование иг
с. и. н. с.
с. н.
с. н.
Сходимость
с. и. н. с.
с. п. н. с.
с. н.
с. п н. с — счабо полунепрерывный снизу, с. н. — слабо непрерывный.
Следствие 1.1. Пусть выполнены условия теоремы 1.1. Кроме того, пусть Jo имеет градиент Go и гессиан Яо, причем
(Я(м)ф, ф)>а-||ф112 Уф^У; а>0.
Тогда
Пт || ив — и ||7 = 0,(1.18)
8->0
где ^ — единственное решение задачи 1.1.
Доказательство. Единственность и следует из теоремы 0.3.
С другой стороны, имеем
\\тиг = и в V слабо, 1
\\т1Ди^=ДДиф J^'19^
Однако
/о(Ме) = ^о(«) + <Оо(и), ые м) +'
Н 2 ^^ ^ ~Г б (^g^)) (^£^), ^6^) 1’
бе] О, 1[,.
следовательно,
10 (^е) ^^ ^0 (^) Н- <^0 00> ^е ^ 4 2* ^ ^в“ "и’
Переходя к пределу и принимая во внимание (1.19), приходим к (1.18). ■
Рассмотрим теперь вариант теоремы 1.1, в котором Jt (i = p+l, . ■■, ^) являются градиентами выпуклых функционалов Fi, определенных на V [с Q = V'Y
h^ = gvaAFi(v'), i = p-V\, k. (1-20)
Полагаем теперьШ t) = j0(v) + ±Полагаем теперьШ t) = j0(v) + ±pp(1.21)(1.21)
Полагаем теперь
Ш t) = j0(v) + ±
Полагаем теперь
Ш t) = j0(v) + ±
p
p
(1.21)
(1.21)
Предположения относительно /0 и J;, г = 1, ..., р, остаются прежними.
Теорема 1.2. Теорема 1.1 справедлива, если вспомогательный функционал JE определяется формулой (1.21).
Доказательство. Мы укажем лишь изменения, необходимые для того, чтобы привести доказательство к доказательству теоремы 1.1.
Для i — p+h к имеем j.^^O^fAu^F^ yv^V
В частности,
Ji (и) = 0=^ Ft (и) < F{ <иг\
Остается заменить (1.8) на
ррkkIMH^'I^W-^ S VW-?iHIMH^'I^W-^ S VW-?iHi=p+li=p+lJ.M (1.8/J.M (1.8/
р
р
k
k
IMH^'I^W-^ S VW-?iH
IMH^'I^W-^ S VW-?iH
i=p+l
i=p+l
J.M (1.8/
J.M (1.8/
и учесть, что Ft (и^ — Ft (и) ^0.
Остальная часть доказательства не меняется, за исключением равенства (1.15), которое следует из условия
FAu^FM- ■FAu^FM- ■(1.15Г(1.15Г
FAu^FM- ■
FAu^FM- ■
(1.15Г
(1.15Г
Замечание 1.2. В общем случае определим
it (v) = {it (v) = {Ji (у), если JAu)^0,Ji (у), если JAu)^0,0, если Ji (у) < 0.0, если Ji (у) < 0.
it (v) = {
it (v) = {
Ji (у), если JAu)^0,
Ji (у), если JAu)^0,
0, если Ji (у) < 0.
0, если Ji (у) < 0.
Тогда в функционале /е(у) можно заменить f 7г (у) —/г р на 0t (<• Я
Методы штрафных функций использовались многими авторами в различных модификациях. Мы опишем теперь их основные области применения.
2. Приложение к устойчивости
Даны два гильбертовых пространства V и Q; As$(V, Q) и f е Q. Предполагается, что следующая задача имеет единственное решение.
Задача 2.1. Определить и eV, такое, что
ПолагаемПолагаем(2.1)(2.1)Au = f.
Полагаем
Полагаем
(2.1)
(2.1)
W = II < + 111^-^ С-
Задача 2.1е. Определить ие г V, такое, что
ШКШ Ми eV.ШКШ Ми eV.(2.2)(2.2)
ШКШ Ми eV.
ШКШ Ми eV.
(2.2)
(2.2)
Так как функционал 1^ строго выпуклый и lim /р(у)= + °о,
II V II -> 00
задача 2.1е имеет решение и^ и это решение единственно (тео-
рема 0.3). Более того, согласно п. 1, иг сильно сходится к и* при 8->0, где и — решение задачи: определить и*, удовлетворяющее Аи =^ и такое, что
11^*11^11^11 Vy, удовлетворяющего Ao = f.
Так как мы предположили, что (2.1) имеет единственное решение, то и — и и, следовательно,
limHs — и || = 0.(2.3)
В каких случаях удобнее иметь дело с соотношением (2.2)? Мы сейчас покажем, что задача 2.1е всегда устойчива, тогда как задача 2.1 может быть неустойчивой.
Понятие неустойчивости. Предположим, что мы не знаем точно А и f, а нам известны только их приближенные значения Ah, fh, где h — положительный параметр, такой, что
Ит || Ah — А ||^ (у> Q) = 0, 1lim||f^f||Q = O. /J
Мы, следовательно, пытаемся решить уравнение
Ah^h = Th.*(2-5)
При решении (2.5) могут возникнуть следующие вопросы:
Имеет ли задача (2.5) по крайней мере одно решение?
Если ип — ее решение, то имеет ли место равенство
Иш|| ^-^|| = 0?
Если ответы на оба эти вопроса положительны, то говорят, что задача 2.1 устойчива (или что оператор А устойчив). В противном случае оператор А будет называться неустойчивым. Можно проверить в качестве упражнения, что решение и^н задачи минимизации выражения
Му +711^0-/4
существует, оно единственно и сильно сходится к ий при /г->0. Однако можно привести примеры (с компактными операторами), в которых ответы на два предыдущих вопроса отрицательны.
Пусть теперь ей > 0 выбрано таким, что
Ншей = 0,
,.||ЛЙ-Л||„
(2.6)(2.6)hm —” _- - = 0, й-»о У ей
(2.6)
(2.6)
о.
й->о У ей
Если (2.4) имеет место, всегда можно найти еЛ, такое, что (2.6) выполняется.
Полагаем
Теорема 2.1. При сделанных выше предположениях задача определения uh е V, такого, что
V^eF,(2.7)
имеет решение и только одно. Задача (2.7) устойчива, и, более того,
Игл [| ик — и\\ = 0,
где & —решение задачи 2.1.
Доказательство. Мы слегка модифицируем доказательство тео® ремы 1.1 для того, чтобы учесть ошибки Ah — А и fh — f* Имеем, в частности,
^h. ^h) ^ h (^)> т. е.
Мй«-/Йи;.Мй«-/Йи;.(2.8)(2.8)iiyi2, + ^IMA~U2Q<ll«^
Мй«-/Йи;.
Мй«-/Йи;.
(2.8)
(2.8)
Но
+ (/-/Д+ (/-/ДA^U —— /Л^AkU ^4^) "4" (Au j
+ (/-/Д
+ (/-/Д
Ahu — fk = kAhu - Au) + (f - fh) следовательно,
ll4«-fftll2<2{|i4-^in|W||2
и (2.8) принимает вид
(2.9)(2.9)|| uu ||2 + 7-II Ahuh- U ||2 <|| M||2 + 8k
(2.9)
(2.9)
V/^H-f-'tllA^lP-llMlP + l
(2.10)(2.10)В силу выбора 8Д (см. (2.6)) имеем lim уй (и) = 0.
(2.10)
(2.10)
Из (2.9), (2.10) следует, что
(2.И)(2.И)II «Л II2 < II и II + Уй (и), lim y/t(zi) —0
(2.И)
(2.И)
И
II Ahun fh IP < ел (Й IP + Ул Ш т. е.
lim (Ahuh — Л) = 0.(2.12)
Согласно (2.11), можно выделить слабо сходящуюся последовательность uh, такую, что
\\т.ин' = и в V слабо.(2.13)
Имеем
AhUh — fh~ ^huh — Auh) + (Аи!г Ай*) + (Au* f) + (f — fh)-
При переходе к пределу в этом равенстве слагаемые, зависящие от к, дают нуль. Тогда
Au* = f,
и, следовательно, и* — решение (2.1), т. е. и* = и.
Из (2.11) и (2.13) заключаем, что
lim || иу-ик || = 0.(2.14)
Действительно,
— » f = || uh, |p + II и II2 - 2 (и, u^ < 2II u II2 - 2 (и, u^ + ул, (и),
отсюда при A'—> 0 получим (2.14).
Так как и не зависит от выбора подпоследовательности, то можно показать, что
lim || uh — и || = 0.
Замечание 2.1. Можно заменить в определении Ih член || о И2 на а (у, о), где и, и -»а (и, о) — непрерывная билинейная, симметричная и коэрцитивная форма на V.
Замечание 2.2. Решение (2.7) совпадает с решением уравнения
(«л, ф)к + -^ (4 • uh - fh, Ah<p)Q = 0 Уф е V или
«„ + rWH.H в У h
(см. гл. 2).
Примеры операторов, где можно использовать процесс стабилизации:
Преобразование Лапласа.
и) Преобразование Гаусса.
Деконволюция (обратное преобразование к операции свертки).
Любое интегральное преобразование на одномерном компактном интервале.
Во всех этих случаях речь идет о том, чтобы найти и, такое, что
ь
J k (х, (/) и (у) dy = f (х) Мх е (а, 6). а
Можно либо дискретизировать это уравнение, либо разложить его по базису из многочленов. Стабилизация, примененная к приближенному уравнению, дает, вообще говоря, удовлетворительные результаты.
Выбор е зависит от уравнения. Такие значения, как 10~4 для примера iv) или 10-2 в других случаях, вполне разумны.
Приложение к задачам оптимизации
Теория, изложенная в п. 1, уже сама по себе является некоторым приложением к задачам оптимизации.
Ограничимся здесь одним интересным частным случаем. Пусть V и Q — два гильбертовых пространства, А е $ (У, Q), /е Q. Предположим, что уравнение
Au = f(3.1)
имеет по крайней мере одно решение, и обозначим через U множество решений уравнения (3.1).
Задача 3.1. Определить u^U, такое, что
НмИг^ЦуНи MyeU.(3.2)
Полагаем
+(3.3)
Задача 3.1е. Определить u6eV, такое, что
A(«eXA(y) Му eV.
Используя теорему 1.1 и следствие 1.1, получаем, что справедлива
Теорема 3.1.
Задача 3.1 имеет единственное решение.
Задача 3.1е также имеет единственное решение.
Более того,
11m \\ив — и 1р = 0.
8->0
Отметим, что в п. 2 рассмотрен случай, когда (3.1) имеет лишь одно решение. Здесь же речь идет о том, чтобы выделить решение с минимальной нормой.
Замечание 3.1. Ж. П. Обин показал, что ошибка и^ — и имеет порядок 8.
Замечание 3.2. Пусть N — ядро А. Так как оператор Л — линейный и непрерывный, то N — замкнутое подпространство V. Можно разложить V на два ортогональных подпространства N и N\ Введем операторы проектирования Р и Е, такие, что
х) ^V ^ х) = Рх) -V Ех), ' Р задает проекцию V на N, - Е задает проекцию V на N*. -
Более того, Уу е V имеем
|] у Ц2 = Ц ру |]2 + и £у||2-(34)
Мы знаем, что
и, у eU ^ Ей = Еу.(3.5)
Используя (3.4) и (3.5), перепишем задачи 3.1 и 3.1е в следующем виде.
Задача 3.1'. Определить и е U, такое, что
|| Ри ||2 <|| Ру ||2 ^eU.(3.2)'
Задача 3.1е. Определить ua е V, такое, что
Vo ЕЕ У, где
/Е (и) - II Ру 112^ + 4IIАу -flly-(3.3)'
Можно легко проверить, что и в этом случае справедлива теорема 3.1 (см. диссертационную работу Рибьера). ■
В качестве примера можно рассмотреть следующую задачу. Пусть Q — открытое множество в R". Пусть / — фиксированный элемент в L2(Q), и пусть [/ — множество и е Нх (Q), таких, что
J grad и (х) grad <р (х) dx = J f (х) q> (х) dx V<p е Н1 (Q). аа
Это уравнение представляет собой вариационную форму уравнения типа Au=f.
Приложение к задачам оптимального управления
Покажем на примере простой задачи оптимального управления, как можно использовать методы штрафных функций. Рассмотрим уравнения состояния
х'^ = А ^ а (0 + 5 (0 и (0 /ее [О, Г]> х (0) = х0,
где Т задано, 0 < Т < + оо, u^eR, x^eR, Ди В заданы, х0 определено в R. (можно рассмотреть векторный случай. Все рассуждения остаются неизменными, надо только заменить
I х(0 Р на Si (0 Р-)
Предполагается, что
Д и В — непрерывные функции аргумента /, 1
иг и=ьчо, т)./(4>2)
В этих условиях ^и е U уравнение (4.1) имеет единственное решение х и, более того, х ^Нх (0, Ту Полагаем
/ (а, и^ = || х — Хд ||L9 ^Oj Г) + II ^ 11^2 (о, ту 1,^ ух
xd задано в Z?(0, Г)./
Полагаем также
/ (zz) = / (х, иу1^ ^
х связано с и уравнением (4.1). J
Задача 4.1. Определить ueU, такое, что
Ци^Т^у(4.5)
Полагаем
А (я, «) = уII х' — Ах — Ви |£2 (0> Г) + J (х, и\ (4.6)
Задача 4.1е. Определить хе е № (0, Г), хе(0) —х0, uaeU, такие, что
А ^6' ^е) ^ ^е (//> У)1,.
Vy е Н' (0, Г)- У (0) = х0) у е U. J(41 °
Теорема 4.2.
Задача 4.1 имеет единственное решение и (решение уравнения (4.1), связанное с и, обозначается через х);
задача 4.1е имеет единственное решение иа, ха\
кроме того,
(4.8)(4.8)V\mx8 = x в Я1 (О, Г) слабо, Игл иг — и в L2(0, Г) сильно.
(4.8)
(4.8)
Доказательство. Установим только iii). Для доказательства утверждений i) и и) можно либо рассмотреть минимизирующую последовательность и перейти к пределу, либо свести доказательство к теоремам 0.2 и 0.3, использовав следующее свойство:
если хп—>х в Я1 (0, Г) слабо при п-^оо, то хп->х в А2(0, Т) сильно при п—>оо.
Пусть в (4.7) выбраны у, у, удовлетворяющие
у'= Ay-V Вс, 1у (0) = xOt v е U. J^’^
Тогда
4II ^8 - Лхе - Вив ||2 4- II Хе - Xd IP + II Ue IP < II у - Xd IP + II v IP.
Следовательно,
WP<C,
|| ue |p < C, iK-M2 + li«£lP<h-*JI2 + IMP,(4,10)
|| Xg — Ax6 — BUe |l ^ Ce,
где C — фиксированная константа.
Из (4.10) получаем || х£ ||2 ^ const. Следовательно, можно выделить подпоследовательности xes и8-, такие, что
limxe' = x* в И1 (0, Г) слабо,
lim Не' = и* в L2(0, Г) слабо. е'->0
Но в силу (4.10) имеем
lim (Ag — Ла5 — ВиД = 0.
8->0
Отсюда, учитывая (4.11), получаем
х*' — Ах* — Ви = 0.
Кроме того, легко проверяется, что д;*(О)=л:о.
Следовательно, х\ и удовлетворяют соотношениям (4.1).
Используя (4.1) и переходя к нижнему пределу в (4.10)3, получаем
IIX - хйII2 = 11 и IP <|| у - Xd\^ + II У IP, |
Vy, у, связанных формулой (4.9)./
Это показывает, что и*, х* представляют собой решение задачи 4.1. Следовательно, и=и, х* = х. Так как х, и не зависят от выбора подпоследовательности иа-, ха- можно заменить (4.11) на
ИшхЕ = х* в Я'(О, Г) слабо,
limti6 = u* в Л2 (О, Т) слабо.(4-Н)
8—>0
Имеем
||xg-xe|P + ||zzE-z/1P = ||xe-^|P + ||xd-x*|P +
+ 2 (хе - xd, xd - х’) + |l и6 |р + у и’ |р - 2 (м8, и\
Это соотношение вместе с (4. Ю), где выбрано у = х*, у = и*, дает
II х8 — х* |Р +1| ие — и |р < 21| х* — xd |р — 2 (х* — xd, хе — xd) +
+ 21| «* |р — 2 (ме, м’).
Используя (4.11)', получаем
11Ш || xe x 11^2 (q, j.j 0,lim || uE — и* |p = 0.
Более общие примеры можно найти в работе Балакришнана [16].
Приложение к целочисленному программированию
Пусть дан функционал I; R"->R, удовлетворяющий
II у IK с < + 00 =^1 / (у) К 6 (с) < + ОО, 1 < + оо =>|| у ||< у (с) < + оо. J
Определяем G; Rn—>RP и полагаем
и eU^G^ = 0 ysZn.
Предполагается, что U непусто, т. е.
Зву е U.(5.2)
Полагаем
/т(») = /(у) + щ||0(у)||^.
Задача 5.1. Определить и е U, такое, что
7(«)<7(и) Vue U.7(«)<7(и) Vue U.(5.3)(5.3)
7(«)<7(и) Vue U.
7(«)<7(и) Vue U.
(5.3)
(5.3)
Задача 5.1m. Определить u„eZ”, такое, что
JmM^Jm^ Му^Тп.JmM^Jm^ Му^Тп.(5.4)(5.4)
JmM^Jm^ Му^Тп.
JmM^Jm^ Му^Тп.
(5.4)
(5.4)
Теорема 5.1. Пусть выполнены условия (5.1) и (5.2). Тогда
задачи 5.1 и 5.1m имеют решения и и иот;
более того, если m „достаточно велико", ит является решением задачи 5.1.
Доказательство.
) В задаче 5.1 можно добавить ограничение:
J (и)< 7 (да),
или в силу (5.1)2
II и || < у (7 (®)) < + оо.
Так как и е Z", то минимизация проводится в действительности на конечном числе точек. Отсюда вытекает существование минимума.
Аналогичное рассуждение справедливо для задачи 5.1m.
И) В (5.4) выбирается и = и = решение задачи 5.1.
7 (««) + m II G (ит) ||2 < 7 (и).
Отсюда следует, что
7 (^т) ^ 7 (и),IK?WII2<^-(7(«)-7W).(5>5)
Используя (5.5)] и (5.1)3, получаем
II »т1К?(7(и))< + оо.
Тогда (5.5)2 запишется в виде
II G (um) \^±d,d = J(U) + b(у (7(»))).(5.5)'
Кроме того, имеется лишь конечное число точек ит в Z", следовательно, || G (мт) ||2 принимает конечное число значений, а именно
0 С ап < а, < ... < ам.
Так как в силу (5.5)' величина ||G(um)lP может быть произвольно малой, имеем
ао = О.
Если выбрать т, такое, что
<т и
ТО
l|GK)ll2<ai> и, следовательно,
II G(um) ||2 = 0.
Таким образом, при т > d/щ имеем (^m)(^o)t 1
G М || = 0. J
Итак, мт —решение задачи (5.1). ■
Замечание 5.1. В случае ограничений типа неравенств можно получить похожие результаты, комбинируя описанный прием со способами доказательств, использованными в n. 1.
Замечание 5.2. Предположим, что /(о) = (с, u)Rn и задача 5.1 имеет по крайней мере одно решение и.
Можно показать, что в этих условиях может быть поставлена
Задача 5.18. Определить ме г U, такое, что
Z(«B) + e||Me||2<Z(v) + 8lM2 VoetZ
имеет решение и8 для достаточно малого е и м8 является решением задачи 5.1. Следовательно, мы свели задачу к уже исследованной, для которой предположения (5.1) выполнены.
§3. декомпозиция
Введение
Цель декомпозиции состоит в том, чтобы заменить решение „большой" задачи (практически не реализуемое на базе современных -вычислительных машин) на последовательное решение „элементарных" задач. Этот метод особенно интересен в случае, когда возможно одновременное решение подзадач. Рассмотрим некоторые примеры декомпозиции.
Первый случай. Обозначим через Vt гильбертово пространство, через Ki — подмножество 1^, через К — функционал, определенный
на V ^ 1=\, .... к. Положим
к
г = П^,
к
^=П^,
к
Ц^ — ^ЗЛ^ у = (уь ..уа).
Задача 0.1. Определить ме/(, такое, что /(«)</(у) Vye^.
Ясно, что достаточно определить Ut — решение следующей задачи
Задача 0.1Z. Определить и{еКь такое, что
Ясно также, что и = (щи^,
где и — решение задачи 0.1 и ^ — решение задачи 0Л z, /= 1, ..., k.
Второй случай. Вводятся V и К, как и в предыдущем случае, а функционал /, определенный на V, имеет более сложную структуру.
Рассматривается снова задача 0.1.
Мы знаем, что при некоторых предположениях можно построить последовательность цт = (ц^, и^у которая сходится к и при пг~>оо (см. § 1, п. 4).
Третий случай. В общем случае классические итеративные методы, где минимизация сводится к минимизации функционала одной переменной, могут рассматриваться как декомпозиции. В действительности термин декомпозиция применяют и в случае, когда элементарные задачи зависят более чем от одной переменной.
Декомпозиция, использующая множители Лагранжа
Изложим в общем случае, без уточнения природы элементов, основную идею метода. Рассмотрим задачу минимизации / (v) при ограничениях х) U. где
f 0^ = 0,
[ и ^ К^
Если найдутся и е U и Л, такие, что
J ^ + X • || G (и) || < J (у) + X ♦ || G (у) || У у е К,
тогда получим
иг U.Jv !
Это нас приводит к поиску решения ии задачи
inf [7(п) + ц||б(о)||].(**)
Полагаем
Ф(р)=||С(Ыц)||
(или Ф (ц) = inf || G (пц) ||, если имеется несколько решений и^. и
Тогда
О = || G (и^) || = Ф (Л) = inf Ф (ц)(***)
и их совпадает с решением задачи (*). Мы заменили, следовательно, задачу (*) на задачи (**) и (***). Ограничение G(y) = 0 в известном смысле исключено. В некоторых случаях этот прием может оказаться полезным. Аналогичные рассуждения можно провести в случае ограничений типа неравенств.
Рассмотрим подробнее некоторые примеры.
Случай с односторонними ограничениями
Данные и предположения.
V — гильбертово пространство.
К — выпуклое замкнутое подмножество в V.
F — функционал, определенный на У, выпуклый и дифференцируемый (следовательно, в частности, F является с. п. н. с.). Определим тогда U по формуле
U = ^\ueK, F(y)<0},
е. U является выпуклым замкнутым подмножеством V. Предполагается, что
существует w е U, такое, что F(tw) < 0.(1.1)
Дан функционал J, определенный на V, имеющий градиент G и гессиан Н. Предполагается, что Н удовлетворяет условию
(Я (ц) ср, ср) ^а|| <р ||2 Уф е У, W^K\ а > 0.(1.2)
Задача 1.1. Определить ueU, такое, что
/(//)</(у) УуеЯв
Теорема 1.1. При сделанных предположениях 1) задача 1.1 имеет единственное решение;
ii) кроме того, существует л е R, такое, что
Z(^ + AF(^<Z(u) + ^F(u) Vue/С1), 1и^К, Х^О, Р(м)^0, A,F(^) = 0; J
Ш) обратно, если и и X удовлетворяет (1.3), то и является решением задачи 1.1.
Доказательство. Достаточно установить пункты ii) и ш).
ii) Рассмотрим подмножества St и S2 из R2, элементы которых {я, 6} определены по формуле
у^К, го^О, Г! >0ф{7(и) — Ци^-Vr^ F^ + rJ^Sp
5q^0, 5]^0=Ф{—So, sj е S2.
Можно проверить, что Sj и S2- выпуклые непересекающиеся подмножества в R2. Так как S2 имеет внутреннюю точку, по теореме Хана — Банаха (тривиальной в этом случае) существует прямая, которая разделяет эти два множества. Следовательно, можно найти а, р, /, такие, что
I а 1 + 1 Р 1> О,
(1.4)(1.4)а U (у) — /(«) + г0) + Р (F (у) + Г]) > I > — as0 — psb Vys/C, ro^O, fj^O, s0 > О, «1^0.
(1.4)
(1.4)
Выберем и = и, rt = — F^^O, ro = s1=O, sQ = 0+; получим Z = 0. Отсюда, используя правое неравенство, имеем
0>— as0 — Psb 1
V«i > 0, s0 > 0. J
Следовательно,
a ^a ^0, p>0.0, p>0.(1.5)(1.5)
a ^
a ^
0, p>0.
0, p>0.
(1.5)
(1.5)
Из левого неравенства при Z = 0, г0 —0 и ^ = 0 вытекает, что
т. е.т. е.(1.6)(1.6)|а| + |Р|>0, р>0,|а| + |Р|>0, р>0,a (7 (у)- J(w)) + pF(y)>0 Vye/C,а/ (м) ^ а/ (у) + Р^7 (у) Vy е К.
т. е.
т. е.
(1.6)
(1.6)
|а| + |Р|>0, р>0,
|а| + |Р|>0, р>0,
Предположим, что а = 0. Тогда, так как получаем, что р > 0, а из (1,6) вытекает
0<F(y) \#уеК.
]) В действительности речь идет об одном из результатов теории двойственности. Более подробно эти вопросы разбираются в следующей главе.
Но это невозможно в силу (1.1). Следовательно, а>0 и (1.6) при Л = р/а^О принимает вид
/(«KW^t) Чу^ДЛ
Л>0.J(1,7)
Полагаем у = м; получаем
0<ЛЕ(у),
и так как X ^0, Е(ы) < 0, имеем
'ЛЕ(«) = 0,
откуда следует (1.3).
Ш) Если м удовлетворяет (1.3), то прежде всего u^U и
J (м)< J (у) + pF (у) УуеК.
Если к тому же у е U, то р-Е(у)^0 и, следовательно,
/ (и) < / (у) У у е U.■
Замечание 1.1. Согласно терминологии Куна —Такера, предположение (1.1) называется условием невырожденности.
Следствие 1.1. Пусть й — решение (единственное) задачи
7(й)<7(у) Уу^К, 1
йеК.j(L8)
Тогда
если Р(й)^0, то й = и;
если F (й) > 0, то F (ы) = 0.
Доказательство. Первое утверждение очевидно.
Предположим, что F (и) < 0. Тогда, подставляя в (1.3) А = 0, имеем
/(«)</(у) ЧоеК.
Следовательно, и = й и F^=F^ при Г(ц)^0 и F^X).
Задача 1.1ц. Пусть ц^О. Требуется определить и^ е К, такое, что
/ (Иц) + ^F (ИцХ J (у) + цГ (у) Vy^K, 1
ц>0, и№еД.J (118^
Функционал у -* / (у) + р.Е (у) — строго выпуклый и дифференцируемый. Можно проверить, что
lim J (у) + цЕ(у) = + оо.
М->оо
Следовательно, задача 1.1ц имеет единственное решение Ур^О. Положим
фф) = Х) Ур^О.(1.9)
Следствие 1.2. Если F(S)>0, то
функция р->Ф(р) имеет по крайней мере один положительный корень. В частности, Ф(л) = 0, где X определено согласно теореме 1.1;
если р^О, Ф(р) = 0, то и^ — и = решение задачи 1.1.
Доказательство. Согласно утверждению ii) следствия 1.1, имеем F^ = 0.
В силу (1.3) по определению и^ можно записать
и = 4,
и так как F (и) = F^u^ = 0, имеем Ф(Л) = 0.
Если р>0, Ф (р) = F ^и^ = 0, то (1.8)^ принимает вид
J ^ + pF <и^ < 7 (и) + pF (и) У и ее К, 1и^^К, р>0, F^XO, pFX) = 0. J
По теореме 1.1, iii) имеем и = и^. н
Метод декомпозиции.
j) Ищется и. Если F(z2)^0, тогда и = й.
jj) Если F(S) > 0, определяется с помощью какого-нибудь классического метода положительный корень функции Ф. Если р —такой корень, то и = ип.
Случай с двусторонними ограничениями
По сравнению с вышеизложенным модифицируются вид F и ограничения, относящиеся к F. Полагаем
F^ = ^g, у)у ~ Л
где g е F, Ze R. Определим множество U следующим образом:
U = (у | у е К, F^ = 0).
Заменяем (1.1) на
(1.Ю)(1.Ю)ЭШ1 г К, такой, что F (w^ < 0,
(1.Ю)
(1.Ю)
3^2 G К, такой, что F (ау2) > 0.
Задача 1.2. Определить йе[/, такое, что
J<u)^J<y) ^уги.
Напомним, что и было определено следующим образом: и е К,|
/(Й)</(у)(L8)
Если Е(й)<0, то решение задачи 1.2 является также решением задачи
и е К, F (и) ^0,),
Ци)^Цу) Му еК, F(y)>0. j(L8)'
Если F(u^ = 0, то й является решением задачи 1.2.
Если F(u)>0, то решение задачи 1.2 совпадает с решением задачи
и е К, F ^ < 0,1„
У(и)<7(о) VveK,F(o)<0j(1,8)"
Метод декомпозиции.
Ищется й, и либо й —искомое решение, либо (при F(^#=0) применяется алгоритм п. 1.1.
Примеры
Пример 1.1. Дано: V = HX(^\
J (у) = — || у ||^[ ^^, у)^,
Определим К, полагая /< = {о[ уеНЦа), уоу >0},
где у0о обозначает „след" у на границе Г множества Q. Пусть g е L2(Q), / е R и
F^ = U, y)L4Q)-^
U = (у | у е К, F(v) = 0}.
Требуется определить такое и е U, что /(«)</(у) Му г U.
В соответствии с результатами п. 1.2 мы должны сначала определить й и затем перейти к решению задачи в случае одностороннего ограничения. Например, если (g, й) > /, то
(g. У^1.
Следовательно, мы пришли к постановке задачи из п. 1.1, которая заключается в минимизации J при ограничениях уоУ^О,
(g, у) ^^ Определим U, положив
U = {и | v ^ Я1 (Q), уоу > 0, (g, у) < /}.
Декомпозиция приводит к решению задачи 1.1ц, которая в данном случае имеет вид:
определить и^ е К^ такое, что1
J Ю + Р и» и^ < J (у) + ц (g, t)) V^e Я J
Иначе говоря, требуется определить и^^НЦй), Уо^ц^О, такое, что
"2* II ^ц 11^1 (Q) (f ~~ PS"> и\х^ к^ ^ У II ^ Ид1 (Q)(/ "~ Р^? У)д2 (й)
Vv е Я1 (Q), у0У ^ О-
О численном решении этой задачи см. § 1, п. 4.
Пример 1.2. Рассматривается частный случай, в котором
г = Пгг,
1=1 к
1^=14 Ji kUi\ V=(ub 0^,
1=1кFW^^Fi (v^.
1=1
В этом случае задача 1.1 заключается в определении и^= = (и^ ..., и^ е К, такого, что
1 к^ + Р^7 (^) ^ J (у) + Р^ М-
Но тогда имеет место простейший случай, описанный во введении. Задача 1.1ц разбивается на к элементарных задач, заключающихся в определении и^^Кр z = l, ..., к, таких, что
Jt к^ + ^F. (t^) < J£ (vz) + цР. (oz) V«z e Kv
причем
u^ = kuv •••' Ч>
Обобщение метода
Можно также рассмотреть случай, когда F (у) — вектор или функция. Множитель Лагранжа тогда также принимает вид соответственно вектора или функции.
Вероятно, наиболее интересным случаем является тот, в котором уравнение F(e) = 0 определяет уравнение состояния задачи оптимального управления, a v представляет собой классическую пару „управление — состояние44.
Декомпозиция с помощью метода штрафных функций
Опишем на примере одного частного случая алгоритм, пред ложенный Лионсом и Темамом [17]. Пусть V — гильбертово пространство, К — выпуклые замкнутые подмножества V (Z=l, ..., у), v —> /(и) — функционал, определенный на V. Полагаем
qк=Пк.
и найдем и, такой, что
иеК,1
/(«)</(у) Ууе/(. j^2,1)
Описание алгоритма
Пусть задано и° е V. Предположим, что построено ит. Переход от ит к и'”+1 осуществляется в q этапов: определяется последовательно umJrX!q, ..., um+qiq. Изложим переход от um+W-^iq к um+ilcl. Положим
где е>0 и е->0 при т-*оо.
Требуется найти элемент и^^ч, такой, что
Jm’4um+w)<Jm,4v) Vue Kt J(2-2)
Пусть теперь N — целое положительное число (связанное с е и стремящееся к бесконечности при е->0). Можно показать, что при некоторых предположениях
Птт2 um+ilq — и в у слабо.
Установим это, уточнив вид /(у). Обозначения сохраняются. Пусть и, у -> а (и, у) — билинейная, симметричная, непрерывная и коэрцитивная форма на VXV, т. е.
а (и, v) — a (у, w) Vu, и eV,
(2.3)(2.3)| а (и, у) | ^ М • || и || • || у || Vm, о eV,
(2.3)
(2.3)
а (у, у) ^а • || у ||2 Vy е У; а > 0.
Пусть f^V; положим
/(у) = 1ц(у, у) — (А у).
Известно, что при выполнении (2.3) (см. теорему 0.3) имеет место существование и единственность решений и и um+ii<i задач (2.1) и (2.2).
Теорема 2.1. Пусть N связано с е таким образом, что eN -> оо при е->0. Тогда
АГ-1
Пт 4- V um+t<q = и в V слабо.(2.4)
8^.0 N 44х 1
т=0
Доказательство. Отметим, что
е->0е->0sNsN8 —> 08 —> 0N —> оо.N —> оо.По теореме 0.4 и и um+llq удовлетворяют условиямПо теореме 0.4 и и um+llq удовлетворяют условиями е К,а (и, у — и) + (А у — и) ^ 0 Vf е К,и е К,а (и, у — и) + (А у — и) ^ 0 Vf е К,(2.2/(2.2/иииш+Цд <= £ьиш+Цд <= £ь— (ит+г/‘7 — ym-HZ-OA?,— (ит+г/‘7 — ym-HZ-OA?,У — Um+ilq) +У — Um+ilq) ++ a (um+i/q, у — ^т+;/») — (А у — um+i,q') ^0 Vy sKt.+ a (um+i/q, у — ^т+;/») — (А у — um+i,q') ^0 Vy sKt.Используя алгебраическое равенство(а — 6, b^-^ [a2 — b2 — (a — b)2]sИспользуя алгебраическое равенство(а — 6, b^-^ [a2 — b2 — (a — b)2]s(2.2/(2.2/
е->0
е->0
sN
sN
8 —> 0
8 —> 0
N —> оо.
N —> оо.
По теореме 0.4 и и um+llq удовлетворяют условиям
По теореме 0.4 и и um+llq удовлетворяют условиям
и е К,
а (и, у — и) + (А у — и) ^ 0 Vf е К,
и е К,
а (и, у — и) + (А у — и) ^ 0 Vf е К,
(2.2/
(2.2/
и
и
иш+Цд <= £ь
иш+Цд <= £ь
— (ит+г/‘7 — ym-HZ-OA?,
— (ит+г/‘7 — ym-HZ-OA?,
У — Um+ilq) +
У — Um+ilq) +
+ a (um+i/q, у — ^т+;/») — (А у — um+i,q') ^0 Vy sKt.
+ a (um+i/q, у — ^т+;/») — (А у — um+i,q') ^0 Vy sKt.
Используя алгебраическое равенство
(а — 6, b^-^ [a2 — b2 — (a — b)2]s
Используя алгебраическое равенство
(а — 6, b^-^ [a2 — b2 — (a — b)2]s
(2.2/
(2.2/
где а = ит*‘!ч — у, b = u,’n+(i~V}l4 — у, соотношение (2.2)' можно
записать в виде
ит+ЦЧ е ^.,
2е L2е L|| ит+Цд _ у ||2 _ || нт+«-1)/<7_ у ||2 _|_|| um+ilq _ um+q-l)lq |р] _|_
2е L
2е L
+ а(ит+11к um+tl^ — v) — (f, и^^ч-^^О
(2.2)"(2.2)"Vy е Kt.
(2.2)"
(2.2)"
Полагаем
Г1 = а ^М\ и^1*4 - у) - (f, umWq - у),
Г*1 = a W"^q - у, KnWq - у) + а (у, um+ilq - у) - ^, um+Mq - у).
Используя (2.3) и неравенство Коши — Шварца, имеем
Г'z >а || и™'4 - у ||2 - М ■ || у || • || umWq _ v || -1| f ||. || Um^4q - у ||.
Учитывая соотношение
:2-о^-62,2а ’
получаем
что вместе с (2,2)" даст
А [ || и^1^ — у ||2 —1| и^1"^^ — у ||2 +1| ит^ — umW-x^ |р] _|_
+ | II - У II2 < с, с = -^ [М . II У II + II Л1 ]2.
Суммируя по т и I, т = 0, ..., N — 1, I = 1, ..., q, дим к
2828— У II2 — II ц° — У II2 + 2 II и"1*1^ — цт+(г-1)/‘? ||2 +
28
28
т, I_
т, i
В частности,
N-Y
^ 2 II um+£,q - umW"^ ||2 < -^ || и0 - у ||2 + cqN, т=0
N-1
V ||- у II2 < 4 \cqN + ^ II и? -
} (2.5)} (2.5)прихо-прихо-(2.6)(2.6)(2.7)(2.7)т?=0
} (2.5)
} (2.5)
прихо-
прихо-
(2.6)
(2.6)
(2.7)
(2.7)
Имеем
II N-1
2 (и™^ — у) т=0
М-1/М-1М/2
< S II Um+llq — У |К 5 || ит+П9 _ у |р 1 (ДГ)’А, т=0\т=0/
и в силу (2.7), используя надлежащие константы, получаем
Следовательно,
и так как е—>0 =?e.V-> со, то
n-iII
^ 2 ^uWWq — и) < С3 < + ОО.
m=0II
(2.8)
N-1
Последовательность ^ V «т+//? ограничена. Точки ит+1гч при- /п=0
надлежат замкнутым множествам Кь Таким образом, существуют wt ^Ki и подпоследовательность, такая, что ^1= 1, ..., q имеем
wt е К ь
1(2-9)
lim-jyr 2j umJr4,i = wl в У слабо.
т=0
Используя (2.7), получаем
N-1
lim-^-^ (««+</» —ит+(/-1)/(?)_о в у сильно, г=1, ..., q.
т=0
Отсюда в силу (2.9) следует, что существует w е К, такое, что
w е К,
N'-l
lim-^7 ^ um+i,<! = w в V слабо, Z=l, ..., q.
(2.Ю)
Суммируя по /, получаем
w е К,1
^цт+Ич = w в V Слабо.(2-11)
т=0 i=l,
Возвращаясь к (2.2)", имеем
[ || Um-H[q — V II2 — II Ы«+9'-1)М — у II2 + || ит+ЧЧ — um+U-lMq |р]'
+ й ^И™^114 — У, um+ti-lMq — &) + й (У, Um+iiq — У) —’
— (f, um+‘iti — у) ^ О, Уу е Kt-
В частности,
■^[|| Um+il4 — У II2 — II ит+й-1)/? — у ||2] 4- а (У, um+ilc> — У) —
— (/ , um+i!4 — у) ^ 0.
Суммируя по т и по I для о еК и отбрасывая положительный член -^-Ц uN — у |р, получим
й /у, ^ «т+‘^ — Nqy\ — (f, ^ nm+^ — Nqy ^ ^ ^" || «° — у IP \ m, t/\ m, i/*
Му г К..
Следовательно,
а (у,— у\ — (f, -4-У ит"И1с’ —
’ NqГ NqeN q
\т, i/\т,1/
Принимая во внимание (2.11) и то, что s^O^eJV-* + оо, имеем
а (у, w — у) — (f, w — у) ^0 1
Му г К.i
Как и в теореме 2.2 гл. 1, § 2 проверяется, что выполняются неравенства
a ^w, w — у) — (f, w — у) $4 0 Му г К, J (w) ^ J (у) Му г К, we К.
Так как задача 2.1 имеет единственное решение и, то
и = W.
Стандартными рассуждениями проверяется, что из (2.10) и (2.11) следует
М-1
Нт-у S и^^-ц в V слабо,
т=0
N—l q
lim-^-^ ^иот+,^ = ц в V слабо.
т—0 /=0
q
Замечание 2.1. Пусть J (у) = 2 h (у)> где
1^ = 0 Ду, и) — (Ь, у),
и, у->аДи, у) удовлетворяет (2.3), и feVz. Тогда можно заменить (2.2) на следующую задачу:
цт+ilq s ^ь
J, (,ит^Ч^ 4- ^_ || urn+ilq _ Um-Ki-Wq |]2
<А (о) + ^||у- umw-^\T \fy е Kt.
Декомпозиция при помощи аппроксимации
Далее будет изложен метод сведения исходной задачи к решению отдельных подзадач, причем будет показано, что решение полученной задачи сходится к решению основной задачи. Мы приведем этот метод, следуя работе Сеа [17], проиллюстрировав его применение на двух примерах.
Регулярный случай
(Предполагается, что решение данной задачи регулярно.) Пусть Q — открытое множество R" с границей Г. Полагаем 7 =/У1 (£2). Пусть ы, у-> й(ы, и) — непрерывная симметричная и коэрцитивная билинейная форма на V X V, т. е.
а^и, v) = a(v, и) 's/и, у е V,
(3.1)(3.1)I а (и, у) | ^ М • || и || • || у || V», у е V,
(3.1)
(3.1)
й(у, у) >а • || у |р Vy е И, а > 0.
Пусть f е V и
У (у) = у а (у, у) —(f, у).
Введем теперь выпуклое замкнутое подмножество У, положив К = {у | у е Н1 (Q), grad2 у (х) ^ 1 почти всюду в Й].
(3.2)(3.2)Задача Р. Определить и, такое, что и е К, Z (и) ^ J (у) Му s К.
(3.2)
(3.2)
В силу предположений (3.1) мы знаем, что эта задача имеет решение и, и только одно. Дополнительно предположим, что
решение и задачи Р принадлежит Д2(й).(3.3)
Тогда можно и приближать us — решением некоторой задачи в нцау
■ Задача Р8. Определить иг, такое, что
} (3.4)} (3.4)и.еКПНЧ^У
} (3.4)
} (3.4)
1 («е) + 8II «е IP№(Q) < I (У) + 81| У |^!(В) Vy е Д П я2 (Й).
Используя результаты § 2, можно убедиться, что задача Рв имеет единственное решение ив. Можно также показать, что
lim ив = и в Д2(й).(3.5)
8 ->0^
Таким образом, ив является „хорошей" аппроксимацией и. Разложим на подзадачи задачу Рв. Для того чтобы упростить изложение, мы ограничимся случаем, в котором Q = (]0, l^cR". Пусть р — целое положительное число. Полагаем
Л = 2р + 1 ’
и если / = (/!, ..., /п), Zz — целое положительное число Mi, то
Йй = {х|хей, lih<x<(li^ 1)А V/}.
Мы будем интересоваться случаем, когда lt = 0,1,2, ..., 2р, i = 1, ..., п.
Определим теперь замкнутое выпуклое подмножество в Д1 (й), положив
Дд =/у | у е Д* (й), grad2y(x)^l почти всюду в ийд].
Известно, что
Д = /у|у е Д1 (й), grad2 у (х)^ 1 почти всюду в (J^l.
I/ )
В данном случае в фиксировано и строго положительно.
Задача Ph. Определить и^ такое, что
и^еК^Н2 (Q),
(3.6)(3.6)(^й) + е II Мд ll//2(Q) ^ ^ (у) 4“ 8 II У Н//2(й) ^eKhp4Ql
(3.6)
(3.6)
Теорема 3.1. Задача Рп имеет единственное решение uh. Болес того,
Пш^ = п8 в Я2(й) сильно.
П-»0
Доказательство. Ясно (см. теорему 0.3), что uh существует и единственно. В силу (3.6) имеем
Д(ил) < J (V) 4- 8II у 1РН8(£2) У у е Kh П № (Q),|
8||ма||^(£2)^/(у) — /(мл) + е||у Ц^^ Уу е Kh П Н2 (Й). } ^'^
Отсюда вытекает, что последовательность uh ограничена. Можно, следовательно, выделить подпоследовательность ип^ которая слабо сходится к элементу и в Я2(О). Так как билинейная форма и, и->а(и, v) симметрична и положительно определена, то
J (и*) lim / (и^).
Используя (3.6) и тот факт, что KcKh VA, получим
/(мМ8||иЧ|^(д)<У(у) + е||у|^
Ууе=О#2№).^’8^
Если мы покажем, что и* е К» то м* = ме, и при помощи стандартных рассуждений получим
lim мй = и8 в V слабо.(3.9)
й->0
Отсюда, используя (3.6), имеем lim Мд = м8 в V слабо, ^ (.^h) Н- 8 || Мд 11^2(2) ^ i (Wg) “1“ 8 || Mg ||д2(др т. е.
lim Мд = м8 в V сильно.
Доказательство эквивалентно доказательству того факта, что
Нтм„ —м в V слабо, II м„ II2 <11 Mil2
=^ Пт || ип — и |р = 0.
П->оо
Итак, остается лишь показать, что и ^ К. Напомним, что uh е если
(3.10)(3.10)grad2^(A)^l почти всюду в (JQ^-
(3.10)
(3.10)
При х s Q&, т ^ 21, используя ограниченность
2I. /2I. /ЛХ_дх^х.ЛХ_дх^х.2ЩЙ)2ЩЙ)
2
I. /
2
I. /
ЛХ_дх^х.
ЛХ_дх^х.
2
ЩЙ)
2
ЩЙ)
мы можем показать, что
grad2 uh (х) ^ 1 + h • ^н (к) VxeQh>(3.11)
где ip* удовлетворяет условию
J | ^(х) \dx ^с < + оо.(3.12)
s
Если qe^(Q) и ф(х)^0 почти всюду в Q, то
| <р • grad2 и* dx ^ Нт Г ф • grad2 uh dx.
Тогда в силу (3.10), (3.11), (3.12) имеем
J ф • grad2 и dx ^ J ф dx Уф е Ф (Q), ф ^ 0 QИ
и, следовательно,
grad2 и? (а) ^ 1 почти всюду в Q,
т. е. и е К. Модификация ограничений позволяет свести поставленную задачу (после ее дискретизации) к задаче, аналогичной примеру 2, описанному во введении § 3 настоящей главы. Дискретизированную задачу можно решить блочным методом Гаусса— Зейделя с ограничениями (см. п. 4 § 1).
Декомпозиция пространства Соболева
Введем некоторые определения, которые понадобятся нам в п. 3.3. Мы сохраним обозначения и определения предыдущего примера. Напомним, что если Z = (Zi- ..., ZJ, то
Й^ = {а |а е Й, lth <хг< (Ц + 1) h, i= 1, ..nY
Полагаем
Ц'+ = ^|^е^ ^=(/г+1)4
^й ‘ = {х Iх е йд, Xt = /гй],
2д = (х |х е Q, xt = jh, j — некоторое целое число}.
Определим пространство Vh следующим образом:
О
уп г Vh
h’ * *
”i е Н' (ВЦ,
При vh е Vh определим
Z),u. = у. =
1 h дх, h
д ) • • • дх1 ^
к'
Отмстим, что можно идентифицировать из L2(Q). При фе®(О) имеем
vh и В^к с элементами
J D^uh • ф dx = —- J ип • Di • ф dx + ^
Q
Q
J ^ • Ф • dx^ —
1 А
и^ф dx'.,
(3.13)
h
где dx'l = dxx ... dx._x dxt+v ... dxn.
Определим теперь функцию скачка иh->Slhuh, полагая при х е Ц г+ и т = / + (0, •О, 1, 0, ..., 0) (1 стоит на г-м месте)
(3.14)(3.14)Sht vh to = yh to — yh to Vx e Цz+.
(3.14)
(3.14)
Имеем, следовательно,
QQ^uh'D^dx + J Slhvh- ф dx'. Уфе^(й). (3.13)
Q
Q
Обозначим через Ilh последний интеграл и через ф U суже- ние ф на 2^. Имеем
^(4
Но так как ф ограничена, то
(3.15)(3.15)l^l^^w lis^IL2(sz)’
(3.15)
(3.15)
где С^ — константа, зависящая от ф.
Лемма 3.1. Пусть
lim uh = u в L2(Q) слабо,
^->0
ТогдаТогдаlim D.u=u* в L2(Q) слабо, /=1, ..., п,н-»о 1 h 1lim D.u=u* в L2(Q) слабо, /=1, ..., п,н-»о 1 h 1(3.16)(3.16)
Тогда
Тогда
lim D.u=u* в L2(Q) слабо, /=1, ..., п,
н-»о 1 h 1
lim D.u=u* в L2(Q) слабо, /=1, ..., п,
н-»о 1 h 1
(3.16)
(3.16)
и* е Н1 (Q),
u^Dtu, 1= 1, ..., п.
Доказательство. Достаточно использовать (3.13)', (3.15) и (3.16). Переходя к пределу, получаем
j «<Ф dx = — | u*Dt^ dx Уф е ^ (Q), sa
следовательно,
u*i = Dili*, i = 1, ..., n,
t. e. u*t^H4^Y
Нерегулярный случай
Вернемся к задаче Р п. 3.1. Напомним, что задача Р заключается в определении и, такого, что
(3.2)(3.2)и е К,
(3.2)
(3.2)
J (м) < J (о) Vo е К,
приприДУ) = 1О(У, У)_ у, У),ДУ) = 1О(У, У)_ у, У),
при
при
ДУ) = 1О(У, У)_ у, У),
ДУ) = 1О(У, У)_ у, У),
К = {о | о е Hl (Q), grad2 о (х) ^ 1 почти всюду в Q}.
Предположим лишь, что решение и задачи Р принадлежит Н2(Й)- Следовательно, и е К. cz Н1 (Q).
Можно идентифицировать пространство V = Н1 (Q) с некоторым подпространством Vh.
Предположим, что и, о->а(и, о) имеет смысл при и, veV^, а соотношения (3.1) справедливы в Vh. Если, например,
а (и, у) = 2 J Fq ("> °)dx^
ТО
а (и, у) = 2Ш Fq (и, у) dx
и естественно определить
4uh' vh)=^^ /FM’ y^dx-
Таким образом, 7(уй) имеет смысл для уй е Vh. Полагаем
Kh = \vh | vh e Vh, grad2y^(xXl почти всюду в Q^ VZ), (3.17)
/л(ул) = ^(ул) + 7-^(уй), ей дано.(3.19)
/г
Задача Qh. Определить uh, такое, что
Uh G Kft,1
7 / А / 7 / X W 1Z(3.20)
ШКШ Vn^e кh- )
Теорема 3.2. Для еа > 0 задача Qh имеет единственное решение uh. Более того, если Птей = 0, то
Птмй = и в T2(Q) слабо,
V\m Dltih = Dtu в L2(Q) слабо, 1=1, ..., n. (3-21)
/7-»0
Доказательство. Первое утверждение теоремы очевидно. Покажем, что справедливы соотношения (3.21). Имеем
у еЯ'(О)^у е1-'-4, ^Ау = о.
Следовательно, в силу (3.20)
i ^h) + 7- Rh J (y) Vys/C, eh
t. e.
7(ылХ7(у) ^veK, 1
Т?й(«лХе/г7(у) XfveK. J^3'2^
В силу первого неравенства имеем
О «л П7ь < у < + °°.
Значит, существуют ^eZ,2(Q), и1^1ЦОЦ 1=1, ...,п, и подпоследовательность, выделенная из ин, такие, что
11m и^ = и в L2 (Q) слабо,
Л'-»0
MmDu.^u. в A2(Q) слабо, .
lim Rh, (иЦ = 0.
Предположения (3.16) оказываются выполненными, следовательно, иеНЧ$,
u* = Dtu, / = 1, ..., п.
Как и в п. 3.1, можно показать, что и ^ К. Более того, можно проверить, что из условия
lim uh' = и*,'
lim Dtuh' = Dtu
следует
J {и) < lim J (иЦ.
iv^o
Используя (3.22), получим
J(u*XJ(d) VyeR, 1u^K.J
Итак, и = и. В этих условиях приходим к (3.21). в
Задача Qh — задача в произведении пространств. Можно, следовательно, применить метод из п. 4 § 1.
Замечание 3.1. Во многих задачах требуется минимизировать функционал Цу, и), где у и и определены для хе5с!(п и /е[0, Г], Т задано в R. Ограничения могут иметь вид
ЕЦ, f) г Е (у Ц, ty и^х, ^)) = 0 почти всюду в S X [0, Г],
ЕЦ, t) = F (у Ц, t\ иЦ, 0)^0 почти всюду в $Х№ Ц
По-видимому, можно применить предыдущие методы и в случае, когда значения ЕЦ, /) и Цх, /) зависят лишь от у, и и от некоторых производных у в той же самой точке х, I.
Замечание 3.2. Метод, использованный в нерегулярном случае, аналогичен методу, где штрафуются не все ограничения.
Замечание 3.3. На самом деле можно выбрать h фиксированным и заменить еЛ на е. Все результаты остаются справедливыми при 8—>0»
Глава 5
Двойственность
Мы не будем проводить полное изложение теории двойственности. Наша задача — изложить методику, использующую идеи двойственности. Обоснование методов будет дано не в общем случае, а на отдельных примерах.
Основная идея заключается в том, что исходную задачу типа inf заменяют эквивалентной задачей типа inf sup. Двойственная задача тогда сводится к определению sup inf.
Приведем два характерных примера.
Пример 1. Пусть U с R" таково, что
ие[/фф§(иХ0, g(o)eR”.
Ясно, что
»е(/О(|А g(o))R"‘<0 VpeRm, р>0.(0.1)
Пример 2. Пусть U — выпуклое замкнутое подмножество банахова пространства V. Введем несколько определений. Полагаем h^ — sup (р, у),
где р е V' и скобки (.., ..) обозначают двойственность между V и 7'. Полагаем
Л = {р|реУ', /г(р)<4-оо).
Легко проверяется, что й(р) является выпуклой функцией, полунепрерывной снизу и положительно однородной первой степени относительно р,
h (рр) = р/г (р) Vp>0.
Теорема 0.1. Множество U характеризуется при помощи h и А следующим образом:
oet/^«p, у)-/г(р)<0 VpeA}.(0.2)
Доказательство. Положим
U = (у | у е V, (р, у) — h (р)< 0 Vp е А}.
В силу определения h имеет место включение U cU. Пред- п,сложим, что U ^=U. Тогда существует w е U, w ^ U. Согласно следствию из теоремы Хана — Банаха, можно найти р е V't asR,
такие, что
(ц, и) ^ а < (ц, w') Vu е U, т. е.
sup (ц, и) ^ а < (ц, w\v^U
ИЛИ
Л (р) ^ а < (р, w\
Отсюда следует, что ц е Л и w 0 U, т. е. получено противоречие. Итак, U = U. в
В общем случае можно определить множество U с V заданием конуса с вершиной в нуле (в пространстве, которое будет уточнено) и числовой функции Ф(и, р), определенной на V X Л и положительно однородной первой степени относительно ц. Тогда можно определить U, полагая
-и е U ^ Ф(и, ц) ^ 0 УцеЛ.(0.3)
В примерах 1 и 2 имеем соответственно
Л = {р | р е Rm, р > 0}, Ф (у, р) = (р, g (v))^,
Л = (р | р е V', h (р) < + оо}; ф (у, р) = (р, у) — h (р).
Отметим основное свойство функции Ф(у, р):
( + оо, если у ^ U,sup Ф(у, р) = („„(0.4)
^r V >[ о, если у е U.'
Действительно, если уеУ, то Ф(у, р)^0, и достаточно выбрать р = 0, чтобы выполнялось
max Ф(у, р) = 0,
ц е Л
если же у ф U, то существует реА, такой, что Ф(у, р) > 0, тогда вирФ(у, р)>Ф(у, рр) Vp^O, следовательно,
ц^Л
sup Ф(у, р) = + оо.
ц s Л
Рассмотрим следующую задачу (называемую прямой задачей). Пусть требуется найти
inf J (и),
ye U
где функционал J (о) задан таким же способом, что и множество U. Используя определение Ф, Л и принимая во внимание (0.4), имеем
f 4- оо, если v фи
inf sup (У(у) + Ф(у, р)}= inf ( ,..
veV ЦЕЛverlZ(v), ССЛИ У S U =
= inf Z(y).(0.5)
Следующая задача называется двойственной к предыдущей
sup inf U (и) + Ф(и, р)},(0.6)
ц е А у е У
где у называется множителем Лагранжа, а функция $ (и, у,) — = /(и) + Ф(и, ц) — лагранжианом. Заметим сразу, что вид функции Ф и множества Л определены неоднозначно, причем каждому виду поставлена в соответствие своя двойственная задача.
Завершая введение, сделаем следующее замечание. Предположим, что заданы U, V, Ф, Л и пара и, X е V X Л, такие, что
HuH<W, ц)<7(м) + Ф(ы, Х)<7(и) + Ф(у, X) |
Vo Е И, V.LI Е А; !Z G у, /. Е A,J
Можно проверить, что
7(и)-|-Ф(и, X) = inf sup {/(о) + Ф(о, у)} =
у s И цеЛ
= sup inf {/ (о) + Ф (и, у)}.
Ц Е Л у S И
Предположим, что Л — конус с вершиной в нуле. Тогда, выбирая р —0, затем р = 2Л, получим, что
Ф(/а Х) = 0,
и левое неравенство в (0.7) принимает вид
Ф(и, р)^0 Vp е Л,
т. е. и е U. Для правого неравенства в (0.7) имеем
Ци)<ЦоНШ А).
При v е U это неравенство переходит в
Z(n) < 7 (и).
Окончательно из (0.7) получаем
J(nXZ(u) + Ф(и, Л) Vue К; 1
u^U.X^X, Ф(м, Х) = 0. J^
Обратно, из (0.8) следует (0.7). ■
Рассмотрим теперь некоторые примеры. Для более глубокого изучения задачи (0.7) или задачи (0.8) нам понадобится теорема о минимаксе и теорема Хана — Банаха.
Напомним эти теоремы.
Теорема Хана — Банаха (действительный случай). Пусть V — векторное нормированное пространство.
N и М — два выпуклых подмножества V, такие, что М имеет по крайней мере одну внутреннюю точку, N не содержит ни одной внутренней точки М.
Утверждение, Можно найти Fe У7, F =/= 0, а е R, такие, что
(0.9)(0.9)F (пг) ^ а ^ F (п) VmeM, VneN.
(0.9)
(0.9)
Теорема Ки Фана — Сиона, Пусть
V и L — два отделимых векторных топологических пространства;
U — компактное и выпуклое подмножество V;
Л — компактное и выпуклое подмножество Ц
3 — отображение из U X Л в R, такое, что
р —> $ (у, р) — отображение, вогнутое и полунепрерывное сверху У u е U,
х)->2?^ р) — отображение, выпуклое и полунепрерывное снизу Ур е Л.
Утверждение, Существуют и, Л е U X Л, такие, что
2? (и, р)< ^{и, Л)<<?(1>, Л) Уу, реУХЛ. (0.10)
Замечание. Пусть $ — отображение из U X А в R. Имеем inf ^(у, цХ^^, р) УреЛ, VueU, y^U
следовательно,
sup inf 2 (и, рХ sup 2 (и, р) Vue U цеЛ ve UцеЛ
(0.11)(0.11)и, наконец,
(0.11)
(0.11)
sup inf ^(v, р)^ inf sup S’(у, p). |ieA yeUyeU цеЛ
Предположим теперь, что (0.10) имеет место. Тогда inf $ (у, %) = .<?(«, Л),
НО
sup inf ^(у, р) ^ inf S’(о, Л),ц е Л у s Uу г U
т. е.
sup inf S’(у, р.)>^(и, Л),ц е Л у г U
Аналогично получим
inf sup $ (о, р)^^^, X), у е U ц, е Л
т. е.
inf sup S(y, p)^S(n, X) ^ sup inf S(u, p). и GE U Ц eALI E A V s U
Сопоставляя эти неравенства с (0.11), получим равенство
S (м, Х)= inf sup S (у, u) = sup inf S(y, p),о eU XeAXsA о eU
которое при соответствующих предположениях принимает вид
S(u, A) = min max S’(о, p) = max min S(y, p).(0.12)
у s [/ ц, e Ац, e Д у e U
Определение. Точка и, К, для которой имеет место (0.10), называется перевалом или седлом, либо точкой минимакса *). Теорема Ки Фана — Сиона устанавливает условие существования такой точки.
Двойственность в R"
Далее будет использована теорема Хана — Банаха. Заметим, что мы будем иметь дело с пространством образов (см., например, Халкин [19], Карлин [3]).
Пусть заданы й+1 выпуклых функций Jt: Rn->R. Положим
K = {y|yeRra, Д(у)<0, Z=l, k}.
Задача 1.1. Минимизировать 70(у) при иг К. Определим
/ = inf Z0(y)(1.1)
и предположим, что
j= lim 70(ит) утгК.(1.2)
т->оо
Интересен только случай, когда — оо < /. Введем теперь два подмножества S и Г в Rfc+1, которые описываются элементами вида
(70(п) — 7 + s0, 7l(u) + s1, ..., 7a(u) + sA 1
у G R"; Si e R, 5,^0, Z = 0, ..., k. J
(-/o, .... -У,j
^gR, 1^0, Z = 0, ...,&. J
Нетрудно проверить, что S и T — выпуклые множества в Rft+I, Т имеет внутреннюю точку и, более того, S не содержит ни одной внутренней точки Т. Проверим последнее утверждение. Предпо-
!) В советской литературе наиболее часто используется термин седловая точка. — Прим. ред.
ложим, что оно несправедливо; тогда имеет место
^о (у) — / + so = — ^о>
Л (у) + Si = — ti,
yeR^, $/>0, tt > 0, / = 0,
т. e.
Ш<Д i = \, ..., k, UM<b
что противоречит (1.1).
Следовательно, можно применить теорему Хана — Банаха, т. е. можно найти числа a, az, f = 0, .h, такие, что
к
S I |> 0, i=Q
к1=0к1=0(1.3)(1.3)к
к
1=0
к
1=0
(1.3)
(1.3)
«0 Uo W — / + s0) + 2 «< Ui (у) + Sf) > a 1=1
VSi>0, ^>0, yeR^.
Из правого неравенства следует, что
az- ^0, г=0, ..., к, а ^0.
Если выбрать y = ym, s0 = 0, S/ = — Ji (vm), Z = l, ..., к, то левое неравенство принимает вид
0 ^а.
Следовательно, из (1.3) получим
к
2 «г > 0, az > 0, t — 1, .к, <=о
кк
«о (/о (о) — /) + 2 «г/1 (у) > ~ 2 «^г t—\z=o
VyeRra, \Jst>Q,
и окончательно1)
к
2 а; > 0, аг^0, г'=1, .к,
(1.4)(1.4)к
(1.4)
(1.4)
«о Uо (у) — /) + 2 aJt (у) > 0
Му е R".
’) Аналогичный результат получен Ф. Джоном (см. [19]).
Предположим, что а0 > 0, и обозначим А/
Тогда (1.4) принимает вид
Az ^0, i = 1, ..., к, '
(1.5)(1.5)WoW+i Vz(v) •
(1.5)
(1.5)
г=1
Уу ее Г.
Определение 1.1. Условием невырожденности называется любое условие, в силу которого а0 > 0.
и ВЫ’и ВЫ’Следовательно, доказана
и ВЫ’
и ВЫ’
Теорема 1.1. Если функции // (/ —0, ..., к) выпуклы полнено условие невырожденности, то имеет место (1.5). в
Отметим, что если ао = О, то
кх
к^aJ^c^O yo^RLк^aJ^c^O yo^RL(16)(16)
к
^aJ^c^O yo^RL
к
^aJ^c^O yo^RL
(16)
(16)
имеетимеетУсловие невырожденности эквивалентно тому, что (1.6) не места.
имеет
имеет
Условие невырожденности I. Существует Z^Rn, такое, что
(1.7)(1.7)h^<0, 1=1, к.
(1.7)
(1.7)
Неравенство (1.7) эквивалентно
J^Z^-I <0, /=1, к, где I > 0.
Тогда имеем
2 ajt (Z)< - I 2 «, < 0,
Z=1i=l
что противоречитчто противоречитhi=Yhi=Y>0.>0.
что противоречит
что противоречит
h
i=Y
h
i=Y
>0.
>0.
Условие невырожденности IL Нельзя найти а/, 1=1, ..,, к, такие, что к
2 Щ > 0, а/^О, 1=1, .к,
2«М) = 0 ^иеК.
(1.9)(1.9)(1.10)(1.10)(1.11)(1.11)
(1.9)
(1.9)
(1.10)
(1.10)
(1.11)
(1.11)
Отметим, что из (1.6) следует (1.8). Если (1.8) не имеет места, то это же справедливо и для (1.6), следовательно, а0 > 0.
Условие невырожденности III (Кун — Танкер [19]). Предполагается, что функции Jt (/=1, ..., й) дифференцируемые. Градиент Jt обозначим через Ог. Предположим также, что нельзя найти /=1, .к, такие, что
к
2 QH > 0, 0^ ^ 0, i — 1, ..., к,
z=i
к
^^GiW = 0 Ми г К.
z=l
Достаточно показать, что из (1.6) следует (1.9). Действительно, если и е К, то
кк
Z = 1Z = 1
и, следовательно,
к
2аА(я) = 0. Я
Z —1
Рассмотрим теперь некоторые следствия из теоремы 1.1. Предположим, что существует и е К, такое, что
j = J (и).
Имеем
Ци^ЦоН^ХМ^ VveR",
Z=1
X/ ^0, i = I, ..., к.
В частности, при с = и получим
Q^^xjm.
i=l
Но иеК, следовательно,
5 xji («)<о,
/=1
т. е.
к
2Ш)=о.
Поскольку /Ды)^0, 1=\, ..., к, имеем
кк
(1.12)(1.12)2 Mi (X2 Mi (^
(1.12)
(1.12)
V^ ^0, i = 1, ..к.
Итак, доказано
Следствие 1.1. Пусть функции /г (м), г = 0, ..., к, выпуклы, и пусть
Jo (и) = min/0 (и), иеК.
Тогда если выполнено одно из условий невырожденности, то можно найти числа/=1, ..., к, такие, что
ккк
(1.13)(1.13)Л) to + 2 МI W ^ Zo («) + 2 МI W ^ ^0 ($) + 2 М 1 W
(1.13)
(1.13)
Vue R", №>0, Z = 1,Vue R", №>0, Z = 1,k; ueK, ^(- ^0, i = 1, ..., k.
Vue R", №>0, Z = 1,
Vue R", №>0, Z = 1,
Как мы указывали во введении, из (1.13) следует, что точка и, X седловая (Л = (ЛЬ .%„)), т. е.
6Гh
70И + S Mi ku) = min max { /0 (и) + 5 Mi (у) г =
i^Xу e ^ P > 0 (i=lJ
(к1
= max min {/0(v) + 2 М<(у)П (1-14)
P^0 у ^ ^ (1=1J
где ц = (ць .... iift).
Покажем, что задача определения
fк
min max j /0 (v) + 2 V^ih W
yeXn ^>0 If=l
полностью совпадает с исходной задачей 1.1. Действительно,
max | 70 (и) + 2 Н«Л (у) i =) , !Л>0 k1=1J к*/о>max | 70 (и) + 2 Н«Л (у) i =) , !Л>0 k1=1J к*/о>оо»оо»если у 0 К, если у е Д',если у 0 К, если у е Д',(1.15)(1.15)
max | 70 (и) + 2 Н«Л (у) i =) , !Л>0 k1=1J к*/о>
max | 70 (и) + 2 Н«Л (у) i =) , !Л>0 k1=1J к*/о>
оо»
оо»
если у 0 К, если у е Д',
если у 0 К, если у е Д',
(1.15)
(1.15)
следовательно,
( Л 1(+ °°> если у ф К 1
min max 70 (v) + 2j Mi (у) (= min ( . , .„=
geR«u>o( i=i J osR”l/o(y), если u^K )
= min/0(v).(1-16)
Определение 1.2.
Задача определения
Г 6
min /0 ($) уеКmin /0 ($) уеКилиилиmin max j /0 (у) + 2 P-Ji (у)
min /0 ($) уеК
min /0 ($) уеК
или
или
Уекп ц>о I^
называется прямой задачей.
Задача определения
max min j /0 (у) + 2 P-Jt (у)
Ц^О yeR^гя=^
называется двойственной задачей.
Двойственность в RR (использование теоремы о минимаксе)
Из существования решения задачи 1.1 и условия невырожденности следует существование седла для функции:
к
/0(у) + 5 ^Л (у), у е R", р.г>0, г = 1, ..., k.
г=1
Сделаем некоторые предположения, позволяющие непосредственно использовать теорему о минимаксе.
Предположения. Пусть заданы функции Jp. Rn—> R, i = 0, ..., к. Предположим, что эти функции непрерывны и выпуклы. Предположим также, что
II у II -> ОО =Ф /0 (у) -> оо,(2.1)
где п
Цу|р=2|уг|2, У —(Уь ..., У„).
., &}. Предполо-., &}. Предполо-t=l
., &}. Предполо-
., &}. Предполо-
Определим К = {у I у е R", It (у) <0, z = 1, жим, что существует Z е R", такой, что
Zz(Z)<0, 1=1, к.Zz(Z)<0, 1=1, к.(2.2)(2.2)
Zz(Z)<0, 1=1, к.
Zz(Z)<0, 1=1, к.
(2.2)
(2.2)
(Это показывает, что К непусто.)Задача 2.1. Определить и е К, такое, что/о(«)^/о(у) Vo г К.
Известно, что эта задача имеет по крайней мере одно решение.
Более того, согласно п. 1, существует Л, = (Xt, .... ЛА), такое, что
A,eR6, Х^О, и г К,
ккк
(2.3)(2.3)Л) W + 2 v-JIW < /0 М + 2 Wt (^) ^ /о (^) + 2 Vt (у) i=lZ=iИ
(2.3)
(2.3)
VyeR", Vh = (h!, ..., рй) е R\ р.^0.
Получим еще раз этот результат другим способом. Определим ир и Aq следующим образом:
Up = {у | у е Rra, || У II ^ р},
Л9 = ^|цеК\ ц>0, Ин||ць<9).
^Выберем ||ц||₽л= sup [p.z Q.
Функция
к
v, p->zo(y) 4- S НгЛ(у)"
удовлетворяет предположениям теоремы о минимаксе. Следовательно, существуют ир’ q, Хр' qeRnX R\ такие, что
JО (^’ ^) + S V-Ji V* ^) ^ 1^ 'О + 2 ^’ Ч11 Ь^’ ‘О1=11=1
<7о(у)+2^'9-А(у)z'=l
Из левого неравенства получим при ц —О
к
о<2 XT^Ji^'^.(2.5)
1=1
Отсюда в силу правого неравенства имеем
^еК.(2.6)
Следовательно, в силу (2.1) получим
||ир'‘?8<с<+(2.7)
Фиксируем р и q; р> с. Минимум функционала
у->/0(у)+2^ qJt^
в шаре Up достигается на иР) q, т. е. во внутренней точке шара Up. Следовательно, речь идет о минимуме без ограничений, т. е. о задаче определения ир'ч, такого, что
/о 1ир> ’) + 2 Хрр 4Ji ир’ *0 < /о(у) + 2 ХГ 4Ji ^ Vy е R". (2.8) i=l1=1
Покажем, что V*q ограничено. Из предыдущего неравенства выводим при и = Z
к
2 л?- Ji (^)) < /о ^ - Jo ир* "), 2=1
что в силу (2.7) приводит к неравенству к
Используя (2.2), получим
Следовательно, Up,<7P^c2.(2.9)
Выберем q > с2. В левом неравенстве (2.4) положим ц = Л • -г-гт .
Имеем кк
И2=1
к
Если 5 М"’^ (мР*‘О > О, то dl^ll и в силу (2.9) ^^||ЛЖс2, <=i
что противоречит условию q > с2. Значит,
что в силу (2.5) приводит к неравенству к
^XTqJikup‘q) = O.(2.10)
Левое неравенство (2.4) принимает вид к
^PiJikuP-^^O Vp>0, ||ц||<q, 2=1
что эквивалентно к ^Pih^'4')^ Vp>0.(2.11)
Отсюда заключаем, что /Л^'^^О, i = l, к,
т. е. ир*4 г К-
Итак, если q > с2, р> сь то найдутся ир‘ч, Кр’ ч, такие, что
Г'^К, Xp’q>0, kk
J V'') + 2 ^h ^*) С J. W' ^ + 2 XT qh (/•*) < к
</o(v)+ ZAf’^-M,
Vv e R", V(ieR6, p>0.
Отметим, что условие невырожденности (2.2) используется для доказательства того факта, что множитель Лагранжа Хр’ 4 ограничен. Отсюда следует, что ир’ 4 е К для достаточно больших q.
Бесконечномерная задача (использование теоремы
Хана — Банаха)
По этой же теме см. работу Ж- Л. Лионса [3].
Пусть Q — открытое множество из R" с „достаточно" регулярной границей. Положим
V = H4&),/(«) = 4||у11г"^’ yW’и = {и I v е V, Yoy >0},
где Yo^~~ слеД ^ на Г. Когда у е У, можно показать, что уоу в свою очередь принадлежит пространству, обозначаемому Я+72 (Г). Сопряженное к этому пространству обозначается Я~1/2(Г). Если фЕЯ~1/2(Г), то значение линейной формы ф в точке уоу обозначается (ф, yov).
Задача 3.1. Определить u^U, такое, что
Ци^!^ VueU.
Так как I — строго выпуклый функционал, a U — выпуклое замкнутое подмножество, то можно утверждать, что задача 3.1 имеет единственное решение. Опишем основные свойства этого решения и определим двойственную задачу. Введем два подмножества S и Г из R X Н^2 (Г). Множество S — множество элементов вида
V (у) — / (и) + s0) — Vo^ + s},
у е Я1 (Q), s0 s R, s0 > 0, s е Я72 (Г), s > 0.
Множество Т — множество элементов вида
{-^ - О,
где /ogR> ^о > О, tEH^^, t^O. Можно проверить, что S и Т — выпуклые, непересекающиеся множества. Более того, S имеет внутреннюю точку (для доказательства последнего утверждения используется тот факт, что у-^Ци) непрерывен и оператор у0 является оператором, переводящим Я1 (Q) на Я72 (Г)).
Следовательно, можно найти а0 е R, <р е Н~хк (Г), а е R, такое, что
«о (/ (о) - Vo е V, s ^0, 1 «0 1 + II Отсюда
- /(«) + So) + (ф, — Yoy + s)>a>a0(— /0) + (ф, — 0 SO, ^gR: 80>0; t0>0; sJey'/z(F),
/>0;' )
pll>0..
следует, что
«о > 0, <p > 0, a0 + || ф || > 0, '
а0(Л°) —Л«)) —<Ф, Yoy)>O ■(3.2)
Vo е Н1 №•.
Предпол
южим, что ао = О. Тогда
— (ф, Yoy)>O VueH1№,
т. е.
Ф = 0
и
«о + IIФII = 0.
Следова'
тельно, а0 > 0. Тогда можно написать (3.2) в виде
/(«)</(о) - (А, у0о) Vo е Я1 (Q), |
АгЯ"‘/2(Г); А>0.1’
Полагая
о = м, получаем
(А, уо«) < 0.
Но А>(
), Yo“^O, т. е.
и
(A, Yo«> > 0
<A,YoM) = O.(3.4)
Следова:
гельно,
(р, Yo«)>O = <A, Yo«> I/о
1/((о.о)
Vpe^"/2(r), p^oJ
Окончательно получаем
J (м) — (ц, уом) < / (м) — (A, уом) < / (о) — <Х, yov)
(3.6)(3.6)ЧиеН'^), Уц е Н-ЧЦГ), ^>0,
(3.6)
(3.6)
уом ^ 0, А ^ 0.
Отсюда следует, что
/ (и) = min max {J (у) — (ц, уоу)} — max min (7 (°) — (l*> Yoy)L (3-7) и ц>0W>0 и
где v г Н1 (Q).
Следовательно, прямая и двойственная задачи формулируются следующим образом.
Прямая задача. Минимизировать У (у) при ограничениях уоУ^О.
Двойственная задача. Определить
max min {/ (у) — (ц, уом)}.
р > 0и е Я1 (Q)
р е Н^ (Г)
Не останавливаясь на более подробном обсуждении полученной двойственной задачи, дадим формальную интерпретацию неравенств (3.6). Предположим, что все функции регулярны. Тогда
<н. Yoy) = j HYo° da.г
Правое неравенство (3.6) показывает, что производная (по Фреше) от У (у) — (A, уоу) обращается в нуль в точке и. Тогда
п
V j Dtu • D^dx +V j Dtu • D^dx +j А • у0Ф do + j /Ф dxj А • у0Ф do + j /Ф dxJ и •Ф dx =
V j Dtu • D^dx +
V j Dtu • D^dx +
j А • у0Ф do + j /Ф dx
j А • у0Ф do + j /Ф dx
i=i аага
УФ е Н1 (й).
Интегрируя по частям, получаем
J — Хи ■ Ф dx + J ^ • у0Ф da + J мФ dx = ага
— [ А • у0Ф da + J / • Ф dx, * га
УФ е= Н1 (Q).
Если функция ФеЗ)(Й) произвольна, то
— Хи + и — f
и
(Х>0).(3.9)
Таким образом, в этой задаче ди/дп играет роль множителя Лагранжа.
Из левого неравенства (3.6) следует, что
— | ц • Yo^ fifo ^ — J ^ • у^и do гг
Vp>0, т. е.
Yo^^O.(3.10)
Соотношение (Л, Yo^) = 0 или {ди/дп, Yo^) = 0 записывается в виде
J ^-^0 = 0.
Г
Но в силу (3.9) и (3.10) получим
-|~ (х) • у^и (х) = 0 при почти всех хеГ. (3.11)
Имеем окончательно
— ки + и = f в Q,
Уо« (X) > 0,
-^(х)>0, дп х 7
при почти всех х е Г.
(3.12)
-^-(х)уо«(х) = О
Бесконечномерная задача (использование теоремы о минимаксе)
Прямая задача
Пусть Q — открытое, ограниченное, „достаточно регулярное" множество в Rn с границей Г. Положим
V=Ho^ = \ vV=Ho^ = \ vп
V=Ho^ = \ v
V=Ho^ = \ v
^ 11 Z)zo(x) pdx < + оо, у0о = 0
ВыберемВыберемг=1 й
Выберем
Выберем
II у ||у = || grady||'z’ „,
Положим
7(y)-4l|y^-(^ yW)>
K = {v | и e У, grad2u(x)^l при почти всех xeQ).
Задача 4.1. Определить иг К, такое, что /(«)</(у) Vye/(.
Можно проверить, что /( — выпуклое, замкнутое подмножество У, а функционал I (у) — строго выпуклый. Следовательно, справедлива
Теорема 4.1. Задача 4.1 имеет одно и только одно решение Положим
g (у) = grad2 у — 1.
Определим множество К, положив
уе/(^уе//о№) и g(y)<0.
Необходимо уточнить, в каком пространстве находится g(y). Если у г К, то g(u) s L“(Q), и, так как Q ограничено, имеем
g (у) г Ls (Q) Vs, l^s^+<x>.
Можно, следовательно, ввести пространство L, сопряженное к Z/(Q)
L = (LW,
и конус Л положительных элементов из L:
ligA^usL, ц^О.
Итак, множество К можно определить следующим образом:
у е Н1 (Q),
у е К ^у е К ^J ц (grad2 у — 1) dx ^ 0 УцеЛ,
у е К ^
у е К ^
(ц • (grad2 у — 1)) ^ 0, если ц е (L” (Q))').
Задача сводится к выбору s, так как каждому значению s соответствует свое множество Л. Можно проверить, что выбор s = + оо, Л = (L°°(Q))' обеспечивает существование седловой точки лагранжиана J (у) + ц (grad2 у — 1). Однако мы выберем s = 4-l, L = L°°(Q), причем переходом к пределу получим те же самые результаты, как при $ = + оо, и, более того, мы получим теорему аппроксимации.
Заметим, что не существует общего правила выбора вида функции Ф и множества Л, определяющих выпуклое множество К.
Приближенное решение
Далее будет использована теорема о минимаксе. Пусть
V = Нд (Q) — слабая топология,
Up = ^\u eV, || у |К р},
L^L™ (Q) — слабая* топология,
Лр = {р| р е L°° (й), 0^р(х)^р для почти всех х е й),
$ (у, А.) = 1 (у) + J X (grad2 у (х) — 1) dx. о
Нетрудно показать, что все предположения теоремы о минимаксе выполнены. Следовательно, существует пара ир, XpeUPX Лр, такая, что
S’ (up, и) < 3 (ир, Хр) < S’ (у, Хр),
Ур е Лр, Уу е Up или
Д«р)+ J Н (grad2 Up — 1) <ДК/(мр) +j Ap(grad2 ир— l)dx<
^Z (у) + j Xp (grad2 у — \)dx Q
Ур e Лр, Уу e Up.
При p = 0 имеем
0 ^ J Xp (grad2 up — 1) dx.
Следовательно,
J (up) ^ J (у) + J Xp (grad2 у — 1) dx
Уу e Up..
В частности,
/ (Hp) J (у) 1
Ууе UP<^K. i
Отсюда вытекает, что
1|Ир11^с< + 0° Vp.
(4.1)'(4.2)(4.3)(4.4)(4.1)'(4.2)(4.3)(4.4)Так как последовательность ир ограничена, существуют и ^ V и подпоследовательность ups такие, что
(4.1)'
(4.2)
(4.3)
(4.4)
(4.1)'
(4.2)
(4.3)
(4.4)
lim Up' = u в V слабо.
р'->0©
Но
J (и") ^ lim I (иР'\р^оо
Отсюда в силу (4.3) имеем
/ (и*) < / (о)
Уу е К.
Предположим, что и е К. Тогда и* = и, где и — решение задачи 4.1. Более того,
lim ир = и в V слабо.
р->ОО
Но в силу (4.3) имеем
(^о) ^5(^)*
Отсюда легко получаем, что
lim |1 ир — и || = 0.
р->оо
Покажем, что и <=К- Пусть ф£®(й), ф^О. Имеем
J ф (х) (grad2 и* (х) — 1)д?х^ lim J ф (х) (grad2wP'(x) — l)dx.
Йр'-»оо й
Но
J ф (х) (grad2 Up (х) — 1) dx ^ j" ф (х) (grad2 ир (х) — 1)+ dx ^ йй
^ max ф (х) Г (grad2 и0 (х) — 1)+ dx.
Положим
1Р= J (grad2«p(x)— 1)+ dx.
Й
Предположим, что lim /р = 0. Тогда из предыдущего неравенства вытекает, что р>о°
J ф (х) (grad2 и* (х) — 1) dx ^ 0 Уфе0(Й), ф^О,
й т. е.
grad2 и" (х) — 1 ^0 при почти всех х е Q,
и, следовательно, и е Д’.
Покажем, что lim/p = 0. Исходя из левого неравенства (4.1)', имеем
grad2 ир (х) — 1 < 0 =Ф Лр (х) = 0,
grad2 и? (х) — 1 > 0 =Ф Хр (х) = р,
и поэтому
J Хр (grad2 Up — 1) dx = plp.
Используя правое неравенство (4.1)z, получаем
1 ки^ + plp < J (0),
и так как последовательность ир ограничена, то
т. е.т. е.0< р1Р<сь
т. е.
т. е.
Нт 1р = 0.
Отметим, что если р > с (см. (4.4)), то функционал v -> J (у) + j ^Р (grad2 у — 1) dx
достигает своего минимума на множестве Up в точке ир. Но так как || ир И ^ с < р, можно говорить о минимуме во всем V.
Для „достаточно больших" р можно, следовательно, переписать (4.1)' в виде
(4.5)(4.5)/(«₽) + j H(grad2Mp — l)dx<J(Mp)+ JХр(grad2ир — l)dx<
(4.5)
(4.5)
^ J (у) + J Хр (grad2 у — 1) dx Q
Vy eV, Vp e Лр.
Тогда
$kuP> Ар) = min max $ (у, ц) = max min S’(у, p).(4.5)'
и e v ц e Хрp, e Xp и e V
Итак, доказана
Теорема 4.1. Если « — решение задачи 4.1, ир) Хр — решение задачи (4.5)', то
Пт || ир — w|| = 0.
р->ОО
Двойственность
Неравенство (4.2) при у = 0 принимает вид
Хр dxХр dx^ / (0) — 7 (мр) < с2 < + ОО
Хр dx
Хр dx
(так как ир ограничено). Рассмотрим отображение
Хр; qp е L°° (Q) -> J Хр • ф dx.о
Имеем
I ^р (ф) I ^ II ф llL°° (Q) * J ^р ^Х ^ С2 II Ф 11^,00 (2),Q
следовательно,
Хре=(1Л(<, \\Хр\\^с2.
Можно выделить подпоследовательность, слабо* сходящуюся в a°°W:_
lim ХР' = Х в (Л°° (Q))' слабо*.
р'->ОО
Так как Хр ^0, то и X ^0. Если у е Н'^У то grad2 у g А°°(й).
Переходя к пределу в (4.2), имеем
J (и) ^ J (у) + X (grad2 у — 1) 1
Vy е Н1 (й), grad2 у е L” (й). J^'^
При у=и получим
0 ^ X (grad2 и — 1).
Но Х^О, a grad2и— 1^0, поэтому
X (grad2 ы — 1) ^ 0, т. е.
X (grad2 и — 1) = 0.(4.7)
Из соотношений (4.6), (4.7) и из того, что Х^О, следует, что
/ (и) + p(grad2 и— 1)^/ (и) +Х (grad2 и — 1)^/ (у) + X (grad2 у—1)
Vp е (X00 (Й))', р > 0, Vy g Нх0 (Й), grad2 у е L” (й).
Полагая
U = (у | у g Но (й), grad2 у g L°° (й)},
Л = (р | р g (L°° (й))', р > 0}, $ (у, р) = ] (у) + р (grad2 у — 1), получаем
$ ^и, Х) = min max S’(у, р) = max min 3 (у, р).у е [У pi е ЛlieAyet/
Определение минимакса (min шах) является прямой задачей, определение максимина (max min) — двойственной,
Численный метод
Для достаточно больших р решение ир задачи (4.5)' мало отличается от решения и нашей задачи. Сходимость ир к и была изучена Сеа и Малановски [19] (см. также Неделек [19]).
Итак, пусть требуется определить
max mini/(у) + | Ц (grad2 с — 1) dx Lu^Xpx)^v\J
где
J(c) = J grad2 и dx — 2 J f • и dx,
oGfl0M ^iGA^iiG^tQ), 0<piW<p для почти всех xgQ.
При фиксированном р из Лр минимум по и достигается в точке и^, такой, что
J (1 + р) grad и^ grad ф dx = J f * ^dx Уф е У, (4.8) 22
и тогда
/ («и) + J Н (grad2 и^ — 1) dx = — J f • Uy dx — j p dx.
ЙQ
Так как
max — f fuy dx + | p dx ] = — min | f • u„ dx + f p dx ],
^ APL \22 /J Ц P\22/
то исходная задача сводится к задаче минимизации выражения / J f • и^ • dx + J р dx\ при ограничениях \22/
О ^ р (л:) ^ р для почти всех g Q,*
J (1 + р) grad и^ grad ф dx = J f • ф dx Уф s V.
22
Метод, предложенный Сеа — Малановски для решения этой задачи, состоит из следующих этапов.
Выбор направления спуска.
Решение задачи минимизации по р после исключения и приводит к направлению спуска, полученного в методе Франка — Вулфа.
Выбор точки на направлении спуска.
Поиск „оптимальной” точки может оказаться дорогостоящим. Для выбора точки использовался алгоритм pALG 3. В этих условиях доказано, что метод аппроксимации сходится.
Использование двойственности при минимизации недифференцируемого функционала
Мы изложим этот метод на достаточно простых примерах. Более полное и содержащее численные примеры изложение дано в статье Ж. Cea, Р. Гловински, Ж- С. Неделека [19].
Введем лагранжиан и выпишем прямую и двойственную задачи.
Пусть даны
матрица Д (n X ^), симметричная и положительно определенная;
матрица В (т X я);
матрица-столбец f (с п элементами). Векторы из Rn идентифицируются с матрицами-столбцами из п элементов.
множество Л — выпуклый компакт в Rm.
Полагаем
гдегдеSE (у, р) = у(Лп, у)„ —(А у)„ — (Ви, р)т,
где
где
р
(х, У^Р = 2 xtyt.
i=l
(5.1)(5.1)Теорема 5.1. Найдутся и и Я, такие, что м е R", Я е Л, 3(и, р)^3(и, К^З^о, Я)
(5.1)
(5.1)
Vo е R", Vp е Л.
Доказательство. Изложим основную идею доказательства. Вводится ир = {о | у е R", || у ||„ ^ р) и используется теорема Ки Фана — Сиона с элементами R", Up, Rm, Л, 3 (о, р). По этой теореме найдется пара ир, Хр, которая для достаточно большого р удовлетворяет соотношениям (5.1).
Определение 5.1.
Задача определения min max 3 (у, р) — прямая задача. oeRn цеЛ
Н) Задача определения max min 3(и, р) — двойственная запел teR"
дача.
Следствие 5.1. Для всякой пары и, X, удовлетворяющей (5.1), имеем
3 (и, Я) = пнп max 3(и, p) = max min 3(о, р).(5.2)
oeRn |1еЛцеЛ yeRn
Изучим более подробно свойства двойственной и прямой задач.
Двойственная задача. Решение и^ задачи определения min $ (у, р,) совпадает с решением уравнения
(Аи№, ^re — (f, ^п — ^Вср, ц)т = 0 VveRrt или
Д«и = f + B‘,u.(5.3)
Имеем
^(«ц, ^ = — ^ЛАиу, Uy)n = min S’(v, ц)>
osRrt
и двойственная задача принимает вид: определить
max [ —(Ди^, Ыц)1
или
— min 4-(Аиу, Uy),(5.4)
ц, е Л
где Uy определяется соотношением (5.3).
Так как матрица А регулярна, можно исключить Uy.
(5.5)(5.5)(5.6)(5.6)— minly(^n, ц)т —(^ n)m + 4"U V. ЛпЬ
(5.5)
(5.5)
(5.6)
(5.6)
^ = ВА-1В\
9" = — BA-1f,
и окончательно
min J (ц), цеЛ
J (р) ^^"^ (^Ц, Н)/?! (^", Г0т>
^ = BA'VB\
9-^-ВА~^.
Прямая задача. Речь идет о задаче определения min max {у (Ду, у)„-(Л у)„-(Ву, ц)т} у г Rn ц, е ЛJ
Полагаем
I0^ = ^Ax), y)n — (f, у)„,Л (о) = max (—Ву, н)т>
и прямая задача сводится к задаче
min {/0(^) + /i (у)}-
Функционал /0 (у) — часть минимизируемого функционала — регулярен, в то время как в последующих примерах Jx (у) предполагается недифференцируемым. Обозначим г-ю строку матрицы В через Bi, так что Bty будет действительным числом.
Пример 5.1.
Г/ m Via )
А = p|peRm,<1 ,
Пример 5.2.
Л2 = {ц|ц e Rm, | p; К 1,
/.(у) =21|.
Пример 5.3.
A3 = (p,|pGRm, Si Ц/К lb
Jj (v) — max| Bty 1.
Пример 5.4.
A4 = {p|peAb [i^O}, h ^ = (^{BiV-^
^используется обозначение: Z~ = — Z при Z^O, Z~ = 0 при Z>0\
Пример 5.5
Л5={^1Н^Л2. P>0},Л (у)= S BiO-.i
Пример 5.6.
Лб = М11^лз. И >0},
Jx (о) = max Biv~.
Приближенное решение прямой и двойственной задач
Легко показать, что прямая задача имеет решение и и в силу строгой выпуклости оно единственно. Рассмотрим два численных метода, хорошо приспособленных к решению этих задач. ИдЬя этих методов заключается в том, что сначала решают двойственную задачу, а затем по полученному решению восстанавливают приближенное решение прямой задачи.
Алгоритм излагается без доказательства его сходимости.
Определим градиент двойственного функционала /(ц):
grad 1^ = ^-^ = ВА'ХВ> + BA-Xt
Но, если Ир, удовлетворяет (5.3), этот градиент принимает вид
grad 7(р) = В • Up, 1
л 1 о» |(5Л
В р. )
Следовательно, для вычисления grad 7 (р) нет необходимости обращать матрицу А. Нужно только решить систему линейных уравнений.
Метод Удзавы. Речь идет о методе гл. 4, § 1, п. 5.1, примененном к двойственной задаче (5.6). Выбирается Л° е А. Строится и? — решение уравнения Au° = f — В*№. Переход от uq, X9 к «<?+1, А/7*1 осуществляется следующим образом:
Хч*х = РАМ -р-Buq\ '
Auq+X=f + B*Xq+x,(5-8)
где р — фиксированное „достаточно малое" положительное число, Рл — оператор проектирования Rm на выпуклое замкнутое множество А.
Метод Франка — Вулфа (примененный к двойственной задаче). Переход от uq, Xq к ц^+1, V+1 осуществляется следующим образом. Сначала определяется р? е А, такое, что
(В«^,Х(М4Л^еА.(5.9)
Затем вычисляется
p9 = min{l, -^Buq. p?-V)m},(5.10)
где с —- „достаточно большое” фиксированное число (достаточно брать с^-—А, d — диаметр А).
Наконец определяем следующую итерацию, полагая
Auq+i — f + В*^.)
Можно показать, что описанные методы сходятся, иначе говоря, Пт || и9 — и || = 0.
<7->+<х>
Для всех описанных выше примеров применение обоих методов приводит к эквивалентным процедурам. Единственное изменение состоит в определении проекции Рх в методе Удзавы или в поиске р5^ в методе Франка — Вулфа.
Список литературы')
Функциональный анализ. Уравнения в частных производных
Бурбаки (Bourbaki N.)
Espaces vectoriels topologiques, Hermann, Paris. [Русский перевод: H. Бурбаки Топологические векторные пространства, ИЛ, М., 1959.]
Данфорд, Шварц (Dunford N., Schwartz J. Т.)
Linear operators. Intersciences, New York, 1958. [Русский перевод: H. Данфорд, Дж. Шварц, Линейные операторы. Общая теория, ИЛ, М., 1962.]
Дьедонне (Dieudonne J.)
Foundation of Modern Analysis, Academic Press, 1960. [Русский перевод: Дьедонне Ж., Основы современного анализа, изд-во «Мир», М, 1964.]
Иосида (Yosida К.)
Functional Analysis, Springer Verlag, 1968. [Русский перевод первого издания: К. Иосида, Функциональный анализ, изд-во «Мир», М., 1967.]
Лионс, Мадженес (Lions J. L., Magenes Е.)
Problemes aux limites non homogenes et applications, Dunod, Paris, 1968. [Русский перевод: Ж.-Л. Лионс, Э. Мадженес, Неоднородные граничные задачи и их приложения, изд-во «Мир», М., 1971.]
Тейлор (Taylor А. Е.)
Introduction to Functional analysis, Wiley, 1967.
Шварц (Schwartz L.)
Theorie des distributions, Hermann, Paris.
Дифференцирование по Гато
Вайнберг M. M., Вариационные методы исследования нелинейных операторов, М., 1956.
Книги, в которых рассматриваются методы оптимизации
Абади (Abadie J.)
Non linear programming, Wiley, 1967.
Ауслендер (Auslender A.)
Theorie de 1’optimisation et introduction a la theorie des jeux, Cours polycopie, Clermont-Ferrand, decembre 1969.
Балакришнан, Нейштадт (Balakrishnan A. V., Newstadt L. W.)
Computing Methods in optimisation problems, Academic Press, 1964.
Бельтрами (Beltrami E. J.)
Methods of non linear analysis and optimisation, Academic Press, 1969.
*) Звездочкой отмечены работы, добавленные при редактировании перевода. — Прим, ред.
Бенсуссан (Bensoussan А.)
Filtrage optimal des systemes lineaires (в печати), Dunod, 1971.
Голдстейн (Goldstein A. A.)
Constructive real analysis, Harper and Row, New York, 1967.
Грэйвс, Вулф (Graves R. L., Wolfe P.)
Recent advances in mathematical programming, MacGraw-Hill, 1963.
Бут (Boot J. C. G.) Quadratic programming, North Holland Publ. Co., 1964.
Даффин, Питерсон, Зенер (Duffin R. J., Peterson E. L, Zener С. M.)
Geometric programming, Wiley, 1967. [Русский перевод: P. Даффин, Э. Пи» терсон, К. Зенер, Геометрическое программирование, изд-во «Мир», М., 1972.]
Дэниэл (Daniel J. W.)
The approximate minimisation of functionals, Prentice-Hall, 1971.
Зойтендейк (Zoutendijk G.)
Method of feasible directions, Elsevier Publishing Company, Amsterdam, 1960. [Русский перевод: Г. Зойтендейк, Методы возможных направлений, ИЛ, М., 1963.]
Канторович Л. В., Акилов Г. П.
Функциональный анализ в нормированных пространствах, Физматгиз, М., 1959.
Карлин (Karlin S.)
Mathematical methods and theory of games, Programming and economics (2 tomes). Addison — Wesley, 1959. [Русский перевод: С. Карлин, Математические методы в теории игр, программировании и экономике, изд-во «Мир», М., 1964.]
Кюнци, Крелле (Kunzi Н. Р., Krelle W.)
Non linear programming, Blaisdell Publishing Company, 1966. [Русский перевод: Кюнци Г. П., Крелле В., Нелинейное программирование, изд-во «Советское радио», М., 1965.]
Латтес, Лионс (Lattes R., Lions J. L.)
Methode de quasi-reversibilite et application, Dunod, 1967. [Русский перевод: P. Латтес, Ж.“Л. Лионс, Метод квазиобращения и его применения, изд-во «Мир», М., 1970.]
Леви-Фогль (Lavi-Yogi)
Recent advances in optimization thechniques, Wiley, 1966.
Лейтман (Leitman G.)
Topics in optimization, Acad. Press, 1967.
Лионс (Lions J. L.)
Controle optimal de systemes gouvernes par des equations aux derivees parHel- les, Dunod, 1969. [Русский перевод: Ж.-Л. Лионс, Оптимальное управление си стемами, описываемыми уравнениями с частными производными, изд-во «Мир» М., 1972.]’
Люэнбергер (Luenberger D. G.)
Optimization by vector spaces methods, Wiley, 1969.
Мангасарян (Mangasarian 0. L.)
Non linear programming, MacGraw-Hill, 1969.
Месарович, Макко, Такахара (Mesarovic М. D., Macko D., Takahara V.)
Theory of multi-levels systems. (В печати.)
*Михлин С. Г.
Проблема минимума квадратичного функционала, ГИТТЛ, М.—Л., 1952.
*Михлин С. Г.
Вариационные методы в математической физике, изд-во «Наука», М., 1970.
*Михлин С. Г.
Численная реализация вариационных методов, изд-во «Наука», М., 1966.
Полак (Polak Е.)
Computational methods in discrete optimal control and non linear programming: a unified Approach, Acad. Press, 1970.
Рокафеллар (Rockafellar R. T.)
Convex Analysis, Princeton, Math. Series, 1970.
Стоер, Витцгалл (Stoer, Vitzgall)
Convexity and Optimization in Finite Dimension, Springer-Verlag, 1970.
Уайлд (Wilde D. J.)
Optimum Seeking Methods, Prentice Hall, 1964. [Русский перевод: Д. Дж. Уайлд, Методы поиска экстремума, изд-во «Наука», М., 1967.]
Уайлд, Бейтлер (Wilde D. J., Beightler С. J.)
Foundations of optimization, Prentice Hall, 1967.
Фиакко, Мак-Кормик (Fiacco A. V., McCormick G. D.)
Non linear programming: sequential unconstrained minimization technique, Wiley, 1968. [Русский перевод: Фиакко А., Мак-Кормик Г., Нелинейное программирование. Методы последовательной безусловной оптимизации, изд-во «Мир», М., 1972.]
Флетчер (Fletcher R.)
Optimization, Academic Press, 1969.
Хуард (Huard P.)
Mathematiques des programmes economiques, Dunod, 1964.
Эрроу, Гурвиц, Удзава (Arrow К. J., Hurwicz L, Uzawa H.)
Studies in linear and non linear programming, Stanford University Press, 1958. [Русский перевод: Эрроу К. Дж., Гурвиц Л. и Удзава X., Исследование по линейному и нелинейному программированию, ИЛ, М., 1962.]
Обзоры (статьи)
Дорн (Dorn W. S.)
Non linear programming — A survey, Manag. Sci.4 9 (1963).
Зойтендейк (Zoutendijk G.)
Non linear programming: a numerical survey, S. /. A. M. Control, 4 (1966), № 1, Розен (Rosen E. M.)
A review of quasi-newton methods in on linear equation solving an unconstrained optimization, Proc. 21st. Nat Conf, of the A. С. M. Thompson Book, Co.. Washington, D. C., 1966.
Спэнг (Spang Н. А. III)
A review of minimization techniques for non linear function, S. /. A. M. Review, 4 (1962), № 4.
Метод спуска
Ауслендер (Auslender A.)
Methode des sous-gradients, These, Grenoble, 1969.
Блюм (Blum E. K.)
A convergent gradient procedure in prehilbert spaces, Pac J. (1966).
Винь (Vignes J.)
The method of steepest descent for non linear minimizing problems, Quat. Appl. fonction de plusieurs variables, These, Paris, 1959.
Канторович Л. В.
О методе наискорейшего спуска, ДАН СССР, 56 (1947), № 3.
Карри (Curry Н. В.)
The method of steepest descent for non linear minimizing problems, Quat. Appl. Math., 2 (1944).
Келли (Kelley H. J.)
Method of gradients, Optimization techniques, Edit. G. Leitmann, Acad. Press (1952).
Коши (Cauchy A. L.)
Methode generale pour la resolution des systemes d’equations simultanees, Acad,. Sci. Paris, 25 (1847).
Крокетт, Чернов (Crockett J. B., Chernoff H.)
Gradient methods of maximization, Pac. J. Math., 5 (1955).
Левитин E. С., Поляк Б. T.
Методы минимизации при наличии ограничений, Ж. вычисл. матем. и матем. физ., 6 (1966), № 5.
Огазо (Haugazeau У.)
Optimisation, These, Paris, 1968.
Островский (Ostrowski А. М.)
Contribution to the theory of the method of steepest descent, Arch. Rat. Mec. Anal., 26 (1961).
Cea (Cea J.)
Les methodes de descente dans la theorie de Foptimisation, Revue francaise d’informatique et de recherche operationnelle, 13 (1969).
Методы типа сопряженного градиента
Бард (Bard Y.)
On a numerical instability of Davidon-Iike methods, Math. Compute 22 (1968). 665—666.
Буэлер, Смэк и Кэмпторн (Buehler R. J., Smak В. V., Kempthorne 0.)
Some further properties of the method of parallel tangents and conjugate gradients, Iowa State Univ., Stat. Lab. Tech report., 337 pp. (1961).
Дэвидон (Davidon W. С.)
Variable metric method for minimization. Argonne Nat. lab. A. N. L, 5990 Rev. Univ, of Chicago, 21 pp. (1959).
Дэниэл (Daniel J. W.)
The conjugate gradient method for linear and non linear operator equations, SIAM Num. Anal., 4 (1967).
Майерс (Myers G E.)
Properties of the Conjugate gradient and Davidon methods, /. of Optim. Th. and Appl., 2 (1958), 209—219
Полак, Рибьер (Polak E., Ribiere G.)
Note sup la convergence de methodes de directions conjuguees R. I. R. 0., 16 (1969).
Пшеничный Б. H. Двойственный метод в экстремальных задачах, Кибернетика, 3 (1965).
Стьюарт (Stewart G. W. Ill)
A modification of Davidon’s minimization method to accept difference approximation of derivative, /. A. С. M., 14 (1967), № 1, 72—84.
Флетчер, Пауэлл (Fletcher R., Powell M. J. D.)
A rapidly convergent method for minimization, Comp. L, 6 (1964), 163—169.
Флетчер, Ривс (Fletcher R., Reeves С. M.)
Function minimization by conjugate gradients, Comp. J., 6 (1964), 163.
Хестенс, Штифель (Hestenes M. R., Stiefel E.)
Method of conjugate gradients for solving linear systems, J. Research Nat. Bur. Standards, 49 (1952), 409—436.
Шах, Буэлер, Кемпторн (Shah В. V., Buehler R. J., Kempthorne 0.)
Some algorithms for minimizing a function, SIAM, 12 (1964), 72—92.
Методы второго порядка. Метод Ньютона и модифицированный метод Ньютона
Книга Канторовича и Акилова [3]. Обзор Розена [4].
Ауслендер (Auslender А.)
Methode du second ordre dans les problemes d’optimization avec contraintes, R. I. R. 0., R2 (1969), 27—42.
Барнес (Barnes J.)
An algorithm for solving non linear equations based on the secant method, Computer J., 8 (1965), 66—72.
Бройден (Broyden C. G.)
A class of methods for solving non linear simultaneous equations, Math, comp., 19 (1965), 577—593.
Деннис (Dennis J. E.)*
On Nevton-like methods, Number Math., 11 (1968), No. 4, 324—330.
Зелезник (Zeleznik F. J.)
Quasi-Newton methods for non linear equations, /. A. С. M., 15 (1968), 265—271.•
Лор, Ролл (Lohr L. R., Rall L. В.)
Efficient use of Newton’s method, /. С. C. Bull., 6 (1961), 99—103.
Морсанд, Тейлор (Moursund D. G., Taylor G. D.)
Optimal starting values for the Newton — Raphson calculation of inverses of certain functions, SIAM J. Num. Anal., 5 (1968), No. 1.
Ортега (Ortega J. M.)
The Newton — Kantorovich theorem, Amer. Math. Month., 75 (1968), 658—660.
Ролл (Ralle L. B.)
Convergence of the Newton process to multiple solutions, Num. math., 9 (1966), 23—37.
Прямые методы
*Баничук H. В., Петров В. М., Черноусько Ф. Л.
Численное решение вариационных и краевых задач методом локальных вариаций, ЖВМ и МФ, 6 (1966), № 6.
Варга (Varga R. S.)
Matrix iterative analysis, Prentice Hall, 1962.
Вейсман, Вуд (Weisman J., Wood C. F.)•
Experience with the use of optimal search for engineering design, Voir livre «Vogl-Lavi».
Гласс, Купер (Glass H., Cooper L.)
Sequential search a method for solving constrained optimization problems, 12 (1965), № 1, 71—82.
Елкин (Elkin R. M.)
Convergence theorem for Gauss Seidel and other minimization algorithms, Computer Sci. Report. 68—59, Univ, of Maryland, College Park.
Зэнгвилл (Zangwill W. I.)
Minimizing a function without calculating derivatives, Comp. J., 10, 293—296 (1967).
*Крылов И. А., Черноусько Ф. Л.
Решение задачи оптимального управления методом локальных вариаций, ЖВМ и МФ, 6 (1966), № 2.
Ортега, Рейнболдт (Ortega J. М., Rheinboldt W. С.)
Monotone iterations for non linear equations with application to Gauss — Seidel methods, SIAM Num. Anal. (1967), 4, № 2.
Ортега, Роккофф (Ortega J. M., Rockoff M. L.)
Non linear difference equations and Gauss-Seidel type iterative methods, SIAM Num. Anal., 3 (1966).
Пауэлл (Powell M. J. D.)
An efficient method, Comp. L, 7 (1964), 155—162.
Розенброк (Rosenbrock H. M.)
Automatic Method for finding the greatest or least value of a function. Comp. I Я /1960k 175—184.
Фридман, Саваж (Friedman М., Savage L.)
Planning experiments seeking maxima, Techniques of statistical analysis (Eds. Eisenhart ...), McGraw-Hill, 1947.
Хук, Дживс (Hooke R., Jeeves J. A.)
Direct search solution of numerical and statistical problems, J. A. С. M. (1961), 212—229.
Шерро (Cherruault Y.)
Une methode directe de minimisation et applications, R. I. R 0., Serie rouge, 10, 1969.
Шехтер (Schecter S.)
Relaxation Method for convex problems, Tech. Rep. C 588, Stanford University, 1968.
Одномерные задачи
Книги Уайлда [3].
Берман (Berman G.)
Minimizing by successive approximation, S. I. A. M. Num. Anal., 3 (1966), № 1.
Джонсон (Johnson S.)
Best exploration for maximum is Fibonaccian, Rand corp, paper RM-1590 (1955), pp. 7.
Кифер (Keifer J.)
Sequential minimax search for a maximum, Proc. Amer. Soc., 4 (1953), № 3.
Кифер (Keifer J.)
Optimum sequential search, SIAM, 5 (1957), 105—136.
Кролак, Купер (Krolak P., Couper L.)
An extension of Fibonaccian search to several variables, Comm. A. С. M. (1963), 6, 639—641.
Ускорение сходимости
Стейн (Stein M. L.)
Gradient method ... /. Res. Mat. Bur. Standards, 48 (1952), 407—483.
Финкель (Finkel R. W.)
The method of resultants descents for the minimization of an arbitrary function, Paper 71, preprints of papers presented at the 14th national meeting of A. С. M. (1959).
Форсайт, Моцкин (Forsythe G. E., Motzkin T. J.)
Acceleration of the optimum gradient method, Preliminary report, Bull. Amer. Math. Soc., 57 (1951), 304—305.
Линейные системыj
Варга (Varga R. S.)
Matrix iterative analysis, Prentice Hall.
Методы типа Франка — Вулфа
Ауслендер, Бродо (Auslender A., Brodeaux F.)
Convergence d’un algorithme de Frank — Wolfe, applique a un probleme de controle, R. I. R. 0., 7 (1968).
Валадье (Valadier M.)
Extension d’un algorithme de Frank — Wolfe, R. I. R. 0., 6 (1965).
Гильберт (Gilbert E. G.)
An iterative procedure for computing the minimum of a quadratic form on a convex set, SIAM J. Control, 4 (1966), № 1, 61—80.
Демьянов В. Ф. Рубинов А. М.
Минимизация гладкого выпуклого функционала на выпуклом множестве, Вестник ЛГУ, Серия математики, механики и астрономии, 19 (1969), вып. 4.
Кенон, Каллум (Canon М. D., Cullum С. D.)
A tight upper bound on the rate of convergence of the Frank — Wolfe algorithme, SIAM J. Control, 6 (1968), № 4, 509—516.
Огазо (Haugazeau Y.)
Sur la minimisation des formes quadratiques avec contraintes, C. R. Acad. Scu Paris, 2 nov., 1966.
Поляк Б. T.
Теоремы существования и сходимость минимизирующих последовательностей в задачах на экстремум при наличии ограничений, ДАН СССР, 2 (1966), № 166, 287—290.
Cea (Cea J.)
Les methodes de descente en theorie de 1’optimisation, R. I. R. 0., 13 (1969).
Франк, Вулф (Frank M., Wolfe P.)
An algorithm for quadratic programming, Naval Res. Log. quart., 3, 95—110, 1956.
Метод проекции градиента
Розен (Rosen J. В.)
The gradient projection method for non linear programming, Part I, SIAM J., 8 (1960), 181—217.
Розен (Rosen J. B.)
The gradient projection method for non linear programming, Part II: Non linear constraints, SIAM J., 9 (1961), 414—432.
Метод допустимых направлений
Зойтендейк (Zoutendijk G.)
Methods of feasible directions, Elsevier publishing Company, Amsterdam, 1960. [Русский перевод: Г. Зойтендейк, Методы возможных направлений, ИЛ, М., 1963.]
*3уховицкий С. И., Авдеева Л. И.
Линейное и выпуклое программирование, изд-во «Наука», М., 1967.
Калфон, Рибьер, Соно (Kalfon Р., Ribiere G., Sogno J С.)
A method of feasible directions using projection operators, Proc. I. F. I. P. Congress 68, Edinburgh, August 1968,'
Полак (Polak Е.)
On the convergence of optimization algorithms, R. I. R. 0., 16 (1969).
Топкие, Вейнотт (Topkis D. M., Veinott A. F.)
On the convergence of some feasible direction algorithms for non linear programming, J. SIAM Control, 5 (1967), № 2.
Метод отсекающих плоскостей
^Булатов В. П.
О некоторых методах аппроксимации для задач выпуклого программирования, в сборнике «Методы математического моделирования в энергетике», Восточно-сибирское книжное изд-во, 1966.
Вулф (Wolfe Р.)
Accelerating the cutting plane method for non linear programming, /. SIAM, 9 (1961), 481—488.
Келли (Kelly I. E.)
The cutting plane method for solving convex programs, J. SIAM, 6 (1958), 15—22.
Методы штрафных функций
Балакришнан (Balakrishnan А. V.)
On a new computing technique in optimal control and its application to minimal time flight profile optimization, Proceeding of the National Academy of Sciences, January 1968.
Батлер, Мартин (Butler T., Martin A. V.)
On a method of Courant for minimizing functionals, Math, and Physics., 41 (1962), 291—299.
Бельтрами (Beltrami E. J.)
A computational approach to necessary conditions in mathematical programming, ICC Bulletin, 6 (1967), 265—273.
Бельтрами (Beltrami E. J.)
On infinite dimensional convex programming, Journal of computer and System Sci. (В печати.)
Бельтрами, Мак-Гилл (Beltrami E. J., Mac Gill R.)
A class of variational problems in search theory and the maximum principle, Oper. Res., 14 (1966), 267—278.
Бенсуссан, Кеннет (Bensoussan A., Kenneth P.)
Sur l’analogie entre les methodes de regularisation et de penalisation, R. I. R. 0., 13 (1969).
Курант (Courant R.)
Calculus of variations and supplementary notes and exercices, N. Y. U* Lecture Notes, Rev., 1956—1957.
Лионс (Lions J. L.)
Sur le controle des systemes, Dunod, 1968.
Мак-Гилл (Mak Gill R.)
Optimal control, inequality state constraint and the generalized Newton Raphson algorithm, SIAM Control, 3 (1965), 291—298.
Обин (Aubin J. Р.)
Estimate of the error in the approximation of optimization problems with contraints by problems without constraints. (В печати.)
Рибьер (Ribiere G.)
These de 3е cycle.
Cea (Cea J.)
Sur la stabilisation, Seminaire Lions J. L., Toulouse 1965—1966.
” Тихонов A. H.
О решении некорректно поставленных задач и методе регуляризации, ДАН СССР, 151 (1963), № 3, 501—504.
*Тихонов А. Н.
О регуляризации некорректно поставленных задач, ДАН СССР, 153 (1963), № 1, 49—52.
Фиакко, Мак-Кормик (Fiacco А. V., Mac Cormick G. Р.)
The sequential unconstrained minimization technique for non linear programming: A primal dual method, Man. Sci., 10, 360—366, 1964.
Фиакко, Мак-Кормик (Fiacco A. V., Mac Cormick G. P.)
The slacked unconstrained minimization technique for convex programming, /. SIAM Appl. Math., 15 (1967), № 3, 505—515.
Филлипс (Phillips D. L.)
J. Ass. Comput. Mach., 9 (1962), 1—84.
Декомпозиция и «multilevel technique»
Брозилов, Лэсдон (Brosilow С. B., Lasdon L. S.)
A two level optimization technique for Recycle Processes, Proceedings of the AICHE — I Cheur, E. Meeting, London, 1965.
Бруаз, Хуард, Сентенак (Broise P.? Huard P., Sentenac J.)
Decomposition des programmes mathematiques, Dunod, 1967.
Лионс, Теман (Lions J. L., Teman R.)
Une methode d’eclatement des operateurs et des contraintes en calcul des variations, C. R. Acad. Sei.,Paris, 263 (24 Octobre 1966), 563—565.
Лэсдон (Lasdon L. S.)
Duality and decomposition in mathematical programming, IEEE Trans, on Systems Sciences and cybernetics, Vol. SSC-4, № 2, July 1968.
Лэсдон, Шёффлер (Lasdon L. S., Schoeffler J. D.)
Decentralized Plant Control, Isa transactions, Vol. 5, April 1966.
Месарович, Макко, Такахара (Mesarovic M. D., Macko D., Takahara Y.)
Two coordination principles and their application in large scale systems control, IFAC. Congress, Varsovie 1969.
Пирсон (Pearson J. D.)
Multilevel programming, Systems Research Center Report № 70-A-65-25, 1965.
Cea (Cea J.)
Optimisation dans un espace produit, Proceedings of the Optimization Symposium. Novo Sibirsk, Juin 1966.
Cea (Cea J.)
Decomposition of problems in ordinary or partial differential equations. (В печати.)
Метод центров
Бюи Тронг Льё, Хуард (Bui Trong Lieu, Huard P.)
La methode des centres dans un espace topologique, Numerische Math., 8 (1966), 56—57.
Тремольер (Tremolieres P.)
Methode des centres a troncatures variables, Bulletin de la Direction des Etudes et Recherches E. D. E., S6rie C (Mathematique Informatique), № 2, 1968.
Хуард (Huard P.)
Resolution of mathematical programming with non linear constraints by the method of Centers, Voir livre Abadie.
Хуард (Huard P.)
Programmation mathematique convexe, R. I. R. 0., № 7, 1968.
Хуард (Huard P.)
Methode des centres para majorations, Bulletin de la D. R. E. (EDF) 2, 1970.
Двойственность и методы, основанные на двойственности
См, [3], в частности, Эрроу, Гурвиц и Удзава; Ауслендер; Сеа; Лионс; Рока- феллар; Стоер.
Ауслендер (Auslender А.)
Methodes et theoremes de dualite, C. R. A. S. Paris, 267 (8 Juillet 1968), 114—117.
Ауслендер (Auslender A.)
Methodes et theoremes de dualite, R. I. R. 0., NR 1 (1970), 9—45.
Гиньяр (Guignard M.)
Conditions d’optimalite et dualite en programmation mathematique, These, Lille, 1967.
Джон (John F.)
Extremum problems with inequalities as subsidiary condition, Studies and Essays presented to R. Courant on his 60th Birthday, Interscience, New York (1948), 187—204.
Ки Фан (Ky Fan)
Fixed point and minimax theorems in locally convex topological spaces, Proc. Nat. Acad. Sci. USA, 38 (1952), 121—126.
Ки Фан (Ky Fan)
Minimax theorems. Proc. Nat. Acad. Sci. USA 39 (1953), 39, 42—47.
Ки Фан (Ky Fan)
Sur un theoreme minimax C. R. Acad. Sci. Paris, 259 (1964), 3925—3928.
Кун, Таккер (Kuhn Н. W., Tucker A. W.)
Non linear programming. Proc. 2nd Berkeley Symposium on Math. Stat, and ProbL, University of Calif., Press., Berkeley (1961), 481—492.
Лемер (Lemaire)
These, Paris.
Лоран, Мартине (Laurent P. J., Martinet B.)
Methodes duales pour le calcul du minimum d’une fonction convexe sur une intersection de convexes, Colloque d’optimisation, Nice, juillet 1969.
Мартине (Martinet B.)
A general method for solving convex inequalities. Application to resolution of a min-max problem, 7th math, programming Symposium, La Haye, septembre 1970. Mopo (Moreau J. J.)
Fonctions convexes duales et points prominaux dans un espace hilbertien, C. R. Acad. Set. Paris, 255 (1962), 2897—2899.
Cea, Гловински, Неделек (Cea J., Glowinski R., Nedelec J. C.)
Dualite et problemes aux derivees partielles. (В печати.)
Сион (Sion M)
On general minimax theorems, Pacific J. of Math., 8 (1958), 171—176.
Темам (Temam R.)
Dualite dans les equations aux derivees partielles. (В печати.)
Фенхель (Fenchel W.)
Convex Cones, Sets and Functions, Lecture Notes, Dept, of Math. Princeton University, 1953
Халкин (Halkin H.)
Non linear non convex Programming in an infinite dimensional space, Cf. livre de Balakrishnan, Newstadt.
Приближенное решение краевых задач
Обин (Aubin J. Р.)
Approximation des espaces de distributions et des op£rateurs differentiels, Bull. Soc. France, Memoire 12, 1967.
Cea (Cea J.)
Approximation variationnelle des problemes aux limites, Ann. Inst Fourier, 14 (1964), 2.
Метод приведенного градиента и метод обобщенного приведенного градиента
Абади, Гигу (Abadie J., Guigou J.)
Numerical experiments with the G. R. G method (Integer and non linear programming. North Holland Publ. Co., 1970).
Абади, Карпентер (Abadie J., Carpentier J.)
Generalisation of the Wolfe reduced gradient method to the case of non linear constraints. (Voir livre de R. Fletcher.)
Гигу (Guigou J.)
Experiences numeriques comparatives concernant la methode du gradient con- jugue, Bulletin de la D. E. R. (EF), № 2 (1969).
Фор, Хуард (Faure P., Huard P.)
Resolution des programmes mathematiques a fonction non lineaire par la methode du gradient reduit, R. I. R. 0., 9 (1965), 167—205.
Тесты Колвилла
Колвилл (Colville A. R.)
A comparative study of non linear programming codes, IBM N YSC Report (1968), 320—2949.
Оглавление
Предисловие редактора перевода 5
Предисловие 9
Глава 1. ЭЛЕМЕНТЫ ФУНКЦИОНАЛЬНОГО АНАЛИЗА 11
Банаховы пространства 11
Определение банаховых пространств. Простейшие свойства . И
Двойственность. Слабаянепрерывность 16
Теорема Хана — Банаха 21
Аналитическая форма теоремы 21
Некоторые следствия 24
Дополнительные сведения для геометрической формы теоремы Хана — Банаха 26
Геометрическая форма теоремы 28
Рефлексивность. Слабая компактность. Слабая* сходимость . 32
Гильбертовы пространства 38
Определения и элементарные свойства 38
Проекция в гильбертовом пространстве 42
Проекция на выпуклое замкнутое непустое подмножество . .42
Проекция на замкнутое векторное подпространство 45
Ортогональные семейства в гильбертовом пространстве . . . . 47
Ортогонализация Шмидта 47
Строение гильбертова пространства 48
Равенство Парсеваля 48
Теорема о представлении Рисса. Рефлексивность 50
Полубилинейные формы 51
Семейство гильбертовых пространств: пространства Соболева . 54
Глава 2. ДОПОЛНИТЕЛЬНЫЕ СВЕДЕНИЯ О ДИФФЕРЕНЦИРОВАНИИ 60
Дифференцирование по Гато . 60
Определения . . . .60
Формула конечных приращений и формула Тейлора . . . . . 61
Выпуклость и G-дифференцируемость 64
Слабая полунепрерывность снизу и G-дифференцируемость . . . 65
Перестановка операций дифференцирования 66
Линейность оператора ^-> А\и^ 68
Дифференцирование по Фреше 68
Определения 68
Соотношение между F-дифференциалом и G-дифференциалом 69
Глава 3. ПОИСК МИНИМУМА ФУНКЦИОНАЛА 71
Введение 71
Минимум функционала 71
Общие методы поиска минимума 80
Сходящийся выбор направления w 82
Сходящийся выбор р 88
Сходимость 99
Метод Ньютона100
Метод сжимающих отображений104
Методы типа сопряженных градиентов107
Вычисление обратной матрицы (I)108
Минимизация квадратичной формы(I)НО
Минимизация произвольного функционала (I)111
Вычисление обратной матрицы (II)112
Минимизация квадратичной формы(II) Н5
Минимизация функционала (II) .. 117
Прямые методы117
Дополнения 123
Ускорение сходимости.123
Поиск минимума функции одной переменной 124
Глава 4. МИНИМИЗАЦИЯ С ОГРАНИЧЕНИЯМИ 126
Введение126
Приближенное решение задачи минимизации130
Обобщение метода Франка и Вулфа . 130
Метод линеаризации136
Метод центров с переменным параметром усечений 145
Минимизация в произведении пространств150
Постановка задачи150
Построение приближенного решения задачи151
Приложения154
Другие методы155
Методы, использующие проекцию на областьограничений . . 155
Метод отсекающих плоскостей Келли 157
Метод приведенного градиента158
Метод последовательного приведения162
Метод проекции градиента163
Метод возможных направлений . . . 165
Другое семейство методов .165
§ 2. Методы штрафных функций166
Изложение метода 166
Приложениек устойчивости171
Приложениек задачам оптимизации175
Приложениек задачам оптимальногоуправления177
Приложениек целочисленному программированию179
§ 3. Декомпозиция . . . 181
Введение .. . . 181
Декомпозиция, использующая множителиЛагранжа182
Случай с односторонними ограничениями183
Случай с двусторонними ограничениями186
3. Примеры 187
Обобщение метода 189
Декомпозиция с помощью метода штрафных функций189
Декомпозиция при помощи аппроксимации194
Регулярный случай194
Декомпозиция пространства Соболева197
Нерегулярный случай199
Глава 5. ДВОЙСТВЕННОСТЬ202
Двойственность в Rn206
Двойственность в Rn (использование теоремы о минимаксе) . . 211
Бесконечномерная задача (использование теоремы Хана—Банаха) 214
Бесконечномерная задача (использование теоремы о минимаксе) 217
Прямая задача217
Приближенное решение 219
Двойственность 221
Численный метод 223
Использование двойственности при минимизации недифференцируемого функционала224
Список литературы 229
УВАЖАЕМЫЙ ЧИТАТЕЛЬ!
Ваши замечания о содержании книги, ее оформлении, качестве перевода и другие просим присылать по адресу: 129828, Москва, И-110, ГСП, 1-й Рижский пер., д. 2, издательство «Мир».